《大数据平台部署与运维》课程标准（含课程思政）

《大数据平台部署与运维》课程标准一、课程基本信息课程名称大数据平台部署与运维课程代码034321026课程性质£公共必修课R专业必修课£专业选修课£公共选修课专业核心课（是/否）是课程类型理论课（A类）R理论+实践课（B类）实践课（C类）学分4学时64理论学时32实践学时32适用专业（方向）大数据技术开设学期第3学期先修课程《计算机网络技术》、《Linux操作系统》后续课程《大数据开发实战》、专业综合实训对接1+X证书名称大数据平台运维证书级别中级建议使用职业教育国家规划教材“1+X”证书系列教材，《大数据平台运维》（中级），新华三技术有限公司主编，电子工业出版社，2020年4月第1版二、课程性质与任务（一）课程性质《Hadoop大数据平台构建》课程是大数据技术与应用专业核心课程，是国家“1+X”职业技能等级证书中“大数据平台运维”证书的课证融通课程，是融入课程思政教育的课程。在前驱课程《计算机网络技术》、《Linux系统及应用》的支撑下，本课程主要讲解大数据的基本概念、组件部署和平台优化，为后续专业综合实训和岗位实习奠定基础。（二）课程任务该课程主要讲授大数据平台高可用部署、大数据组件部署和运维、大数据平台优化等内容，培养大数据平台的部署实施、监控管理岗位的高素质技术技能人才，对本专业所面向的大数据平台运维岗位所需要的知识、技能和素质目标的达成起支撑作用。课程全面落实课程思政要求，弘扬劳动光荣、技能宝贵，以润物无声的方式将思政教育与专业知识培养有机融合。（三）课程设计思路课程的教学设计充分体现了课程内容与职业标准对接、教学过程与生产过程对接的特点，依据对相关行业企业的调研及“1+x大数据平台运维”职业技能等级证书（中级）要求，本课程采用了“项目引领，任务驱动”的教学模式。在充分分析大数据运维工程师岗位技能的基础上，以企业生产过程为导向，提炼典型工作任务，为学生可持续发展奠定良好的基础三、课程目标与要求（一）课程目标1.素质目标（1）养成诚实守信的品德；（2）培养效率和安全意识，养成良好的职业道德和积极严谨的求学态度；（3）具有不断追求知识的自学能力、吃苦耐劳的工匠精神；（4）具有较强国家通用语言表达能力和较强的沟通能力；（5）具有善于与人共事的团队协作意识，能进行良好的团队合作。2.知识目标（1）了解大数据和Hadoop基本概念；（2）掌握Hadoop集群的搭建；（3）掌握HadoopHA集群搭建；（4）掌握HBase、Hive、Sqoop、Flume、Kafka组件的部署和操作；（5）掌握Linux、HDFS、MapReduce的优化。3.能力目标（1）具备大数据部署和运维能力；（2）具备大数据平台优化能力；（3）具有综合运用所学知识分析问题和解决问题的能力。（二）课程要求课程单元任务名称（含子任务）要求大数据和Hadoop概述任务1：大数据和Hadoop基本概念任务2：大数据实施和运维流程任务3：大数据应用场景和发展趋势1.了解大数据的相关概念和特征、发展历程及趋势。2.理解大数据平台架构的原理3.了解大数据运维工程师知识要求及工作职责Hadoop集群搭建任务1：Linux基础环境配置任务2：Hadoop集群的配置任务3：Hadoop集群的启动和测试1.掌握Java、Hadoop安装和配置2.理解SSH免密登录3.掌握Hadoop文件参数配置4.Hadoop集群的启动分布式文件系统HDFS任务1：HDFS基本概念任务2：HDFSShell操作1.理解HDFS架构和原理2.掌握HDFSShell常用命令分布式计算框架MapReduce任务1：MapReduce概述任务2：MapReduce工作原理任务3：YARN基本框架及组件任务4：MapReduce经典案例1.了解MapReduce和Yarn基本概念2.理解MapReduce和Yarn工作原理3.理解MapReduce经典案例HadoopHA集群搭建任务1：部署ZooKeeper集群任务2：配置HadoopHA集群任务3：启动HadoopHA集群任务4：自动故障转移测试1.掌握Zookeeper的原理和部署2.了解HadoopHA集群的实现原理3.理解HadoopHA集群文件配置4.掌握集群的启动和自动故障转移HBase组件任务1：HBase基本概念任务2：HBase组件部署任务3：HBaseShell操作1.了解HBase的相关知识2.掌握HBase的分布式部署3.掌握HBaseShell操作Hive组件任务1：Hive基本概念任务2：HBase组件部署任务3：HBase数据库/表操作1.理解Hive架构2.掌握Hive部署3.掌握Hive表操作ETL组件任务1：Sqoop组件安装和使用任务2：Flume组件安装和使用任务3：Kafka组件安装和使用1.了解Sqoop、Flume和Kafka概念2.掌握Sqoop、Flume和Kafka安装3.掌握Sqoop、Flume和Kafka使用大数据平台优化任务1：Linux系统优化任务2：HDFS配置优化任务3：MapReduce配置优化1.掌握优化Linux系统2.掌握优化HDFS配置3.掌握优化MapReduce配置四、课程结构与内容（一）课程结构与学时分配情景名称项目名称任务名称（含子任务）任务学时项目学时大数据和Hadoop概述大数据和Hadoop概述任务1：大数据和Hadoop基本概念任务2：大数据实施和运维流程任务3：大数据应用场景和发展趋势22Hadoop集群搭建Hadoop集群搭建任务1：Linux基础环境配置任务2：Hadoop集群的配置任务3：Hadoop集群的启动和测试1616分布式文件系统HDFS分布式文件系统HDFS任务1：HDFS基本概念任务2：HDFSShell操作22分布式计算框架MapReduce分布式计算框架MapReduce任务1：MapReduce概述任务2：MapReduce工作原理任务3：YARN基本框架及组件任务4：MapReduce经典案例22HadoopHA集群搭建HadoopHA集群搭建任务1：部署ZooKeeper集群任务2：配置HadoopHA集群任务3：启动HadoopHA集群任务4：自动故障转移测试1010HBase组件HBase组件任务1：HBase基本概念任务2：HBase组件部署任务3：HBaseShell操作88Hive组件Hive组件任务1：Hive基本概念任务2：Hive组件部署任务3：Hive数据库/表操作1010ETL组件ETL组件任务1：Sqoop组件安装和使用任务2：Flume组件安装和使用任务3：Kafka组件安装和使用88大数据平台优化大数据平台优化任务1：Linux系统优化任务2：HDFS配置优化任务3：MapReduce配置优化66（二）课程内容与要求教学情境教学项目教学内容教学目标教学重难点教学建议学时大数据和Hadoop概述大数据和Hadoop概述Hadoop和大数据概述；大数据实施和运维流程素质目标：培养岗位职业规范和严谨的工作态度。知识目标：了解大数据的概念和特征、发展历程及趋势；理解大数据平台架构的原理；了解大数据运维工程师要求及工作职责。能力目标：具备专业基本知识素养。思政目标：通过讲述Hadoop的发展历程，激发学生改革创新意识。重点：1.大数据实施和运维流程难点：1.大数据平台架构原理教学方法：案例教学法教学环境：大数据运维中心2Hadoop集群搭建Hadoop集群搭建Linux基础环境配置；Hadoop集群的配置；Hadoop集群的启动和测试素质目标：培养学生的自主学习能力和探究意识。知识目标：掌握Hadoop集群的基本概念；掌握Linux防火墙的管理与配置；掌握IP与主机名的映射配置；掌握环境变量的配置；掌握Hadoop集群的启动和关闭。能力目标：培养集群搭建能力思政目标：通过前期一系列安装到最后部署Hadoop平台，向学生传输做任何事要有工匠精神，还有大局意识。重点：1.Linux基础环境配置；2.Hadoop集群的搭建和配置。难点：1.Hadoop集群配置2.Linux系统网络配置教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心16分布式文件系统HDFS分布式文件系统HDFSHDFS基本概念；HDFSShell操作素质目标：培养学生团队协作精神。知识目标：理解HDFS架构和原理；掌握HDFSShell常用命令能力目标：提高解决海量数据存储问题的能力思政目标：通过讲述HDFS的整体架构和各角色的分工，引入国家和个人层面的思考，树立正确价值观。重点：1.HDFS基本概念；2.HDFSShell操作难点：1.HDFS架构和原理教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心2分布式计算框架MapReduce分布式计算框架MapReduceMapReduce概述；MapReduce工作原理；YARN框架及组件；MapReduce经典案例素质目标：培养学生开拓进取、勇于探索的精神。知识目标：理解MapReduce核心思想；掌握MapReduce工作原理能力目标：培养分布式计算能力思政目标：通过演示MapReduce程序的运行过程，告诉学生成功没有捷径，要保持责任意识、职业素养。重点：分布式计算框架难点：MapReduce工作原理教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心2HadoopHA集群搭建HadoopHA集群搭建部署ZooKeeper集群；配置HadoopHA集群；启动HadoopHA集群；自动故障转移素质目标：培养学生脚踏实地、有耐心有恒的钻研精神。知识目标：了解ZooKeeper的概念；掌握ZooKeeper集群的部署；掌握HadoopHA搭建；掌握HA自动故障转移能力目标：具备HA搭建和运维能力。思政目标：通过集群管理协调组件的学习和HA的搭建，提高学生团队协作意识和沟通表达能力。重点：1.ZooKeeper集群部署2.HadoopHA搭建难点：自动故障转移教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心10HBase组件HBase组件HBase基本概念；HBase组件部署；HBaseShell操作素质目标：培养学生远大理想、人生目标规划能力。知识目标：了解HBase相关知识；掌握HBase部署和HBaseShell操作。能力目标：具备HBase的部署和使用能力思政目标：通过数据库的学习，培养学生规划能力，引导其合理规划自己的人生目标和远大理想。重点：1.HBase组件部署2.HBaseShell操作难点：HBase系统架构和原理教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心8Hive组件Hive组件Hive基本概念；Hive组件部署Hive数据操作素质目标：培养学生远大理想、人生目标规划能力。知识目标：了解Hive相关知识；掌握Hive部署和Hive数据操作。能力目标：具备Hive的部署和使用能力思政目标：通过数据仓库的学习，培养学生规划能力，引导其合理规划自己的人生目标和远大理想。重点：1.Hive组件部署2.Hive数据操作难点：1.Hive架构2.BeelineCLI的使用教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心10ETL组件ETL组件Sqoop组件安装和使用；Flume组件安装和使用；Kafka组件安装和使用素质目标：培养学生良好的环保理念、法律意识。知识目标：掌握Flume安装和Flume数据采集；掌握分布式消息队列Kafka的安装和使用；掌握数据迁移工具Sqoop的使用。能力目标：具备ETL部署和使用能力。思政目标：通过ETL的学习树立学生法律意识，培养学生诚实守信、爱岗敬业的品格。重点：ETL组件的部署和使用难点：1.Flume架构2.Kafka架构3.Sqoop数据迁移教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心8大数据平台优化大数据平台优化Linux系统优化；HDFS配置优化；MapReduce配置优化素质目标：培养学生集体意识、团队协作和沟通表达能力。知识目标：掌握Linux系统优化、HDFS配置优化、MapReduce配置优化能力目标：具备大数据平台优化能力思政目标：通过大数据平台优化，传输给学生通过不同角度思考问题解决问题的方法。重点：优化Linux系统的内存、网络、文件系统优化Map阶段和Reduce阶段难点：优化HDFS存储教学方法：任务驱动法教学环境：H3C大数据实训平台；大数据运维中心6（三）课程思政实施要求本课程立足于大数据平台运维角度，从算法原理、部署、应用三个方面规范和指导大数据平台搭建和运维的全过程。在教学中，培养学生的爱国主义情怀，树立远大的理想；责任意识、职业道德和素养；民族精神、集体意识和改革创新精神；诚实守信、团结协作、勇于探索的科学精神；环保理念和大局意识、法律意识；树立社会主义核心价值观和中华优秀传统文化；心理健康和劳动精神；（四）1+X证书内容融入大数据平台运维职业技能等级（中级）证书主要面向大数据平台安装配置、大数据组件安装配置、大数据平台基础实施、大数据平台维护及监控工作岗位。从事虚拟化软件安装与使用、基于Linux系统的常用服务安装配置、安装配置及运行Hadoop集群、安装配置及运行核心组件、执行客户大数据平台实施方案、监控大数据平台运行状态等工作。掌握大数据平台安装和配置方法，理解Hadoop核心组件的功能及工作原理，掌握关键组件安装配置方法，理解大数据平台实施流程，熟悉常用集群监控工具的使用方法。因此将中级证书融入到Hadoop大数据平台构建课程中，提升学生的专业技能。五、学生考核与评价形成性评价教学阶段考核项目考核方式考核占比课前（20%）预习任务布置预习任务布置60%课中（50%）考勤、提问、表现考勤、提问、表现课堂练习课堂练习课后（20%）实验报告和作业实验报告和作业增值评价（10%）（职业核心能力和职业素养）素质目标达成考察素质目标达成考察终结性评价项目考核闭卷考试40%增值评价（社会价值）参加技能大赛、职业资格证书考核、职业技能等级证书考核等情况计分学分认定、成绩置换六、教学实施与保障（一）教学要求1.教学楼的多媒体教室。2.国家级虚拟仿真实训基地的大数据技术专业相关实训室。3.H3C大数据实训平台（二）教学方法本课程教学内容选取大数据平台系统架构、大数据平台高可用部署、大数据组件维护、大数据平台优化四个模块进行总体设计。每个情境划分为多个任务，按照任务分析和描述、任务实施、任务小结、任务拓展四步教学法开展教学。学生带着任务学知识、练技能，具有情景真实性、过程可操作性、结果可检验性的特点，主要培养目标是通过课程的学习，使学生具备大数据平台运维的能力，通过知识的学习和训练，激发学生创新意识和创新欲望，培养学生学习的积极性和主动性，达到对学生应具备的社会能力、学习能力和专业能力的进一步提升。（三）教学手段依据模块内容，结合探究式学习、自主式学习、项目式学习等，教学手段采用边学边练的方式，通过H3C大数据实训平台华为多媒体设备辅以教学，提高教学效果。配合教学方法，倡导使