《Hadoop大数据技术与应用》课程标准

《Hadoop大数据技术与应用》课程标准课程名称：Hadoop大数据技术与应用总学时数/学分数：64/4课程类型：职业技能课课程所属：适用专业：大数据技术专业发布日期：年月一、课程基本情况1、课程归属：信息工程学院2、课程类型：职业技能课3、课程类别：必修课4、适应专业：大数据技术5、学时标准：64学时6、学分标准：4学分7、前修课程：大数据技术概论、编程基础、Linux操作系统、数据库设计与实现8、后续课程：大数据处理与分析二、制定依据本课程标准依据天津滨海汽车工程职业学院信息工程学院《大数据技术专业人才培养方案》、结合就业市场对应岗位职能要求和需求标准等制定。三、课程定位及作用《大数据平台运维》本课程是大数据技术专业核心课程，大数据技术入门课程。通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。四、课程设计理念及思路（一）课程理念本课程遵循高等职业教育规律，以大数据技术与应用实际工作岗位需求为导向选取课程内容，课程目标是培养学生具备“大数据分析”应用项目所需系统环境的搭建与测试综合职业能力；坚持开放性设计原则，吸收企业专家参与，建立基于Hadoop的生态环境，以“工作任务”为载体的“项目化”课程结构；课程教学实施教、学、做一体，坚持理论为实践服务的教学原则，通过模拟企业“大数据分析”环境进行组织，锻炼学生的实践操作能力。（二）程设计整体思路通过岗位技能的项目化以及系统搭建与应用任务的序列化，对内容体系结构进行了适当调整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动，凭借翔实的操作步骤和准确的说明，帮助学生迅速掌握Hadoop生态系统环境构建与应用，并且充分考虑学习操作时可能发生的问题，并提供了详细的解决方案，突出岗位技能训练。五、课程目标通过岗位技能的项目化以及系统搭建与应用任务的序列化，对内容体系结构进行了适当调整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动，凭借翔实的操作步骤和准确的说明，帮助学生迅速掌握Hadoop生态系统环境构建与应用，并且充分考虑学习操作时可能发生的问题，并提供了详细的解决方案，突出岗位技能训练。（一）知识目标通过本课程的学习，使学生能够：1、理解什么是Hadoop、Hadoop的发展历史、Hadoop的特点、分布式文件系统——HDFS、分布式计算框架——MapReduce、集群资源管理器——YARN、Hadoop生态系统、Hadoop应用场景2、掌握Hadoop的安全模式、MapReduce工作原理及核心组成、了解MapReduce实现词频统计的执行流程3、掌握什么是Hive、Hive与传统数据的对比、Hive系统架构、Hive数据模型、Hive执行流程、Hive数据操作语言的基本语法4、掌握什么是HBase、HBase系统架构、HBase数据模型、HBase读写流程（二）能力目标通过本课程的学习，使学生能够：1、掌握创建Linux虚拟机的方法、如何设置固定IP地址、如果远程连接虚拟机、如何配置本地YUM源及安装常用软件、如何启动和关闭Hadoop集群2、掌握HDFS的基本操作、如何创建MapReduce工程、如何使用FileSystemAPI操作3、掌握Hive如何创建表、修改表，如何完成Top20基站统计4、掌握HBase如何创建表、修改表、删除表，如何向表中插入数据，如何分析通话记录数5、掌握大数据日志分析综合项目案例（三）素质目标通过本门课程的学习，使学生在大数据技术技能上不但具有深厚的理论功底，而且具有熟练的项目实战操作技能，达到相关大数据技术岗位人员的知识储备和能力要求，最终能够适应社会对大数据技术人才的需要。1、通过对数据分析的了解，增强探索意识2、树立大数据思维和时代意识，自觉遵守职业道德和法律法规3、提高选择合适方法解决不同问题的能力4、养成分析问题、事前做好准备的良好习惯5、提高分析问题、针对不同问题选择合适方法的能力6、强化数据安全意识，提高信息技术应用能力7、理解国家大数据战略，构建大数据思维和时代意识8、锻炼具体问题具体分析的思维方法，培养一丝不苟的工作态度，增强积极主动寻求解决方法的意识六、课程教学内容与学时分配（一）学时安排大数据平台运维课程分为七章，章节课程之间联系紧密，通过每章项目案例驱动为导向，结合每章课程知识细节，融会贯通。全课程采用阶梯式教学，由浅入深、循序渐进。夯实基础，实出重点，解析难点，并注重新知识的拓展。下面是关于本课程知识的简述：序号教学内容教学要点学时1大数据基础概述应知应会：（1）掌握大数据的概念和价值（2）掌握大数据的来源（3）了解大数据的应用场景（4）了解大数据时代的机遇和挑战（5）掌握Hadoop及其生态系统简介（6）了解大数据行业的人才需求状况42Hadoop分布式文件系统HDFS应知应会：（1）了解HDFS基本概念（2）了解HDFS的系统架构与适用场景（3）掌握HDFS的操作方式（4）掌握HDFS的关键特性（5）掌握HDFS的安装部署与配置方法（6）掌握HDFS的读写API操作方法123分布式计算框架MapReduce和分布式资源管理器YARN应知应会：（1）了解MapReduce和YARN的概念（2）掌握MapReduce和YARN的工作过程与架构（3）掌握YARN的资源管理和任务调度（4）掌握部署YARN集群的方法（5）掌握编写单词计数WordCount程序84HBase分布式NoSQL数据库应知应会：（1）了解HBase的概念（2）了解HBase的架构（3）掌握HBase的关键流程（4）掌握HBase的安装与配置（5）掌握HBase的Shell操作方法（6）掌握HBase的API操作方法85Hive分布式数据仓库应知应会：（1）了解Hive的概念（2）了解Hive的架构原理（3）掌握Hive的基本操作（4）了解HiveQL的应用（5）掌握Hive的安装与部署（6）掌握Hive数据定义操作的具体实现方法（7）掌握Hive数据操纵操作的具体实现方法（8）掌握Hive查询操作的具体实现方法（9）掌握Hive数据操纵操作的具体实现方法86Hadoop其他大数据生态组件应知应会：（1）了解海量日志聚合Flume相关概念（2）了解分布式消息订阅系统Kafka相关概念（3）掌握Flume的安装与部署（4）掌握如何使用Flume采集数据到HDFS（5）掌握Kafka集群部署（6）掌握Kafka的使用方式87大数据日志分析综合项目案例应知应会：（1）了解项目目的、意义、背景、架构、需求等基本项目信息（2）掌握项目实施过程（3）能够会书写项目报告16（二）课程内容1．大数据基础概述重点：大数据的概念难点：Hadoop及其生态系统【内容要求】1）掌握大数据的概念和价值2）掌握大数据的来源3）了解大数据的应用场景4）了解大数据时代的机遇和挑战5）掌握Hadoop及其生态系统简介6）了解大数据行业的人才需求状况2.Hadoop分布式文件系统HDFS重点：HDFS的基本概念、HDFS的安装部署与配置方法难点：HDFS关键特性【内容要求】1）了解HDFS基本概念2）了解HDFS的系统架构与适用场景3）掌握HDFS的操作方式4）掌握HDFS的关键特性5）掌握HDFS的安装部署与配置方法6）掌握HDFS的读写API操作方法3.分布式计算框架MapReduce和分布式资源管理器YARN重点：MapReduce和YARN的工作过程与架构、部署YARN集群的方法难点：编写单词计数WordCount程序【内容要求】1）了解MapReduce和YARN概念2）掌握MapReduce和YARN的工作过程与架构3）掌握YARN的资源管理和任务调度4）掌握部署YARN集群的方法5）掌握编写单词计数WordCount程序4.HBase分布式NoSQL数据库重点：HBase的关键流程、HBase的安装与配置难点：HBase的API操作方法【内容要求】1）了解HBase的概念2）了解HBase的架构3）掌握HBase的关键流程4）掌握HBase的安装与配置5）掌握HBase的Shell操作方法6）掌握HBase的API操作方法5.Hive分布式数据仓库重点：Hive的基本操作、Hive的安装与部署难点：Hive数据定义操作、数据操纵操作、查询操作、数据操纵操作的具体实现方法【内容要求】1）了解Hive的概念2）了解Hive的架构原理3）掌握Hive的基本操作4）了解HiveQL的应用5）掌握Hive的安装与部署6）掌握Hive数据定义操作的具体实现方法7）掌握Hive数据操纵操作的具体实现方法8）掌握Hive查询操作的具体实现方法9）掌握Hive数据操纵操作的具体实现方法6.Hadoop其他大数据生态组件重点：Flume的安装与部署、Kafka集群部署难点：使用Flume采集数据到HDFS【内容要求】1）了解海量日志聚合Flume相关概念2）了解分布式消息订阅系统Kafka相关概念3）掌握Flume的安装与部署4）掌握如何使用Flume采集数据到HDFS5）掌握Kafka集群部署6）掌握Kafka的使用方式7.大数据日志分析综合项目案例重点：项目实施过程难点：项目实施过程、书写项目报告【内容要求】1）了解项目目的、意义、背景、架构、需求等基本项目信息2）掌握项目实施过程3）能够会书写项目报告七、课程考核与评价结合案例教学的特点，对学生的考核采用平时情况结合期末总评情况综合评价。学生在每次项目完成后，每组学生在项目组内自评，教师给每组一个总评，将学生自评成绩和教师总评成绩按比例结合为一次项目的成绩。多次项目成绩组成了学生此课程的平时实践操作部分的成绩。另外学生在每部分学习后完成的其它任务（如课后作业），此又作为学生平时成绩的一部分。在期末课程结束后，按实际情况可布置每个学生独立完成一个较综合的项目实践，以此作为期末考核成绩；考虑到部分学生非独立完成的作弊行为，亦可组织学生统一卷面考试，以此成绩作为期末考核成绩。最后将每个学生的平时实践成绩、其它成绩（课后作业、课堂表现等）、学习表现、期末考核成绩根据实际情况按一定比例综合得出学生此门课程的最终评价。

对学生学习过程的评价，包括参与讨论的积极态度、自信心、实际操作技能、合作交流意识，以及独立思考的能力、创新思维能力等方面，如：

1、是否积极主动地参与讨论和分析2、是否敢于表述自己的想法，对自己的观点有充分的自信3、是否积极认真地参与模拟实践和应用实践

4、是否敢于尝试从不同角度思考问题，有独到的见解

5、能否理解他人的思路，并在与小组成员合作交流中得到启发与进步6、是否有认真反思自己思考过程的意识。或者是引用职场鉴定来考核学生实际操作技能（一）课程考核形式本课程考核评价采用过程性考核与终结性考核相结合的方式，过程性考核由作业成绩、课堂上机操作表现、出勤情况、小组互动等因素综合给出，终结性考核采用期末考试形式进行。（二）考核方式与成绩评定学生成绩=过程性考核*50%+终结性考核成绩*50%过程性考核成绩=作业成绩*30%+综合训练项目成绩*30%+课堂表现*40%作业成绩=单元作业或测试（不少于6次）成绩加总平均；综合训练项目成绩=课程综合作业或综合实训项目（综合作业）成绩（不少于4次）加总平均；课堂表现成绩=考勤50%+课堂互动20%+团队合作30%终结性考核成绩=本课程设计学习目标的“了解”*30%+本课程设计学习目标的“掌握”*60%+本课程额外扩展知识*10%八、课程实施建议（一）课程教学团队建议结合国家正在推进的1+X证书制度，高职院校应在培养高素质“双师”基础上，对专业骨干教师增加胜任“培训师”的能力要求，让教师既能在学校授课，又能攻关企业技术难题，还能在培训机构开展职业资格培训，探索按照“三师”素质要求完善职教教师的专业能力标准。教师团队主要由学校专任教师和来自行业企业的兼职教师组成，以校企合作作为专业建设的工作平台，开发设计和实施专业人才培养方案、课程标准、教学资源、课程设计。专任教师建议由学校专业功底扎实、教学经验丰富的教授或副教授担任，兼职教师建议聘用从事软件开发行业相关职位、具有丰富的专业知识和从业验证的人员担任。（二）课程教材建议教材是教学改革的重要载体和体现形式，教材建设涉及教学内容、教学方法与手段、教学媒体等，既是对教学内容体系的重构，也是一套完整的教学解决方案。本课程面向大数据技术专业的专业核心课程，建议选用邓永生