《Hadoop数据管理I》课程标准

《Hadoop数据管理I》课程标准课程代码：B0509021课程类别：专业核心课授课系（部）：数字经济学院学分学时：7学分/90学时一、课程定位与作用1.课程的定位：本课程是大数据技术与应用专业的专业核心课程；是一门实用性和实践性很强的程序设计语言课程。2.课程的作用：根据培养应用型人才的需要，本课程的目的与任务是使学生通过本课程的学习，掌握搭建Hadoop完全分布式集群的方法，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘工作以及后续课程的学习奠定基础。3.与其他课程的关系：本课程是作为大数据专业核心基础课程，本课程作为后续专业核心课程《Hadoop数据管理II》的前导课程之一。二、课程目标通过本课程的学习，使学生了解大数据应用的发展历史；理解与掌握分布式文件系统HDFS原理与架构；掌握Hadoop平台的集群部署、文件管理、数据管理等；理解分布式并行计算框架Map/Reduce的工作原理与架构；掌握基于Hadoop平台的Map/Reduce的开发与设计，并结合企业案例，将理论与实践相结合，提升对大数据应用系统的开发能力，为将来从事数据分析挖掘工作以及后续课程的学习奠定基础。1.知识目标（1）了解Hadoop的生态结构，理解Hadoop的结构特征和工作原理；（2）掌握Hadoop集群的安装配置方法；（3）掌握Hadoop分布式文件系统HDFS的基本操作方法；（4）掌握管理多个MapReduce任务的方法；（5）掌握MapReduce的基本/进阶编程方法；（6）掌握大数据应用系统开发的基本流程和方法；2.能力目标通过本课程的学习，学生应具备以下几方面的能力：（1）能描述Hadoop生态系统的基本构成；（2）能熟练安装和配置Hadoop集群开发平台；（3）能熟练使用命令行方式访问Hadoop分布式文件系统（HDFS）；（4）能熟练进行IntelliJIDEA安装并配置MapReduce开发环境；（5）能熟练使用MapReduce编程框架编制指定要求的MapReduce任务系统；（6）能熟练使用HadoopFileSystemAPI访问HDFS文件系统，并应用到所开发的MapReduce任务应用程序中；（7）能熟练在MapReduce应用编程中使用自定义键值类型、Combiner（合并）组件、Partitioner组件、自定义计数器；（8）能熟练使用Hadoop辅助类ToolRunner来启动MapReduce任务；（9）能熟练应用大数据应用系统开发流程，并能编程实现KNN预测算法。3.素质目标（1）具有社会主义和共产主义的理想信念；（2）具有改革开放的意识和强烈的竞争意识；（3）具有良好的行为规范和社会公德以及较强的法制观念；（4）具有良好的职业道德和质量服务意识；（5）具有不断学习、不断创新的进取精神；（6）具有团队协作精神和较强的协调能力及独立工作的能力；（7）具有健康的体魄和良好的心理素质。三、课程设计1.设计基本理念本课程的设计理念是:应用为目标、实践为主线、能力为中心。（一）突出学生主体，强调能力培养坚持以能力为中心、以学生为主体的原则来设计课堂教学，在学生就业岗位需求分析的基础上来确立能力目标，将能力培养贯穿于课程教学之中，实现由传统的以教师为主体的知识传授型教学模式向以学生为主体的能力培养型教学模式的转变。（二）基于工作过程，真实案例教学在教学过程中，以典型工作任务为载体，将对各种资源的管理分解为多个独立又具有一定联系的任务，让学生将知识的学习，技能的加强和经验的积累在一系列任务中获取并高度融合。（三）整合课程资源，理论实践一体化本课程在教学过程中，根据高职培养应用型人才的特点，以典型工作任务为主线、以各种资源管理为核心，以培养能力和提高兴趣为目标，重视在新形势下的新方法、新规则和新思想的传授。着重培养学生能灵活应用这些思想和方法的能力。课程教学中要遵循理论来自于实践的原则，融“练、学、思、拓”于一体，体现“在做中学，在学中做，学以致用”，以增强知识点的实践性，激发学生的学习兴趣。在实践教学环节中则融入相关理论知识，突出理论来自于实践和指导实践的作用，使学生的知识应用根据学习的内容提升一个新的高度。(四)体现能力标准，强调工学交替学习借鉴“四环相扣”教学改革成果，在本课程教学中全过程体现工学结合，课程教学目标围绕能力标准，课程本身按模块设置，教学过程充分工学交替。2.总体设计思路本课程采用面向应用方向，以应用为中心构建课程体系，提出从理论到实际，从具体到抽象，从个别到一般，从零散到系统的方法，实施“提出问题-解决问题-归纳分析”的教学三部曲，强调动手能力和对知识的运用能力，重点培养应用型人才。根据知识的深浅度进行实际学习，创设了6个学习情景：Hadoop介绍Hadoop集群的搭建及配置Hadoop集群的基础操作MapReduce编程入门MapReduce进阶编程电影网站用户性别预测。通过实际案例对知识点进行串联发散，让学生通过具体的实际问题的解决来掌握Hadoop数据管理的核心技术。课程开发和学习情境设计，整个学习领域由以下学习情境（课程单元）组成：学习情景1学习情景2学习情景3学习情景4学习情景5学习情景6Hadoop介绍Hadoop集群的搭建及配置Hadoop集群的基础操作MapReduce编程入门MapReduce进阶编程电影网站用户性别预测3.课时分配建议本课程课时为90课时，其中理论教学48课时，实践教学42课时。序号课程单元学习任务及教学要求参考学时学习任务教学要求理论教学实践教学1Hadoop介绍1.Hadoop的发展历史2.Hadoop的特点3.Hadoop的核心组件4.Hadoop的生态系统5.Hadoop的应用场景1.讲解Hadoop生态系统及各组件之间的相互关系2.重点讲解Hadoop的核心组件422Hadoop集群的搭建及配置1.设置固定IP的方法2.设置远程连接虚拟机3.Linux在线安装软件的方法4.在Window和Linux下安装Java5.了解Hadoop集群相关配置文件6.SSH免密码登录配置7.时间同步服务配置8.启动关闭Hadoop集群以及查看Hadoop集群监控1.讲解和演示完全分布式Hadoop集群的搭建及配置过程443Hadoop集群的基础操作1.解HDFS的操作方法2.MapReduce任务的运行和中断方法3.集群监控的查看方法1.结合实际案例讲解和演示MapReduce任务的管理2.讲解和演示HDFS文件系统的数据操作444MapReduce编程入门1.IntelliJIDEA安装并配置MapReduce环境2.新建MapReduce工程3.MapReduce原理4.MapReduce编程逻辑5.编程实现按日期统计访问次数6.编程实现按访问次数排序1.讲解和演示IntelliJIDEA的安装过程、新建MapReduce工程，并运行调试2.结合实际问题讲解和演示MapReduce的工作原理和编程逻辑，例如文档的单词词频统计案例3.讲解和演示指定功能的MapReduce任务865MapReduce进阶编程1.MapReduce的输入格式2.MapReduce的输出格式3.筛选日志文件并生成序列化文件4.HadoopJavaAPI使用方法简介5.FileSystemAPI管理文件夹6.FileSystemAPI操作文件7.FileSystemAPI读写数据8.使用FileSystemAPI读写序列化日志文件9.自定义键/值类型10.使用自定义键/值类型实现序列化文件的处理11.Combiner（合并）组件的引入12.Combiner组件的作用13.编程实现Combiner组件14.Partitioner组件的作用及实现15.自定义计数器及其使用16.编程实现社交网站用户每天登录次数统计17.MapReduce项目启动参数的传递18.Hadoop辅助类ToolRunner的使用19.IntelliJIDEA打包并提交任务1.讲解和演示MapReduce任务的输入格式和输出格式的控制2.讲解和演示如何通过HadoopJava代码来操作HDFS3.结合实际问题讲解和演示自定义键值类型、合并组件、分区（Partitioner）组件、自定义计数器的创建和使用4.讲解和演示根据指定需求编写MapReduce任务16126电影网站用户性别预测1.项目背景介绍2.KNN算法原理及实现步骤3.获取数据4.数据变换5.数据清洗6.划分数据集7.MapReduce编程实现电影网站KNN算法思路8.编程实现KNN算法9.评价分类结果准确性的方法和原理1.讲解数据预处理的作用和意义2.结合实际问题讲解和演示各类数据预处理的操作方法3.演示编程实现KNN算法1214合计904、课程单元描述对每个课程单元从学习目标、学习内容、教学方法和建议、教学条件要求、学生已有基础、教师所需执教能力要求、校企双师授课安排建议等方面分别对每个课程单元进行描述，格式如下：课程单元1课程单元名称Hadoop介绍课时数理论教学实践教学42学习目标知识目标1.了解Hadoop的来源与特点2.掌握Hadoop的核心组件内容能力目标1.能描述Hadoop生态系统的基本构成2.能准确描述Hadoop核心组件的作用素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.Hadoop的发展历史2.Hadoop的特点3.Hadoop的核心组件4.Hadoop的生态系统5.Hadoop的应用场景教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容1~5企业兼职教师授课内容：课程单元2课程单元名称Hadoop集群的搭建及配置课时数理论教学实践教学44学习目标知识目标1.掌握安装配置虚拟机和安装JDK2.掌握搭建Hadoop完全分布式集群环境的方法能力目标1.能搭建真实的分布式Hadoop集群开发环境2.能对Hadoop集群工作状态进行监测管理素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.设置固定IP的方法2.设置远程连接虚拟机3.Linux在线安装软件的方法4.在Window和Linux下安装Java5.了解Hadoop集群相关配置文件6.SSH免密码登录配置7.时间同步服务配置8.启动关闭Hadoop集群以及查看Hadoop集群监控教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学和实训。教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容1~8企业兼职教师授课内容：课程单元3课程单元名称Hadoop集群的基础操作课时数理论教学实践教学44学习目标知识目标1.学会查看Hadoop集群的基本信息2.掌握HDFS的基本操作3.掌握运行MapReduce任务的命令能力目标1.能实现以命令行的方式在HDFS上的上传、下载、查询、创建、删除等操作2.能以命令行的方式向Hadoop集群提交MapReduce任务素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.HDFS的操作方法2.MapReduce任务的运行和中断方法3.集群监控的查看方法教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容1~3企业兼职教师授课内容：课程单元4课程单元名称MapReduce编程入门课时数理论教学实践教学86学习目标知识目标1.掌握MapReduce的原理2.掌握MapReduce程序的编程逻辑能力目标1.能正确安装IntelliJIDEA开发环境，并创建MapReduce工程2.能按指定功能编程实现相应的MapReduce任务素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.IntelliJIDEA安装并配置MapReduce环境2.新建MapReduce工程3.MapReduce原理4.MapReduce编程逻辑5.编程实现按日期统计访问次数6.编程实现按访问次数排序教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学和实训。教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容1~6企业兼职教师授课内容：课程单元5课程单元名称MapReduce进阶编程课时数理论教学实践教学1612学习目标知识目标1.掌握MapReduce框架中的进阶应用，包括自定义键值对、Combiner、Partitioner等能力目标1.能熟练地根据功能需求编制MapReduce任务2.能熟练地使用自定义键值类型、合并组件、分区组件、自定义计数器等素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.MapReduce的输入格式2.MapReduce的输出格式3.筛选日志文件并生成序列化文件4.HadoopJavaAPI使用方法简介5.FileSystemAPI管理文件夹6.FileSystemAPI操作文件7.FileSystemAPI读写数据8.使用FileSystemAPI读写序列化日志文件9.自定义键/值类型10.使用自定义键/值类型实现序列化文件的处理11.Combiner（合并）组件的引入12.Combiner组件的作用13.编程实现Combiner组件14.Partitioner组件的作用及实现15.自定义计数器及其使用16.编程实现社交网站用户每天登录次数统计17.MapReduce项目启动参数的传递18.Hadoop辅助类ToolRunner的使用19.IntelliJIDEA打包并提交任务教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学和实训。教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容1~19企业兼职教师授课内容：课程单元6课程单元名称电影网站用户性别预测课时数理论教学实践教学1214学习目标知识目标1.了解KNN算法与案例需求，通过MapReduce实现数据预处理以及KNN算法能力目标1.能熟练使用MapReduce任务实现数据集的加载、变换、清洗、划分和相应模型的训练和评价素质目标1.具有一定的心理素质，勇于克服困难2.具有主动学习并不断进行创新的精神3.具有分工合作、团队协作能力4.具有一定的逻辑思考能力学习内容1.项目背景介绍2.KNN算法原理及实现步骤3.获取数据4.数据变换5.数据清洗6.划分数据集7.MapReduce编程实现电影网站KNN算法思路8.编程实现KNN算法9.评价分类结果准确性的方法和原理教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学和实训。教学条件要求1.课程标准2.授课计划3.授课教案4.教学案例学生已有基础Java程序设计基础、Linux操作系统基础、基础的逻辑和语言文字基础教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：企业兼职教师授课内容：学习内容1~9四、课程评价1.课程评价及方式说明学生的成绩评定以主要根据理论知识的掌握（为总结性考核，占50%）、考勤（占10%），课堂提问（占10%）、作业（占10%）、企业教师技能评定（占20%）等五方面构成。2.课程过程考核说明（1）知识的掌握以试卷形式考核，题型包括单选、多选、判断、简答、案例分析等；（2）考勤及课堂提问依据是平时学生的上课出状况、回答课堂提问的积极性及正确率；（3）作业是指每个教学单元中要求学生完成的作业。以完成的数量和质量给予成绩；（4）企业教师技能评定是指企业教师在授课过程中，根据学生掌握的技能情况或者在企业的实践情况评定。表1：考核标准序号考核项目考核内容成绩比例(%)1形成性考核考勤根据学生上课的出勤情况评分：旷课1次扣2分，旷课5次此项0分；迟到、早退2次各扣1分，课堂违纪被老师点名批评2次扣1分102课堂提问回答问题的积极性、准确性、深度103作业完成情况、质量，不交作业1次扣2分，5次不交不得分104总结性考核理论知识考核505企业教师技能考核现场提问、实际操作20合计100表2：总结性考核标准序号考核项目考核内容成绩比例(%)1Hadoop介绍Hadoop的生态系统、Hadoop的核心组件及其功能52Hadoop集群的搭建及配置Hadoop集群的搭建步骤以及相关配置文件103Hadoop集群的基础操作HDFS的基本操作方法154MapReduce编程入门MapReduce原理、MapReduce编程逻辑305MapReduce进阶编程MapReduce的输入/输出格式控制、HadoopJavaAPI使用、自定义键/值类型、Combiner（合并）组件、Partitioner组件、自定义计数器以及ToolRunner的使用306电影网站