《大数据技术实战案例教程》-教案

《大数据技术实战案例教程ISBN978-7-5606-6679-2》教案编写者：徐鲁辉教案首页（第1次课）（以2课时为单元）课序授课日期授课班次授课教师批准人1课程描述《大数据技术原理及应用》是计算机科学与技术、数据科学与大数据技术等专业的一门专业核心课程。该课程着重讲述大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、数据采集与迁移、大数据存储与管理、大数据处理与分析等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成，其先修课程包括Java语言程序设计、Python语言程序设计、Scala语言程序设计、Linux操作系统、数据库原理等，后续课程包括机器学习、Spark大数据开发技术、Flink大数据开发技术、数据可视化技术等。总学时理论教学实践教学周学时学分483216单4双23课程教学目标《大数据技术原理及应用》围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop、Spark、Flink等主流大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。知识目标：1.理解大数据处理平台Hadoop的生态系统和体系架构，熟练掌握在Linux环境下部署全分布模式Hadoop集群；2.理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握通过HDFSWebUI、HDFSShell、HDFSJavaAPI三大接口实现HDFS文件的操作和管理；3.理解分布式计算框架MapReduce的编程思想和作业执行流程，了解MapReduceWebUI和MapReduceShell接口，熟练掌握通过Java语言编写MapReduce程序，完成海量数据的离线分析；4.理解分布式协调框架ZooKeeper的工作原理和数据模型，熟练掌握在Linux环境下部署ZooKeeper集群、使用ZooKeeperShell服务端命令和客户端命令；5.理解Hive的体系架构和数据模型，熟练掌握在Linux环境下部署本地模式Hive，综合运用HiveQL语句进行海量结构化数据的离线分析；6.理解Flume的体系架构，熟练掌握在Linux环境下部署Flume，灵活编写Agent属性文件和使用FlumeShell命令进行实时日志收集；7.理解Kafka的体系架构，熟练掌握在Linux环境下部署Kafka集群，使用KafkaShell命令完成分布式消息的发布和订阅；8.理解Spark的生态系统、运行架构，理解RDD设计思想，掌握RDD创建和操作，熟练掌握在Linux环境下部署Spark集群，使用Python、Java或Scala进行RDD编程、SparkStreaming编程，实现海量数据的离线处理和实时处理；9.理解Flink的技术栈、运行架构、编程模型和应用程序结构，熟练掌握在Linux环境下部署FlinkStandalone集群，使用Python、Java或Scala语言进行DataSetAPI编程、DataStreamAPI编程，实现海量数据的批处理和流计算。能力目标：培养学生学以致用，能够综合利用Hadoop、Spark、Flink等大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能力。情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。课题第1讲开学第一课&Hadoop生态系统和体系架构授课教材参考资料教材：徐鲁辉.大数据技术实战案例教程[M].西安:西安电子科技大学出版社,2022.参考资料：[1]徐鲁辉.Hadoop大数据原理与应用[M].西安:西安电子科技大学出版社,2020.[2]徐鲁辉.Hadoop大数据原理与应用实验教程[M].西安:西安电子科技大学出版社,2020.[3]林子雨.大数据技术原理与应用（第3版）[M].北京:人民邮电出版社,2021.[4]维克托·迈尔-舍恩伯格,肯尼思·库克耶.盛杨燕等译.大数据时代:生活、工作与思维的大变革[M].杭州:浙江人民出版社,2013.[5]TomWhite.Hadoop:TheDefinitiveGuide(4thEdition)[M].O’ReillyMedia,April2015.[6]TomWhite,著.王海,译.Hadoop权威指南（第4版）[M].北京:清华大学出版社,2017.[7]BillChambers,MateiZaharia.Spark:TheDefinitiveGuide[M].O’ReillyMedia,February2018.[8]BillChambers,MateiZaharia,著.张岩峰,译.Spark权威指南[M].北京:中国电力出版社,2020.[9]EdwardCapriolo,DeanWampler,JasonRutherglen.ProgrammingHive[M].O’ReillyMedia,September2012.[10]EdwardCapriolo,DeanWampler,JasonRutherglen,著.曹坤,译.Hive编程指南[M].北京:人民邮电出版社,2013.[11]杨俊.实战大数据（Hadoop+Spark+Flink）——从平台构建到交互式数据分析（离线/实时）[M].北京:机械工业出版社,2022.[12]蔡斌.Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与实现原理[M].北京:机械工业出版社,2013.[13]董西成.Hadoop技术内幕：深入解析MapReduce架构设计与实现原理[M].北京:机械工业出版社,2013.[14]倪超.从Paxos到ZooKeeper：分布式一致性原理与实践[M].北京:电子工业出版社,2015.[15]ApacheHadoop[EB/OL]./.[16]ApacheZooKeeper[EB/OL]./releases.html[17]ApacheHive[EB/OL]./[18]ApacheFlume[EB/OL]./[19]ApacheKafka[EB/OL]./[20]ApacheSpark[EB/OL]./[21]ApacheFlink[EB/OL]./其它教学资源学堂云：大数据技术原理及应用目的要求开学第一课1.明确该课程的教学目标。2.明确该课程的教学进度、教材、参考资料、上机软件。3.明确该课程的考核方式。4.熟悉学堂云、雨课堂的使用方法。第1章部署全分布模式Hadoop集群1.了解Hadoop功能、起源和版本。2.理解Hadoop生态系统组成及各组件作用。（重点）3.理解Hadoop体系架构。（重点）教学内容开学第一课1.自我介绍。2.课程地位、先修及后续课程。3.教学目标及知识图谱。4.课时分配（理论+实验）及进度、教材、参考资料、上机软件。5.考核方式：平时+实验+期末。6.学堂云、雨课堂的使用方法。第1章部署全分布模式Hadoop集群1.1初识Hadoop1.2Hadoop生态系统（重点）1.3Hadoop体系架构（重点）重点难点重点：Hadoop生态系统，Hadoop体系架构。难点：无。教学方法手段讲授法，讨论法，任务驱动法教学步骤开学第一课1.进行自我介绍。2.进行头脑风暴，提问问题，引入为何学习此课程。3.阐述课程地位、先修及后续课程。4.明确该课程教学目标，了解该课程知识思维导图。5.介绍该课程的课时分配及进度、教材、参考资料、上机软件。6.公布考核方式：平时考核30%（在线考勤、课堂表现、作业、在线测试）+实验考核20%（实验态度、实验报告）+期末考核（机试）。7.介绍学堂云、雨课堂的使用方法。8.完成在线测试，对先修课程的知识和技能进行综合测试。第1章部署全分布模式Hadoop集群1.提问问题引入“Hadoop”。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.当今IT界的热门技术有哪些？2.你平时用的哪些应用使用到了大数据技术？作业1.预习作业预习“Hadoop部署要点”。2.思考题（1）根据自己的专业领域和研究兴趣，调研大数据技术在自己所属领域中的应用现状。（2）调查分析大数据从业人员常用方法、技术与工具。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算)）10701532

教案首页（第2次课）（以2课时为单元）课序授课日期授课班次授课教师批准人2课题第2讲Hadoop部署要点目的要求1.掌握Hadoop部署要点，包括运行环境、运行模式和主要配置文件（hadoop-env.sh、yarn-env.sh、mapred-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves）等。（重点）2.初步了解在Linux下部署全分布模式Hadoop过程：规划集群、准备机器及软件环境、安装和配置Hadoop集群、关闭防火墙、格式化文件系统、启动和验证Hadoop、关闭Hadoop。教学内容第1章部署全分布模式Hadoop集群1.4Hadoop部署要点（重点）1.4.1Hadoop运行环境1.4.2Hadoop运行模式1.4.3Hadoop配置文件1.5综合实战：部署全分布模式Hadoop集群（引入）重点难点重点：Hadoop部署要点。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Hadoop是什么？能干什么？2.Hadoop生态系统。3.Hadoop体系架构。作业1.章节测试完成线上测试“章节测试1-部署全分布模式Hadoop集群”。2.思考题（1）准备Hadoop系统环境时，安装SSH是必须的，但是配置SSH免密登录并不是必须的，试述为何还要配置SSH免密登录。（2）配置Hadoop是部署Hadoop过程中较为繁琐的步骤，试述配置Hadoop伪分布模式和全分布式模式的异同。预习内容预习线上资源“实验指导书-实验1部署全分布模式Hadoop集群”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532实验教学教案首页（第3次课）（以2课时为单元）课序：3实验日期：实验教师：****批准人：****一、实验名称实验1部署全分布模式Hadoop集群二、实验目的﹑要求1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。4.理解为何需要配置SSH免密登录，掌握Linux环境下SSH的安装、免密登录的配置。5.熟练掌握在Linux环境下部署全分布模式Hadoop集群。三、实验重点﹑难点重点：配置全分布模式Hadoop集群。难点：配置SSH免密登录。四、实验器材﹑设备本实验所需的软硬件环境包括PC、VMwareWorkstationPro、CentOS安装包、OracleJDK安装包、Hadoop安装包。教学设计：一、复习提问，回顾部署和运行Hadoop的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划部署。2.准备机器。3.准备软件环境：配置静态IP；修改主机名；编辑域名映射；安装和配置Java；安装和配置SSH免密登录。4.获取和安装Hadoop。5.配置全分布模式Hadoop集群。6.关闭防火墙。7.格式化文件系统。8.启动和验证Hadoop。9.关闭Hadoop。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“HDFS体系架构和文件存储原理”。

教案首页（第4次课）（以2课时为单元）课序授课日期授课班次授课教师批准人4课题第3讲HDFS体系架构和文件存储原理目的要求1.了解HDFS功能、来源和特点。2.理解HDFS体系架构及NameNode和DataNode作用。（重点）3.理解HDFS文件存储原理，包括数据块、副本策略、数据读取过程、数据写入过程。（重点）教学内容第2章HDFS实战2.1初识HDFS2.2HDFS体系架构（重点）2.3HDFS文件存储原理（重点）2.3.1数据块Block2.3.2副本存放策略2.3.3数据读取2.3.4数据写入重点难点重点：HDFS体系架构，HDFS文件存储原理。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试1和实验1，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Hadoop是什么？能干什么？2.Hadoop生态系统。3.Hadoop体系架构。4.全分布模式Hadoop集群部署过程。作业无预习内容预习“HDFS接口和高可靠机制”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第5次课）（以2课时为单元）课序授课日期授课班次授课教师批准人5课题第4讲HDFS接口和高可靠机制目的要求1.熟练掌握通过HDFSWebUI、HDFSShell、HDFSJavaAPI三大接口实现HDFS文件的操作和管理。（重点，难点）2.了解HDFS高可靠机制。教学内容第2章HDFS实战2.4HDFS接口2.4.1HDFSWebUI（重点）2.4.2HDFSShell（重点）2.4.3HDFSJavaAPI（重点，难点）2.5HDFS高可靠性机制2.5.1HDFSNameNodeHA高可用机制2.5.2HDFSNameNodeFederation联邦机制2.6综合实战：HDFS实战（引入）重点难点重点：HDFSWebUI界面使用，HDFSShell命令使用，HDFSJavaAPI编程。难点：HDFSJavaAPI编程。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.HDFS体系架构。2.HDFS文件存储原理。作业1.章节测试完成线上测试“章节测试2-实战HDFS”。2.思考题（1）简述HDFS元数据的更新和备份过程CheckPoint。（2）简述备份节点和SecondaryNameNode的区别是什么？预习内容预习线上资源“实验指导书-实验2HDFS实战”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第6次课）（以2课时为单元）课序：6实验日期：实验教师：****批准人：****一、实验名称实验2HDFS实战二、实验目的﹑要求1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用。5.熟练掌握HDFS项目开发环境的搭建。6.掌握使用HDFSJavaAPI编写HDFS文件操作程序。三、实验重点﹑难点重点：HDFSWebUI界面的使用，HDFSShell常用命令的使用，HDFSJavaAPI编程。难点：HDFSJavaAPI编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse安装包。教学设计：一、复习提问，回顾HDFSWebUI、HDFSShell、HDFSJavaAPI的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.查看HDFSWebUI界面。3.练习HDFSShell文件系统命令和系统管理命令。4.在Hadoop集群主节点上搭建HDFS开发环境Eclipse。5.创建Java项目HDFSExample，在其下建立新包com.xijing.hdfs，使用HDFSJavaAPI编写HDFS文件操作程序，实现上传本地文件到HDFS的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。6.使用HDFSJavaAPI编写HDFS文件操作程序，实现查看上传文件在HDFS集群中位置的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。7.关闭全分布模式Hadoop集群。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“MapReduce作业执行流程和入门案例剖析”。

教案首页（第7次课）（以2课时为单元）课序授课日期授课班次授课教师批准人7课题第5讲MapReduce作业执行流程和入门案例剖析目的要求1.了解MapReduce功能、来源、设计思想。2.理解MapReduce作业执行流程。（重点，难点）3.熟练掌握MapReduce示例程序词频统计WordCount的执行流程及代码编写。（重点，难点）教学内容第3章MapReduce编程3.1初识MapReduce3.2MapReduce作业执行流程（重点，难点）3.3MapReduce入门案例WordCount剖析（重点，难点）3.3.1TokenizerMapper类3.3.2IntSumReducer类3.3.3main()函数3.3.4向Hadoop集群提交并运行WordCount重点难点重点：MapReduce作业执行流程，MapReduce入门案例WordCount剖析。难点：MapReduce作业执行流程，MapReduce入门案例WordCount剖析。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试2和实验2，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.HDFS是什么？能干什么？2.HDFS体系架构。3.HDFS文件存储原理。4.HDFSWebUI和HDFSShell使用，HDFSJavaAPI编程。作业无预习内容预习“MapReduce数据类型和编程”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第8次课）（以2课时为单元）课序授课日期授课班次授课教师批准人8课题第6讲MapReduce数据类型和编程目的要求1.掌握MapReduce数据类型，了解可序列化和反序列化。2.了解MapReduceWebUI和MapReduceShell接口，掌握MapReduceJavaAPI编程接口（重点，难点）。教学内容第3章MapReduce编程3.4MapReduce数据类型3.5MapReduce接口3.5.1MapReduceWebUI3.5.2MapReduceShell3.5.3MapReduceJavaAPI（重点，难点）3.6综合实战：MapReduce编程（引入）重点难点重点：MapReduceJavaAPI编程。难点：MapReduceJavaAPI编程。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.MapReduce是什么？能干什么？2.MapReduce作业执行流程。3.MapReduce入门案例WordCount。作业1.章节测试完成线上测试“章节测试3-MapReduce编程”。2.思考题（1）试述在MapReduce运行的整个阶段中，哪些阶段可以实现自定义设计？请描述这些自定义设计如何具体的实现。（2）本章使用MapReduce对单词进行了统计。单词本身属于“字符串”，但如果要统计的对象不是字符串，而是对象，该如何使用MapReduce进行统计?预习内容预习线上资源“实验指导书-实验3MapReduce编程”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第9次课）（以2课时为单元）课序：9实验日期：实验教师：****批准人：****一、实验名称实验3MapReduce编程二、实验目的﹑要求1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI进行MapReduce基本编程，熟练掌握如何在Hadoop集群上运行MR-App并查看运行结果。4.熟练掌握MapReduceWebUI界面的使用。5.掌握MapReduceShell常用命令的使用。三、实验重点﹑难点重点：MapReduce编程。难点：MapReduce编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse。教学设计：一、复习提问，回顾MapReduceWebUI、MapReduceShell、MapReduce编程的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.在Eclipse下创建Java项目MapReduceExample，在其下建立新包com.xijing.mapreduce，编写MapReduce程序，已知某个超市的结算记录，从左往右各字段的含义依次是会员编号、结算时间、消费金额和用户身份，要求计算出会员和非会员的平均消费金额。最后打包成JAR形式并在Hadoop集群上运行该MR-App，查看运行结果。3.分别在自编MapReduce程序运行过程中和运行结束后练习MapReduceShell常用命令。4.分别在自编MapReduce程序运行过程中和运行结束后查看MapReduceWebUI界面。5.关闭Hadoop集群。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“ZooKeeper工作原理和数据模型”。

教案首页（第10次课）（以2课时为单元）课序授课日期授课班次授课教师批准人10课题第7讲ZooKeeper工作原理和数据模型目的要求1.了解ZooKeeper功能、起源和应用场景。2.理解ZooKeeper体系架构和工作原理。（重点，难点）3.理解ZooKeeper数据模型。（重点）教学内容第4章部署ZooKeeper集群和ZooKeeper实战4.1初识ZooKeeper4.2ZooKeeper工作原理（重点，难点）4.3ZooKeeper数据模型（重点）重点难点重点：ZooKeeper工作原理，ZooKeeper数据模型。难点：ZooKeeper工作原理之选举算法。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试3和实验3，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.MapReduce是什么？能干什么？2.MapReduce作业执行流程。3.MapReduce入门案例WordCount。4.MapReduce数据类型。5.MapReduce编程要点。作业无预习内容预习“ZooKeeper部署要点和接口”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第11次课）（以2课时为单元）课序授课日期授课班次授课教师批准人11课题第8讲ZooKeeper部署要点和接口目的要求1.掌握ZooKeeper部署要点，包括运行环境、运行模式和配置文件zoo.cfg、myid等。（重点）2.掌握ZooKeeperShell命令（重点），了解ZooKeeper四字命令和ZooKeeperJavaAPI。教学内容第4章部署ZooKeeper集群和ZooKeeper实战4.4ZooKeeper部署要点（重点）4.4.1ZooKeeper运行环境4.4.2ZooKeeper运行模式4.4.3ZooKeeper配置文件4.5ZooKeeper接口4.5.1ZooKeeper四字命令4.5.2ZooKeeperShell（重点）4.5.3ZooKeeperJavaAPI4.6综合实战：部署ZooKeeper集群和ZooKeeper实战（引入）重点难点重点：ZooKeeper部署要点，ZooKeeperShell。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.ZooKeeper是什么？能干什么？2.ZooKeeper工作原理。3.ZooKeeper数据模型。作业1.章节测试完成线上测试“章节测试4-部署ZooKeeper集群和ZooKeeper实战”。2.思考题尝试实践借助ZooKeeper实现HDFSNameNodeHA。预习内容预习线上资源“实验指导书-实验4部署ZooKeeper集群和ZooKeeper实战”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第12次课）（以2课时为单元）课序：12实验日期：实验教师：****批准人：****一、实验名称实验4部署ZooKeeper集群和ZooKeeper实战二、实验目的﹑要求1.理解ZooKeeper的系统模型，包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解ZooKeeper的工作原理，包括集群架构、Leader选举机制。3.熟练掌握ZooKeeper集群的部署和运行。4.掌握ZooKeeper四字命令的使用。5.熟练掌握ZooKeeperShell常用命令的使用。6.了解ZooKeeperJavaAPI，能看懂简单的ZooKeeper编程。三、实验重点﹑难点重点：ZooKeeper集群部署，ZooKeeperShell命令使用。难点：无。四、实验器材﹑设备本实验所需的软件环境包括Linux集群（至少3台机器）、Java环境、ZooKeeper安装包、Eclipse。教学设计：一、复习提问，回顾ZooKeeper集群部署、ZooKeeperShell命令使用的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划ZooKeeper集群。2.部署ZooKeeper集群。3.启动ZooKeeper集群。4.验证ZooKeeper集群。5.使用ZooKeeperShell客户端命令。6.关闭ZooKeeper集群。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“Hive体系架构、数据模型和函数”。

教案首页（第13次课）（以2课时为单元）课序授课日期授课班次授课教师批准人13课题第9讲Hive体系架构、数据模型和函数目的要求1.了解Hive功能、来源和优缺。2.理解Hive体系架构及各个组件功能。（重点）3.掌握Hive数据类型，包括基本数据类型和集合数据类型。4.理解Hive数据模型，包括表、分区和分桶。（重点）5.掌握Hive函数，主要为内置函数。（重点，难点）教学内容第5章部署本地模式Hive和Hive实战5.1初识Hive5.2Hive体系架构（重点）5.3Hive数据类型5.4Hive数据模型（重点）5.5Hive函数（重点，难点）重点难点重点：Hive体系架构，Hive数据模型，Hive函数。难点：Hive函数综合运用。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试4和实验4，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.ZooKeeper是什么？能干什么？2.ZooKeeper工作原理。3.ZooKeeper数据模型。4.ZooKeeper部署要点。5.ZooKeeperShell。作业无预习内容预习“Hive部署要点和接口”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第14次课）（以2课时为单元）课序授课日期授课班次授课教师批准人14课题第10讲Hive部署要点和接口目的要求1.理解Hive部署要点，包括运行环境、运行模式和配置文件hive-site.xml、hive-env.sh等。（重点）2.掌握HiveQL中的DDL、DML、select语句（重点，难点），了解接口HWI和HiveAPI。教学内容第5章部署本地模式Hive和Hive实战5.6Hive部署要点（重点）5.6.1Hive运行环境5.6.2Hive部署模式5.6.3Hive配置文件5.7Hive接口5.7.1HiveShell（重点，难点）5.7.2HiveWebInterface（HWI）5.7.3HiveAPI5.8综合实战：部署本地模式Hive和Hive实战（引入）重点难点重点：Hive部署要点，HiveQL语句。难点：HiveQL语句综合运用。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Hive是什么？能干什么？2.Hive体系架构。3.Hive数据模型。4.Hive函数。作业1.章节测试完成线上测试“章节测试5-部署本地模式Hive和Hive实战”。2.思考题（1）Hive的元数据有哪几种存储方式？分别适用于什么应用场景。（2）Hive分区、分桶的含义。预习内容预习线上资源“实验指导书-实验5部署本地模式Hive和Hive实战”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第15次课）（以2课时为单元）课序：15实验日期：实验教师：****批准人：****一、实验名称实验5部署本地模式Hive和Hive实战二、实验目的﹑要求1.理解Hive工作原理。2.理解Hive体系架构。3.熟悉Hive运行模式，熟练掌握本地模式Hive的部署。4.了解HiveWebUI的配置和使用。5.熟练掌握HiveQL语句的使用。6.了解HiveJavaAPI，能编写简单的Hive程序。三、实验重点﹑难点重点：Hive部署，HiveQL语句使用。难点：HiveQL语句使用。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、MySQL安装包、MySQLJDBC驱动包、Hive安装包、Eclipse。教学设计：一、复习提问，回顾Hive部署、HiveQL语句使用的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划Hive。2.在Linux下安装和配置MySQL，部署本地模式Hive。3.验证Hive。4.使用HiveQL语句完成海量结构化数据的离线分析。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“Flume体系架构和部署要点”。

教案首页（第16次课）（以2课时为单元）课序授课日期授课班次授课教师批准人16课题第11讲Flume体系架构和部署要点目的要求1.了解Flume功能、来源、特点和版本。2.理解Flume体系架构及Source、Sink、Channel功能。（重点）3.理解Flume部署要点包括运行环境、运行模式、配置文件flume-env.sh。（重点）教学内容第6章Flume实战6.1初识Flume6.2Flume体系架构（重点）6.3Flume部署要点（重点）6.3.1Flume运行环境6.3.2Flume运行模式6.3.3Flume配置文件重点难点重点：Flume体系架构，Flume部署要点。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试5和实验5，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Hive是什么？能干什么？2.Hive体系架构。3.Hive数据模型。4.Hive函数。5.Hive部署要点。6.HiveQL语句。作业无预习内容预习“FlumeShell常用命令”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第17次课）（以2课时为单元）课序授课日期授课班次授课教师批准人17课题第12讲FlumeShell常用命令目的要求掌握FlumeShell命令的使用。（重点，难点）教学内容第6章Flume实战6.4FlumeShell常用命令（重点，难点）6.5综合实战：Flume实战（引入）重点难点重点：FlumeShell常用命令。难点：FlumeShell常用命令综合运用。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Flume是什么？能干什么？2.Flume体系架构。3.Flume部署要点。作业1.章节测试完成线上测试“章节测试6-Flume实战”。2.思考题Flume的部署类型包括单一流程、多代理流程、流的合并、多路复用流，参考官网尝试实践各种类型的配置。预习内容预习线上资源“实验指导书-实验6Flume实战”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第18次课）（以2课时为单元）课序：18实验日期：实验教师：****批准人：****一、实验名称实验6Flume实战二、实验目的﹑要求1.理解Flume体系架构及Source、Sink、Channel功能。2.理解Flume部署要点包括运行环境、运行模式、配置文件flume-env.sh。3.熟练掌握在Linux环境下部署Flume，灵活编写Agent属性文件和使用FlumeShell命令进行实时日志收集。三、实验重点﹑难点重点：Flume部署，FlumeShell命令使用。难点：灵活编写Agent属性文件和使用FlumeShell命令进行实时日志收集。四、实验器材﹑设备本实验所需的软件环境Linux操作系统、Java环境、Flume安装包。教学设计：一、复习提问，回顾Flume部署、FlumeShell命令使用的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划Flume。2.安装和配置Flume。3.验证Flume。4.编写Agent属性文件，并使用FlumeShell命令进行实时日志收集。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“Kafka体系架构和部署要点”。

教案首页（第19次课）（以2课时为单元）课序授课日期授课班次授课教师批准人19课题第13讲Kafka体系架构和部署要点目的要求1.了解Kafka功能、来源和特点。2.理解Kafka体系架构及Broker、Producer和Customer三种角色功能。（重点）3.理解Kafka部署要点包括运行环境、运行模式、配置文件perties。（重点）教学内容第7章Kafka实战7.1初识Kafka7.2Kafka体系架构（重点）7.3Kafka部署要点（重点）7.3.1Kafka运行环境7.3.2Kafka运行模式7.3.3Kafka配置文件重点难点重点：Kafka体系架构，Kafka部署要点。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试6和实验6，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Flume是什么？能干什么？2.Flume体系架构。3.Flume部署要点。4.FlumeShell常用命令。作业无预习内容预习“KafkaShell常用命令”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第20次课）（以2课时为单元）课序授课日期授课班次授课教师批准人20课题第14讲KafkaShell常用命令目的要求掌握KafkaShell命令的使用。（重点）教学内容第7章Kafka实战7.4KafkaShell常用命令（重点）7.5综合实战：Kafka实战（引入）重点难点重点：KafkaShell常用命令。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Kafka是什么？能干什么？2.Kafka体系架构。3.Kafka部署要点。作业1.章节测试完成线上测试“章节测试7-Kafka实战”。2.思考题在Kafka在0.8以前的版本中，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及DeliveryGuarantee的设计目标相悖。随着集群规模的增加，整个集群中出现该类异常的几率大大增加，因此在实际生产系统中，如何解决这种问题？预习内容预习线上资源“实验指导书-实验7Kafka实战”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第21次课）（以2课时为单元）课序：21实验日期：实验教师：****批准人：****一、实验名称实验7Kafka实战二、实验目的﹑要求1.理解Kafka体系架构及Broker、Producer和Customer三种角色功能。2.理解Kafka部署要点包括运行环境、运行模式、配置文件perties。3.熟练掌握在Linux环境下部署Kafka集群，使用KafkaShell命令完成分布式消息的发布和订阅。三、实验重点﹑难点重点：Kafka集群部署，KafkaShell命令使用。难点：无。四、实验器材﹑设备本实验所需的软件环境包括Linux集群（至少3台机器）、Java环境、ZooKeeper集群、Kafka安装包。教学设计：一、复习提问，回顾Kafka集群部署、KafkaShell命令使用的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划Kafka集群。2.部署Kafka集群。3.启动Kafka集群。4.验证Kafka集群。5.使用KafkaShell命令完成分布式消息的发布和订阅。。6.关闭Kafka集群。三、布置课后作业1.完成本次实验《实验报告》，并于本周日前上传至平台。2.预习“Spark生态系统和RDD操作”。

教案首页（第22次课）（以2课时为单元）课序授课日期授课班次授课教师批准人22课题第15讲Spark生态系统和RDD操作目的要求1.了解Spark功能、来源和优势。2.理解Spark生态系统组成及各组件功能。（重点）3.理解Spark运行架构。（重点）4.理解RDD的设计思想，掌握RDD的创建和操作。（重点，难点）教学内容第8章Spark集群部署和基本编程8.1初识Spark8.1.1Spark简介8.1.2Spark对比HadoopMapReduce8.2Spark生态系统（重点）8.3Spark运行架构（重点）8.4RDD的设计与操作（重点，难点）8.4.1RDD简介8.4.2RDD数据存储模型8.4.3RDD创建8.4.4RDD操作重点难点重点：Spark生态系统，Spark运行架构，RDD的设计与操作。难点：RDD操作（RDD编程）。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，讲评章节测试7和实验7，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Kafka是什么？能干什么？2.Kafka体系架构。3.Kafka部署要点。4.KafkaShell常用命令。作业无预习内容预习“Spark部署要点和接口”教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第23次课）（以2课时为单元）课序授课日期授课班次授课教师批准人23课题第16讲Spark部署要点和接口目的要求1.理解Spark部署要点包括运行环境、运行模式、配置文件spark-env.sh。（重点）2.了解Spark接口，掌握SparkShell命令中交互式编程pyspark、运行独立应用程序spark-submit使用方法（重点），初步掌握SparkRDD编程、SparkStreaming编程（重点，难点）。教学内容第8章Spark集群部署和基本编程8.5Spark部署要点（重点）8.5.1Spark运行环境8.5.2Spark运行模式8.5.3Spark配置文件8.6Spark接口8.6.1SparkWebUI8.6.2SparkShell（重点）8.6.3SparkAPI（重点，难点）8.6.4其它接口8.7综合实战：Spark集群部署和基本编程（引入）重点难点重点：Spark部署要点，SparkShell，SparkRDD编程，SparkStreaming编程。难点：SparkRDD编程，SparkStreaming编程。教学方法手段讲授法，讨论法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.Spark是什么？能干什么？2.Spark生态系统。3.Spark运行架构。4.RDD的设计与操作。作业1.章节测试完成线上测试“章节测试8-Spark集群部署和基本编程”。2.思考题针对23412条1965-2016全球重大地震数据，采用Python为编程语言，采用HDFS存储数据，通过SparkSQL编程完成对数据的处理分析。预习内容预习线上资源“实验指导书-实验8Spark集群部署和基本编程”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第24次课）（以2课时为单元）课序：24实验日期：实验教师：****批准人：****一、实验名称实验8Spark集群部署和基本编程二、实验目的﹑要求1.理解Spark运行架构。2.理解RDD的设计思想，掌握RDD的创建和操作。3.理解Spark部署要点包括运行环境、运行模式、配置文件spark-env.sh。4.熟练掌握在Linux环境下部署Spark集群，掌握交互式编程pyspark、运行独立应用程序spark-submit的使用方法，使用Python、Java或Scala进行RDD编程、SparkStreaming编程，实现海量数据的离线处理和实时处理。三、实验重点﹑难点重点：Spark集群部署，SparkShell命令使用，RDD编程，SparkStreaming编程。难点：RDD编程，SparkStreaming编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Python安装包、Spark安装包。教学设计：一、复习提问，回顾Spark集群部署、SparkShell命令使用、RDD操作等关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。1.规划Spark集群。2.部署Spark集群。3.启动Spark集群。4.验证Spark集群。5.使用SparkShell命令“pyspark”进行交互式编程，使用Python语言编写代码，实现对HDFS文件的英文词频统计，并按词频降序排序，最后输出结果，要求通过终端和SparkWebUI观察该应用程序的运行过程。6.使用Python语言编写SparkStreaming独立应用程序，将Flume作为SparkStreaming输入源，实现对Flume消息的实时词频统计。要求从终端上不断给FlumeSource（netcat类型）发送各种消息，Flume把消息汇集到Sink（avro类型），由Sink把消息推送给SparkStreaming。7.关闭Spark集群。三、布置课后作业完成本次实验《实验报告》，并于本周日前上传至平台。

教案首页（第*次课，选修内容）（以2课时为单元）课序授课日期授课班次授课教师批准人课题第*讲Flink技术栈和编程模型目的要求1.了解Flink功能、来源和优势。2.理解Flink技术栈组成及各组件功能。（重点）3.理解Flink运行架构。（重点）4.理解Flink编程模型，掌握常用的DataStreamAPI和DataSetAPI。（重点，难点）5.理解Flink应用程序结构，批处理、流计算应用程序的编写步骤。（重点）教学内容第9章Flink集群部署和基本编程9.1初识Flink9.2Flink技术栈9.3Flink运行架构9.4Flink编程模型9.4.1DataStreamAPI9.4.2DataSetAPI9.5Flink应用程序编写步骤9.5.1Fl