Hadoop大数据开发基础（第3版）（微课版）-教学大纲

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台《Hadoop大数据开发基础（第3版）（微课版）》教学大纲课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分课程的性质随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop分布式集群系统架构，具有高可用性、高容错性和高扩展性等优点，由于它提供了一个开放式的平台，用户可以在不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过多年的发展，目前Hadoop生态系统已经成长为一个全栈式的大数据技术生态圈，包括了Hive、HBase、Spark等一系列组件，成为应用最广泛、最具有代表性的大数据技术之一。因此，学习Hadoop相关技术是从事大数据行业工作所必不可少的一步。为了满足企业的大数据人才需求，帮助学者掌握相关技术知识解决实际的业务需求，特开设Hadoop大数据开发基础课程。课程的任务通过本课程的学习，使学生掌握Hadoop、Hive和HBase集群的安装配置，能够根据具体需求编写MapReduce程序解决实际业务问题，使用Hive、HBase进行数据存储、查询与分析，同时在各项目章节的学习过程中详细拆解并学习电影网站用户影评分析案例，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。课程学时分配序号教学内容理论学时实验学时其它1项目1分析电影网站用户影评需求及环境搭建462项目2存储电影网站用户影评分析数据333项目3统计电影网站用户影评数据554项目4多维度分析电影网站用户影评695项目5基于Hive实现电影网站用户影评分析566项目6基于HBase实现存储电影网站用户影评分析结果57总计2836教学内容及学时安排理论教学序号章节名称主要内容教学目标学时1分析电影网站用户影评需求及环境搭建什么是Hadoop了解Hadoop的特点了解Hadoop核心组件了解Hadoop生态系统了解Hadoop应用场景创建Linux虚拟机设置固定IP地址远程连接虚拟机配置本地YUM源及安装常用软件在Linux下安装Java修改配置文件克隆虚拟机配置SSH免密码登录配置时间同步服务启动和关闭Hadoop集群监控Hadoop集群了解电影网站用户影评数据字段分析影评统计需求了解Hadoop框架及其特点了解Hadoop核心组件了解Hadoop生态系统了解Hadoop应用场景掌握虚拟机的安装及配置方法掌握Linux中JDK的安装方法掌握Hadoop完全分布式集群环境的搭建过程掌握Hadoop集群的监控方法42存储电影网站用户影评分析数据了解Hadoop安全模式查看、解除和开启Hadoop安全模式查询集群的存储系统信息查询集群的计算资源信息了解HDFSHDFS的基本操作了解Hadoop官方的示例程序包提交MapReduce任务给集群运行查询MapReduce任务中断MapReduce任务上传用户影评数据至HDFS了解Hadoop安全模式掌握查看、解除与开启Hadoop安全模式的操作方法掌握查看Hadoop集群的存储系统信息和计算资源信息的方法了解HDFS掌握HDFS的基本操作掌握提交MapReduce任务的基本操作掌握多个MapReduce任务的管理方法33统计电影网站用户影评数据在Windows下安装Java下载、安装并启动IntelliJIDEA创建MapReduce工程配置MapReduce环境了解MapReduce实现词频统计的执行流程读懂官方提供的WordCount源码分析思路与处理逻辑编写核心模块代码打包程序并提交MapReduce任务给集群运行创建并配置工程项目统计所有电影的评分次数统计不同性别的用户对电影的评分掌握在Windows下安装Java和IntelliJIDEA的方法掌握在IntelliJIDEA中创建MapReduce工程和配置MapReduce环境的方法熟悉MapReduce的工作原理及执行流程了解Hadoop官方示例中的WordCount源码了解MapReduce编程的基本思路熟悉map()方法与reduce()方法的处理逻辑掌握编写基础的MapReduce程序处理简单任务的方法54多维度分析电影网站用户影评设置MapReduce输入格式设置MapReduce输出格式筛选日志文件并生成序列化文件使用FileSystemAPI管理文件夹使用FileSystemAPI操作文件使用FileSystemAPI读/写数据使用HadoopJavaAPI读取序列化文件自定义键值类型初步探索Combiner浅析Partitioner自定义计数器传递参数使用Hadoop辅助类ToolRunner自动打包并提交MapReduce程序统计评分次数最多的10部电影并分析统计不同性别的用户评分最高的10部电影并分析计算指定电影的各年龄段用户的平均评分并分析统计影评库中各种电影类型中评分最高的5部电影并分析掌握MapReduce输入和输出格式的设置方法掌握HadoopJavaAPI的使用方法掌握自定义键值类型的方法了解Combiner的工作原理掌握Combiner、Partitioner和自定义计数器的使用方法熟悉MapReduce参数传递流程掌握使用IntelliJIDEA自动打包并提交MapReduce程序的方法65基于Hive实现电影网站用户影评分析什么是Hive了解Hive与传统数据库的对比了解Hive系统架构了解Hive数据模型了解Hive执行流程设置内嵌模式设置直连数据库模式设置远程模式了解Hive数据定义语言的基本语法创建表的基本操作修改表的基本操作了解Hive数据操作语言的基本语法向数据表中装载文件查询数据插入数据删除数据创建电影用户影评数据表分析电影用户影评数据表了解Hive的概念及Hive与传统数据库的对比了解Hive系统架构、数据模型和执行流程熟悉3种Hive的安装模式及相关配置过程掌握Hive中数据库与表的创建、修改方法掌握Hive表中数据增删查改的操作方法56基于HBase实现存储电影网站用户影评分析结果什么是HBase了解HBase系统架构了解HBase数据模型了解HBase读/写流程了解并安装ZooKeeper安装及配置HBase集群修改与删除表查询表数据创建Java项目实现表的创建向表中插入数据存储评分次数最多的10部电影的数据存储电影ID为2858的电影各年龄段用户的平均评分的数据存储影评库中各种类型电影中评分最高的5部电影的数据了解分布式数据库HBase熟悉HBase的系统架构、数据模型和读/写流程了解ZooKeeper的概念、集群角色及选举机制掌握ZooKeeper的安装和部署方法掌握HBase的安装和部署方法掌握HBase常用的Shell命令掌握HBaseJavaAPI的使用方法5学时合计28实验教学序号实验项目名称实验要求学时1安装及配置虚拟机创建Linux虚拟机设置固定IP地址远程连接虚拟机配置本地YUM源及安装常用软件32搭建Hadoop完全分布式集群在Linux下安装Java修改配置文件克隆虚拟机配置SSH免密码登录配置时间同步服务启动和关闭Hadoop集群监控Hadoop集群33Hadoop基础操作查看、解除和开启Hadoop安全模式查询集群的存储系统信息查询集群的计算资源信息HDFS的基本操作提交MapReduce任务给集群运行查询MapReduce任务中断MapReduce任务上传用户影评数据至HDFS34MapReduce入门编程在Windows下安装Java下载、安装并启动IntelliJIDEA创建MapReduce工程配置MapReduce环境编写核心模块代码打包程序并提交MapReduce任务给集群运行35统计电影网站用户影评数据创建并配置工程项目统计所有电影的评分次数统计不同性别的用户对电影的评分26MapReduce进阶编程筛选日志文件并生成序列化文件使用FileSystemAPI管理文件夹使用FileSystemAPI操作文件使用FileSystemAPI读/写数据使用HadoopJavaAPI读取序列化文件自定义键值类型初步探索Combiner浅析Partitioner自定义计数器传递参数使用Hadoop辅助类ToolRunner自动打包并提交MapReduce程序67多维度分析电影网站用户影评统计评分次数最多的10部电影并分析统计不同性别的用户评分最高的10部电影并分析计算指定电影的各年龄段用户的平均评分并分析统计影评库中各种电影类型中评分最高的5部电影并分析38安装与配置Hive设置内嵌模式设置直连数据库模式设置远程模式29Hive的基础操作创建表的基本操作修改表的基本操作向数据表中装载文件查询数据插入数据删除数据210基于Hive实现电影网站用户影评分析创建电影用户影评数据表分析电影用户影评数据表211安装与配置HBase了解并安装ZooKeeper安装及配置HBase集群212HBase的基础操作修改与删除表查询表数据创建Java项目实现表的创建向表中插入数据213基于HBase实现存储电影网站用户影评分析结果存储评分次数最多的10部电影的数据存储不同性别的用户评分最高的10部电影及评分信息的数据存储电影ID为2858的电影各年龄段用户的平均评分的数据存储影评库中各种类型电影中评分最高的5部电影的数据3学时合计36考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（10%）+课堂参与（20%）+期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、组件安装流程、开发环境搭建流程、MapReduce编程、Hive