Hadoop大数据开发基础（第3版）（微课版）-教案 项目4 多维度分析电影网站用户影评

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台项目4多维度分析电影网站用户影评教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本项目学时：15学时材料清单《Hadoop大数据开发基础（第3版）（微课版）》教材。项目4配套PPT、数据和代码文件。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本项目将继续对电影网站用户影评数据进行多维度的深入统计分析，先详细讲解MapReduce编程的进阶知识，依次介绍MapReduce的输入输出格式、HadoopJavaAPI、自定义键值类型、Combiner、Partitioner、自定义计数器以及在IntelliJIDEA中直接提交并运行MapReduce程序等。最后基于MapReduce编程的进阶知识，实现从评分次数、性别、年龄段、电影类型这4个方面，多维度分析用户的观影偏好。基本要求掌握MapReduce输入和输出格式的设置方法。掌握HadoopJavaAPI的使用方法。掌握自定义键值类型的方法。了解Combiner的工作原理。掌握Combiner、Partitioner和自定义计数器的使用方法。熟悉MapReduce参数传递流程。掌握使用IntelliJIDEA自动打包并提交MapReduce程序的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。Hadoop中的文件格式和数据类型都有哪些？MapReduce程序中数据的输入格式和输出格式是什么？MapReduce程序的优化应从哪些角度考虑？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。自定义键类型与自定义值类型需要注意什么？MapReduce程序中Combiner阶段与Reducer阶段有什么区别？MapReduce程序中的Partitioner具体是如何进行分区的？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。使用MapReduce程序处理机器学习的问题有何缺点？当直接在IDEA中运行编写的MapReduce程序时，若想指定程序运行的资源应如何设置？主要知识点、重点与难点主要知识点设置MapReduce输入输出格式。使用HadoopJavaAPI实现文件操作。优化MapReduce统计程序。在IntelliJIDEA中打包并提交MapReduce程序。统计用户影评数据中评分次数最多的10部电影并分析。统计用户影评数据中不同性别的用户评分最高的10部电影并分析。计算用户影评数据中指定电影的各年龄段用户的平均评分并分析。统计用户影评数据中各种电影类型中评分最高的5部电影并分析。重点使用HadoopJavaAPI实现文件操作。自定义MapReduce程序的输入和输出键值对类型。MapReduce程序中Combiner、Partitioner、计数器的使用。使用Hadoop辅助类ToolRunner自动打包并提交MapReduce程序。多维度分析电影网站用户影评数据。难点使用HadoopJavaAPI实现文件操作。自定义MapReduce程序的输入和输出键值对类型。MapReduce程序中Combiner、Partitioner、计数器的使用。使用Hadoop辅助类ToolRunner自动打包并提交MapReduce程序。多维度分析电影网站用户影评数据。教学过程设计理论教学过程设置MapReduce输入格式。设置MapReduce输出格式。筛选日志文件并生成序列化文件。使用FileSystemAPI管理文件夹。使用FileSystemAPI操作文件。使用FileSystemAPI读/写数据。使用HadoopJavaAPI读取序列化文件。自定义键值类型。初步探索Combiner。浅析Partitioner。自定义计数器。传递参数。使用Hadoop辅助类ToolRunner。自动打包并提交MapReduce程序。统计评分次数最多的10部电影并分析。统计不同性别的用户评分最高的10部电影并分析。计算指定电影的各年龄段用户的平均评分并分析。统计影评库中各种电影类型中评分最高的5部电影并分析。实验教学过程筛选日志文件并生成序列化文件。使用FileSystemAPI管理文件夹。使用FileSystemAPI操作文件。使用FileSystemAPI读/写数据。使用HadoopJavaAPI读取序列化文件。自定义键值类型。初步探索Combiner。浅析Partitioner。自定义计数器。传递参数。使用Hadoop辅助类ToolRunner。自动打包并提交MapReduce程序。统计评分次数最多的10部电影并分析。统计不同性别的用户评分最高的10部电影并分析。计算指定电影的各年龄段用户的平均评分并分析。统计影评库中各种电影类型中评分最高的5部电影并分析。教材与参考资料教材张军，张良均．Hadoop大数据开发基础（第3版）（微课版）[M]．北京