Hadoop大数据开发基础（第3版）（微课版）-教案 项目3 统计电影网站用户影评数据

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台项目3统计电影网站用户影评数据教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本项目学时：10学时材料清单《Hadoop大数据开发基础（第3版）（微课版）》教材。项目3配套PPT、数据和代码文件。Windows操作系统下的IDEA与Java安装包。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本项目开始将正式对电影网站用户影评数据进行统计分析，首先从搭建开发环境开始，详细介绍在Windows下安装Java和IDEA开发工具，以及在IDEA中创建MapReduce工程并添加对应依赖的过程。紧接着通过对Hadoop官方示例源码的解读，帮助学员深入了解MapReduce的工作原理与执行流程，随后以网站用户登录次数排序任务为例，分析MapReduce编程的基本思路和处理逻辑，实现核心代码的编写。最后基于MapReduce编程，实现对影评数据中所有电影评分次数的统计，并分析不同性别的用户对电影评分的差异。基本要求掌握在Windows下安装Java和IntelliJIDEA的方法。掌握在IntelliJIDEA中创建MapReduce工程和配置MapReduce环境的方法。熟悉MapReduce的工作原理及执行流程。了解Hadoop官方示例中的WordCount源码。了解MapReduce编程的基本思路。熟悉map()方法与reduce()方法的处理逻辑。掌握编写基础的MapReduce程序处理简单任务的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。常用的编程语言及对应的开发工具都有哪些？Java和Python分别都有哪些优缺点？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。IDEA中导入Jar包的方式有哪些？MapReduce程序中具体的作业执行流程是什么样的？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。MapReduce程序中Combiner阶段与Reducer阶段有什么区别？MapReduce程序中是否可以不设置Reducer阶段？IDEA中编写的MapReduce程序是否可以直接在IDEA中运行？主要知识点、重点与难点主要知识点在IntelliJIDEA中搭建MapReduce开发环境。通过WordCount源码理解MapReduce编程。对网站用户登录次数数据根据登录次数进行升序排序。统计电影网站用户影评数据中所有电影的评分次数。统计电影网站用户影评数据中不同性别的用户对电影的评分。重点在IntelliJIDEA中创建并配置MapReduce工程。了解MapReduce实现词频统计的执行流程。使用MapReduce处理不同问题时的分析思路与处理逻辑。统计电影网站用户影评数据。在IDEA打包MapReduce程序并提交至虚拟机Hadoop集群运行的步骤。难点使用MapReduce处理不同问题时的分析思路与处理逻辑。MapReduce程序的编写。教学过程设计理论教学过程在Windows下安装Java。下载、安装并启动IntelliJIDEA。创建MapReduce工程。配置MapReduce环境。了解MapReduce实现词频统计的执行流程。读懂官方提供的WordCount源码。分析思路与处理逻辑。编写核心模块代码。打包程序并提交MapReduce任务给集群运行。创建并配置工程项目。统计所有电影的评分次数。统计不同性别的用户对电影的评分。实验教学过程在Windows下安装Java。下载、安装并启动IntelliJIDEA。创建MapReduce工程。配置MapReduce环境。编写核心模块代码。打包程序并提交MapReduce任务给集群运行。创建并配置工程项目。统计所有电影的评分次数。统计不同性别的用户对电影的评分。教材与参考资料教材张军，张良均．Hadoop大数据开发基础（第3版）（微课版）[M]．北京：人民邮电出版社．2025．参考资料[1]