Hadoop 大数据平台构建与应用教学设计第六周第2次

《Hadoop大数据平台构建与应用》课程单元教学设计12课程名称Hadoop大数据平台构建与应用授课单元单元学时2授课教师职称授课地点机房教学目标知识目标能力目标素质目标了解Hadoop生态系统掌握Hadoop安装和应用掌握Hadoop安装和应用鼓励学生关注国产技术发展，增强“科技自立自强”的使命感，激发投身国家信息技术自主创新的热情。培养学生开放共享、合作共赢的意识，理解“共建共治共享”的互联网精神。增强学生的网络安全意识和法治观念，遵守《数据安全法》《个人信息保护法》等法律法规。教学重难点教学重点Hadoop发展历程、版本演变、生态系统教学难点Hadoop的安装和使用方法教学策略教学组织分组合作；借助翻转课堂理念的线上线下混合式教学模式教学方法借助翻转课堂理念的线上线下混合式教学模式教学准备环境准备机房，内存8G及以上资料准备实验手册资源准备/zyq/tft2aiwodadol2ixs教学实施过程教学环节教学内容教师活动学生活动设计意图（含思政融入点）课前准备项目导入：Hadoop分布式平台搭建与节点缩容发布《Hadoop集群缩容教学资源包》，包括：分布式Hadoop搭建完整手册（3节点示例）节点缩容操作指南（含exclude文件配置、刷新命令）WebUI监控截图示例（Decommissioning状态）常见错误排查清单（如数据丢失、节点卡在DECOMMISSIONING）引导预习提问：“如果直接关掉一台DataNode，会发生什么？”

“HDFS如何保证缩容时数据不丢？”明确实验路径：“先完成3节点分布式集群搭建→再安全移除1个节点→验证集群健康状态”。下载并阅读教学资源，完成课前预习。回顾Hadoop分布式架构（NameNode、DataNode、ResourceManager、NodeManager角色）。思考缩容风险：“直接断电下线节点是否安全？为什么需要‘退役’流程？”准备好3台Linux虚拟机环境（node1、node2、node3），确保Hadoop已部署但未启动。在课前让学生了解下一次课的主要学习内容课中Hadoop分布式平台搭建：流程梳理与演示分步骤演示3节点Hadoop集群搭建全过程，强调：所有节点配置必须一致；workers文件决定哪些机器运行DataNode；首次启动前必须格式化NameNode。展示成功后的集群状态截图，明确“健康集群”的标准（3LiveNodes,3NodeManagers）。同步观看教师演示，记录关键配置参数与命令。在笔记本上绘制集群拓扑图，标注各节点角色（node1为Master，node2/node3为Slave）。理解每个配置项的作用，避免盲目复制。动手搭建自己的3节点Hadoop集群，确保能成功运行WordCount任务。培养学生自主学习能力Hadoop技术广泛应用于智慧城市、疫情防控、精准扶贫等民生领域。实操：Hadoop平台减少节点（安全缩容）演示完整缩容过程：创建exclude文件→配置hdfs-site.xml→刷新节点→实时监控WebUI状态变化；强调：“绝不能直接kill进程或关机！必须走Decommission流程。”巡回指导学生操作，重点关注：exclude文件路径是否正确；是否遗漏刷新命令；副本数是否足够（若replication=3，至少保留3节点，否则需先调低副本数）；YARN节点是否同步下线（需单独停止NodeManager）。在已搭建的3节点集群中，选择node3作为待下线节点。严格按照Decommission流程操作，实时观察WebUI中node3状态从Live→Decommissioning→Decommissioned。使用hdfsdfsadmin-report验证数据块是否已全部迁移。成功后，停止node3的DataNode和NodeManager，并清理配置。若遇到“卡在Decommissioning”，主动查看NameNode日志，分析是否因副本不足或网络问题。培养学生会说能力引导学生将技术能力与社会需求结合，树立“科技服务人民”的价值观。分享：Hadoop平台减少节点经验交流组织小组分享环节，邀请学生展示缩容前后对比截图。提问引导深度思考：“缩容后，HDFS总容量变小了，但数据完整性如何保证？”

“如果业务高峰期要缩容，应该注意什么？”总结最佳实践：“先降副本→再退役→最后停服务”。主动分享自己在缩容过程中遇到的问题及解决方法。倾听他人案例，思考“如果是我会怎么处理？”记录关键排错经验，完善个人运维手册。反思：“自动化运维工具（如Ansible）如何简化缩容流程？”举一反三，针对重点难点分步骤理解，实操引导其成长为有技术能力、有家国情怀、有社会责任感的新时代信息技术人才课后拓展课后作业：Hadoop分布式平台缩容实践布置明确作业要求：“请在你搭建的3节点Hadoop集群中，安全移除一个节点，并提交上述验证材料。”强调：“直接关机不算完成！必须使用Decommission机制。”提供加分项：“尝试编写脚本自动完成exclude配置与刷新。”开