Hadoop 大数据平台构建与应用教学设计第十六周第2次

《Hadoop大数据平台构建与应用》课程单元教学设计32课程名称Hadoop大数据平台构建与应用授课单元单元学时2授课教师职称授课地点机房教学目标知识目标能力目标素质目标了解Spark概述、组成结构、运行架构、部署方式掌握Spark编程实践掌握Spark编程实践结合其作为大数据处理核心引擎的技术特性（如内存计算、高速迭代、多语言支持、流批一体等），深度融入课程思政元素，实现技术能力培养与价值观塑造的有机统一。教学重难点教学重点Spark概述、组成结构、运行架构、部署方式教学难点Spark编程实践教学策略教学组织分组合作；借助翻转课堂理念的线上线下混合式教学模式教学方法借助翻转课堂理念的线上线下混合式教学模式教学准备环境准备机房，内存8G及以上资料准备实验手册资源准备/zyq/tft2aiwodadol2ixs教学实施过程教学环节教学内容教师活动学生活动设计意图（含思政融入点）课前准备项目导入：Spark分布式计算框架安装发布《Spark安装教学资源包》，包含：Spark安装操作手册（图文版）安装视频微课（分步骤演示）常见错误排查指南（如JAVA_HOME未设置、端口冲突）预习任务单（思考题：“Spark为什么比MapReduce快？”）明确实验目标：“每位同学需在本地Linux虚拟机中完成SparkStandalone模式安装，并成功启动Master和Worker。”引导预习：“Spark是否依赖Hadoop？它能单独运行吗？”下载并阅读教师提供的教学资源，完成课前预习。检查本地实验环境：确保已安装Linux系统（如CentOS/Ubuntu）、JDK8+，并正确配置JAVA_HOME。初步了解Spark的运行模式（Local/Standalone/YARN），明确本次安装目标为Standalone。记录预习疑问（如“Master和Worker是什么关系？”、“SparkWebUI端口是多少？”），准备课堂深入学习。在课前让学生了解下一次课的主要学习内容课中Spark安装：关键步骤讲解系统讲解Spark安装的关键配置项，强调：“SPARK_MASTER_HOST必须是可解析的主机名或IP，不能是localhost（除非单机测试）”；“spark-env.sh需从spark-env.sh.template复制而来”；“Worker必须连接到Master的spark://URL，端口默认7077”。对比Local模式（spark-shell--masterlocal[*]）与Standalone模式的区别。提问引导：“如果Master启动后WebUI打不开，可能是什么原因？”（答案：防火墙、端口占用、SPARK_MASTER_HOST配错）认真听讲，理解每个配置参数的作用与依赖关系。在笔记中记录关键命令与配置模板，标注易错点（如路径拼写、空格、权限）。思考Spark启动机制：“Master负责调度，Worker负责执行任务，类似YARN的RM/NM”。准备在实操环节复现安装流程，并尝试修改内存参数观察效果。培养学生专注力Spark常处理用户行为、消费记录、社交关系等敏感数据，若算法设计不当，可能导致隐私泄露、算法歧视或“大数据杀熟”。实操：Spark安装与验证在投影上演示Spark安装全过程，边操作边讲解：如何解压tar包、设置权限；如何编辑spark-env.sh；如何启动Master和Worker；如何提交测试任务：bin/spark-submit--classorg.apache.spark.examples.SparkPi\--masterspark://node1:7077\examples/jars/spark-examples_*.jar10巡回指导学生操作，重点关注：JAVA_HOME是否指向JDK（而非JRE）；主机名是否与/etc/hosts一致；防火墙是否关闭（影响8080、7077端口）；Worker是否连接到正确的MasterURL。在自己的Linux虚拟机上独立完成Spark安装与启动。使用jps和WebUI验证集群状态，确认Worker已注册到Master。尝试运行SparkPi示例任务，观察控制台输出与WebUI任务进度。若遇到问题（如“Worker无法连接Master”），主动查看日志（logs/目录）、检查网络配置或向教师求助。培养学生实践能力在编写Spark程序时，强调数据脱敏、匿名化处理。总结：Spark安装问题分析与解决组织集中答疑，邀请学生提出安装中遇到的具体问题。对高频问题进行统一演示修复（如重设JAVA_HOME、补充hosts条目）。引导学生建立排错思维：“先看日志→再查配置→最后验网络”。总结Spark安装“三要素”：环境干净、配置准确、网络畅通。主动提出自己在安装过程中遇到的问题，描述现象与已尝试的解决方法。倾听他人问题，思考是否曾遇到类似情况，分享自己的经验。学习教师的排错逻辑，提升自主解决问题的能力。整理个人“Spark安装避坑清单”，用于未来项目参考。反思必须遵守《数据安全法》《个人信息保护法》，杜绝滥用数据。课后拓展课后作业：Spark安装实践布置明确作业要求：“请在你的Linux虚拟机中完成SparkStandalone模式安装，并提交上述三项验证截图至职教云平台。”设定合理截止时间，并说明评分标准（完整性、正确性、独立性）。鼓励学生尝试扩展操作（如配置两个Worker、调整内存参数），作为加分项。提供持续在线支持（如课程群答疑），保障学生顺利完成。按要求完成Spark安装与