Spark大数据技术与应用（第3版）（微课版）-教案 项目4 统计分析竞赛网站用户访问日志数据-Spark IDE编程 教案V1.0.0

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台项目4统计分析竞赛网站用户访问日志数据——SparkIDE编程教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：5学时材料清单《Spark大数据技术与应用》教材。项目4配套PPT、数据和代码文件。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标主要介绍如何使用IntelliJIDEA搭建Spark开发环境，以及如何在开发环境中编程和运行程序。运行程序主要介绍两种方法：一种是在IntelliJIDEA中设置masterURL运行，一种是打包程序在集群中运行。对提交集群运行的方法着重描述，并且分析常用的参数设置。为了提高运行效率，介绍数据持久化以及数据分区方法。最后再以竞赛网站用户访问日志数据为例，对所学知识进行实践操作。基本要求掌握在IDEA中配置Spark开发环境的方法。熟悉Spark工程的创建过程。掌握AI智能编程插件的安装与使用方法。掌握运行Spark程序的方法。了解数据分区与持久化的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。在spark-shell中直接进行编程有何利弊？之前使用过哪些IDE编程工具？日常学习中借助过哪些AI辅助工具进行学习？什么是数据持久化？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。在IDEA中搭建Spark编程环境有哪些需要配置的内容？如何打包IDEA中编写好的程序并提交到Spark集群中运行？提交程序至集群运行时可以设置哪些参数进行优化？持久化RDD的方法有哪些？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。在IDEA中搭建Spark环境时需要设置SDK环境与相关Jar包依赖，若相关Jar包版本为Spark3.5.1，应如何查看其支持的SDK环境版本？repartition()方法重设分区与自定义分区之间有何异同？在运行Spark程序时，程序代码中设置的运行模式、集群配置参数中设置的运行模式、以及提交程序时设置的运行模式参数，这三者的优先级是怎么样的?主要知识点、重点与难点主要知识点下载与安装IntelliJIDEA。Scala插件安装与使用。AI智能编程插件：安装与使用。配置Spark运行环境的方法。运行Spark程序的方法。持久化方法。数据分区方法。重点配置Spark运行环境。运行Spark程序的方式。持久化（缓存）实现。数据分区。难点自定义数据分区。打包Spark工程并提交至集群运行。spark-submit提交程序的命令及参数设置。教学过程设计理论教学过程搭建Spark开发环境。AI智能编程插件安装与使用。编写Spark程序并运行。设置RDD持久化。设置数据分区。实验教学过程搭建Spark开发环境。计算竞赛网站每月的访问量。自定义分区保存统计结果。教材与参考资料教材肖芳，张良均．Spark大数据技术与应用（第3版）（微课版）[M]．北京：人民邮电出版社．2026．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据