Spark大数据技术与应用（第3版）（微课版）-教案 项目3 查询和统计员工薪资数据-Spark Shell编程 教案V1.0.0

打造基于产教融合的就业育人综合服务平台打造基于产教融合的就业育人综合服务平台项目3查询和统计员工薪资数据——SparkShell编程教案课程名称：Spark大数据技术与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论36学时，实验28学时）总学分：4.0学分本章学时：8学时材料清单《Spark大数据技术与应用》教材。项目3配套PPT、数据和代码文件。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标主要介绍Spark的基础操作，包括Spark的基本的核心数据集RDD的转换操作和行动操作，以及Spark中不同格式文件的读取和存储方法，并结合员工薪资数据进行查询统计，进一步巩固实操能力。通过本项目学习，能够帮助学生掌握Spark的操作方法以及SparkShell命令行的使用，为后面的高级操作和组件学习奠定基础。基本要求掌握如何创建RDD。掌握Spark基本转换操作。掌握Spark基本行动操作。了解如何读取不同格式文件数据。了解如何存储数据为不同格式文件。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。Spark适用于什么类型的计算？Spark计算有什么特点？Spark中的RDD是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。创建RDD有哪些方法？RDD的转换操作和行动操作有什么区别？什么是键值对RDD，有哪些特点？RDD的连接操作和合并操作有什么区别？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。CSV文件通过读取文本文件的方法读取和通过CSV读取器读取有什么区别？在通过join()方法连接RDD时，连接方式应如何选择？主要知识点、重点与难点主要知识点从内存中已有数据创建RDD。从外部存储创建RDD。RDD转化操作和行动操作方法。RDD键值对操作。文件读取与存储。重点创建RDD的方法。RDD的转化操作和行动操作。键值对RDD的基本操作。难点如何创建键值对类型的RDD。操作键值对类型RDD的方法。教学过程设计理论教学过程创建RDD的方法。RDD基础操作。RDD进阶操作键值对RDD操作。RDD连接操作。RDD文件读写操作。实验教学过程读取员工薪资数据创建RDD。查询上半年实际薪资排名前3的员工信息。输出上半年或下半年实际薪资大于20万元的员工姓名。统计每位员工2023年的总实际薪资。查询每位员工2023年的月均实际薪资。将汇总后的员工薪资存储为文本文件。教材与参考资料教材肖芳，张良均．Spark大数据技术与应用（第3版）（微课版）[M]．北京：人民邮电出版社．2026．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]