Spark大数据技术与应用 课件 47.测验

测验CATALOGUE目录01选择题：基础概念与语法辨析02判断题：核心特性与使用场景判断03编程题：实战演练与代码编写实现04答案解析：题目详解与知识点复盘测验时长共计45分钟。请大家合理规划时间，建议先快速浏览所有题目，再按序作答，确保在结束前完成所有内容并检查。01测验时间02核心考点全面覆盖DataFrame的创建、数据查看、高级查询与筛选、以及结果的格式化输出。重点考察对数据结构的理解及Python编程的实战应用能力。03作答要求请严格遵守考试纪律，独立完成作答。编程题需提交完整可运行的代码，并为关键逻辑添加清晰的中文注释，保证代码的可读性。测验说明选择题PART01SparkDataFrame核心操作自测01基础查询与写入控制Q1：安全查看前10条数据的方法？

A.collect()B.show(10)C.printSchema()D.take(10)Q2：写入JSON并覆盖已有文件的模式？

A.appendB.ignoreC.overwriteD.errorIfExists02性能优化与元数据Q3：创建DataFrame性能最优的数据源？

A.纯文本B.CSVC.ParquetD.JSONQ4：查看列名与数据类型的方法？

A.show()B.printSchema()C.head()D.count()03Q5：Scala中df.filter(df("age")===25)的"==="代表什么？

选项：A.变量赋值|B.内存引用比较|C.列值相等比较|D.类型转换

核心解析：在SparkAPI中，Column对象使用"==="进行值的相等性判断，这与Scala原生的引用比较"=="不同，是构建查询计划的关键算子。Q6.Action算子识别：count是行动算子（触发计算），filter/select/groupBy属于转换算子。Q7.精准Schema定义：使用StructType手动定义字段名称与数据类型，适用于复杂数据结构或需要严格类型控制的场景。Q8.默认连接类型：SparkSQL的join默认执行内连接(InnerJoin)，仅返回两表匹配的记录。算子与SQL基础Q9.列式存储格式：Parquet是高效的列式存储格式，支持高压缩比和谓词下推，大幅提升查询性能。Q10.YARN-Cluster模式：Driver运行在ApplicationMaster容器中，适合生产环境，稳定性更高。扩展思考：对比YARN-Client模式（Driver在客户端），Cluster模式更适合大数据量处理。存储与部署架构Spark核心知识点选择题（6-10）判断题PART0202030101.DataFrame是不可变分布式数据集？(√)

解析：基于RDD实现，继承不可变性与分布式特性，是带Schema的强类型结构化数据集合。02.Transformation会立即触发计算？(×)

解析：属于懒加载操作，仅构建DAG逻辑计划，需Action算子触发实际的集群任务执行。基础模型与执行机制03.CSV读取默认首行是列名？(×)

解析：默认将首行视为普通数据行，列名显示为_c0/_c1；需显式设置header=True才会解析为列名。04.filter与where功能等价？(√)

解析：两者均用于行级数据过滤，底层执行逻辑完全一致，仅为不同的API命名风格。数据读写与过滤操作05.saveAsTable可存为永久表？(√)

解析：将DataFrame保存为Hive管理表，元数据持久化到Metastore，数据文件存于HDFS，集群重启后表结构与数据依然有效。拓展：临时表vs永久表

createOrReplaceTempView仅作用于当前Session，退出后失效。表持久化与元数据管理Spark核心概念判断题编程题PART0301需求拆解1.条件筛选：过滤出年龄在20~30岁区间，且性别为“男”的用户数据。2.结果排序：对筛选后的数据集，按照“年龄”字段进行降序排列。3.字段投影：仅保留姓名(name)与年龄(age)两列数据。4.终端输出：将最终处理后的结果展示在控制台中。02核心API提示●filter(condition)

用于行级数据的条件过滤，支持表达式或列条件。●orderBy(col.desc)

orderBy或sort，配合desc实现降序排序。●select(cols...)

选择需要保留的列，实现数据投影操作。●show(numRows)

将DataFrame内容以表格形式打印输出。03代码实现框架//导入隐式转换（需提前声明）importspark.implicits._df.filter($"age">=20&&$"age"<=30&&$"gender"==="男").orderBy($"age".desc).select("name","age").show()//执行后将在终端显示结果表编程题1：DataFrame数据筛选与展示02.聚合统计与排序基于加载的DataFrame，按商品类别（category）进行分组聚合，计算每类商品的销售总额（revenue）；并将统计结果按照销售总额进行降序排列，得到业绩排名。01.数据读取与加载使用SparkSQL读取HDFS分布式文件系统中路径为/user/data/sales.csv的CSV数据文件，文件首行包含表头信息；成功加载后创建名为salesDF的DataFrame，作为后续数据分析的基础数据源。03.结果输出与保存将统计完成的结果集以高效的Parquet列式存储格式，写入到HDFS的/user/output/sales_summary目标路径；同时配置写入模式为“覆盖写入”，确保若目标路径已存在时可直接覆盖原有数据。编程题2：SparkSQL销售数据分析答案解析PART04客观题答案速览选择题：1.BD2.C3.C4.BD5.C

6.D7.B8.A9.C10.C判断题：1.√2.×3.√4.√5.×编程题考察重点重点考察SparkDataFrame的核心操作：

①数据过滤与条件查询（filter）

②分组聚合统计（groupBy+sum）③结果排序与数据IO读写测验答案解析//关键代码片段示例

df.filter("age>20")

.groupBy("gender")

.sum("score")

.show()本次测验整体成绩良好，多数同学已掌握核心知识点；错误率较高的题目主要集中在对Action与Transformation的概念辨析，以及不同数据写入模式的差异理解上。01成绩分布分析建议针对Action/Transfo