Spark大数据技术与应用 课件 46.习题课

习题课CATALOGUE目录1.习题讲解2.错题分析3.总结与作业教学目标知识目标通过实战习题巩固DataFrame的创建、查看、查询与数据输出等核心操作；深入理解其底层执行原理，掌握数据处理的优化策略与运行逻辑。技能目标能够独立拆解并解决复杂的DataFrame编程场景问题；快速定位、分析并修复代码中的常见语法与逻辑错误，提升代码调试与实战解决能力。素质目标培养严谨的逻辑思维与规范化的代码编写习惯；强化运用数据思维分析并解决实际业务问题的能力，全面提升工程素养与问题解决效率。DataFrame实战习题课·夯实基础与能力进阶习题讲解PART01习题1：DataFrame创建01核心需求与挑战如何从包含表头的CSV文件创建DataFrame？需解决两个关键问题：让Spark正确识别首行作为列名，以及自动推断每列的数据类型（避免默认全为String类型），从而保证数据处理的准确性。02关键配置与实现方案利用SparkSQL的`read.csv()`接口，通过`option`配置两个核心参数：`header=true`开启表头识别，`inferSchema=true`启动自动类型推断。该方案简洁高效，适用于快速探索数据阶段。Scala代码实现：valdf=spark.read

.option("header","true")//指示CSV文件包含表头行

.option("inferSchema","true")//自动推断列的数据类型

.csv("/user/data/sales.csv")//读取指定路径的CSV文件在Spark分布式计算中，直接调用collect()会将集群中所有分区的数据拉取到Driver端内存中。当处理大规模数据集时，这极易导致Driver内存溢出(OOM)。因此必须采用“按需采样”的方式来查看数据，同时使用专用方法来查看表结构信息。核心问题与分析//1.查看完整Schema结构

df.printSchema()

//2.安全展示前5条数据（分布式执行）

df.show(5)

//3.获取前5条数据的本地数组

valtop5Rows=df.take(5)

top5Rows.foreach(row=>println(row))安全操作代码示例习题2:DataFrame查看020301需要从DataFrame数据集中，精准筛选出满足“年龄大于25岁”并且“性别为女性”这两个条件的用户记录，同时结果集中仅保留并展示“姓名”与“年龄”这两个关键字段。01需求描述利用filter()方法实现行级条件过滤，多条件组合使用&&连接；通过select()方法完成列的选择与投影。特别注意：在Scala语言中，字符串的等值比较必须使用===运算符，而非常规的==。02关键要点Scala实现代码：df.filter(df("age")>25&&df("gender")==="female")

.select("name","age").show()说明：链式调用方式简洁高效，show()方法用于在控制台输出结果集。03代码实现习题3:DataFrame查询01核心需求场景将处理后的DataFrame数据以高效的Parquet列式格式写入HDFS分布式存储系统。关键要求：当目标路径已存在数据文件时，不执行覆盖或报错，而是将新数据追加到现有文件中，确保历史数据完整性。02写入模式配置核心参数：.mode("append")SparkSQL支持四种写入模式：•append：追加数据（保留原数据）

•overwrite：覆盖原有数据

•ignore：路径存在则静默忽略

•error：路径存在抛出异常（默认）03Scala代码示例//初始化SparkSessionvalspark=SparkSession.builder()

.appName("ParquetAppend")

.getOrCreate()//执行追加写入操作

df.write.mode("append").parquet("hdfs:///path/out.parquet")习题4：DataFrame输出与写入配置错题分析PART02常见错误：滥用collect()01典型错误代码开发中常出现的危险写法：直接对未知规模的DataFrame调用collect()拉取全量数据。valallData=df.collect()//生产环境严禁使用！02致命危害：内存溢出(OOM)collect()会将分布式集群所有节点的全量数据拉取到Driver端内存中。一旦数据量超过Driver内存上限，会瞬间导致应用崩溃，不仅影响当前任务，还可能拖垮集群节点的稳定性。03正确替代方案调试用：df.show(10)/df.take(5)（仅加载少量样本）；

生产用：保持分布式计算，仅对最终聚合后的小结果集使用collect()，避免全量拉取。错误代码示例假设DataFrame中age列被Spark推断为String类型，直接进行数值比较会报错：

df.filter(df("age")>25)

执行时会抛出类型不匹配异常。原因与解决方案原因：字段类型为字符串，无法直接参与数值运算。

解决：使用cast函数强转为数值类型后再操作：

df("age").cast("Int")>25常见错误2：数据类型不匹配总结与作业PART03课堂小结01核心知识点回顾掌握从多源创建DataFrame的方法，熟练使用printSchema、show等安全查看方式；精通filter、groupBy、join等核心查询操作，并能灵活运用多种输出格式与写入模式完成数据处理闭环。02关键注意事项与避坑指南严禁滥用collect()加载全量大数据至Driver节点引发内存溢出；需严格校验数据类型并按需转换以避免运行异常；编写代码时务必结合数据规模与集群资源配置进行优化，确保任务稳定高效。课后作业：数据处理实践与思考01实践任务：用户行为分析全流程基于`user_behavior.csv`数据集完成操作：

1.读取数据并构建SparkDataFrame结构；

2.统计每个用户的点击行为频次，进行聚合计算；

3.排序筛选出点击量最高的Top5活跃用户；

4.将最终结果以JSON格式持久化写入HDFS。02核心思考：分区策略深度辨析对比分析`coalesce`与`rep