45.DataFrame的数据输出操作

DataFrame的数据输出操作情景导入：数据成果的价值落地01成果落地的核心应用场景业务报表生成：导出CSV/Excel，支撑运营决策与人工分析；接口服务提供：输出JSON格式，赋能后端应用实时调用；数据归档存储：转为Parquet列式存储，实现低成本长期留存。02数据持久化的关键形式支持多源数据库入库，覆盖MySQL、Hive等主流数仓与关系型数据库；适配不同业务时效性需求，兼顾实时性高并发读取与离线批量数据处理的存储要求，打通数据流转闭环。03本节课核心探讨问题如何根据业务场景选择适配的输出目标与格式？不同保存模式（覆盖/追加/忽略）该如何正确配置？在数据输出全链路中，如何保障数据的完整性、一致性与安全合规？1.掌握DataFrame.write的四种核心保存模式（Append/Overwrite等）2.精通JSON、CSV、Parquet三种主流文件格式的输出配置3.熟练配置并实现MySQL与Hive数仓的写入操作数据输出与持久化·核心能力构建01知识目标02能力目标1.结合业务需求，精准匹配最优的输出格式与保存策略2.独立完成从数据处理到多端落地的全流程实操3.具备排查写入异常与性能调优的实战能力03素质目标1.树立“数据安全第一”与规范存储的职业意识2.培养严谨细致、对数据结果负责的工作态度3.建立数据质量校验与完整性保障的思维习惯Spark数据写入与输出学习目标核心知识讲解PART01overwrite(覆盖)若目标文件已存在，将直接删除原文件并写入新内容。⚠️高风险：生产环境严禁使用，会造成历史数据永久丢失。append(追加)目标文件存在时，新数据将追加到文件末尾，保留原有内容。✅安全首选：生产环境最常用模式，适用于日志记录等场景。ignore(忽略)目标已存在则跳过本次写入，操作不执行且不会抛出异常。🛡️幂等保障：避免重复执行导致的数据冗余或错误。核心概念：write保存模式文件输出：JSON格式01特点与应用场景JSON具备轻量、半结构化和高可读性的特点，是系统间数据交互的首选格式。广泛应用于微服务API接口通信、分布式日志存储归档以及异构系统间的数据同步与交换。02Scala代码实现通过DataFrame的write接口调用json方法，指定存储路径即可完成输出。支持append（追加）、overwrite（覆盖）等模式，示例：userDF.select("id","age").write.mode("append").json("hdfs://node1:9000/json_out")。核心特点：纯文本存储结构，无特殊格式依赖，体积轻量且可读性强，可直接用Excel、Notepad++等工具打开。适用场景：生成面向业务人员的统计报表，与传统数据分析工具（如Excel、Tableau）进行数据交互，是跨系统数据导出的通用标准。特点与核心场景Scala代码示例：userDF.select("userId","age")

.write.mode("ignore")

.csv("hdfs://node1:9000/sparksql/csv")代码实现与效果预览文件输出：CSV格式核心特性与适用场景采用高效的列式存储结构，拥有极高压缩比与查询性能。专为海量数据长期归档设计，也是Spark、Hive等大数据组件间进行数据共享与交换的标准格式。Scala代码写入实现通过DataFrame的write接口调用parquet方法，可直接将数据以Parquet格式写入分布式存储（如HDFS）。支持error、append、overwrite等多种写入模式，灵活适配不同数据处理需求。0102文件输出：Parquet格式实现方式与核心参数通过Spark的`jdbc()`方法对接MySQL，需配置数据库连接URL、目标表名，以及包含用户名和密码的Properties属性配置，支持灵活设置写入模式（如覆盖、追加、忽略等）。Scala代码实现逻辑构建连接属性配置账号密码，调用DataFrame的write.jdbc()接口，传入数据库连接串、目标表名和配置参数，即可将分布式数据集写入MySQL表中，实现离线数据的持久化存储。数据库输出：MySQL核心机制与代码利用saveAsTable()将DataFrame持久化到Hive数仓，生成管理表。数据存储于分布式文件系统，元数据被Hive元数据库记录，实现数据的长期留存与多会话共享。持久化vs临时视图saveAsTable()生成物理存储的管理表，集群重启后数据依然存在；而registerTempTable()仅创建内存级临时视图，Spark会话结束即销毁，无实际数据落地。数据仓库输出：Hive课堂实操与小结PART02课堂实操与巩固01文件多格式输出练习1.将userDF分别以overwrite（覆盖）、append（追加）模式输出为JSON文件并对比结果；2.尝试以error模式输出CSV文件两次，观察文件已存在时的报错与写入行为。02数据库与Hive数据写入实战1.配置SparkJDBC连接，将userDF以append模式写入MySQL的test.user_output表并验证；2.以ignore模式将数据写入Hive表test.user_output，观察表已存在时的忽略策略执行效果。020301掌握overwrite、append、ignore、error四种核心模式。关键原则：生产环境优先选用error或append模式，杜绝数据误覆盖风险。Write保存模式•JSON：结构灵活易扩展，适配接口交互与轻量存储；•CSV：纯文本格式直观，无缝对接报表与Excel分析；•Parquet：列式存储高压缩，海量数据归档与分析首选。主流输出格式•文件系统：直接调用json()/csv()/parquet()落地文件；•数据库：通过jdbc()写入MySQL/Oracle等关系型库；•数仓体系：使用saveAsTable()注册为表，支持跨会话复用。数据输出目标课堂小结作业布置01实操任务巩固完成课堂上的三个核心实操练习，重点将文件写入的关键代码片段、参数配置逻辑及最终执行结果截图保存，形成完整的实操记录以便复