40.DataFrame的数据查看操作 一

DataFrame的数据查看操作（一）课程导入：为什么要查看数据？🤔面对陌生数据集，你会先问什么？1.结构：表里有多少列？每列的数据类型是什么？

2.校验：数据加载完整吗？前几行是否有异常？

3.细节：关键信息（如长文本）能完整显示吗？🎬真实场景代入假设你刚拿到一份在线教育平台的课程信息表，里面包含了课程名称、价格、报名人数等上千条数据。在开始分析“最受欢迎课程”之前，直接上手计算是明智的选择吗？⚡核心原则：数据质量是分析的生命线！就像医生问诊前要做体检，数据分析的第一步必须是“数据探查”。确认数据的健康状况，是保证后续结论真实可靠的前提。02技能目标•独立实操：编写代码调用printSchema()，快速解析并确认DataFrame的字段名称、类型及嵌套结构。•灵活应用：根据场景需求，通过调整show()的参数（如行数、是否截断）来精准展示数据，提升调试效率。03素质目标•职业素养：树立严谨细致的工作作风，重视数据结构的校验，夯实数据分析的基础。•价值理念：强化“数据可信”意识，以精益求精的态度对待数据探查，确保分析结果的真实可靠。01知识目标•核心概念：理解printSchema()的作用机制，能够准确解读输出的树状结构与数据类型标识。•方法重载：掌握show()方法的多种参数形式，理解参数对数据展示效果的具体影响。本节课学习目标01printSchema()基础解析用于展示DataFrame的元数据结构（Schema），清晰呈现各列的名称、数据类型（Type）及是否可为空（Nullable）属性。是开发中快速探查数据结构、验证表结构定义是否正确的核心方法。02show()基础用法基础调用：df.show()默认展示前20行数据，自动对齐列宽。指定行数：df.show(n)可自定义显示行数n，满足快速预览不同量级样本的需求，是交互式数据分析中最常用的操作。03show()进阶参数应用truncate：控制列值显示长度，避免长文本换行导致的排版混乱，设置为false可显示完整内容。vertical：开启垂直打印模式，将单行记录按“列名=值”纵向排列，极大提升宽表数据的可读性。教学重点与难点：DataFrame查看与解析核心内容讲解PART01数据加载的核心流程拆解01读取数据：使用SparkContext读取文本文件，按分隔符拆分字段，生成基础RDD。02定义结构：创建CaseClass映射数据结构，明确课程ID、名称及分类等字段类型。03格式转换：将RDD转换为DataFrame，赋予结构化数据特性，便于后续SQL分析。准备工作：加载示例数据核心功能与应用价值1.数据结构“体检”：快速校验列名、数据类型与Nullable属性，确认数据加载是否符合预期。2.规避隐性错误：及时发现类型误判（如ID被识别为字符串），避免下游计算或关联失败。3.树状直观解析：以层级结构展示Schema，root为根节点，清晰呈现字段约束与层级关系。方法一：printSchema()：洞察DataFrame结构方法二：show()-基础数据查看01基础默认预览语法：courseDF.show()效果：无需参数，默认展示DataFrame的前20行数据，快速校验数据结构。02自定义行数展示语法：courseDF.show(5)(numRows:Int)效果：灵活指定展示行数（如前5行），减少冗余输出，提升调试效率。💡核心价值：作为Spark开发中最基础的“数据探照灯”，show()能直观呈现数据的列名、数据类型及样本内容，帮助开发者在ETL流程中快速发现数据缺失、格式错误或脏数据，是验证数据加载与转换结果的必备手段。show()进阶参数：截断控制效果对比：上方展示了默认截断（...）与完整显示的区别，开启不截断后可清晰看到长课程名称的全部内容，避免信息缺失。truncate参数核心解析❓核心问题：默认show()会截断长字符串（如课程名），导致信息显示不全。⚙️参数用法：truncate=false关闭截断，完整展示；true为默认截断模式。💻代码示例：courseDF.show(5,false)//显示前5行且不截断💡场景：数据探查、长文本字段校验时必备，确保数据查看无遗漏。宽表阅读的痛点与对策核心痛点：当DataFrame列数过多时，水平展示会因列宽挤压导致字段内容被截断，数据阅读极其困难。解决方案：开启`vertical=true`参数，将每行记录的字段垂直展开，让每个字段独立成行清晰呈现。示例语法：courseDF.show(3,10,true)show()-高级参数与垂直打印01基础用法：默认展示与行数限定核心形式：show()无参调用时默认显示前20行并自动截断；show(numRows)可指定具体行数（如show(15)显示前15行），超出设定行数的内容会被隐藏，满足快速预览数据的基础需求。03高级用法：垂直排版与布局切换扩展配置：show(numRows,truncate,vertical)新增vertical布尔参数，设为true时会以垂直方向打印数据结构，改变传统的横向输出布局，适配特殊的数据展示场景与排版需求，提升数据可读性。02进阶用法：截断控制与完整展示灵活控制：show(truncate)可通过布尔值控制是否截断（false为完整显示）；show(numRows,truncate)组合行数与截断规则（如show(20,false)完整展示前20行），解决默认截断导致的数据查看不全问题。show()方法重载汇总总结与作业PART021掌握两个核心方法：printSchema()用于查看DataFrame的结构，明确字段名称与数据类型；show()用于查看数据内容，可通过参数控制显示行数、是否截断等，实现数据的快速预览与校验。核心知识点回顾2遵循“先看结构，再看内容”的分析逻辑：先通过结构判断数据维度与字段特征，再按需查看具体内容。根据数据体量与分析目标灵活选择参数，能有效提升数据探索的效率与针对性。数据分析方法论3数据工作需秉持严谨细致、精益求精的态度，对数据的准确性与真实性负责。养成规范的探索习惯，既是技术能力的体现，也是数据从业者的基本职业素养，为后续分析与决策提供坚实保障。职业素养与态度课堂小结在SparkShell中重新创建courseDF数据集，执行printSchema()查看表结构并截图；练习show()方法的多参数用法：用show(5)预览前5行、show(false)查看完整数据内容、show(3,20,true)以垂直模式查看前3行，对比不同参数的输出差异。分析truncate参数对字段内容展示长度的控制作用，以及vertical参数在宽表（多列）场景下的可读性优化价值；结合数据分析、数据预览的实际业务场景，总结两个参数的适用时机与使用技巧。需在本地环境亲手执