43.DataFrame的数据查询操作（一）

DataFrame的数据查询操作（一）教学目标知识目标1.掌握filter/where、select、selectExpr等核心方法的基础语法与使用场景。2.深入理解数据筛选的条件逻辑与字段投影的设计思想。技能目标1.熟练运用多条件组合筛选数据，解决复杂查询需求。2.灵活使用selectExpr完成字段重命名、计算列生成及聚合统计操作。素质目标1.培养严谨的逻辑思维，建立对数据处理准确性的极致追求。2.树立工程化思维，注重代码的可读性、规范性与可维护性。CATALOGUE目录01情景导入：为什么需要数据查询？02核心知识点一：filter/where条件过滤03核心知识点二：select字段选择04核心知识点三：selectExpr表达式查询核心知识讲解PART01情景导入：为什么需要数据查询？01业务场景：真实的筛选需求在在线教育平台，运营需精准定位“大数据”课程或筛选30岁+用户；在电商场景中，商家要快速识别高价值会员，或挖掘特定品类的热销爆款。这些都是业务中迫切需要解决的筛选问题。02核心痛点：海量数据的无序性面对海量的原始业务数据，单纯的浏览查看毫无价值。数据维度繁杂、格式不一，人工筛选不仅效率低下，还极易遗漏关键信息，无法支撑业务的实时决策与快速响应。03数据查询：从数据到价值的钥匙数据查询能实现精准筛选、按需提取关键字段，还能进行灵活的聚合计算。它帮助我们从海量信息中提取有效子集，将杂乱的数据转化为清晰的业务洞察，是数据驱动决策的基础。方法方法解释where/filter根据条件表达式查询数据select/selectExpr/col/apply根据指定字段查询数据groupBy分组查询orderBy/sort排序查询limit查询指定数量的前n条数据join连接查询功能与语法解析用于按条件筛选DataFrame数据行。语法：df.filter(条件)或df.where(条件)。二者功能完全等价，支持SQL风格的字符串表达式过滤。单条件查询实战需求：筛选年龄为20岁的男性用户。

代码：userDF.filter("sex='male'andage=20").show(1)

注：字符串条件需用单引号包裹。0102核心知识一：filter/where条件过滤▌核心功能：从DataFrame中筛选指定列，剔除冗余字段，降低数据处理开销。▌调用语法：df.select(col:String,cols:String*)▌参数说明：支持传入1个或多个列名字符串，返回仅包含所选列的新DataFrame。功能与语法解析需求场景：从课程数据集courseDF中，仅查询并展示所有课程的名称。执行代码：courseDF.select("courseName").show(3)实操：提取课程名称核心知识点二：select字段选择020301为字段赋予更易读的别名，简化结果展示。示例：selectExpr("userIdasuser")，将原字段userId重命名为简洁的user。字段别名直接调用SQL内置函数处理字段数据。示例：selectExpr("round(rate)")，对rate字段数值执行四舍五入，快速完成数据格式化。应用函数基于现有字段进行算术运算生成新值。示例：selectExpr("age+1asnext_age")，通过计算生成“明年年龄”的衍生字段，丰富数据维度。进行计算核心知识点三：selectExpr表达式查询核心功能用于从DataFrame中提取指定列的Column对象。该对象不直接返回数据结果，而是作为逻辑查询计划的基础单元，常与select、filter等算子配合构建复杂查询。使用特点col()与apply()方法功能完全等价，可互换使用。通过传入列名字符串，返回强类型的Column实例，支持链式调用与复杂表达式组合，确保代码的类型安全。补充知识：col/apply方法总结与作业PART02filter/where用于对数据集进行行级筛选，核心是编写精准的条件表达式。通过指定逻辑判断规则，从数据中过滤出符合业务需求的记录，实现数据的行维度过滤与提取。select用于实现列级选择，核心是按需指定字段名。可快速从宽表中提取业务关注的列，剔除冗余字段，简化数据集结构，提升数据处理与展示的效率。selectExpr提供增强型列处理能力，支持通过表达式完成字段重命名、内置函数计算、数据格式转换等操作。相比基础select更灵活，可直接对列数据进行加工与重塑。课堂小结课后作业01filter数据筛选实战基于userDF数据集，使用filter算子筛选出“年龄大于25岁”且“性别为女性”的用户记录，执行查询并截图保存结果，巩固条件过滤的组合逻辑。02select与selectExpr字段处理在rateDF中查询用户ID、课程ID字段，通过