《大数据分析技术应用》课件-4.5 4.6Spark SQL处理结构化学生数据

项目四SparkSQL处理结构化学生数据SparkSQL

分析学生信息（2）任务5orderBy排序、groupBy分组、distinct去重、join连接操作等进一步分析学生数据。limit获取DataFrame的前N行；与take方法不同，limit方法返回值为类型为Dataset。5.1limit获取前N行orderBy、sort均可用于排序，二者等效、用法基本一致；下面以orderBy为例讲解，orderBy方法有多重用法：（1）orderBy("age")，参数为String，按照age升序排列5.2orderBy、sort排序

（2）参数为Column，结合asc、desc进行升序或降序排列。5.2orderBy、sort排序

若是要求降序排序，可以使用desc(“字段名称”)或者$”字段名”.desc或者在指定字段前面加“-”来表示降序排序（3）orderBy中可以设置多个参数，进行多字段组合排序。5.2orderBy、sort排序

groupBy为分组操作，其返回值类型为RelationalGroupedDataset，后续经常与count、mean、max、min、sum等操作合用。如下所示，df按照“institute”分组，得到一个RelationalGroupedDataset实例。5.3

groupBy分组操作（1）使用count，按学院统计学生人数，如下所示。方法描述max(colNames:String)获取分组中指定字段或者所有的数值类型字段的最大值min(colNames:String)获取分组中指定字段或者所有的数字类型字段的最小值mean(colNames:String)获取分组中指定字段或者所有的数字类型字段的平均值sum(colNames:String)获取分组中指定字段或者所有的数字类型字段和值count()获取分组中的元素个数5.3

groupBy分组操作（2）使用mean，按学院统计平均年龄，如下所示。（3）按学院、性别统计平均年龄，如下所示。（4）按学院、性别统计学生年龄最大值，如下所示。5.3

groupBy分组操作（1）distinct方法用于删除DataFrame中的重复行。下图中，创建含有重复元素的df2（createDataFrame方法将在后续任务中讲解）；然后，使用distinct方法去重，如下所示。5.4distinct去重操作（2）dropDuplicates可以根据指定的字段进行去重。例如根据institute、sex两列进行去重，最终每个学院、男女生各保留一名学生。5.4distinct去重操作agg聚合操作常用于部分数据列的统计，也可以与groupBy组合使用，从而实现分组统计的功能；下面通过几个例子演示agg的使用方法。（1）统计所有学生年龄的最大、最小、平均值。（2）统计所有学生年龄的最大、最小、平均值（第二种写法）5.5agg聚合操作（3）统计所有学生年龄的加和、手机号码最大值（4）与groupBy组合使用，分学院统计年龄最大值、最小值5.5agg聚合操作join操作用于连接两个DataFrame组成一个新的DataFrame；下面创建两个DataFrame：df1、df2，演示内连接join操作的效果。join操作也可以写成如下形式，达到的效果基本一致，但join后产生的DataFrame的列数量不同、显示效果有所差别（df3有3列，而df4有4列）。5.6join连接操作SparkSQL

分析学生信息（3）任务6stat用于制定字段统计、intersection获取两个DataFrame的共有记录、na处置DataFrame中的空值等。进一步分析学生信息。直接执行SQL语句的方法。

stat方法可以用于计算指定字段或字段间的统计，stat方法返回DataFrameStatFunctions类型对象；DataFrameStatFunctions又可以调用接口freqItems（找出频繁出现的元素）、corr（两列的相关性）、cov（两列的协方差）等。（1）freqItems找出“age”、“institute”列中频繁出现的元素。（2）corr求“age”、“phone”两列的相关性。6.1stat方法获取指定字段统计信息（3）cov求两列的协方差6.1stat方法获取指定字段统计信息intersect方法用于获取两个DataFrame的共有记录（交集）；用createDataFrame方法创建两个DataFramedf1、df2，而后使用intersect方法获取df1、df2的的共有记录。6.2intersect方法获取两个DataFrame共有记录（1）withColumnRenamed重命名指定的列字段名称；下图中，使用withColumnRenamed方法将列名改为“school”。6.3操作字段名（2）withColumn方法可在当前DataFrame中增加一列（该列可来源于自身，但不能为其他DataFrame）下图中，df使用withColumn方法增加一列，它是在原先age列df(“age”)基础上，+1得来。6.3操作字段名SparkSQL中，经常用na方法处置空值，其返回值类型为DataFrameNaFunctions；而DataFrameNaFunctions有drop、fill等方法具体处理空值。为演示na方法处理空值，由JSON文件people_null_values.json创建DataFrame；注意第二行sex、第三行数据institute数据缺失。6.4处置空值(1)drop方法用于删除含有空值的行，只要行数据中含有空值（Null），就删除该行。下图中，首先由people_null_values.json生成DataFrame（df2），而后使用na、drop方法删除含有空值的行。6.4处置空值（2）对于给定的列，如果有数值为空，删除