《大数据离线分析技术》课件-项目5.4 Hive函数与连接

UDF函数大数据离线分析教学目标1.了解HiveUDF及其作用

2.理解内置函数的分类和应用

3.掌握自定义UDF的开发和注册方法

4.掌握Hive的矢量化UDF

5.了解UDAF聚合函数

1.UDF概述标准UDF、UDAF（聚合，如自定义AVG）、UDTF（表生成，如explode）。适用于不同场景，如字符串处理或数组展开。类型分类HiveUDF基于Java开发，支持临时或永久注册；优化了函数执行，支持矢量化提升性能。UDF集成Metastore管理便于共享。关键特点User-DefinedFunctions(UDF)是Hive允许用户自定义的函数，用于扩展标准SQL功能。定义与作用2.内置函数概述分类与示例详细解释Hive提供丰富的内置函数，类似于SQL标准函数，用于数学、字符串、日期和集合操作。无需自定义，直接在查询中使用。数学：round(3.14),abs(-5)；字符串：concat('a','b'),substr('abc',1,2)；日期：date_add('2023-01-01',1),unix_timestamp()；集合：size(array),map_keys(map)。函数在SELECT、WHERE、GROUPBY中使用；支持条件函数如IF、CASE。内置函数优化为高效执行，避免用户重造轮子。3.自定义UDF继承org.apache.hadoop.hive.ql.exec.UDF类，实现evaluate方法。编译成JAR包。开发步骤ADDJAR'/path/to/udf.jar';CREATE[TEMPORARY]FUNCTIONmy_udfAS'com.example.MyUDF';注册语法publicclassUpperextendsUDF{publicTextevaluate(Texts){returnnewText(s.toString().toUpperCase());}}示例4.矢量化UDF概述实现原理详细解释示例矢量化UDF通过批量处理行数据提升性能，减少函数调用开销。Hive4增强了矢量化支持，适用于内置和自定义函数。使用VectorizedRowBatch处理多行；自定义时继承VectorUDFAdaptor或实现VectorUDF接口。启用hive.vectorized.execution.enabled=true。矢量化减少循环，提高CPU利用率；支持表达式如数学和字符串操作。Hive4.x优化了内存管理，确保大数据集稳定。在查询中自动应用；自定义如VectorUDFUpper处理批量字符串。5.UDAF聚合User-DefinedAggregateFunctions(UDAF)处理多行输入，返回单个聚合值，如自定义SUM或COUNT。概述继承GenericUDAFResolver，实现init、iterate、merge、terminate等方法。处理部分聚合以支持分布式。开发步骤init初始化状态；iterate累加行；merge合并部分结果；terminate返回最终值。Hive4支持泛型UDAF，提升类型安全。详细解释6.UDTF表函数概述：User-DefinedTable-GeneratingFunctions(UDTF)从单个输入生成多行输出，如展开数组。详细解释：initialize定义输出结构；process处理输入，调用forward生成行。Hive4.x支持多列输出。开发步骤：

继承GenericUDTF，实现initialize、process、close。forward方法输出行。7.内置运算符与常用函数Hive提供了丰富且实用的内置运算符与函数，覆盖字符串处理、数学计算、日期时间操作三大核心领域。小结1.HiveUDF允许用户自定义函数，扩展标准SQL功能，包括UDF、UDAF和UDTF类型2.Hive内置函数覆盖数学、字符串、日期和集合操作，优化为高效执行3.自定义UDF通过继承特定类并实现方法，编译成JAR包进行注册4.矢量化UDF通过批量处理行数据提升性能，Hive增强了矢量化支持连接大数据离线分析教学目标1.理解INNERJOIN的语法

2.掌握OUTERJOIN的类型和使用方法

3.掌握BroadcastJoin优化的原理和配置

4.理解MapJoin的执行过程

5.掌握SMBJoin的实现

1.连接概述INNERJOIN(交集)、OUTERJOIN(左/右/全外连接)、CROSSJOIN(笛卡尔积)。类型分类HiveJOIN在MapReduce或Tez引擎上执行,支持大表小表优化;Hive4增强了JOIN性能,提供自动优化和事务支持。关键特点Hive连接(JOIN)是HiveQL中用于合并多个表数据的操作,类似于SQLJOIN,但优化用于分布式环境。定义与作用2.INNERJOIN语法结构：SELECT*FROMtable1INNERJOINtable2ON(table1.col=table2.col);支持多表JOIN和条件。详细解释：

返回匹配行的交集；Hive优化为Reduce侧JOIN，键值分区后合并。Hive4.x支持等值和非等值JOIN。示例：SELECT,d.dept_nameFROMemployeeseINNERJOINdepartmentsdONe.dept_id=d.id;3.OUTERJOINSELECT*FROMtable1LEFT/RIGHT/FULLOUTERJOINtable2ON(table1.col=table2.col);语法结构LEFTOUTER保留左表所有行，RIGHT保留右表，FULL保留両侧。未匹配填充NULL。Hive执行类似INNER。详细解释SELECT,d.dept_nameFROMemployeeseLEFTOUTERJOINdepartmentsdONe.dept_id=d.id;示例1234.BroadcastJoin优化概述：BroadcastJoin（Map-sideJoin）将小表广播到所有节点，避免Reduceshuffle。适合小表大表场景。语法与配置：SEThive.auto.convert.join=true;Hive自动检测小表（默认<25MB）。详细解释：

小表加载到内存，大表Map阶段JOIN。Hive4.x增强阈值配置，提升效率。示例：SELECT/*+MAPJOIN(small)*/*FROMlargeJOINsmallONlarge.key=small.key;5.MapJoin概述：MapJoin在Map阶段完成JOIN，无需Reduce，适用于小表。语法结构：SELECT/*+MAPJOIN(table)*/*FROMtable1JOINtable2ON...;详细解释：

小表哈希到内存，大表流式JOIN。Hive4.x支持多小表JOIN。示例：SEThive.auto.convert.join=true;SELECT*FROMordersJOINcustomersONorders.cust_id=customers.id;6.SMBJoin概述：Sort-Merge-Bucket(SMB)Join针对桶表，排序合并避免全shuffle。语法结构：SEThive.enforce.sortmergebucketmapjoin=true;JOINonbucketedcolumns。详细解释：

表需桶分簇并排序；Map阶段本地合并。Hive4.x支持动态桶。示例：CREATETABLEt1...CLUSTEREDBY(key)SORTEDBY(key)INTO4BUCKETS;SELECT*FROMt1JOINt2ONt1.key=t2.key;7.右外连接右外连接是一种非对称连接操作，它以右表（第二个表）作为查询的基准表。该操作会返回右表中的所有记录，无论这些记录在左表中是否存在匹配项。示例：SELECTleft_table.column1,right_table.column1FROMleft_tableRIGHTOUTERJOINright_tableONleft_table.join_key=right_table.join_keyWHERE[optional_conditions];8.左半连接左半连接是一种特殊的连接操作，它仅返回左表中那些在右表中至少存在一个匹配项的行。与常规连接操作不同，左半连接的结果集中只包含左表的字段，而不包含右表的任何字段。示例：SELECTleft_table.column1,right_table.column1FROMleft_tableRIGHTOUTERJOINright_tableONleft_table.join_key=right_table.join_keyWHERE[optional_condit