《大数据离线分析技术》课件-28.连接

连接大数据离线分析教学目标1.理解INNERJOIN的语法

2.掌握OUTERJOIN的类型和使用方法

3.掌握BroadcastJoin优化的原理和配置

4.理解MapJoin的执行过程

5.掌握SMBJoin的实现

1.连接概述INNERJOIN(交集)、OUTERJOIN(左/右/全外连接)、CROSSJOIN(笛卡尔积)。类型分类HiveJOIN在MapReduce或Tez引擎上执行,支持大表小表优化;Hive4增强了JOIN性能,提供自动优化和事务支持。关键特点Hive连接(JOIN)是HiveQL中用于合并多个表数据的操作,类似于SQLJOIN,但优化用于分布式环境。定义与作用2.INNERJOIN语法结构：SELECT*FROMtable1INNERJOINtable2ON(table1.col=table2.col);支持多表JOIN和条件。详细解释：

返回匹配行的交集；Hive优化为Reduce侧JOIN，键值分区后合并。Hive4.x支持等值和非等值JOIN。示例：SELECT,d.dept_nameFROMemployeeseINNERJOINdepartmentsdONe.dept_id=d.id;3.OUTERJOINSELECT*FROMtable1LEFT/RIGHT/FULLOUTERJOINtable2ON(table1.col=table2.col);语法结构LEFTOUTER保留左表所有行，RIGHT保留右表，FULL保留両侧。未匹配填充NULL。Hive执行类似INNER。详细解释SELECT,d.dept_nameFROMemployeeseLEFTOUTERJOINdepartmentsdONe.dept_id=d.id;示例1234.BroadcastJoin优化概述：BroadcastJoin（Map-sideJoin）将小表广播到所有节点，避免Reduceshuffle。适合小表大表场景。语法与配置：SEThive.auto.convert.join=true;Hive自动检测小表（默认<25MB）。详细解释：

小表加载到内存，大表Map阶段JOIN。Hive4.x增强阈值配置，提升效率。示例：SELECT/*+MAPJOIN(small)*/*FROMlargeJOINsmallONlarge.key=small.key;5.MapJoin概述：MapJoin在Map阶段完成JOIN，无需Reduce，适用于小表。语法结构：SELECT/*+MAPJOIN(table)*/*FROMtable1JOINtable2ON...;详细解释：

小表哈希到内存，大表流式JOIN。Hive4.x支持多小表JOIN。示例：SEThive.auto.convert.join=true;SELECT*FROMordersJOINcustomersONorders.cust_id=customers.id;6.SMBJoin概述：Sort-Merge-Bucket(SMB)Join针对桶表，排序合并避免全shuffle。语法结构：SEThive.enforce.sortmergebucketmapjoin=true;JOINonbucketedcolumns。详细解释：

表需桶分簇并排序；Map阶段本地合并。Hive4.x支持动态桶。示例：CREATETABLEt1...CLUSTEREDBY(key)SORTEDBY(key)INTO4BUCKETS;SELECT*FROMt1JOINt2ONt1.key=t2.key;7.右外连接右外连接是一种非对称连接操作，它以右表（第二个表）作为查询的基准表。该操作会返回右表中的所有记录，无论这些记录在左表中是否存在匹配项。示例：SELECTleft_table.column1,right_table.column1FROMleft_tableRIGHTOUTERJOINright_tableONleft_table.join_key=right_table.join_keyWHERE[optional_conditions];8.左半连接左半连接是一种特殊的连接操作，它仅返回左表中那些在右表中至少存在一个匹配项的行。与常规连接操作不同，左半连接的结果集中只包含左表的字段，而不包含右表的任何字段。示例：SELECTleft_table.column1,right_table.column1FROMleft_tableRIGHTOUTERJOINright_tableONleft_table.join_key=right_table.join_keyWHERE[optional_conditions];小结1.Hive连接支持内连接、外连接和交叉连接，优化用于分布式环境2.INNERJOIN在Hive中优化为Reduce侧JOIN，支持等值和非等值JOIN