《大数据离线分析技术》课件-26.将数据装载到表中

将数据装载到表中大数据离线分析教学目标1.理解LOADDATA语句的语法

2.掌握INSERTINTO语句的操作

3.掌握Iceberg加载更新及其高级特性

4.理解从文件加载数据的过程

5.掌握从查询结果加载数据的方法

6.掌握分区加载的实现1.加载概述LOADDATA(从文件直接加载)、INSERTINTO/OVERWRITE(从查询或值插入)、CTAS(CREATETABLEASSELECT)。常见方法分类支持批量加载、覆盖和追加模式;增强了事务支持和与Iceberg的集成,提供ACID属性。加载不涉及数据转换,除非指定SerDe。关键特点Hive数据加载是将外部数据导入到Hive表中的过程,支持从本地文件、HDFS或其他查询结果导入。定义与作用2.LOADDATA语法结构详细解释示例LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)];用于从本地(LOCAL)或HDFS路径加载文件到表。OVERWRITE覆盖现有数据,否则追加。文件格式需匹配表定义,如TEXTFILE。Hive不移动文件到仓库目录,而是复制或移动。LOADDATALOCALINPATH'/home/user/data.txt'OVERWRITEINTOTABLEemployees;3.INSERTINTOINSERTINTOTABLEtablename[PARTITION(partcol1=val1,...)]VALUES(value1,value2,...);

语法结构用于插入单行值或查询结果。追加模式(INTO)或覆盖(OVERWRITE)。支持多插入(MULTI-INSERT)。Hive4.x在ACID表中支持原子插入。详细解释INSERTINTOemployeesVALUES(1,'John',50000);INSERTOVERWRITETABLEsalesSELECT*FROMtemp_sales;示例4.Iceberg加载概述语法结构详细解释示例集成ApacheIceberg,支持事务加载,提供ACID、schema演化和隐藏分区。Iceberg表使用特定StorageHandler。INSERTINTOiceberg_tableVALUES(...);INSERTOVERWRITEiceberg_tableSELECT...;支持分区级插入如INSERTINTOtablePARTITION(col=val)VALUES(...);加载原子操作;OVERWRITE替换数据。Iceberg自动管理分区,无需手动添加。支持MERGEINTO合并加载。INSERTINTOiceberg_salesSELECT*FROMsource;INSERTINTOiceberg_tablePARTITION(date='2023-01-01')VALUES(1,100);5.从文件加载从本地或HDFS文件加载数据到Hive表，支持多种格式如CSV、JSON。概述LOADDATA[LOCAL]INPATH'path'[OVERWRITE]INTOTABLEtable[PARTITION(...)];语法结构LOCAL从本地文件系统；无LOCAL从HDFS。文件需匹配表SerDe。Hive复制文件到仓库目录。详细解释6.从查询加载概述：

从SELECT查询结果加载数据，支持转换和过滤。示例：INSERTINTOsummarySELECTid,SUM(amount)FROMsalesGROUPBYid;语法结构：INSERT[OVERWRITE]TABLEtargetSELECT...FROMsource;或CREATETABLEnewASSELECT...;7.分区加载针对分区表加载数据,按分区组织。Iceberg自动处理。概述指定分区值;动态分区通过SEThive.exec.dynamic.partition=true。MSCKREPAIR发现分区。详细解释LOADDATA...INTOTABLEtablePARTITION(col=val);ALTERTABLEtableADDPARTITION(col=val)LOCATION'path';语法结构INSERTINTOsalesPARTITION(year=2023)SELECT*FROMtempWHEREyear=2023;示例8.数据加载与导出Hive数据加载与导出是高效处理大数据的关键操作。小结1.Hive数据加载支持从本地文件、HDFS或其他查询结果导入，常见方法包括LOADDATA、INSERTINTO/OVERWRITE和CTAS2.LOADD