《大数据离线分析技术》课件-项目5.3 Hive表操作与数据装载

Hive表操作大数据离线分析教学目标1.理解内部/外部表的区别

2.掌握分区表的创建和管理技巧

3.了解MOR/COW模式

4.掌握桶表的实现

5.理解修改表属性的操作方法

6.掌握统计信息的收集1.表操作概述定义与作用：Hive表是Hive系统中的核心数据结构，用于存储和组织大数据集，支持类SQL操作。表操作包括创建、修改、删除和优化，旨在提高查询效率和数据管理便利性。Hive表基于HDFS存储，元数据保存在Metastore中。关键特点：Hive表支持多种类型，如内部表、外部表、分区表和桶表；Hive4.x版本增强了ACID支持，提供事务性和一致性。表操作通过HiveQL语句执行，与YARN集成确保资源高效分配。2.内部/外部表内部表（ManagedTable）：Hive完全管理表生命周期，包括数据和元数据。删除表时，底层HDFS数据也会删除。适合临时或Hive独占数据。语法：CREATETABLEtable_name...;外部表（ExternalTable）：Hive仅管理元数据，数据独立存在于HDFS或其他存储。删除表时，数据保留。适合共享数据或外部摄取。语法：CREATEEXTERNALTABLEtable_name...LOCATION'path';比较：

内部表提供数据安全但灵活性低；外部表支持数据复用，避免意外删除。Hive4.x优化了外部表的兼容性，支持更多格式如Parquet。3.分区表概述：

分区表通过PARTITIONEDBY将数据按指定列分目录存储，减少查询扫描范围，提高性能。分区列不存储在数据文件中，而是作为目录结构。语法结构：CREATETABLEtable_name(col1TYPE,...)PARTITIONEDBY(partition_colTYPE,...);ALTERTABLEtable_nameADDPARTITION(partition_col='value');详细解释：

支持静态分区（手动添加）和动态分区（INSERT时自动）。Hive4.x支持MSCKREPAIRTABLE自动发现分区。分区可多级，如年/月/日。4.MOR/COW模式MOR模式：

存储增量更新，读取时合并。适合读重负载，支持压缩和快速查询。语法：TBLPROPERTIES('transactional'='true','transactional_properties'='insert_only');COW模式：

写时复制整个文件，确保原子性。适合写重场景，如批量更新。默认ACID模式。详细解释：

通过ALTERTABLE...ENABLEMERGEONREAD切换；集成Iceberg，提供更好的事务性和schema演化。5.桶表桶表通过CLUSTEREDBY将数据按哈希分桶存储,提高JOIN和采样效率。桶数固定,支持排序(SORTEDBY)。概述CREATETABLEtable_name(col1TYPE,...)CLUSTEREDBY(bucket_col)[SORTEDBY(sort_colASC/DESC)]INTOnum_bucketsBUCKETSSTOREDASfile_format;语法结构桶分簇减少shuffle操作;Hive支持桶修剪(bucketpruning),优化查询。结合分区进一步提升性能。详细解释6.修改表属性语法结构：ALTERTABLEtable_nameSETTBLPROPERTIES('key'='value',...);ALTERTABLEtable_nameRENAMETOnew_name;ALTERTABLEtable_nameADDCOLUMNS(col_nameTYPE,...);示例：ALTERTABLEsalesSETTBLPROPERTIES('press'='SNAPPY');ALTERTABLEold_tableRENAMETOnew_table;详细解释：

修改属性如压缩、序列化；重命名表或列；添加/替换列支持schema演化。Hive4.x在ACID表中优化了列修改。7.统计信息概述：Hive收集表/分区统计如行数、文件大小，用于查询优化。支持基本统计和列统计。语法结构：ANALYZETABLEtable_name[PARTITION(part_spec)]COMPUTESTATISTICS[FORCOLUMNS];SHOWTABLEEXTENDEDLIKE'table_name';示例：ANALYZETABLEsalesCOMPUTESTATISTICSFORCOLUMNS;8.表管理与数据保护策略列出表是日常管理中最常用的操作，用于快速查看数据库中的表结构；保护表则用于防止生产环境中的关键表被意外删除或修改，确保数据安全。小结1.Hive表是Hive系统中的核心数据结构，支持多种类型如内部表、外部表、分区表和桶表，且增强了ACID支持。2.内部表由Hive完全管理，适合临时或Hive独占数据；外部表Hive仅管理元数据，适合共享数据或外部摄取。3.分区表通过将数据按指定列分目录存储，减少查询扫描范围，提高性能。4.MOR模式存储增量更新；COW模式写时复制整个文件。将数据装载到表中大数据离线分析教学目标1.理解LOADDATA语句的语法

2.掌握INSERTINTO语句的操作

3.掌握Iceberg加载更新及其高级特性

4.理解从文件加载数据的过程

5.掌握从查询结果加载数据的方法

6.掌握分区加载的实现1.加载概述LOADDATA(从文件直接加载)、INSERTINTO/OVERWRITE(从查询或值插入)、CTAS(CREATETABLEASSELECT)。常见方法分类支持批量加载、覆盖和追加模式;增强了事务支持和与Iceberg的集成,提供ACID属性。加载不涉及数据转换,除非指定SerDe。关键特点Hive数据加载是将外部数据导入到Hive表中的过程,支持从本地文件、HDFS或其他查询结果导入。定义与作用2.LOADDATA语法结构详细解释示例LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)];用于从本地(LOCAL)或HDFS路径加载文件到表。OVERWRITE覆盖现有数据,否则追加。文件格式需匹配表定义,如TEXTFILE。Hive不移动文件到仓库目录,而是复制或移动。LOADDATALOCALINPATH'/home/user/data.txt'OVERWRITEINTOTABLEemployees;3.INSERTINTOINSERTINTOTABLEtablename[PARTITION(partcol1=val1,...)]VALUES(value1,value2,...);

语法结构用于插入单行值或查询结果。追加模式(INTO)或覆盖(OVERWRITE)。支持多插入(MULTI-INSERT)。Hive4.x在ACID表中支持原子插入。详细解释INSERTINTOemployeesVALUES(1,'John',50000);INSERTOVERWRITETABLEsalesSELECT*FROMtemp_sales;示例4.Iceberg加载概述语法结构详细解释示例集成ApacheIceberg,支持事务加载,提供ACID、schema演化和隐藏分区。Iceberg表使用特定StorageHandler。INSERTINTOiceberg_tableVALUES(...);INSERTOVERWRITEiceberg_tableSELECT...;支持分区级插入如INSERTINTOtablePARTITION(col=val)VALUES(...);加载原子操作;OVERWRITE替换数据。Iceberg自动管理分区,无需手动添加。支持MERGEINTO合并加载。INSERTINTOiceberg_salesSELECT*FROMsource;INSERTINTOiceberg_tablePARTITION(date='2023-01-01')VALUES(1,100);5.从文件加载从本地或HDFS文件加载数据到Hive表，支持多种格式如CSV、JSON。概述LOADDATA[LOCAL]INPATH'path'[OVERWRITE]INTOTABLEtable[PARTITION(...)];语法结构LOCAL从本地文件系统；无LOCAL从HDFS。文件需匹配表SerDe。Hive复制文件到仓库目录。详细解释6.从查询加载概述：

从SELECT查询结果加载数据，支持转换和过滤。示例：INSERTINTOsummarySELECTid,SUM(amount)FROMsalesGROUPBYid;语法结构：INSERT[OVERWRITE]TABLEtargetSELECT...FROMsource;或CREATETABLEnewASSELECT...;7.分区加载针对分区表加载数据,按分区组织。Iceberg自动处理。概述指定分区值;动态分区通过SEThive.exec.dynamic.partition=true。MSCKREPAIR发现分区。详细解释LOADDATA...INTOTABLEtablePARTITION(col=val);ALTERTABLEtableADDPARTITION(col=val)LOCATION'path';语法结构INSERTINTOsalesPARTITION(year=2023)SELECT*FROMtempWHEREyear=2023;示例8.数据加载与导