《大数据离线分析技术》课件-25.Hive表操作

Hive表操作大数据离线分析教学目标1.理解内部/外部表的区别

2.掌握分区表的创建和管理技巧

3.了解MOR/COW模式

4.掌握桶表的实现

5.理解修改表属性的操作方法

6.掌握统计信息的收集1.表操作概述定义与作用：Hive表是Hive系统中的核心数据结构，用于存储和组织大数据集，支持类SQL操作。表操作包括创建、修改、删除和优化，旨在提高查询效率和数据管理便利性。Hive表基于HDFS存储，元数据保存在Metastore中。关键特点：Hive表支持多种类型，如内部表、外部表、分区表和桶表；Hive4.x版本增强了ACID支持，提供事务性和一致性。表操作通过HiveQL语句执行，与YARN集成确保资源高效分配。2.内部/外部表内部表（ManagedTable）：Hive完全管理表生命周期，包括数据和元数据。删除表时，底层HDFS数据也会删除。适合临时或Hive独占数据。语法：CREATETABLEtable_name...;外部表（ExternalTable）：Hive仅管理元数据，数据独立存在于HDFS或其他存储。删除表时，数据保留。适合共享数据或外部摄取。语法：CREATEEXTERNALTABLEtable_name...LOCATION'path';比较：

内部表提供数据安全但灵活性低；外部表支持数据复用，避免意外删除。Hive4.x优化了外部表的兼容性，支持更多格式如Parquet。3.分区表概述：

分区表通过PARTITIONEDBY将数据按指定列分目录存储，减少查询扫描范围，提高性能。分区列不存储在数据文件中，而是作为目录结构。语法结构：CREATETABLEtable_name(col1TYPE,...)PARTITIONEDBY(partition_colTYPE,...);ALTERTABLEtable_nameADDPARTITION(partition_col='value');详细解释：

支持静态分区（手动添加）和动态分区（INSERT时自动）。Hive4.x支持MSCKREPAIRTABLE自动发现分区。分区可多级，如年/月/日。4.MOR/COW模式MOR模式：

存储增量更新，读取时合并。适合读重负载，支持压缩和快速查询。语法：TBLPROPERTIES('transactional'='true','transactional_properties'='insert_only');COW模式：

写时复制整个文件，确保原子性。适合写重场景，如批量更新。默认ACID模式。详细解释：

通过ALTERTABLE...ENABLEMERGEONREAD切换；集成Iceberg，提供更好的事务性和schema演化。5.桶表桶表通过CLUSTEREDBY将数据按哈希分桶存储,提高JOIN和采样效率。桶数固定,支持排序(SORTEDBY)。概述CREATETABLEtable_name(col1TYPE,...)CLUSTEREDBY(bucket_col)[SORTEDBY(sort_colASC/DESC)]INTOnum_bucketsBUCKETSSTOREDASfile_format;语法结构桶分簇减少shuffle操作;Hive支持桶修剪(bucketpruning),优化查询。结合分区进一步提升性能。详细解释6.修改表属性语法结构：ALTERTABLEtable_nameSETTBLPROPERTIES('key'='value',...);ALTERTABLEtable_nameRENAMETOnew_name;ALTERTABLEtable_nameADDCOLUMNS(col_nameTYPE,...);示例：ALTERTABLEsalesSETTBLPROPERTIES('press'='SNAPPY');ALTERTABLEold_tableRENAMETOnew_table;详细解释：

修改属性如压缩、序列化；重命名表或列；添加/替换列支持schema演化。Hive4.x在ACID表中优化了列修改。7.统计信息概述：Hive收集表/分区统计如行数、文件大小，用于查询优化。支持基本统计和列统计。语法结构：ANALYZETABLEtable_name[PARTITION(part_spec)]COMPUTESTATISTICS[FORCOLUMNS];SHOWTABLEEXTENDEDLIKE'table_name';示例：ANALYZETABLEsalesCOMPUTESTATISTICSFORCOLUMNS;8.表管理与数据保护策略列出表是日常管理中最常用的操作，用于快速查看数据库中的表结构；保护表则用于防止生产环境中的关键表被意外删除或修改，确保数据安全。小结1.Hive表是Hive系统中的核心数据结构，支持多种类型如内部表、外部表、分区表和桶表，且增强了ACID支持。2.内部表由Hive