《大数据离线分析技术》课件-23.Hive的定义语言

Hive的定义语言大数据离线分析教学目标1.了解HiveDDL的定义2.掌握HiveDDL语句对数据库和表的管理3.了解IcebergDDL的高级特性4.掌握创建数据库和表的操作及DDL语句的使用1.DDL概述HiveDataDefinitionLanguage(DDL)是Hive查询语言的一部分，用于定义、修改和删除数据库对象，如数据库、表、视图和索引。它类似于标准SQLDDL，但优化用于分布式大数据环境，支持HDFS、S3等存储系统。HiveDDL帮助用户管理海量数据的结构，确保数据组织高效，便于后续查询和分析。HiveDDL语句是声明性的，不涉及数据计算；支持内部表（managedtable）和外部表（externaltable），前者由Hive管理生命周期，后者允许数据独立存在。创建（CREATE）、修改（ALTER）、删除（DROP）、显示（SHOW）和描述（DESCRIBE）。这些语句在Hiveshell或Hue等工具中执行，支持批处理脚本。2.CREATEDATABASECREATEDATABASE是DDL的起点，它定义了数据组织的顶层容器。通过丰富选项，用户可以自定义存储路径和属性，确保灵活性和可扩展性语法结构：CREATE[DATABASE|SCHEMA][IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][MANAGEDLOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];示例：CREATEDATABASEsales_dbCOMMENT'Salesdatadatabase'LOCATION'/user/hive/sales';注意事项：

数据库名区分大小写；创建后可使用USEdatabase_name切换。Hive支持多数据库管理，类似于MySQL。3.CREATETABLE用于创建表，支持内部表（Hive管理数据）和外部表（数据独立）。数据类型包括INT、STRING、ARRAY等。ROWFORMAT指定数据分隔符，如DELIMITEDFIELDSTERMINATEDBY','。STOREDAS支持ORC、Parquet等高效格式。示例CREATEEXTERNALTABLEemployees(idINT,nameSTRING,salaryDOUBLE)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'STOREDASTEXTFILELOCATION'/user/data/employees';4.IcebergDDLHive4.x引入了对ApacheIceberg表格式的支持，提供ACID事务、schema演化、时间旅行和隐藏分区等高级功能。Iceberg是一种开放表格式，优化用于大型数据集的管理，与Spark、Presto等集成。使用HiveIcebergStorageHandler处理Iceberg表。支持PARTITIONEDBY，但Iceberg使用隐藏分区，避免手动管理。ALTERTABLE支持添加/删除列，而不需重写数据。DROPPARTITIONFIELD用于移除分区字段示例：CREATEEXTERNALTABLEiceberg_sales(idINT,amountDOUBLE)PARTITIONEDBY(dateSTRING)STOREDBY'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler'LOCATION'/warehouse/sales'TBLPROPERTIES('iceberg.catalog'='location_based_table');5.ALTERTABLE详细解释：用于修改表结构，如添加/重命名列、更改属性或分区。支持级联操作（CASCADE）以应用到分区。Hive4.x优化了ALTER操作的效率，尤其在Iceberg表中支持schema演化。示例：ALTERTABLEemployeesADDCOLUMNS(departmentSTRING);ALTERTABLEsalesRENAMETOsales_archive;注意事项：修改列类型可能需数据重写；外部表更改不影响底层文件。小结1.HiveDDL是用于定义、修改和删除数据库对象的语言，支持分布式大数据环境2.CREATEDAT