《大数据离线分析技术》课件-项目5.5 Hive安装与测试

安装、测试、HCatalog大数据离线分析教学目标

1.掌握Hive的基本安装配置过程

2.掌握测试方法以及HCatalog的使用

1.安装hiveApacheHive的安装过程通常包括，先确认JavaJDK8+和Hadoop环境就绪，从Apache官网下载稳定版tar.gz文件并解压，设置HIVE_HOME和PATH环境变量，编辑hive-site.xml配置元数据存储（如MySQL），初始化schematool模式，启动Hadoop服务后进入Hiveshell测试。2.启动Hive启动Hive前，确保Hadoop服务运行：执行start-dfs.sh启动HDFS和start-yarn.sh启动YARN。如果使用HiveMetastore作为独立服务，运行hive--servicemetastore&

以后台模式启动。它监听端口9083，用于元数据访问。3.Hive测试测试Hive的第一步是创建数据库，以验证环境是否正常。在Hiveshell中，执行CREATEDATABASEtest_db;，创建一个名为test_db的数据库，用于隔离数据。添加LOCATION'/user/hive/warehouse/test_db.db'可指定HDFS路径。检查创建结果使用SHOWDATABASES;

命令，应列出test_db和默认数据库default。如果创建失败，可能由于权限不足或Metastore未启动。进一步测试可包括USEtest_db;切换数据库，并DROPDATABASEtest_db;删除它。4.Hive测试创建表是Hive测试的核心，验证数据定义能力。在Hiveshell中，执行下面语句CREATETABLEemployees(idINT,nameSTRING,salaryFLOAT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LINESTERMINATEDBY'\n'STOREDASTEXTFILE;检查表结构使用DESCRIBEemployees;

或SHOWTABLES;。5.HCatalogHCatalog是ApacheHive的表和存储管理层，提供了一个统一的元数据接口，允许不同工具如Pig、MapReduce和Spark访问Hive表，而无需了解底层存储细节。它抽象了数据格式、位置和模式，简化了大数据生态系统的集成。HCatalog使用RESTAPI（WebHCat）暴露元数据，支持DDL操作如创建/删除表。6.HCatalog从命令行，使用hcat-e"SHOWTABLES;"执行HiveQL，类似于hive-e但专注于元数据。在Pig脚本中，加载表：A=LOAD'employees'USINGorg.apache.hcatalog.pig.HCatLoader();允许Pig直接读取Hive表数据，无需指定路径或格式。在MapReduce中，使用HCatInputFormat设置输入。7.HDFS安全模式启动时进入安全模式：NameNode等待DataNode报告块状态，确保大部分副本可用。目的：防止集群启动时数据丢失或不完整。命令：hdfsdfsadmin-safemodeenter/leave/get/wait手动进入：常用于维护、升级或修复时禁止写操作。自动退出：当达到配置阈值（默认99.9%块副本报告）后自动退出。小结1.Hive安装涉及前提准备、下载、解压、环境变量设置和配置文件编辑2.测试通过创建数据库、表、插入数据和查询验证