单元8 任务8.2-数据仓库Hive部署与应用

《大数据平台部署与运维》单元8

数据仓库Hive部署与应用01理解Hive的原理与体系架构02掌握Hive的部署方法学习目标03掌握Hive格式化和启动相关命令任务8.2部署Hive远程模式学习任务任务8.2部署Hive远程模式【任务场景】小张：经理，我已经完成了Hive的安装部署，采用的本地模式，目前把元数据库MySQL和Hive都安装到了一个节点上。经理：这样可能存在安全隐患，基于公司的Hadoop集群，我建议最好把元数据库和Hive分开部署在不同节点上，也就是采用远程模式进行部署。小张：好的，我尽快改造完成。经理：好。任务8.2部署Hive远程模式【任务布置】此任务要求完成Hive远程模式的安装和部署，将Hive的元数据库和Hive服务器安装在不同的机器节点上。安装完成后启动Hive的后台服务，客户端进行连接和访问Hive。任务8.2部署Hive远程模式Hive远程模式部署：是指远程部署MySQL数据库来代替Hive自带的Derby数据库，使得Hive服务器和元数据MySQL服务器运行在不同的节点上，Hive服务和MetaStore服务运行在不同的进程或不同机器上。Hive远程模式是企业实际产生环境下常用的一种部署方式，安装部署过程比本地模式相对复杂一些，访问方式也不太一样，需要特别注意。

此任务需要完成Hive远程模式的安装，基于已经完成Hadoop集群部署的三台机器master、worker1和worker2进行部署。Hive远程模式安装部署的规划如下表所示：节点名称用途masterHiveClient客户端worker1HiveServer服务器worker2元数据服务器：安装MySQLServer任务8.2部署Hive远程模式远程模式需要在hive-site.xml配置文件中将hive.metastore.local设置为false，并将hive.metastore.uris设置为MetaStore服务器URI，如有多个MetaStore服务器，URI之间用逗号分隔。MetaStore服务器URI的格式为thrift://host:port，如下所示：

其实仅连接远程的MySQL元数据库服务器并不能称之为“远程模式”，是否远程指的是MetaStore和Hive服务是否在同一进程内，也就是说，“远”指的是MetaStore服务和Hive服务离得“远”。

<property> <name>hive.metastore.uris</name> <value>thrift://127.0.0.1:9083</value></property>任务8.2部署Hive远程模式【工作流程】部署Hive远程模式的主要工作流程包括：1.在master和worker1节点部署Hive；2.worker1作为hiveserver进行配置；3.master作为客户端进行配置；4.在worker2节点上安装MySQL服务器；5.启动Hive。任务8.2部署Hive远程模式【操作步骤】1.在master和worker1节点部署Hive将Hive安装包下载并存放到master节点的/usr/local/soft目录下，下面先在master节点中对hive进行解压，然后将其复制到worker1节点中。（1）master节点中创建工作路径，并解压Hive到此路径下，操作命令如下：mkdir-p/usr/hivetar-zxvf/usr/local/soft/apache-hive-2.1.1-bin.tar.gz-C/usr/hive/（2）接下来在worker1节点上建立文件夹/usr/hive，将master中的Hive解压包远程复制到worker1。scp-r/usr/hive/apache-hive-2.1.1-binroot@worker1:/usr/hive/（3）在master和worker1节点修改/etc/profile文件，设置Hive环境变量。在/etc/profile文件中增加以下两行：exportHIVE_HOME=/usr/hive/apache-hive-2.1.1-binexportPATH=$PATH:$HIVE_HOME/bin

运行以下命令使环境变量生效：source/etc/profile任务8.2部署Hive远程模式2.worker1作为hiveserver进行配置（1）worker1节点为Hive服务器端需要和元数据库MySQL通信，所以worker1节点需要使用MySQL的驱动jar包，可以在网上下载mysql-connector-java-5.1.25-bin.jar驱动包，并将此驱动包拷贝到worker1节点的$HIVE_HOME/lib目录下。（2）修改worker1节点的hive-env.sh文件中HADOOP_HOME环境变量。进入hive配置目录，因为hive中已经给出配置文件的范本hive-env.sh.template，直接将其复制一份进行修改即可，主要命令如下所示：cd$HIVE_HOME/confcphive-env.sh.templatehive-env.shvimhive-env.sh（3）编辑hive-env.sh文件，根据hadoop的实际安装路径配置HADOOP_HOME环境变量，在文件中添加如下一行：HADOOP_HOME=/usr/local/hadoop/（4）在worker1节点的$HIVE_HOME/conf目录下新建hive-site.xml，并配置hive-site.xml文件的内容：vimhive-site.xml任务8.2部署Hive远程模式

在hive-site.xml文件中添加以下内容：

<configuration> <!--Hive产生的元数据存放位置--> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote/warehouse</value> </property> <!--数据库连接JDBC的URL地址--> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://worker2:3306/hive?createDatabaseIfNotExist=true</value>#连接MySQL所在的ip（主机名）及端口

</property> <!--数据库连接driver，即MySQL驱动--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>

任务8.2部署Hive远程模式<!--MySQL数据库用户名--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!--MySQL数据库密码--> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property></configuration>任务8.2部署Hive远程模式3.master作为客户端进行配置（1）由于客户端需要和Hadoop通信，首先需要解决Hive和Hadoop通信jar包版本冲突和jar包依赖问题。更改Hadoop中jline的版本。即保留一个高版本的jlinejar包，从hive的lib包中拷贝到Hadoop中$HADOOP_HOME/share/hadoop/yarn/lib目录下。执行命令如下：cp/usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar/usr/local/hadoop/share/hadoop/yarn/lib/（2）接下来，修改master节点的hive-env.sh中HADOOP_HOME环境变量：HADOOP_HOME=/usr/local/hadoop（3）在master节点创建hive-site.xml文件，文件中配置内容如下：<configuration><!--Hive产生的元数据存放位置--><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value></property><!---使用本地服务连接Hive,默认为true--><property><name>hive.metastore.local</name><value>false</value></property>任务8.2部署Hive远程模式

<!--连接服务器--> <property> <name>hive.metastore.uris</name> <value>thrift://worker1:9083</value>#hive客户端通过thrift服务器服务连接MySQL数据库，这里的thrift服务器就是worker1的ip（主机名）

</property></configuration>4.在worker2节点上安装MySQL服务器MySQL服务器的安装方法具体可以参照本项目任务1中MySQL安装和配置相关内容，在此不再重复赘述。5.启动Hive经过以上的安装和配置，Hive的远程模式即部署完成，接下来将按照以下步骤完成Hive启动。（1）worker1作为服务器端，执行以下命令开启hiveserver：bin/hive--servicemetastore任务8.2部署Hive远程模式（2）master作为客户端，在客户端执行以下命令启动Hive。hive【小提示】启动命令为全小写。（3）在hive客户端下运行showdatabases命令，测试Hive是否启动成功：• hive>showdatabases;通过上图可以看出，master节点作为hive客户