2023学年完整公开课版Hive安装部署

Hive安装部署课程目标本课程的目的是能够使学员了解Hive的作用、工作原理、工作场景，掌握Hive数据仓库的HQL使用方法，能够进行UDF编程、Hive模式设计及优化。课程内容Hive安装配置Hive概述HiveQL--数据定义HiveQL—数据操作hive视图、索引hive文件操作及UDFHive模式设计及优化实验说明实验的操作系统是Linux的开源发行版Ubuntu16.04，采用VM虚拟机进行安装创建JDK版本1.8Hadoop版本2.7.2Hive版本1.2.1安装前准备完成JDK安装配置完成hadoop安装配置下载文件apache-hive-1.2.1-bin.tar.gzmysql-connector-java-5.1.39.zip集群的规划设计集群中部署3个节点：IP

hostname 充当的角色

Master nn/RM/Hive/metastore/mysql

Slave1 dn/NM/Hive Slave2 dn/NM/hive Hive的安装步骤--本地模式安装Mysql，并进行配置创建hive用户，并分配权限下载hive包，并解压到工作目录配置hive文件，设置环境变量、指出使用本地Mysql数据库，以及连接协议、账号、口令等把mysql-connector-java-x.x.x.jar复制到hive的lib目录下初始化mysql数据库启动hive验证hive是否安装成功安装mysql安装服务器sudoapt-getinstallmysql-server安装客户端sudoapt-getinstallmysql-clientsudoapt-getinstalllibmysqlclient-dev修改配置文件/etc/mysql/mysql.conf.d/f#bind-address=安装mysql创建用户并设置远程登录权限grantALLPRIVILEGESon*.*to‘hive'@'%'identifiedby'123456';grantALLPRIVILEGESON*.*TO‘hive'@'localhost'IDENTIFIEDBY'123456';

FLUSHPRIVILEGES;Hive安装上传包将下载的hive安装包上传到/home/hadoop上解压 tar–zxvfapache-hive-1.2.1-bin.tar.gz重命名包mvapache-hive-1.2.1-binhive-1.2.1下载MySQL的驱动包mysql-connector-java-5.1.39.zip，将解压出来的jar放入hive的lib目录下配置hive环境变量$file

注意CLASSPATH、PATH在原有配置上增加hive包路径exportHIVE_HOME=/home/hadoop/hive-1.2.1exportPATH=$HIVE_HOME/bin:$PATHexportCLASSPATH=$CLASSPATH:$HIVE_HOME/lib$file配置hive-env.shcphive-env.sh.templatehive-env.sh编辑hive-env.sh文件HADOOP_HOME=/home/hadoop/hadoop-2.7.2exportHIVE_CONF_DIR=/home/hadoop/hive-1.2.1/confHDFS存储位置配置Hive配置文件里要用到HDFS的一些路径，需要手动创建如下路径：hdfsdfs-mkdir-p/hive/warehousehdfsdfs-mkdir-p/hive/logshdfsdfs-mkdir-p/hive/tmphdfsdfs-chmod733/hive/warehousehdfsdfs-chmod733/hive/logshdfsdfs-chmod733/hive/tmp创建本地的目录mkdir-p/home/hadoop/hive-1.2.1/hivedata/logs配置hive-site.xmlcphive-default.xml.templatehive-site.xml编辑hive-site.xml文件<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property>配置hive-site.xml<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>/hive/tmp</value></property>配置log4j创建配置文件：perties修改上面两个文件中的配置:hive.log.dir=/home/hadoop/hive-1.2.1/logslog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter启动hive初始化mysql数据库schematool--dbTypemysql-initSchema如果出现如下警告：WARN:EstablishingSSLconnectionwithoutserver‘sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultifexplicitoptionisn’tset.。。。修改hive-site.xml配置文件：<name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>启动hive启动hivehive启动hive时，可能会遇到下面的问题：Exceptioninthread"main"java.lang.RuntimeException:java.lang.IllegalArgumentException:.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:%7D解决方法：查看hive-site.xml配置，会看到配置值含有"system:java.io.tmpdir"的配置项新建文件夹mkdir-p/home/hadoop/hive-1.2.1/hivedata/tmp将含有"system:java.io.tmpdir"的配置项的值修改为如上地址启动hive启动hivehive启动hive时，可能会遇到下面的问题：[ERROR]Terminalinitializationfailed;fallingbacktounsupportedjava.lang.IncompatibleClassChangeError:Foundclassjline.Terminal,butinterfacewasexpectedatjline.TerminalFactory.create(TerminalFactory.java:101)Foundclassjline.Terminal：原因是hadoop目录下存在老版本jline解决方法：进入hive的lib目录，把新版本的jline复制到hadoop的以下目录cpjline-2.12.jar/home/hadoop/hadoop-2.7.2/share/hadoop/yarn/lib/把hadoop旧版本的jline删掉Hive的安装--远程模式安装部署将master上的hive-1.2.1目录复制到其他节点上按照master上的配置修改其他节点上的.profile文件，添加hive的配置修改hive-size.xml文件，删除如下的配置：javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamejavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword修改hive-size.xml文件，添加如下的配置：<property>

<