《Hive数据仓库应用与实战》课件 项目二-任务一-安装、部署、配置Hive

《Hive数据仓库应用与实战》Hive数据仓库应用与实战项目二安装、部署、配置Hive任务一安装、部署、配置Hive回顾知识点1Hive的发展历史回顾知识点2Hive架构回顾知识点3Hive特性回顾知识点4Hive优缺点回顾任务引入在前面的任务中，我们对数据仓库和Hive有了基本的了解，从本任务开始，我们将开始正式学习Hive的安装配置方法。任务概要任务描述:在前面的《大数据集群与部署》课程中，我们已经学习了如何搭建Hadoop平台，那么我们首先将Hadoop平台按照原有的方法搭建好，再进行Hive的安装配置。任务教学目标：掌握Hive的安装、配置方法。一Hive下载地址二Hive安装教学内容三本地文件导入Hive四安装MySQL五Hive元数据配置到MySql六HiveJDBC访问七Hive常见属性配置Hive下载地址知识点一（一）Hive下载地址官网地址

/（一）Hive下载地址下载地址：/dist/hive/Hive安装知识点二（一）Hive安装及配置首先把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下，可以通过XShell或者其他FTP工具来实现。解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[root@localhostsoftware]$tar-zxvfapache-hive-1.2.1-bin.tar.gz-C/opt/module/1.解压程序（一）Hive安装及配置修改apache-hive-1.2.1-bin.tar.gz的名称为hive [root@localhostmodule]$mvapache-hive-1.2.1-bin/hive修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh[root@localhostconf]$mvhive-env.sh.templatehive-env.sh2.修改文件（一）Hive安装及配置配置hive-env.sh文件 [root@localhostconf]$vimhive-env.sh配置HADOOP_HOME路径（根据本地hadoop的安装路径填写）exportHADOOP_HOME=/opt/module/hadoop-2.7.1配置HIVE_CONF_DIR路径exportHIVE_CONF_DIR=/opt/module/hive/conf3.配置文件（二）Hadoop集群配置启动hdfs和yarn[root@localhosthadoop]$sbin/start-dfs.sh[root@localhosthadoop]$sbin/start-yarn.sh（二）Hadoop集群配置在HDFS上创建/tmp和/user/hive/warehouse两个目录[root@localhosthadoop]$bin/hadoopfs-mkdir/tmp[root@localhosthadoop]$bin/hadoopfs-mkdir-p/user/hive/warehouse（二）Hadoop集群配置修改刚才创建的文件夹同组权限可写[root@localhosthadoop]$bin/hadoopfs-chmodg+w/tmp[root@localhosthadoop]$bin/hadoopfs-chmodg+w/user/hive/warehouse（三）初始化元数据库现在我们可以启动Hive了[root@localhosthive]$bin/hive（三）初始化元数据库显示已有数据库hive>showdatabases;使用default数据库。hive>usedefault;（三）初始化元数据库显示default数据库中的表。hive>showtables;创建一张表hive>createtablestudent(idint,namestring);（三）初始化元数据库查看表的结构hive>descstudent;向表中插入数据hive>insertintostudentvalues(1000,"ss"); （三）初始化元数据库查询表中数据hive>select*fromstudent;退出hivehive>quit;本地文件导入Hive知识点三（一）数据准备在/opt/module/目录下创建datas目录。[root@localhostmodule]$mkdirdatas在/opt/module/datas/目录下创建student.txt文件并添加数据，注意以tab键间隔。[root@localhostdatas]$vistudent.txt1001zhangshan1002lishi1003zhaoliu（二）Hive操作启动hive[root@localhosthive]$bin/hive显示数据库。hive>showdatabases;（二）Hive操作使用default数据库。hive>usedefault;显示default数据库中的表。hive>showtables;（二）Hive操作删除已创建的student表。hive>droptablestudent;创建student表，并声明文件分隔符’\t’hive>createtablestudent(idint,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';（二）Hive操作加载/opt/module/datas/student.txt文件到student数据库表中。hive>loaddatalocalinpath'/opt/module/datas/student.txt'intotablestudent;Hive查询结果。hive>select*fromstudent;（三）遇到的问题Exceptioninthread"main"java.lang.RuntimeException:java.lang.RuntimeException:............Causedby:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient再打开一个客户端窗口启动hive，会产生java.sql.SQLException异常。原因是Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore。安装MySQL知识点四（一）安装包准备查看MySQL是否安装。[root@localhost/]#rpm-qa|grepmysql若MySQL已经安装，先卸载原有的MySQL，注意版本号。[root@localhost/]#rpm-e--nodepsmysql-libs-5.1.73-7.el6.x86_64（一）安装包准备使用FTP工具上传mysql-libs.zip至目录/opt/software，解压mysql-libs.zip文件到当前目录。[root@localhostsoftware]#unzipmysql-libs.zip进入到mysql-libs文件夹下。（二）安装MySql服务器、客户端安装MySQL服务端。[root@localhostmysql-libs]#rpm-ivhMySQL-server-5.6.24-1.el7.x86_64.rpm安装MySQL客户端。[root@localhostmysql-libs]#rpm-ivhMySQL-client-5.6.24-1.el7.x86_64.rpm（二）安装MySql服务器、客户端查看MySQL状态。[root@localhostmysql-libs]#servicemysqlstatus启动MySQL。[root@localhostmysql-libs]#servicemysqlstart（二）安装MySql服务器、客户端修改密码。[root@localhostmysql-libs]#/usr//bin/mysqladmin-urootpassword'123456'退出MySQL。mysql>exit（三）MySQL中user表中主机配置配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。[root@localhostmysql-libs]#mysql-uroot-p123456显示数据库mysql>showdatabases;（三）MySQL中user表中主机配置使用MySQL数据库mysql>usemysql;展示MySQL数据库中的所有表。mysql>showtables;（三）MySQL中user表中主机配置展示user表的结构。mysql>descuser;查询user表。mysql>selectUser,Host,Passwordfromuser;（三）MySQL中user表中主机配置修改user表，把Host表内容修改为%。mysql>updateusersethost='%'wherehost='localhost';删除root用户以外的其他host（根据自己查询的结果填写）。mysql>deletefromuserwhereHost='hadoop';mysql>deletefromuserwhereHost='';mysql>deletefromuserwhereHost='::1';（三）MySQL中user表中主机配置刷新。mysql>flushprivileges;退出。mysql>quit;Hive元数据配置到MySql知识点五（一）拷贝驱动在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@localhostmysql-libs]#tar-zxvfmysql-connector-java-5.1.27.tar.gz拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/。[root@localhostmysql-connector-java-5.1.27]#cpmysql-connector-java-5.1.27-bin.jar/opt/module/hive/lib/（二）配置Metastore到MySQL在/opt/module/hive/conf目录下创建一个hive-site.xml[root@localhostconf]$touchhive-site.xml[root@localhostconf]$vihive-site.xml根据官方文档配置参数，拷贝数据到hive-site.xml文件中，注意ip地址按照自己的填写，不要直接复制。（二）配置Metastore到MySQL<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://31:3306/metastore?createDatabaseIfNotExist=true</value><description>JDBCconnectstringforaJDBCmetastore</description></property>（二）配置Metastore到MySQL<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>usernametouseagainstmetastoredatabase</description></property>（二）配置Metastore到MySQL<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>passwordtouseagainstmetastoredatabase</description></property>（三）多窗口启动Hive测试先启动MySQL。[root@localhostmysql-libs]$mysql-uroot-p123456查看数据库数量和名称。mysql>showdatabases;（三）多窗口启动Hive测试先启动MySQL。[root@localhostmysql-libs]$mysql-uroot-p000000查看数据库数量和名称。mysql>showdatabases;（三）多窗口启动Hive测试再次打开多个窗口，分别启动hive。[root@localhosthive]$bin/hive启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库。mysql>showdatabases;HiveJDBC访问知识点六（一）启动hiveserver2服务[root@localhosthive]$bin/hiveserver2HiveServer2（HS2）是一个服务端接口，使远程客户端可以执行对Hive的查询并返回结果。目前基于ThriftRPC的实现是HiveServer的改进版本，并支持多客户端并发和身份验证。（二）启动beeline[root@localhosthive]$bin/beelineBeelineversion1.2.1byApacheHivebeeline>（三）连接hiveserver2beeline>!connectjdbc:hive2://31:10000（回车）Connectingtojdbc:hive2://hadoop102:10000Enterusernameforjdbc:hive2://31（你的主机ip）:10000:hadoop（回车）Enterpasswordforjdbc:hive2://hadoop102:10000:（直接回车）Connectedto:ApacheHive(version1.2.1)Driver:HiveJDBC(version1.2.1)Transactionisolation:TRANSACTION_REPEATABLE_READ（三）连接hiveserver20:jdbc:hive2://hadoop102:10000>showdatabases;+----------------+--+|database_name|+----------------+--+|default||hive_db2|+----------------+--+Hive常见属性配置知识点七（一）Hive数据仓库位置配置修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。<property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>locationofdefaultdatabaseforthewarehouse</description></property>（一）Hive数据仓库位置配置进入hadoop安装目录下，配置同组用户有执行权限：[root@localhosthadoop]#bin/hdfsdfs-chmodg+w/user/hive/warehouse（二）查询后信息显示配置在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。<property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property>（二）查询后信息显示配置hive>select*fromstudent;OK1001 zhangshan1002 lishi1003 zhaoliuTimetaken:0.398seconds,Fetched:3row(s)hive(default)>select*fromstudent;OKstudent.id 1001 zhangshan1002 lishi1003 zhaoliuTimetaken:0.398seconds,Fetched:3row(s)配置前配置后（三）Hive运行日志信息配置修改/opt/modul