大数据集群配置过程_hive篇.docx

大数据集群配置过程_hive篇JDDC_SEED_BIGDATA 2015-01-15 修改历史修改日期担当者审阅人版本号新增2015-01-18孙云涛V1.01. 概述本篇文档主要讲解hive的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分hdfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hive版本是0.12.0 切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。2. 正文与hadoop和hbase不同，hive在安装的过程中不需要把hive的包分别发布到个节点上，只需要在namenode节点上hive包进行配置，但需要在配置的过程中指定各个datanode节点的主机名。2.1下载安装mysql本次将Hive配置成Server模式，并且使用MySQL作为元数据数据库。原则上MySQL不必要非得安装在namenode节点上，可以装在一个单独的服务器上，并进行远程联接。本次技术检证，由于资源有限，把mysql安装在namenode节点上。下载MySQL-5.6.22-1.linux_glibc2.5.i386.rpm-bundle.tar，参考下载地址/downloads/。具体的安装以及root初始密码的修改请参考linux下MySQL安装及设置和MySQL修改root密码的各种方法整理这两篇文档。2.2创建Hive元数据库创建数据库hive：create database if not exists hive; 创建数据库用户hive：create user hive identified by hive2015; 授权可以访问数据库hive的主机和用户：grant all on hive.* to hivehadoop01 identified by hive2015;grant all on hive.* to hivehadoop02 identified by hive2015;grant all on hive.* to hivehadoop03 identified by hive2015;grant all on hive.* to hivehadoop04 identified by hive2015;2.3安装以及配置hive下载hive-0.12.0-bin.tar.gz，参考下载地址/downloads.html。下载之后，把安装包放在/home/hadoop/source/目录下。执行以下命令：tar zxvf hive-0.12.0-bin.tar.gz执行完成上述命令会么生一个hive-0.12.0-bin的目录创建hive包的联接ln s /home/hadoop/source/hive-0.12.0-bin/ ./hive在/etc/profile中新追加以下内容export HIVE_HOME=/home/hadoop/source/hiveexport PATH=$HIVE_HOME/bin:$PATH安装MySQL-Connector，下载网址：/downloads/connector/。选择“Connector/J”，接着选择“Platform Independent”，本文下载的是“mysql-connector-java-5.1.30.tar.gz”。压缩包“mysql-connector-java-5.1.30.tar.gz”中有个mysql-connector-java-5.1.30-bin.jar，解压后将mysql-connector-java-5.1.30-bin.jar上传到Hive的lib目录下（/home/hadoop/source/hive-0.12.0-bin/lib/），这个是MySQL的JDBC驱动程序。修改hive的配置文件（各配置文件位置：/home/hadoop/source/hive-0.12.0-bin/conf/）根据原来的几个模板文件，生成hive需要使用的配置文件，执行以下各个命令：cp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-site.xmlcp perties.template pertiescp perties.template perties修改hive-site.xml：1) 修复BUG该文件有个语法BUG，需要修改，进入到hive-site.xml的第2000行，该行内容为：auth，明显的语法错误，需要将“auth”改成“value”。 2) 修改javax.jdo.option.ConnectionURL将值设置为：jdbc:mysql:/hadoop02:3306/hive?characterEncoding=UTF-8。3) 修改javax.jdo.option.ConnectionDriverName将值设置为：com.mysql.jdbc.Driver。4) 修改javax.jdo.option.ConnectionUserName将值设置为访问hive数据库的用户名hive：hive。5) 修改javax.jdo.option.ConnectionPassword将值设置为访问hive数据库的密码：hive2015。6) 修改hive.metastore.schema.verification该值试情况进行修改。7) 修改hive.zookeeper.quorum将值设置为：hadoop01, hadoop03, hadoop04ZooKeeper被安装在这三台机器上。8) 修改hive.metastore.uris将值设置为：thrift:/ hadoop02:9083，9083为Hive元数据的RPC服务端口。9) 修改hive.metastore.warehouse.dir将值设置为：/home/hadoop/source/hive/warehouse，注意启动前，需要创建好该目录（/home/hadoop/source/hive/warehouse）。10) 修改hive.server2.thrift.bind.host设置为hadoop02。修改perties：修改日志文件存放目录hive.log.dir=/home/hadoop/source/hive/logs如果没有home/hadoop/source/hive/logs这个目录，需要创建一下。修改perties：修改日志文件存放目录hive.log.dir=/home/hadoop/source/hive/logs/exec如果没有/home/hadoop/source/hive/logs/exec这个目录，需要创建一下。2.4启动运行hive1) 初始化metastore安装配置好后，在启动Hive服务端之前，需要在服务端执行一次“schematool -dbType mysql -initSchema”，以完成对metastore的初始化。2) 启动metastore执行命令：hive -service metastore &3) 启动Hive服务执行：hiveserver2 &。4) 进入Hive命令行操作界面（类似于mysql）执行：hive查看有哪些表注：invites和pokes这两个表是在技术检证时创建的，建表脚本如下：CREATE TABLE pokes (foo INT, bar STRING);CREATE TABLE invites (fo INT, bar STRING) PARTITIONED BY (ds STRING