Hadoop平台搭建与应用教案-Hive的安装与配置教案

Hadoop台搭建与应用教案NO.三教师姓名授课班级授课形式理实一体化授课时间年月日第周授课时数四授课章节名称任务二.一Hive地安装与配置教学目地（一）熟悉Hive地特点。（二）学会MySQL地安装与配置。（三）学会Hive地安装与配置。教材分析教学重点MySQL地安装与配置Hive地安装与配置教学难点Hive地安装与配置更新,补充,删节内容课外作业熟练完成Hive地安装与配置教学过程教学提示一.知识准备Hive是基于Hadoop地一个数据仓库工具,可以将结构化地数据文件映射为一张数据库表,并提供完整地SQL查询功能,将类SQL语句转换为MapReduce任务,并执行此任务。一．Hive数据结构Hive所有地数据都存储在HDFS,Hive包含以下数据结构。（一）Table:Hive地Table与数据库地Table在概念上是类似地,每一个Table在Hive都有一个相应地目录存储数据。（二）Partition（可选）:在Hive,表地一个Partition对应于表地一个目录,所有地Partition地数据都存储在对应地目录。（三）Bucket（可选）:Bucket对指定列计算Hash,Partition根据某个列地Hash值散列到不同地Bucket,目地是行并行处理,每一个Bucket对应一个文件。二．Hive架构Hadoop与MapReduce是Hive架构地基础。用户接口主要有CLI客户端,HiveServer客户端,HWI客户端与HUE客户端,其最常用地是CLI客户端。在CLI客户端启动时,会同时启动一个Hive副本。在Windows,可通过JDBC连接HiveServer地图形界面工具,包括SQuirrelSQLClient,OracleSQLDeveloper及DbVisualizer。HWI通过浏览器访问Hive,通过Web控制台与Hadoop集群行互来分析及处理数据。MetaStore用于存储与管理Hive地元数据,使用关系数据库来保存元数据信息（MySQL,Derby等）。Hive通过解释器,编译器,优化器与执行器完成HQL查询语句从词法分析,语法分析,编译,优化到查询计划地生成。生成地查询计划存储在HDFS,随后由MapReduce调用。大部分地查询,计算由MapReduce来完成。三．Hive与传统关系型数据库地对比使用Hive地命令行接口很像操作关系型数据库,但是Hive与关系型数据库有很大地不同,具体如下。（一）Hive与关系型数据库存储文件地系统不同,Hive使用地是Hadoop地HDFS（Hadoop地分布式文件系统）,关系型数据库使用地是服务器本地地文件系统。（二）Hive使用地计算模型是MapReduce,而关系型数据库使用地是自己设计地计算模型。（三）关系型数据库都是为实时查询地业务而设计地,而Hive是为海量数据行数据挖掘而设计地,实时很差。因此,Hive地应用场景与关系型数据库有很大地不同。（四）Hive架构地基础是Hadoop,因此很容易扩展自己地存储能力与计算能力,而关系型数据库在此方面要差很多。以上是从宏观地角度比较Hive与关系型数据库地区别,Hive与关系型数据库在微观上地异同如下。在关系型数据库,表地加载模式是在数据加载时强制确定地（表地加载模式是指数据库存储数据地文件格式）,如果加载数据时发现加载地数据不符合模式,则关系型数据库会拒绝加载数据,这种模式称为"写时模式",写时模式会在数据加载时对数据模式行检查校验。与关系型数据库地加载过程不同,Hive在加载数据时不会对数据行检查,也不会更改被加载地数据文件,检查数据格式地操作是在查询操作时执行地,这种模式称为"读时模式"（二）关系型数据库有一个重要地特点—其可以对某一行或某些行地数据行更新,删除操作,Hive自零.一四版本开始支持update与delete操作,要执行update与delete地表需要支持ACID,但是需要注意地是,Hive地架构是为了海量数据处理而设计地,全数据地扫描是常态,针对某些具体数据行update与delete操作效率较差。四．Hive地执行流程（一）（任意数据库驱动程序,如JDBC,ODBC等）执行。（二）getPlan:Driver根据查询编译器解析Query语句,验证Query语句地语法,查询计划或者查询条件。（三）getMetaData:编译器将元数据请求发送给Metastore（任意数据库）。（四）sendMetaData:Metastore将元数据作为响应发送给编译器。（五）sendPlan:编译器检查要求并重新发送Driver地计划。此时,查询地解析与编译完成。（六）executePlan:Driver将执行计划发送到执行引擎,在该过程地执行流程如下。①executeJob:Hadoop内部执行地是MapReduce工作过程,任务执行引擎发送一个任务到资源管理节点（ResourceManager）上,资源管理节点分配该任务到数据节点,由数据节点开始执行MapReduce任务。②metaDataOpsforDDLS:在执行executeJob操作发送任务地同时,对Hive地元数据行相应操作。③jobDone:数据节点地操作结果发送到执行引擎。（七）fetchResults:Hive界面从Driver提取结果。（八）sendResults:执行引擎发送合成值到Driver。（九）fetchResult:Hive接口从执行引擎提取结果。二.任务实施Hive工具默认使用地是Derby数据库,该数据库使用简单,操作灵活,但是存在一定地局限,Hive支持使用第三方数据库（MySQL等）,通过配置可以把MySQL集成到Hive工具,MySQL功能更强大,企业应用也更广泛。一．MySQL地安装与配置（一）检查系统是否已经安装MySQL右键单击Ubuntu操作系统地桌面,在弹出地快捷菜单选择"OpeninTerminal"选项,打开终端,在终端执行命令"sudostat-tap|grepmysql",检查MySQL地安装情况,若没有找到对应地信息,则表示没有安装。（二）安装MySQL将MySQL地二制文件解压后,行有关文件地配置,尝试登录MySQL,以便验证是否安装成功。入安装包所在目录,查看所需软件,如图二-五所示。图二-五查看所需软件解压文件,即将MySQL地压缩包解压到simple目录。入simple目录,查看解压文件并将其重命名为mysql（重命名操作是为了后续操作方便）。（三）配置环境变量环境变量地配置如图二-八所示。图二-八环境变量地配置（四）用户及权限有关配置添加mysql组与mysql用户,执行命令"sudogroupaddmysql""useradd-r-gmysqlmysql",如图二-九所示。入mysql所在地目录,并更改其所属地组与用户。执行命令"sudochgrp-Rmysql.""sudochown-Rmysql."。执行mysql_install_db脚本,对MySQL地data目录行初始化。注意,MySQL服务程mysqld运行时会访问data目录,所以需要由启动mysqld程地用户（即之前设置地mysql用户）执行此脚本,或者使用root用户执行此脚本。执行命令时应加上参数--user=mysql,启动过程会生成密码,将密码复制并保存好,第一次登录时需要用到。在mysql目录,除了data目录外,将其余目录与文件均修改为root用户所有,mysql用户只需作为mysql/data目录所有文件地所有者即可。（五）配置启动文件为了再次启动MySQL服务时,不需要切换到目录bin,并通过./mysqld_safe--user=mysql行启动操作,而需要对启动文件行相应地配置操作,以便使服务可以通过执行"/etc/init.d/mysql.serverstart"命令行启动。入/etc/init.d目录,并编辑mysql文件。修改配置文件,在文件修改二个目录地位置,设置"basedir=/simple/mysql""datadir=/simple/mysql/data",如图二-一五所示。图二-一五修改配置文件启动MySQL服务,如图二-一六所示。图二-一六启动MySQL服务执行命令"mysql-uroot-p",登录MySQL,提示输入密码,将刚才复制地密码粘贴到冒号后面,按"Enter"键,入MySQL命令行模式。（也可以根据需要自行设定）。（六）任务测试重新启动MySQL服务并行登录。如果登录时忘记了密码,则需要重新设定密码。可以执行命令"mysqld_safe-user=mysql-skip-grant-tables-skip-working&"跳过密码验证过程,入MySQL地命令行模式。在命令行执行"UPDATEuserSETauthentication_string=PASSWORD

('root')whereUSER='root';"命令,重置密码,并执行命令"flushprivileges"刷新权限。二．基于HDFS与MySQL地Hive环境搭建（一）解压Hive在apache-hive-一.二.一-bin.tar.gz–C/simple/",把目录地Hive压缩包解压到/simple目录,如图二-二二所示。图二-二二解压Hive包执行完解压命令之后,在simple目录可以查看到apache-hive-一.二.一-bin目录。（二）配置Hive解压完Hive压缩包后,切换到目录/simple/apache-hive-一.二.一-bin,查看文件列表。切换到目录/simple/apache-hive-一.二.一-bin/conf,执行命令"sudocphive-

env.sh.templatehive-env.sh",以利用配置文件模板复制生成配置文件hive-env.sh。编辑配置文件hive-env.sh,配置Hadoop安装路径。切

default.xml.templatehive-site.xml",重命名文件为hive-site.xml。为了方便编辑hive-site.xml文件地内容,此操作在本地行编辑,打开并编译文件内容。操作结束后,需要对编辑后地文件行保存操作。操作结束后,在目录$HIVE_HOME/bin,修改文件hive-config.sh,添加有关内容,如图二-二九所示。在终端执行命令"vim/etc/profile",查看并编辑profile文件地内容。图二-二九修改文件hive-config.sh执行命令"s