任务8.1 部署本地模式Hive

部署本地模式Hive任务描述在使用Hive实现铁路数据客流量分析之前，需要先在平台上部署Hive，在本任务中，小数将基于项目2部署的完全分布式Hadoop集群，进一步部署本地模式的Hive。任务环境已部署Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境在本地模式下，HiveMetastore服务与主HiveServer进程在同一进程中运行，但是存储元数据的数据库在单独的进程中运行，并且可以在单独的主机上，Metastore服务将通过JDBC与Metastore数据库进行通信。用户可以自由选择元数据库，此处为了适应大规模数据处理和复杂业务需求，采用MySQL作为Hive本地模式的元数据服务。Hive本地模式目录1部署Hive安装MySQL2在Linux虚拟机中安装MySQL的流程如下。安装MySQLCentOS系统默认采用的数据库是MariaDB，这个数据库与MySQL冲突，因此，在安装MySQL之前，需要先检查是否卸载了默认的MariaDB数据库，若没有卸载则需卸载。卸载MariaDB“rpm-qa”命令用于查询已安装的所有软件包，在该命令后面使用管道命令“|”结合“grep”命令，可以将“rpm-qa”命令结果中包含某些信息（mariadb）的结果输出。使用管道命令“|”结合“xargs”命令则是可以将前面的输出结果作为参数输入后面的命令，如“rpm-qa|grepmariadb”命令的输出结果是“mariadb-libs-5.5.68-1.el7.x86_64”，则“rpm-qa|grepmariadb|xargsrpm-e--nodeps”命令中“|xargsrpm-e--nodeps”执行的是“rpm-e--nodepsmariadb-libs-5.5.68-1.el7.x86_64”。从MySQL官网下载MySQL压缩包“mysql-8.0.30-1.el7.x86_64.rpm-bundle.tar”。使用Xftp8远程传输工具将MySQL压缩包传输至master虚拟机/opt/software目录下。下载MySQLMySQL安装包“mysql-8.0.30-1.el7.x86_64.rpm-bundle.tar”中的“el7”代表的是RedHatEnterpriseLinux7（RHEL7）或其衍生版本，如CentOS7。而“x86_64”则指示这个软件包是为64位的x86架构系统设计的，这个架构支持64位操作系统和应用程序，允许使用更多的内存和处理更大的数据集。x86_64架构是由AMD首先推出的，后来被Intel采用并命名为Intel64。在Linux系统中，x86_64是最常用的64位架构之一。因此，这个软件包是用于64位的Linux系统，特别是基于RHEL7或CentOS7的系统。下载MySQL在master虚拟机的/opt/software目录下新建mysql-8.0.30目录。解压MySQL压缩包至/opt/software/mysql-8.0.30目录下。解压安装MySQL解压操作完成后查看解压目录。结果中包含12个RPM包则说明文件已解压成功。解压安装MySQL在解压后的12个RPM包中需要安装的主要是mysql-community-common-8.0.30-1.el7.x86_64.rpm、mysql-community-libs-8.0.30-1.el7.x86_64.rpm、mysql-community-client-8.0.30-1.el7.x86_64.rpm和mysql-community-server-8.0.30-1.el7.x86_64.rpm这4个RPM包。由于MySQL的各个RPM包之间存在依赖关系，因此在安装common、libs、client、server等4个RPM包时可能还需要先安装其他RPM包，且安装过程对安装顺序有严格要求。解压安装MySQLMySQL各RPM包具体安装顺序如下。解压安装MySQL安装后可使用“rpm-qa|grepmysql”命令查看安装结果，结果中能够看到7个MySQL插件则说明安装成功。解压安装MySQL关于MySQL需要安装的4个主要的RPM包的作用说明：MySQLCommon的RPM包包含了MySQL服务器的通用文件，例如，配置文件、日志文件和启动脚本等。它提供了MySQL服务器和客户端共用的基础结构和工具。MySQLLibs的RPM包包含了MySQL客户端库，这些库是MySQL应用程序和服务器进行通信所必需的。它包括共享库（例如libmysqlclient.so），其他MySQL包和任何需要与MySQL服务器交互的应用程序都会依赖这些库。MySQLClient的RPM包包含了MySQL客户端应用程序和工具，包括MySQL命令行工具，允许用户从终端或脚本中连接到MySQL服务器并执行SQL命令。它还包含了其他客户端工具和程序，如mysqladmin、mysqldump等。MySQLServer的RPM包包含了MySQL数据库服务器守护进程（mysqld）和相关的服务器组件。它提供了MySQL数据库的核心服务，包括数据存储、查询处理、用户管理和安全性功能。安装这个包将允许你运行和管理一个MySQL服务器实例。解压安装MySQL使用“systemctlstartmysqld”命令启动MySQL服务。并通过“cat/var/log/mysqld.log|greppassword”命令在/var/log/mysqld.log文件中找到MySQL初始密码。注意：每台机子的密码并不相同，需要根据自己的密码来登录MySQL启动MySQL服务找到初始密码后即可使用“mysql-uroot-p”命令并通过初始密码登录MySQL。启动MySQL服务由于随机密码可能难以记忆，可以利用复制粘贴功能来输入。同时，在输入密码的过程中，为保证隐私性，系统不会显示输入的内容，需避免重复粘贴。由于MySQL8.x版本新增了密码过期策略，导致用户在第一次登录后需要先修改一次密码才能继续操作，且修改的密码需要符合默认的密码修改策略，即密码最小长度为8，且密码至少需包含大写字母、小写字母、数字、特殊符合各1个。此处先将MySQL密码修改为“Root@123456”修改MySQL密码将MySQL密码修改为简单密码，如“123456”，由于该密码并不符合MySQL默认的密码修改策略，因此在将密码修改为简单密码之前还需先修改默认的密码修改策略。修改MySQL密码在实际工作中，大数据运维工程师为了确保数据库的安全性，通常会将密码设置为复杂密码并定期更换，避免数据库密码被破解，从而导致数据泄露。为了方便其他大数据组件能够顺利连接MySQL，需要为MySQL赋予外部连接权限，即授予用户通过本机（安装MySQL机器）之外的主机连接到MySQL的权限。赋予外部连接权限目录1部署Hive安装MySQL2部署Hive的流程如下。部署Hive从Hive官网下载Hive安装包“apache-hive-3.1.2-bin.tar.gz”。使用Xftp8远程传输工具将Hive安装包传输至master虚拟机/opt/software目录下。下载Hive在master虚拟机解压安装包apache-hive-3.1.2-bin.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“apache-hive-3.1.2-bin”，说明文件已解压成功。解压Hive修改apache-hive-3.1.2-bin的名称为hive-3.1.2。修改Hive名称执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加Hive环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件进入Hive安装目录的conf目录下新建文件hive-site.xml。进入hive-site.xml文件中配置参数。修改配置文件hive-site.xml中的参数说明。修改配置文件参数参数说明hive.metastore.warehouse.dir指定Hive数据存放的位置hive.exec.scratchdir指定Hive执行任务时产生的临时文件存放的位置hive.metastore.uris指定Hive元存储的ThriftURIjavax.jdo.option.ConnectionURL指定连接到元数据库的JDBC连接字符串javax.jdo.option.ConnectionDriverName指定JDBC驱动程序的类名javax.jdo.option.ConnectionUserName指定连接数据库时使用的用户名javax.jdo.option.ConnectionPassword指定连接数据库时使用的密码hive.server2.thrift.bind.host指定HiveServer2Thrift服务的绑定主机删除$HIVE_HOME/lib中低版本的guavaJar包。将$HADOOP_HOME/share/hadoop/common/lib中高版本的guavaJar包复制至$HIVE_HOME/lib中处理Jar包冲突从MySQL官网中下载对应版本（8.0.30）的MySQLJDBC驱动包“mysql-connector-java-8.0.30.jar”。使用Xftp8远程传输工具将驱动包传输至master虚拟机的$HIVE_HOME/lib目录下。添加MySQL连接驱动包初始化元数据信息。结果中最后两行出现“Initializationscriptcompl