《大数据平台部署与应用》 项目实施课件 项目8 部署与应用Hive

部署本地模式Hive任务描述在使用Hive实现铁路数据客流量分析之前，需要先在平台上部署Hive，在本任务中，小数将基于项目2部署的完全分布式Hadoop集群，进一步部署本地模式的Hive。任务环境已部署Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境在本地模式下，HiveMetastore服务与主HiveServer进程在同一进程中运行，但是存储元数据的数据库在单独的进程中运行，并且可以在单独的主机上，Metastore服务将通过JDBC与Metastore数据库进行通信。用户可以自由选择元数据库，此处为了适应大规模数据处理和复杂业务需求，采用MySQL作为Hive本地模式的元数据服务。Hive本地模式目录1部署Hive安装MySQL2在Linux虚拟机中安装MySQL的流程如下。安装MySQLCentOS系统默认采用的数据库是MariaDB，这个数据库与MySQL冲突，因此，在安装MySQL之前，需要先检查是否卸载了默认的MariaDB数据库，若没有卸载则需卸载。卸载MariaDB“rpm-qa”命令用于查询已安装的所有软件包，在该命令后面使用管道命令“|”结合“grep”命令，可以将“rpm-qa”命令结果中包含某些信息（mariadb）的结果输出。使用管道命令“|”结合“xargs”命令则是可以将前面的输出结果作为参数输入后面的命令，如“rpm-qa|grepmariadb”命令的输出结果是“mariadb-libs-5.5.68-1.el7.x86_64”，则“rpm-qa|grepmariadb|xargsrpm-e--nodeps”命令中“|xargsrpm-e--nodeps”执行的是“rpm-e--nodepsmariadb-libs-5.5.68-1.el7.x86_64”。从MySQL官网下载MySQL压缩包“mysql-8.0.30-1.el7.x86_64.rpm-bundle.tar”。使用Xftp8远程传输工具将MySQL压缩包传输至master虚拟机/opt/software目录下。下载MySQLMySQL安装包“mysql-8.0.30-1.el7.x86_64.rpm-bundle.tar”中的“el7”代表的是RedHatEnterpriseLinux7（RHEL7）或其衍生版本，如CentOS7。而“x86_64”则指示这个软件包是为64位的x86架构系统设计的，这个架构支持64位操作系统和应用程序，允许使用更多的内存和处理更大的数据集。x86_64架构是由AMD首先推出的，后来被Intel采用并命名为Intel64。在Linux系统中，x86_64是最常用的64位架构之一。因此，这个软件包是用于64位的Linux系统，特别是基于RHEL7或CentOS7的系统。下载MySQL在master虚拟机的/opt/software目录下新建mysql-8.0.30目录。解压MySQL压缩包至/opt/software/mysql-8.0.30目录下。解压安装MySQL解压操作完成后查看解压目录。结果中包含12个RPM包则说明文件已解压成功。解压安装MySQL在解压后的12个RPM包中需要安装的主要是mysql-community-common-8.0.30-1.el7.x86_64.rpm、mysql-community-libs-8.0.30-1.el7.x86_64.rpm、mysql-community-client-8.0.30-1.el7.x86_64.rpm和mysql-community-server-8.0.30-1.el7.x86_64.rpm这4个RPM包。由于MySQL的各个RPM包之间存在依赖关系，因此在安装common、libs、client、server等4个RPM包时可能还需要先安装其他RPM包，且安装过程对安装顺序有严格要求。解压安装MySQLMySQL各RPM包具体安装顺序如下。解压安装MySQL安装后可使用“rpm-qa|grepmysql”命令查看安装结果，结果中能够看到7个MySQL插件则说明安装成功。解压安装MySQL关于MySQL需要安装的4个主要的RPM包的作用说明：MySQLCommon的RPM包包含了MySQL服务器的通用文件，例如，配置文件、日志文件和启动脚本等。它提供了MySQL服务器和客户端共用的基础结构和工具。MySQLLibs的RPM包包含了MySQL客户端库，这些库是MySQL应用程序和服务器进行通信所必需的。它包括共享库（例如libmysqlclient.so），其他MySQL包和任何需要与MySQL服务器交互的应用程序都会依赖这些库。MySQLClient的RPM包包含了MySQL客户端应用程序和工具，包括MySQL命令行工具，允许用户从终端或脚本中连接到MySQL服务器并执行SQL命令。它还包含了其他客户端工具和程序，如mysqladmin、mysqldump等。MySQLServer的RPM包包含了MySQL数据库服务器守护进程（mysqld）和相关的服务器组件。它提供了MySQL数据库的核心服务，包括数据存储、查询处理、用户管理和安全性功能。安装这个包将允许你运行和管理一个MySQL服务器实例。解压安装MySQL使用“systemctlstartmysqld”命令启动MySQL服务。并通过“cat/var/log/mysqld.log|greppassword”命令在/var/log/mysqld.log文件中找到MySQL初始密码。注意：每台机子的密码并不相同，需要根据自己的密码来登录MySQL启动MySQL服务找到初始密码后即可使用“mysql-uroot-p”命令并通过初始密码登录MySQL。启动MySQL服务由于随机密码可能难以记忆，可以利用复制粘贴功能来输入。同时，在输入密码的过程中，为保证隐私性，系统不会显示输入的内容，需避免重复粘贴。由于MySQL8.x版本新增了密码过期策略，导致用户在第一次登录后需要先修改一次密码才能继续操作，且修改的密码需要符合默认的密码修改策略，即密码最小长度为8，且密码至少需包含大写字母、小写字母、数字、特殊符合各1个。此处先将MySQL密码修改为“Root@123456”修改MySQL密码将MySQL密码修改为简单密码，如“123456”，由于该密码并不符合MySQL默认的密码修改策略，因此在将密码修改为简单密码之前还需先修改默认的密码修改策略。修改MySQL密码在实际工作中，大数据运维工程师为了确保数据库的安全性，通常会将密码设置为复杂密码并定期更换，避免数据库密码被破解，从而导致数据泄露。为了方便其他大数据组件能够顺利连接MySQL，需要为MySQL赋予外部连接权限，即授予用户通过本机（安装MySQL机器）之外的主机连接到MySQL的权限。赋予外部连接权限目录1部署Hive安装MySQL2部署Hive的流程如下。部署Hive从Hive官网下载Hive安装包“apache-hive-3.1.2-bin.tar.gz”。使用Xftp8远程传输工具将Hive安装包传输至master虚拟机/opt/software目录下。下载Hive在master虚拟机解压安装包apache-hive-3.1.2-bin.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“apache-hive-3.1.2-bin”，说明文件已解压成功。解压Hive修改apache-hive-3.1.2-bin的名称为hive-3.1.2。修改Hive名称执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加Hive环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件进入Hive安装目录的conf目录下新建文件hive-site.xml。进入hive-site.xml文件中配置参数。修改配置文件hive-site.xml中的参数说明。修改配置文件参数参数说明hive.metastore.warehouse.dir指定Hive数据存放的位置hive.exec.scratchdir指定Hive执行任务时产生的临时文件存放的位置hive.metastore.uris指定Hive元存储的ThriftURIjavax.jdo.option.ConnectionURL指定连接到元数据库的JDBC连接字符串javax.jdo.option.ConnectionDriverName指定JDBC驱动程序的类名javax.jdo.option.ConnectionUserName指定连接数据库时使用的用户名javax.jdo.option.ConnectionPassword指定连接数据库时使用的密码hive.server2.thrift.bind.host指定HiveServer2Thrift服务的绑定主机删除$HIVE_HOME/lib中低版本的guavaJar包。将$HADOOP_HOME/share/hadoop/common/lib中高版本的guavaJar包复制至$HIVE_HOME/lib中处理Jar包冲突从MySQL官网中下载对应版本（8.0.30）的MySQLJDBC驱动包“mysql-connector-java-8.0.30.jar”。使用Xftp8远程传输工具将驱动包传输至master虚拟机的$HIVE_HOME/lib目录下。添加MySQL连接驱动包初始化元数据信息。结果中最后两行出现“Initializationscriptcompleted”和“schemaToolcompleted”，则说明初始化成功。初始化元数据信息启动Hadoop集群。在HDFS上创建Hive临时文件存放路径和Hive数据存放路径。启动Hive元数据服务启动Hive启动Hadoop集群和Hive元数据服务即可通过“hive”命令进入HiveCLI，进入HiveCLI后可使用“showdatabases;”命令查看数据库列表进行简单验证。进入HiveCLI使用Hive实现铁路客流量分析任务描述在部署好本好模式的Hive后，小数需对其部分功能进行验证，他打算使用Hive对铁路部门提供的数据进行存储和和管理，并实现客流量分析。任务环境已部署Hadoop集群和本地模式Hive（master节点）的3台CentOS7操作系统的虚拟机。任务描述与任务环境本任务所使用的数据是铁路部门抽取的某线路1~3月的车次数据、客流数据进行合并与预处理后的数据，可直接用于铁路客流量分析，部分数据示例如下。数据示例站点上车人数/人下车人数/人开行日期车次出发日期离站时间到站时间ST326982770109—0109GT1301-0917:1317:12ST326982890304—0304GT1003-0415:2915:28ST326991910115—0115GT1301-1517:1317:12ST326992160121—0121GT0801-2113:4313:41ST326993350115—0115GT1001-1515:2915:28目录1在Hive中创建数据表上传铁路数据至HDFS2导入HDFS数据至Hive数据表3分析不同站点客流量分布4在master虚拟机中使用“mkdir/opt/data”命令创建目录/opt/data。之后先通过Xftp文件传输工具，上传“铁路车次与客流数据.csv”数据至/opt/data目录下。再启动Hadoop集群，并上传数据文件到HDFS的/user/hive/warehouse文件下。上传铁路数据至HDFS上传完成后，即可在浏览器HDFSWeb界面中查看到文件。上传铁路数据至HDFS目录1在Hive中创建数据表上传铁路数据至HDFS2导入HDFS数据至Hive数据表3分析不同站点客流量分布4启动Hive元数据服务并进入HiveCLI中，先创建train数据库并进入到train数据库中。在Hive中创建数据表创建用于存储“铁路车次与客流数据.csv”数据的train_passenger表。在Hive中创建数据表Hive支持使用中文字符创建表，为了确保系统能够准确识别和区分这些中文字符，需要使用反引号（`）将中文字符进行引用。然而，直接在Hive中创建带有中文字符的表时会出现如下报错。这是因为在执行建表语句时，需要更新Hive的元数据，而在Hive的元数据进行更新时，需要向元数据存储数据库MySQL的hive数据库的COLUMNS_V2表中插入表结构信息。报错信息中说明，在向MySQL中hive数据库的表COLUMNS_V2中插入字段名称时出现了问题。在Hive中创建数据表使用“mysql-uroot–p123456”命令登录MySQL服务器，查看数据库hive中的COLUMNS_V2表的创建语句。观察输出的信息，可以看到COLUMN_NAME字段的编码字符集为默认的latin1字符集，因此中文名无法识别。要想能识别中文字段名，需要将该字段的字符集编码改为utf8。在Hive中创建数据表通过SQL命令将COLUMN_NAME字段的字符集编码修改为utf8。修改字符集编码后，再创建带有中文字符的Hive表时，即可正常运行。在Hive中创建数据表建表成功后通过desc命令查看表结构。在Hive中创建数据表目录1在Hive中创建数据表上传铁路数据至HDFS2导入HDFS数据至Hive数据表3分析不同站点客流量分布4使用load命令将HDFS上的数据加载至Hive中创建的train_passenger结构表中。导入HDFS数据至Hive数据表通过先创表、再将查询到的数据导入至表中的方法，可以有效地管理数据，同时确保数据的准确性和一致性。这种方法有助于在处理数据时遵循一定的组织结构和模式，从而简化后续的数据分析和处理步骤。成功导入数据后使用“select*fromtrain_passengerlimit5;”命令查询数据前5行示例。查看数据前5行示例结果可看到结果中只有6个字段，这是