系统安装维护手册-数据管理系统

数据管理平台安装部署报告说明书V1.0.0文档编号：V1.0.0项目名称：数据管理平台编写： 陈秀烽编写日期：2018.9.1审核：李斌审核日期：批 准：批准日期：2018年9月1日2第页文档修订记录序号修改时间修改人审核人备注12018.9.1陈秀烽李斌初稿23456789101112131415161718目录1引言11.1编写目的11.2系统背景11.3定义11.4参考资料12硬件环境部署12.1硬件拓扑图11软件环境部署11.1软件清单21.2软件环境部署顺序21.3操作系统安装71.4数据库安装71.5应用级服务器安装71.6其他支撑系统安装72应用系统安装与配置72.1应用系统结构图72.2安装准备72.3安装步骤82.3.1部署Yum源服务器92.3.2创建HTTP文件服务器92.3.3更新Yum源服务器102.3.4安装部署UniOM112.3.5安装部署子系统302.4系统配置373系统初始化与确认373.1系统初始化373.2系统部署确认371 引言1.1 编写目的 本文档为安装部署工程师进行数据管理平台安装指导所用1.2 系统背景 本系统是全新系统，适用于系统版本为V01R01C201及以上做全新安装手册，它面向数据管理平台安装人员，基于案例，介绍数据管理平台的详细安装部署步骤。 本手册的使用人员主要包括： 安装部署工程师1.3 定义无1.4 参考资料 在进行本手册的阅读时，可参考以下的资料：a 数据管理平台用户手册针对平台数据用户，介绍大数据平台提供的数据处理服务及具体操作方法。b 数据管理平台管理员手册针对平台管理员用户，介绍大数据平台的安全管理与运维管理相关使用与操作。2 硬件环境部署2.1 硬件拓扑图 为方便理解平台安装部署过程，本手册基于以下平台组网示例介绍平台的安装部署。 在该示例中，平台集群系统由三台硬件服务器组成，此外还配置了一台单独机器作为软件中心仓库。 说明：在实际组网中，软件中心仓库可以部署单独一台机器上，也可以部署在集群中任意一台机器上 硬件配置说明1 软件环境部署1.1 软件清单软件名称版本号适用操作系统LICENSE数量UniOM20HDFS2.7.3CENTOS 6.5 、6.8暂无MapReduce22.7.3YARN2.7.3Hive1.2.1HBase1.2.5Spark22.1.0ZooKeeper3.4.6Clusterinfo1.0.0ELASTICSEARCH22.4.6Neo4j3.1.1Redis3.0.7MYSQL5.7.18GRAPHV01R01C201MetaCubeV01R01C201idatrix-webV01R01C201OM_INITV01R01C201DbProxyV01R01C201CloudETLV01R01C201SecurityV01R01C2011.2 软件环境部署顺序 按以下图1先后顺序安装软件。具体的机器安装顺序看图2 图1ID软件运行依赖安装依赖安装顺序备注1YUM源CentOSCentOS12UniOMCentOS、YUM源YUM源21台机器UniOM Server，所有机器都安装UniOM agent3Hadoop组件（MR2、Spark2、YARN、HDFS、HIVE、HBASE、ZookeeperUniOMUniOM34MYSQLUniOMUniOM45ELASTICSEARCH6Redis7Neo4j8Securityredis无5mysqlzookeeper9db-proxyzookeeper无6mysqlhdfshbasespart-thrift (SPARK2)10GraphNeo4j无711Metacubemysql无8db-proxyELASTICSEARCHzookeeper12CloudETLzookeeper无9metacubedb-proxysecurityclusterinfomysqlhdfs(需要时）hbase（需要时）hive（需要时）13idatrix-web无无1014clusterinfo无无11图2硬件名称软件安装顺序备注步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2：Mysql REDIS步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2： Mysql ALONE步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2： 步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2: CloudETL步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2: CloudETL步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2: CloudETL步骤1：DataNode HBase Client RegionServer HCat Client HDFS Client Hive Client MapReduce2 Client NameNode NodeManager Spark2 Client Spark2 History Server YARN Client ZooKeeper Client ZooKeeper S步骤1：App Timeline Server DataNode HBase Client RegionServer HCat Client HDFS Client History Server Hive Client MapReduce2 Client NodeManager ResourceManager SNameNode Spark2 Client YARN Client ZooKeeper Client ZooKeeper S步骤1：DataNode HBase Client RegionServer HCat Client HDFS Client Hive Client Hive Metastore HiveServer2 MapReduce2 Client NodeManager Spark2 Client WebHCat Server YARN Client ZooKeeper Client ZooKeeper S步骤1：DataNode HBase Client HBase Master RegionServer HCat Client HDFS Client Hive Client MapReduce2 Client NodeManager Phoenix Query Server Spark2 Client Spark2 Thrift Server YARN Client ZooKeeper C步骤1：DataNode HBase Client RegionServer HCat Client HDFS Client Hive Client MapReduce2 Client NodeManager Phoenix Query Server Spark2 Client YARN Client ZooKeeper Client 步骤2：S步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2: MetaCube步骤3：ElasticSearch2步骤4：GRAPH步骤5：C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper C步骤1：YUM源步骤2：UniOM、OM_INIT步骤3: HBase Client HDFS Client MapReduce2 Client YARN C步骤1：DataNode HBase Client RegionServer HCat Client HDFS Client Hive Client MapReduce2 Client NFSGateway NodeManager Phoenix Query Server Spark2 Client Spark2 Thrift Server YARN Client ZooKeeper C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Neo4j Spark2 Client YARN Client ZooKeeper C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper C步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client步骤2：M步骤1：HBase Client HCat Client HDFS Client Hive Client MapReduce2 Client Spark2 Client YARN Client ZooKeeper Client1.3 操作系统安装 支持CentOS 6.5 或 6.8 1.4 数据库安装 通过UniOM运维平台进行界面操作安装1.5 应用级服务器安装 通过UniOM运维平台进行界面操作安装1.6 其他支撑系统安装 除了UniOM运维平台本身，其它系统都可以通过UniOM运维平台进行界面操作安装；UniOM按照本手册的UniOM安装章节进行安装。2 应用系统安装与配置2.1 应用系统结构图列出本系统的逻辑结构，应标出每个应用模块及基本逻辑关系2.2 安装准备 平台产品交付安装时，会同时提供软硬件清单。请根据清单，对软硬件及其配置进行清点与查验： ID事项确认点描述1硬件环境机器数量及硬件条件达到平台运行要求最低要求：具备大于40G硬盘空闲空间、4G以上的内存2软件环境1.操作系统已安装,并且机器没安装过本系统。如果安装过低版本的，本手册不适用2.网络已配置好全新安装3软件安装包版本号所有安装包在V01R01C201以上4软件安装包内容1.YUM源文件Yum源数据仓库52.UniOM-install.zipUniOM Server安装包，用于在一台机器上部署UniOM Server63.子系统的数据库脚本用于创建子系统的数据库与数据表74.子系统包：security、idatra-web、cloudETL、Metacube子系统软件包2.3 安装步骤 大数据平台集成了提供一键导航式安装的运维管理子系统（UniOM）。 平台总体安装流程如下：总体安装流程图具体步骤如下：1. 安装CentOS2. 部署Yum源服务器3. 安装部署UniOM4. 安装部署Hadoop基础组件5. 安装部署平台子系统6. 安装验收与故障处理本文档默认CentOS已安装成功,以下为2.3.1 部署Yum源服务器 平台所有软件包在发布时均制成rpm包，以移动硬盘或光盘形式交付安装人员。安装人员需在事先规划化好的机器上（本例中3），通过以下两步操作将该机器部署为Yum源服务器：将传输媒介中的所有软件包目录拷贝到本机某一个目录下（例如：/var/www/html），该目录将被作为Yum源根目录。拷贝完成后，var/www/html目录内容如下。按规划，在一台指定机器上创建为http文件服务器，指向Yum源根目录。具体步骤见以下所述。2.3.2 创建HTTP文件服务器 在/etc/httpd/conf/httpd.conf配置文件中，加入http路径与Yum源根目录（在本例中Yum源 根目录名为/ambari）的对应关系。具体操作如下：用vi打开/etc/httpd/conf/httpd.conf文件：vi /etc/httpd/conf/httpd.conf说明：如果显示无httpd.conf此文件，可能是因为Httpd服务未安装。此时需要进行相应检查并安装该服务：验证Httpd服务是否已安装，命令行如下：/etc/init.d/httpd status如果显示未安装，则用以下命令行安装httpd：yum install httpd在httpd.conf中加入以下语句，建立http:/与Yum源的根目录（c:/var/www/html）的映射关系。directory 启动httpd文件服务器输入命令： service httpd staus 检查当前启动状态，如果是非启动状态，输入启动命令： service httpd start验证http文件服务器是否创建成功。在浏览器地址栏输入http:/（例如，3/ambari），回车，如果可以看到该目录下的子目录，说明http文件服务器创建成功。2.3.3 更新Yum源服务器 除var/www/html/1.0.0/service目录下的软件包，如果Yum源服务器中其它目录下的软件包有更新时，都需要执行以下命令，重构repo索引目录。进入指定目录。cd /var/www/html/ambari/centos6生成构建索引文件夹。createrepo d .2.3.4 安装部署UniOM该子系统采用Server/Agent结构，在集群中，选取一台硬件服务器部署UniOM Server软件， 然后通过UniOM Server提供的一键式安装功能，在集群其它机器上部署UniOM Agent软件。UniOM安装部署流程在集群上安装部署UniOM子系统的具体操作如下：安装UniOM Server安装OM_INIT组件安装UniOM Agent步骤一、安装部署UniOM Server1. 传包到安装机器将UniOM Server安装包（uniom-install.zip）上传到某一机器的任意目录下:2. 解压uniom-install.zip安装包l 解压uniom-install.zip ：unzip uniom-install.zipl 文件解压后在当前目录下生成uniom-install目录。3. uniom-install目录添加权限进入uniom-install目录添加权限，然后查看该目录下所有文件与子目录：cd uniom-installchmod +x * -Rll4. 阅读安装说明 打开README.txt（安装说明）仔细阅读。cat README.txt5. 修改hosts文件 修改uniom-install/resource目录下hosts文件内容：vim resource/hosts 在该文件中添加集群中所有主机以及软件中心仓库的IP地址与主机名。修改后的文件内容如下图所示。注意：所有机器的主机名必须采用XXX.XXX.com的格式，否则系统在安装过程中会报错。6. 修改ambari-server.cfg文件 修改uniom-install目录下ambari-server.cfg文件，命令行如下：vim ambari-server.cfg主要修改如下表：小节名称描述host填写UniOM server的hostname。mysqlUniOM Server安装程序会在UniOM Server上安装MySQL数据库软件，并在其上建立3个MySQL数据库供Hadoop组件使用，此处配置这3个MySQL数据库的访问密码，其中：- root_password：设置MySQL数据库软件root用户的密码。- ambari_password：设置供UniOM使用的MySQL数据库（库名为ambari）的访问密码。- hive_password：设置供Hive MetaStore使用的MySQL数据库（库名为hive）的访问密码。- oozie_password：设置供Oozie使用的MySQL数据库（库名为oozie）的访问密码java将IP地址修改为软件仓库地址。修改后的文件示例如下：7. 修改ambari-agent.cfg文件修改uniom-install目录下ambari-agent.cfg文件，命令行如下：vim ambari-agent.cfg8. 修改repo文件进入uniom-install/yum目录，逐个打开该目录下的4个repo文件，修改其中Yum源的IP地址（3），具体操作如下：l 修改ambari.repo文件，指定UniOM软件源所在IP地址或域名。vim ambari.repo文件修改示例如下，加粗字体为修订部分：ambari-name=ambari Version - ambari-baseurl=3/ambari/centos6/gpgcheck=0#gpgkey=/ambari/centos6/2.x/updates//RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1l 修改centos-local.repo文件，将以下七处IP地址修改为指定Cent OS软件源所在IP地址或域名。vim centos-local.repo文件修改示例如下：ysextraname=CentOS-Extrabaseurl=3/centos/6.8/extras/x86_64/gpgcheck=0enabled=1#released updates ysupdatesname=CentOS-Updatesbaseurl=3/centos/6.8/updates/x86_64/gpgcheck=0enabled=1ysosname=CentOS-OSbaseurl=3/centos/6.8/os/x86_64/gpgcheck=0enabled=1ysepelname=CentOS-Epelbaseurl=3/epel/6/x86_64/gpgcheck=0enabled=1yscentosplusname=CentOS-plusbaseurl=3/centos/6.8/centosplus/x86_64/gpgcheck=0enabled=1yssclorhname=CentOS-sclorhbaseurl=3/centos/6.8/sclo/x86_64/rh/gpgcheck=0enabled=1ysscloname=CentOS-sclobaseurl=3/centos/6.8/sclo/x86_64/sclo/gpgcheck=0enabled=1l 修改HDP-UTILS.repo文件，指定Hadoop集群软件源所在IP地址或域名。vim HDP-UTILS.repo文件修改示例如下：HDP-UTILS-1name=HDP-UTILS-1baseurl=3/HDP-UTILS/repos/centos6/path=/enabled=1gpgcheck=0l 修改HDP.repo文件，指定Hadoop集群软件源所在IP地址或域名。vim HDP.repoHDP-2.5name=HDP-2.5baseurl=3/HDP/centos6path=/enabled=1gpgcheck=09. 执行dos2unix命令 返回 cd uniom-install, 执行以下命令find . -type f -exec ./dos2unix -l -k ;10. 执行安装命令在上面的所有文件修改正确并完毕后，以root用户身份运行安装命令：sh install.sh 按界面提示输入Y，系统开始安装。当屏幕出现以下提示，说明安装成功。说明：如果出现以下提示，说明安装失败，用以下命令行查看日志查找错误原因：vi /var/log/ambari-server/ambari-server.log说明：UniOM Server提供以下命令供启、停、状态查询命令行：ambari-server restart、ambari-server start、ambari-server stop、ambari-server status。11. 登录UniOM Server平台 打开浏览器，在地址栏输入http:/:8080（本例中为05.com:8080），登录UniOM Server平台。输入管理员用户名（admin）及其缺省密码（admin）。点击。如果能成功登录，说明安装成功。步骤二、安装部署OM_INIT组件 OM_INT组件用于初始化UniOM Server环境。1. 登录UniOM Server平台 平台地址为http:/:8080本例中为05.com:8080 输入用户名与密码（分别为admin、admin），点击说明：请及时修改admin用户的登录密码，操作方法：l 点击界面右上角设置图标，进入iDatrix OM页面。l 在页面左侧导航栏内点击“用户”l 在用户管理界面，点击“admin”用户，修改其登录密码2. 定义集群名称与软件中心仓库地址l 在首页中，点击，启动安装向导。l 输入群集名称（例如：HDPCluster），点击。l 按下图所示，选择集群软件版本号，与软件中心仓库地址。3. 安装UniOM Server的主机l 点击，进入安装选项阶段。l 在安装选项阶段，完成以下4个操作（如下图所示）：- 在目标主机输入框内，填写UniOM Server的主机IP地址或是主机名（例如：）- 在主机注册信息节内，选中“执行手动注册在主机上不要使用ssh”。- 在弹出的提示对话框内选择。- 点击。l 操作完成，界面弹出以下提示框。l 在上图所示提示框内，点击，系统开始进行UniOM Server注册操作。当注册操作结束时，界面显示如下。l 在上图所示确认主机页面，点击，界面弹出如下提示框。l 点击，进入如下图所示选择服务页面。4. 安装OM_INITS主机l 在选择服务页面，选中OM_INIT。l 点击，界面弹出以下提示页面。l 点击。界面出现分配主节点页面。l 在上图页面，查看并确认安装设置正确无误（即在节点安装OM_INIT），然后点击，界面跳转至自定义服务页面，其中高级om_init参数已从UniOM Server安装文件中自动同步了相关参数的配置值。l 在上图页面，在root用户密码输入框中填写安装UniOM servert和agent机器的root用户密码。本例中为04与03两台机器。如果这些机器上的Linux操作系统root用户的登录密码不相同，按下述步骤逐一设置密码。5. 重启UniOM server用root用户身份登录UniOM Server物理机器，重启UniOM Server，命令行如下：ambari-server restart说明：安装完OM_INIT后切记重启UniOM Server。步骤三、安装UniOM Agent主机通过UniOM提供的操作界面，在所有机器除UniOM Server外，安装UniOM Agent。1. 添加Agent主机信息l 在运维平台，首页左侧导航栏内选择主机，在右侧操作页面，从操作下拉框中选择添加新机2. 输入agent主机与私钥在上图所示安装选项页面，按下表所述完成上图所示两项配置。参数名称配置描述目标主机填写所有UniOM Agent的主机名，每行填写一个。（在本例中，与）。主机注册信息填写UniOM Server的私钥（通过在UniOM Server上运行cat /root/.ssh/id_rsa获取）。注意：必须将id_rsa中的所有内容复制拷贝至此，否则安装不会成功。点击，进入确认主机页面。3. 进行agent主机安装在确认主机页面，等待主机注册成功完成。成功完成后，页面显示如下。在上图所示主机注册成功页面，点击，页面显示如下。在上图所示页面，直接点击。界面弹出以下操作。 在验证问题对话框内，点击，进入审查页面。在上图所示审查界面，点击。系统开始部署，部署成功后界面显示如下。点击，进入如下图所示摘要页面。点击，界面跳转至主机页面，显示着三台主机都是正常状态。步骤四、安装部署Hadoop基础组件 在平台集群服务器上成功安装UniOM后，可通过UniOM提供的一键式安装功能，在集群上安装部署Hadoop基础组件。l 部署原则大数据平台Hadoop框架由六个基础组件构成：HDFS、Hive、HBase、Spark2、YARN+MapReduce2、ZooKeeper。部署基础组件，应遵循主节点尽量安装在UniOM Server（管理节点）机器上，其它类型节点安装在UniOM Agent（数据节点）机器上的原则，其它规则如下：l HDFS: SNameNode 和NanmeNode 要安装在不同机器上l HiveServer2 和 DataNode 必须安装在同一台机器l 全部Client必须所有机器安装l NodeManger、RegionServer一定要安装l ZooKeeper Server要安装单数个（至少3台）l Metric Collector不能与HBase Master部署在同一台机器上l 安装步骤1. 添加服务在首页的左侧导航栏内选择服务，在右侧操作页面，选择操作添加服务。在添加服务向导页面，按示例中的规划，勾选集群中即将要安装的6个Hadoop集群组件，具体包括：HDFS、Hive、HBase、Spark2、YARN+MapReduce2、ZooKeeper。注意：在列表中有两个相似的服务“Spark”与“Spark2”，平台用到的是”Spark2”。2. 分配主节点在上图所示选择服务页面，点击，进入添加服务向导分配主节点页面。在该页面，按图1-2示例所示规划，为组件分配主机，配置完成后的安装清单如下图所示。3. 分配从节点和客户端页面点击，进入如下图所示分配从节点和客户端页面。按下图所示，为集群中每台主机分配详细的服务子组件。4. 自定义服务进行参数设置点击，进入如下图所示自定义服务页面。标示红色数字的页签包含需要进行参数设置的Hadoop服务，数字代表待设置参数的个数。点击Hive Advanced页签，按上图所示操作：- Hive Database：选中Existing MySQL / MariaDB Database。- Database Password：填写在UniOM Server安装时创建的名为Hive的MySQL数据库的密码(即ambari-server.cfg文件中的Hive_Password的值，本例中为hive)。说明：页签用于为Hive Metastore提供存放Hive元数据的MySQL数据库的访问地址与密码。在平台系统中，Hive元数据存放在UniOM Server（）上创建的名为Hive的MySQL数据库中。完成参数配置后，点击，如果显示“连接正常”，点击。界面弹出从属配置对话框。选中该属性，点击。界面可能弹出配置告警（如下图）。5. 进入安装、启动和测试页面点击，进入审查页面。在审查页面，点击，进入安装、启动和测试页面。开始安装，待安装结束，上图所示界面进展条显示为绿色与100%。说明：在安装过程中，如果出现告警报错提示，点击“信息”栏内的文字链接，查看出错日志。如某个组件安装中断，可回到服务页面，点击页面左上方的，触发重装该服务。2.3.5 安装部署子系统通过UniOM平台，在集群上安装平台各子系统；并手动为子系统创建数据库与表。l 部署原则MySQL服务不能安装在UniOM Server服务器上。如安装多个MySQL服务，则必须一次性同时部署；否则，会安装失败。l 安装步骤 子系统安装方法与Hadoop基础组件相同。在子系统安装时，可以逐个按以下步骤安装子系统，也可一次性安装。安装步骤如下：1. 安装MYSQL与REDIS、ELASTICSEARCH2、Neo4j2. 安装db-proxy、Idatrix-web、Security、CloudETL、Metacube、Graph4. 安装Clusterinfo5. 执行子系统数据库脚本说明：第二步与第三步在安装时没有严格的顺序要求，但第四步Clusterinfo安装一定要在CloudETL之后步骤一：安装MYSQL与REDIS、ELASTICSEARCH2、Neo4j MySQL作为大数据平台业务数据库，可安装在UniOM Server之外的一台或多台机器 上，安装过程： 1. 添加服务在运维平台服务，在右侧操作页面，选择操作添加服务。在弹出的添加服务向导页面，勾选MYSQL与Redis。2. 分配主节点点击，进入分配主节点页面。根据Error! Reference source not found.Error! Reference source not found.，将MySQL安装在a2与a3机器上；将Redis安装在a2机器上。3. 自定义服务，进行参数配置点击，进入自定义服务页面（如下图）。在MYSQL页签高级mysql-config小节，设置MySQL服务的root用户密码。在Redis页签高级redis小节，设置redis服务的访问密码。点击，界面弹出如下提示窗口。点击，进入下图所示的审查页面。在审查页面，检查各子系统与主机间的安装关系，如果没有发现问题，点击，4. 进行安装、启动和测试进入如下图所