大数据平台规划部署与运维管理

1、大数据平台规划部署与运维管理大数据系列培训H3C DataEngine提纲DataEngine 大数据平台集群规划 DataEngine 大数据平台部署DataEngine Manager运维管理配置要求硬件配置要求不推荐使用虚拟内存建议使用更多块硬盘，2块1T硬盘性能优于1块2T硬盘。建议单数据节点容量最大不超过24TB，否则节点失效后造成大量数据复本的复制。不建议使用SSD，Hadoop的磁盘IO多为顺序读写，不能完全发挥适用于随机读写的SSD的性能优势，同样的采购投入可以通过多个HDD提高并发量提高性能。最低配置要求推荐配置处理器12 核 2.0GHz26 核 2.0GHz或更多内存32

2、GB 128GB 或更多硬盘SAS 10k rpm，300GB *4SAS 10k rpm，1TB及以上，数量建议满配网卡千兆网卡： 1GE SFP+2块万兆网卡做聚合配置要求硬盘RAID注意：共享存储系统不适用于集群数据存储，单点存储是大数据集群的运算性能瓶颈。集群类型操作系统配置数据存储配置HDP2块硬盘做RAID1剩余部分每块做一个RAID0MPP2块硬盘做RAID1剩余部分做成一个RAID5配置要求硬盘RAID（HDP集群）系统盘建议使用两块盘做成一个RAID1，保证系统运行安全可靠。HDFS天然支持复本冗余存储策略，数据盘无需做RAID，在必须配置RAID的情况下，每个数据盘单独设置

3、为RAID0。多块盘做一个RAID0，会将HDFS并行流式读写操作变成随机读写，降低性能。多块盘做一个RAID0，其读写性能受制于阵列中速度最慢的磁盘。从磁盘损坏率考虑，多块盘做一个RAID0会带来更大的数据损失，造成大量数据需要复制重建。配置要求硬盘RAID（MPP集群）系统盘建议使用两块盘做成一个RAID1，保证系统运行安全可靠。受制于MPP数据存储路径只能指定一个，所以从存储性能、数据安全和存储成本综合考虑，建议将数据盘做成一个RAID5 。配置要求操作系统要求不建议操作系统安装Desktop版。操作系统版本Red Hat Enterprice Linux6.4/6.5(minimal最

4、小安装方式)64位Centos6.4/6.5(minimal最小安装方式)64位配置要求支持的游览器游览器版本Google Chorme(推荐)26.0+FireFox18+Safari5+Internet Expoloer 10+配置要求集群软件环境注意：DataEngine 会自动安装以上软件环境。环境版本JavaOracle JDK 1.7.0_79 for LinuxPythonPython 2.6.6SSLopenssl-1.0.1e-30服务器网络规划业务交换机（堆叠）服务器管理交换机业务交换机采用堆叠服务器网卡配置聚合Ilo口组网规划IRF业务网交换机管理网交换机服务器服务器Ha

5、doop集群MPP集群推荐集群规划 Hadoop集群低配置：要求3台物理服务器， Hadoop集群管理节点和数据节点共用物理服务器高配置：要求5台及以上物理服务器，Hadoop集群管理节点和数据节点使用不同的物理服务器MPP集群若对数据安全性要求较低，选择2个节点为1个safegroup，推荐配置4台及以上服务器若对数据安全性要求高，选择3个节点为1个safegroup，推荐配置6台及以上服务器设备机柜规划硬件物理部署和网络规划 电源高可用两个机柜的电源是独立的，互不影响的交换机高可用每个机柜上各包含2台交换机，并且这两台交换机之间是互备的关系，当其中一台交换机发生故障，另一台交换机立即提供服

6、务节点高可用对于HDP，把HA服务所在的两个服务器放在不同的机架上对于MPP，把一个safegroup的不同成员放在不同的机架上Hadoop组件部署规划支持高可用性的服务建议开启HA，如NameNode、ResourceManager，防止单点故障造成的影响绿色 必装 ，黄色为选装， 红色为不装服务组件管理节点数据节点主机一主机二主机三主机四主机五MetricsMetrics MonitorZooKeeperZooKeeper ServerZooKeeper Client HDFSNameNodeZKFailoverController DataNode JournalNodeYarn Res

7、ourceManager App Timeline Server NodeManager MapReduce2HistoryServer MPP组件部署规划集群高可用方案safegroup配置1个节点为1个safegroup的方案不推荐使用 对数据安全性要求高，选择3个节点为1个safegroup 对数据安全性要求较低，选择2个节点为1个safegroup提纲DataEngine 大数据平台集群规划 DataEngine 大数据平台部署DataEngine Manager运维管理DataEngine 大数据平台部署原生Hadoop集群的开通和管理会是一个超复杂的工作，尤其是涉及成百上千台主机时

8、。DataEngine 大数据平台部署方案应用场景 定制部署：对于需要利用现有集群中的服务器和定制化需求多样的客户，建议采用定制部署方式，这种方式可以满足客户对系统安全、组网环境、节点复用等方面的特殊需求。Zero部署：对于需要创建全新大数据集群的客户，建议采用Zero部署方式，这种方式可以快速实现服务器操作系统的批量安装、网段统一分配和DataEngine Manager的安装。定制部署流程Zero部署流程服务器操作系统安装网络环境分配DataEngine Manager 安装DataEngine HDP/MPP 集群部署DataEngine 大数据平台部署流程Zero-Server 安装自

9、动安装完成操作系统，以及网络配置DataEngine Manager 安装DataEngine HDP/MPP 集群部署安装前准备硬件准备网络规划操作系统准备安装包准备DataEngine 大数据平台定制部署流程安装包名称获取方式DataEngine安装包DataEngine-.tar.gz由H3C提供当前操作系统镜像*.iso由用户准备步骤1：解压DataEngine安装包步骤2：拷贝系统镜像文件将准备的系统镜像文件（*.iso）拷贝到解压后文件夹的iso目录中。步骤3：执行安装进入解压目录，执行 ，将会启动安装程序。DataEngine 大数据平台Manager安装步骤4：填写安装参数填写

10、集群节点IP地址列表填写节点操作系统root用户密码填写节点命名后缀选择“OK”开始安装DataEngine ManagerDataEngine 大数据平台Manager安装步骤5：检查安装结果安装通常会在15分钟内结束，具体执行时间与机器性能、网络性能有关 。安装完成后，会有如下图样例的提示。以提示信息中提供的URL登录DataEngine管理界面进行HDP的安装。DataEngine 大数据平台Manager安装步骤1 ：打开一个浏览器，输入DataEngine Manager安装完成后提供的 URL，初始账号密码为admin/admin。DataEngine 大数据平台集群部署步骤2：登

11、录管理界面后点击。步骤3：在出现的文本输入框中输入集群名称后，点击。DataEngine 大数据平台集群部署步骤4：进入选择版本页面，选中要安装的DataEngine版本，点击。步骤5：然后在安装选项里的目标主机文本域输入以下内容（主机名后缀根据配置文件配置的为准）：node1-3.hde.h3c 有几台就写对应的正则表达式。DataEngine 大数据平台集群部署步骤6：到达确认主机步骤后，等待 DataEngine Manager对所有节点进行注册并检查，直到出现下图，点击。DataEngine 大数据平台集群部署步骤7：在选择服务页面，选择想要安装的服务，点击。DataEngine 大数

12、据平台集群部署步骤8：在服务分配页面，选择服务内组件及客户端安装的对应节点，点击。DataEngine 大数据平台集群部署步骤9：在定制服务页面，可以调整服务的默认参数，设置服务认证相关的密码。DataEngine 大数据平台集群部署步骤10：服务安装过程中会显示每个节点每项服务安装的详细进度。等待安装结束后在摘要中确认安装结果，结果正常点击。DataEngine 大数据平台集群部署安装完成后即可进入DataEngine Manager界面首页。DataEngine 大数据平台集群部署提纲DataEngine 大数据平台集群规划 DataEngine 大数据平台部署DataEngine Man

13、ager运维管理DataEngine Manager架构为了便于监控和管理DataEngine集群， DataEngine Manager Server将集群节点、服务以及其它信息收集后，通过DataEngine Manager Web界面集中展现出来。DataEngine Manager Web会话DataEngine Manager Web界面通过调用REST API获取集群信息、执行对集群的操作。界面中不会出现会话超时的情况，它会自动刷新界面。若要断开与DataEngine Manager Server的会话连接，需手动点击退出。DataEngine Manager Web访问在支持的浏

14、览器中访问 :/:8080，输入用户名、密码登陆。如果是第一次访问，则使用默认的用户名/密码：admin/admin。用户名和密码是可以更改的。这个在“管理DataEngine”中进行设置。集群级运维主机级运维服务级运维单个主机单项服务DataEngine Manager 运维管理分级DataEngine Manager集群运维在DataEngine Manager Web主页中，可进行：查看集群状态修改集群主页查看集群热力图DataEngine Manager集群运维在DataEngine Manager Web主页中，查看集群状态：DataEngine Manager集群运维在DataEn

15、gine Manager Web主页中，修改集群主页（删除、添加、移动、重置、自定义）：DataEngine Manager集群运维在DataEngine Manager Web主页中，查看集群热力图：DataEngine Manager主机管理在DataEngine Manager Web主机页面中，可进行：查看主机状态过滤主机列表执行主机级操作删除主机添加主机机架管理机架展示DataEngine Manager主机管理在DataEngine Manager Web主机页面中，查看主机状态：红色 - 该主机上的至少一个master组件关闭。橙色 - 该主机上至少有一个slave组件是挂掉的。

16、黄色 - DataEngine Manager Server没有收到来自该主机的心跳超过3分钟。绿色 - 正常运行状态。DataEngine Manager主机管理在DataEngine Manager Web主机页面中，过滤主机列表：DataEngine Manager主机管理在DataEngine Manager Web主机页面中，执行主机级操作：DataEngine Manager主机管理在DataEngine Manager Web主机页面中，删除主机：DataEngine Manager主机管理在DataEngine Manager Web主机页面中，添加主机：DataEngine

17、Manager主机管理在DataEngine Manager Web主机页面中，机架管理（增加机架、删除机架、机架中增删主机）：DataEngine Manager主机管理在DataEngine Manager Web主机页面中，机架展示：DataEngine Manager服务运维在DataEngine Manager Web服务页面中，可进行：查看服务概述和状态启动、停止服务添加服务修改服务配置执行服务动作使用快速链接服务页面服务级操作原生页面快速链接状态信息概要监控信息DataEngine Manager 服务运维DataEngine Manager服务运维在DataEngine Manager Web服务页面中，添加服务：DataEngine Manager服务运维在DataEngine Manager Web服务页面中，修改服务配置，对比配置，恢复配置：DataEngine Manager 告警功能在DataEngine Manager Web告警页面中，可进行：查看告警状态筛选告警修改告警管理告警组管理通知DataEngine Manager 告警功能在DataEngine Manager Web告警页面中，查看、