Hadoop应用开发-Hadoop商业发行版

第九章Hadoop商业发行版

1知识点回顾Hadoop三.x概述Hadoop三.x相对于Hadoop二.x地改JDK升级EC技术YARN优化支持多NameNodeDataNode内部负载均衡端口号地改变Hadoop三.x其它新特2本讲知识点Hadoop集群管理地挑战CDH与ClouderaManager概述ClouderaManager及CDH离线安装部署集群部署规划安装前地准备工作安装与配置CDH部署搭建Hadoop集群启用高可用ClouderaManager地功能其它商业发行版3Hadoop集群管理地挑战成百上千地硬件组件,数以千计地配置信息与无穷尽地排列组合决定了集群地复杂,它地复杂程度给我们对Hadoop集群地管理带来了巨大地挑战。Hadoop生态系统不是各个组件地简单堆叠,它地组件与服务都是相关地,我们需要对所有地重要信息了如指掌,仅仅获取单个服务地信息是不够地。工作流程复杂并且容易出错,问题解决耗时低效。缺乏一致与可重复地管理过程,Hadoop手工管理不仅费时,费力,而且不可靠。ApacheHadoop虽然完全开源免费,但也存在版本管理混乱,部署过程烦琐,升级过程复杂,兼容差,安全低等诸多问题。4CDH与ClouderaManager概述CDH概述CDH（ClouderaDistributionHadoop）是Cloudera公司提供地Hadoop商业发行版。CDH是对Hadoop集群环境行监控与管理地企业级大数据台。它能够方便地对Hadoop集群行自动化安装,心化管理,集群监控与报警。5CDH与ClouderaManager概述CDH概述CDH地基本架构如下所示。6CDH与ClouderaManager概述CDH概述CDH地主要特征:通过统一地台对集群行部署,监控,故障排查,维护分析。全面,统一地安全体系从身份认证,权限管理,审计与加密等方面保障信息安全。无缝集成与管理第三方工具与组件。满足任意规模地Hadoop集群生产与管理要求。版本划分清晰,版本更新速度快。监控,优化作业与查询能。7CDH与ClouderaManager概述ClouderaManager概述ClouderaManager（简称）是一个用于管理CDH集群地端到端地应用程序,能够在集群行Hadoop等大数据处理有关地服务安装与监控管理。它地主要特点如下:大数据处理有关服务安装过程自动化,部署时间从几周缩短到几分钟。为我们提供集群范围内地主机与正在运行地服务地实时视图。提供了单个控制台,方便我们在整个集群执行配置更改。整合了各种报告与诊断工具,可以帮助我们优化集群地能与利用率,提高服务质量,提高合规并降低管理成本。8CDH与ClouderaManager概述ClouderaManager概述地架构如下所示:9CDH与ClouderaManager概述ClouderaManager概述地主要组件:Server:Server是ClouderaManager地核心,它托管AdminConsoleWebServer与应用程序逻辑,负责安装软件,配置,启动与停止服务以及管理运行服务地群集。Agent:Agent安装在每台主机上,它负责启动与停止程,解压缩配置,触发安装与监控主机。Agent与ClouderaManagerServer通过心跳机制行通信,默认情况下,Agent每隔一五秒向ClouderaManagerServer发送一次心跳。但是,为了减少用户等待地时间,在状态变化时频率会增加。10CDH与ClouderaManager概述ClouderaManager概述地主要组件:ManagementService:由一组角色组成地服务,这些角色执行各种监控,警报与报告功能。Database:用于存储配置与监视信息。ClouderaRepository:是由ClouderaManager分发地软件地存储库。Clients:与服务器互地接口,包括AdminConsole与API。AdminConsole:管理员控制台（基于Web地UI）,用于管理员管理集群与ClouderaManager。API:开发员使用API创建自定义ClouderaManager应用程序。11CDH与ClouderaManager概述ClouderaManager概述地基本概念12CDH与ClouderaManager概述ClouderaManager概述地基本概念deploymentrackservice与serviceinstancerole,roleinstance与rolegroupparcelstaticservicepooldynamicresourcepool13CDH与ClouderaManager概述ClouderaManager概述deploymentdeployment是ClouderaManager及其管理地所有集群地配置。rackrack通常是指由同一换机提供服务地物理实体,它包含了一组物理主机。parcel包含已编译代码与元信息（如包描述,版本与依赖项）地二制分发格式。14CDH与ClouderaManager概述ClouderaManager概述service与serviceinstanceservice是ClouderaManager地托管功能类别,有时也被称为服务类型,这些服务运行在集群,可能是分布式地,也可能单节点地。在ClouderaManager,serviceinstance是集群运行地服务地实例。15CDH与ClouderaManager概述ClouderaManager概述role,roleinstance与rolegrouprole是指service地一类功能,有时也被称为角色类型。在ClouderaManager,roleinstance是在主机上运行地角色地实例,它通常映射到Unix程,可以通过jps命令查看。在ClouderaManager,角色组是指一组角色实例地一组配置属,这是一种将配置分配给一组角色实例地机制。16CDH与ClouderaManager概述ClouderaManager概述staticservicepoolClouderaManager跨一组服务对总集群资源（CPU,内存与I/O权重）行地静态分区。17CDH与ClouderaManager概述ClouderaManager概述dynamicresourcepool在ClouderaManager,命名地资源配置与用于池运行地YARN应用程序或Impala查询地资源调度地策略。ClouderaManager地动态资源池支持以下方案YARN-YARN管理虚拟内核,内存,运行地应用程序,未声明地子池地最大资源以及每个池地调度策略。Impala-

Impala管理池运行查询地内存,并限制每个池正在运行与排队查询地数量。18ClouderaManager及CDH离线部署CDH有关组件角色信息19模块组件管理角色工作角色系统部署与管理ClouderaManagerClouderaManagerserverClouderaManageragent

Hostmonitor

Servicemonitor

Reportsmanager

Eventserver

数据存储HDFSNameNodeDataNode

SecondaryNameNode

JournalNode

FailoberController

资源管理YARNResourceManagerNodeManager

JobHistoryServer

ClouderaManager及CDH离线部署集群环境所需软件规划20软件版本安装包MySQL数据库五.六.四五mysql-munity-release-el七-五.noarch.rpmMySQL地JDBC驱动五.一.一五mysql-connector-java-五.一.一五.tar.gzClouderaManager五.一四.四cloudera-manager-centos七-五.一四.四_x八六_六四.tar.gzCDHCDH-五.一四.四CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcelCDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一manifest.jsonClouderaManager及CDH离线部署集群部署规划21IP地址主机名称HDFS（HA）Yarn（HA）其它服务一九二.一六八.一零零.一零一node一ServerAgentNameNodeDataNodeJournalNodeResourceManagerNodeManagerZooKeeper,MySQL,HTTP,NTP,JDK一九二.一六八.一零零.一零二node二AgentDataNodeJournalNodeNodeManagerResourceManagerZooKeeper,NTP,JDK一九二.一六八.一零零.一零三node三AgentDataNodeNameNodeJournalNodeNodeManagerZooKeeper,NTP,JDKClouderaManager及CDH离线部署安装前地准备工作设置静态IP修改主机名设置主机hosts文件关闭防火墙与SElinux设置SSH免密码登录配置时间同步服务22ClouderaManager及CDH离线部署前置软件安装JDK安装安装HTTP服务安装httpd服务命令:yum-yinstallhttpd启动http服务命令:systemctlstarthttpd设置开机自启动命令:systemctlenablehttpd安装MySQL数据库下载mysqlyumRepository:wgethttp://repo.mysql./mysql-munity-release-el七-五.noarch.rpm安装mysqlyum:rpm-ivhmysql-munity-release-el七-五.noarch.rpm23ClouderaManager及CDH离线部署前置软件安装安装MySQL数据库一.安装mysql服务:yuminstallmysql-munity-server二.启动mysql:systemctlstartmysqld三.重置mysql地用户密码:setpasswordfor‘root’@‘localhost’=password(‘root’)创建远程登录用户grantallon*.*toroot@"%"identifiedby"root";

24ClouderaManager及CDH离线部署前置软件安装安装MySQLJDBC驱动程序一.下载:wgethttps://dev.mysql./get/Downloads/Connector-J/mysql-connector-java-五.一.一五.tar.gz二.解压:tar-zxvfmysql-connector-java-五.一.一五.tar.gz三.将mysql-connector-java-五.一.一五-bin.jar复制到/usr/share/java目录下mkdir-p/usr/share/javacpmysql-connector-java-五.一.一五-bin.jar\/usr/share/java/mysql-connector-java.jar

25ClouderaManager及CDH离线部署安装与配置下载下载地址:http://archive.cloudera./五//五/

解压至/opt/opt/cloudera-manager目录下mkdir-p/opt/cloudera-managertar-zxvfcloudera-manager-centos七-五.一四.四_x八六_六四.tar.gz-C/opt/cloudera-manager/26ClouderaManager及CDH离线部署安装与配置修改config.ini文件（从节点）vim/opt/cloudera-manager/-五.一四.四/etc/cloudera-s-agent/config.ini27ClouderaManager及CDH离线部署安装与配置创建cloudera-s用户（所有节点）useradd--system--home=/opt/cloudera-manager/-五.一四.一/run/cloudera-s-server--no-create-home--shell=/bin/false--ment"ClouderaSUser"cloudera-s数据库配置/opt/cloudera-manager/-五.一四.四/share/f/schema/s_prepare_database.shmysql-hnode一-uroot-proot--s-hostnode一sss28ClouderaManager及CDH离线部署CDH部署下载下载地址:http://archive.cloudera./cdh五/parcels29ClouderaManager及CDH离线部署CDH部署创建parcel-repo与parcels目录主节点执行命令:mkdir-p/opt/cloudera/parcel-repochowncloudera-s:cloudera-s/opt/cloudera/parcel-repo/从节点执行命令:mkdir-p/opt/cloudera/parcelschowncloudera-s:cloudera-s/opt/cloudera/parcels/30ClouderaManager及CDH离线部署CDH部署下载地安装文件移动到/opt/cloudera/parcel-repo/目录mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel/opt/cloudera/parcel-repo/mv/root/softwares/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.sha一/opt/cloudera/parcel-repo/CDH-五.一四.四-一.cdh五.一四.四.p零.三-el七.parcel.shamv/root/softwares/manifest.json/opt/cloudera/parcel-repo/31ClouderaManager及CDH离线部署ClouderaManager搭建Hadoop集群启动Server/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-serverstart启动Agent/opt/cloudera-manager/-五.一四.四/etc/init.d/cloudera-s-agentstart32ClouderaManager及CDH离线部署ClouderaManager搭建Hadoop集群登录:主节点IP:七一八零(用户名与密码均为admin)选择免费版33ClouderaManager及CDH离线部署ClouderaManager搭建Hadoop集群选择安装主机节点及CDH版本34ClouderaManager及CDH离线部署ClouderaManager搭建Hadoop集群选择自定义服务组件分配角色35ClouderaManager及CDH离线部署ClouderaManager搭建Hadoop集群设置ClouderaManager数据库（第一次安装）启动各项服务36ClouderaManager及CDH离线部署启动HDFSHA点击"操作"菜单下地"启用HighAvailability"菜单分配角色设置NameNode地数据目录与JournalNode地编辑目录37ClouderaManager及CDH离线部署启动YARNHA点击"操作"菜单下地"启用HighAvailability"菜单分配角色38ClouderaManager地功能基本核心功能管理功能批量自动化部署节点可视化地参数配置功能智能参数验证以及优化权限管理诊断功能周期服务诊断日志采集及检索系统能使用报告39ClouderaManager地功能基本核心功能监控功能服务监控行为监控活动报警日志与报告40ClouderaManager地功能基本核心功能集成功能安全配置ClouderaManagerAPI一.通过编程部署整个Hadoop集群;二.配置各种Hadoop服务验证;三.开展服务与角色地管理行为,如启动,停止,重新启动,故障转移等;四.通过具有智能化服务地健康检查与指标来监控服务与主机;五.监控用户地工作与其它集群活动;六.检索基于时间序列地度量数据;七.搜索Hadoop系统内;八.管理ClouderaManager自身;九.将Hadoop集群地整个部署描述下载为一个JSON文件。SNMP集成41ClouderaManager地功能高级功能软件滚动升级参数版本控制备份及容灾系统BDP数据审计安全集成向导42其它商业发行版HDPHDP（HortonworksDat