《基于新信息技术的Hadoop大数据技术》 课件 项目6 搭建YARN分布式集群

Hadoop大数据技术——搭建YARN分布式集群湖南软件职业技术大学YARN架构设计与工作原理YARN产生背景MapReduce1.0系统架构湖南软件职业技术大学扩展性差JobTracker同时兼备了资源管理和作业控制两个功能，严重制约了Hadoop集群扩展性。YARN产生背景资源利用率低MRv1采用基于slot的粗粒度的资源分配模型，包含Mapslot和Reduceslot。某个任务用不完的资源其他任务也不能用，因为map和reduce的资源完全不能共享的。当一个作业刚提交时，只会运行MapTask，此时ReduceSlot闲置。MapReduce1.0架构缺陷

通用性差随着互联网高速发展导致数据量剧增，MapReduce这种基于磁盘的离线计算框架已经不能满足应用要求，从而出现了一些新的计算框架以应对各种场景，包括内存计算框架、流式计算框架和迭代式计算框架等，而MRv1不能支持多种计算框架并存。

单点故障随MRv1采用了master/slave结构，其中master存在单点故障问题，一旦它出现故障将导致整个集群不可用。湖南软件职业技术大学YARN概念

YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。思想核心思想

将MR1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。ResourceManager负责整个集群的资源管理和调度。ApplicationMaster负责应用程序相关的事务，比如任务调度、任务监控和容错等。YARN是什么湖南软件职业技术大学YARN的作用湖南软件职业技术大学生态圈的位置YARN的基本构架湖南软件职业技术大学

从YARN的构架图来看，YARN主要由资源管理器（ResourceManager）、节点管理器（NodeManager0）、应用程序管理器（ApplicationMaster）和相应的容器（Container）构成。YARN的工作原理湖南软件职业技术大学

从图可以看出Appn在Yarn中的执行过程，整个执行过程可以总结为三步：（1）客户端向资源管理器提交任务。（2）资源管理器会在一个节点上启动应用的应用程序管理器实例。（3）应用程序管理会在不同节点上启动容器，执行应用任务。（4）各节点会及时将节点资源状况汇报给资源管理器。湖南软件职业技术大学MapReduceONYARN工作流程MapReduceONYARN工作流程湖南软件职业技术大学从图可以看出，yarn的共流程分为如下几步：（1）client想yarn提交一个应用程序。（2）resourceManager为改应用程序分配一个Container，与对应的nodeManager进行通信，要求它在此container中启动应用程序管理器。（3）appmaster向资源管理器注册，这样用户可以直接通过资源管理器查看应用程序的运行状态。（4）应用程序管理器为各个任务想rm请求资源。（5）请求到资源后与nodeManager进行通信，要求启动任务。（6）启动任务。（7）各个任务向appmaster报告状态和进度。（8）appmaster向rm请求注销自己。湖南软件职业技术大学YARN的容错性ResourceManager存在单点故障，但是可以通过配置实现ResourceManager的HA（高可用），当主节点出现故障时，可以切换到备用节点继续对外提供服务。NodeManager失败之后，ResourceManager会将失败的任务通知对应的ApplicationMaster，由ApplicationMaster来决定如何去处理失败的任务。ApplicationMaster失败后，由ResourceManager负责重启即可。其中，ApplicationMaster需要处理内部任务的容错问题。ResourceManager会保存已经运行的任务，重启后无须重新运行。ResourceManager的容错性保障ApplicationMaster的容错性保障NodeManager的容错性保障YARN的容错性湖南软件职业技术大学湖南软件职业技术大学YARN的高可用YARN的高可用湖南软件职业技术大学从图可以看出：（1）ResourceManager:基于Zookeeper实现高可用机制，避免单点故障。（2）NodeManager:执行失败之后，ResourceManager将失败任务告诉对应的ApplicationMaster,由ApplicationMaster来决定如何处理失败的任务。（3）ApplicationMaster:执行失败之后，由ResourceManager负责重启；ApplicationMaster需处理内部的容错问题，并保存已经运行完成的Task,重启后无需重新运行。湖南软件职业技术大学YARN的调度器FIFO调度器容量调度器公平调度器调度器

集群资源