版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
集群资源管理与调度集群资源统一管理系统集群资源统一管理系统需要支持多种计算框架,并需要具有扩展性、容错性和高资源利用率等几个特点一个行之有效的资源统一管理系统需要包含资源管理、分配和调度等功能右图是统一管理与调度系统的基本架构图集群资源统一管理系统商业服务器集群目前已经成为主要的计算平台,为互联网服务和大量的数据密集型科学计算提供了强大的计算能力当前多个计算框架公用一个服务器集群的方式是对集群进行静态划分,每个分区运行一个计算框架另外一种方式是为每个计算框架分配一些虚拟机VM,但是这些方法都没有实现高利用率和数据共享集群资源统一管理系统设计一种集群资源管理系统支持多个计算框架,实现集群资源共享和高利用率
支持多种不同的计算框架
集群资源管理系统需要支持良好的扩展性
需要具有良好的容错和高可靠性ApacheYARNApacheHadoopYARN(YetAnotherResourceNegotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统YARN的基本思想是将的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)YARN分层结构的本质是ResourceManagerYARN运行ApplicationApacheYARN资源分配模型
MapSlot
ReduceSlot协议组件
Client-ResourceManagerResourceManager–ApplicationMasterApplicationMaster-ContainerManager
ApacheMesosMesos是以与Linux内核同样的原则创建的,不同点仅在于抽象的层面Mesos内核运行在每一个机器上,同时通过API为各种应用提供跨数据中心和云的资源管理调度能力Master使用ResourceOffers实现跨应用细粒度资源共享,如CPU、内存、磁盘、网络等Mesos架构图ApacheMesos资源供给GoogleOmegaMesos、YARN等集群管理系统采用的是双层调度器,具有如下缺点运行在这些集群管理系统上的计算框架无法知道整体集群的资源使用情况
并发粒度小,采用的是悲观方式的并发控制(permissiveconcurrentcontrol)针对上述双层调度器(two-level
scheduler)的不足,Omega设计了共享状态调度器(shared
state
scheduler)资源管理模型集群资源管理模型通常由两个部分组成,即资源表示模型和资源分配模型基于slot的资源表示模型
集群中每个节点的资源都是多维的,包括CPU、内存、网络I/O和磁盘I/O,采用slot组织各个节点上的计算资源
基于最大最小公平原则的资源分配模型CapacityScheduler调度CapacityScheduler调度器是解决多用户情况下共享集群资源的调度方式,使每个提交的计算任务都可以在合理的时间内完成将总体的集群资源以可以预测和简单的方式划分到公司的多个子部门和机构,主要是Job队列的方式每个Job队列都有一个capacity的保证,也同时提供资源弹性功能FairScheduler调度公平调度是一种赋予作业(Job)资源的方法,它的目的是让所有作业随着时间的推移都能平均地获取等同的共享资源当单独一个作业运行时,它将使用整个集群。当有其他作业被提交上来时,系统会将任务(task)空闲时间片(slot)赋给这些新的作业,以使每一个作业大概获取到等量的CPU时间在YARN上运行计算框架YARN系统架构图YARN程序设计YARN是一个资源管理系统,负责集群资源的管理和分配。如果想将一个新的应用程序运行在YARN之上,通常需要编写两个组件,即Client和ApplicationMaster编写一个YARNApplication涉及下面3个RPC协议
ClientRMProtocol
AMRMProtocol
ContainerManager阿里云Fuxi调度系统伏羲主要负责管理集群的机器资源和调度并发的计算任务,目前支持离线数据处理(DAGJob)和在线服务(Service)伏羲系统在设计上采用Master/Slave架构
该系统有一个被称为“伏羲Master”的集群控制中心其余每台机器上会运行一个叫“伏羲Agent”的守护进程伏羲调度系统架构伏羲5K挑战伏羲系统扩展到5K
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 催办项目收尾工作的进度通知函4篇
- 市场活动推广费用核对回复函5篇
- 事业单位人事岗面试专业面试强化训练
- 事业单位护理岗面试2026经典考题强化训练试卷及解析
- 事业单位财会岗面试高频考题2026题库及答案
- 人力资源部2026年员工职业晋升考核通知函4篇范文
- 请求协助完成项目报告确认函(7篇范文)
- 航空机务团队协作与维护绩效表
- 2026事业单位人事岗面试高频考题题库及解析
- 事业单位财会岗面试高频考题题库及解析
- 2024秋期国家开放大学专科《液压与气压传动》一平台在线形考(形考任务+实验报告)试题及答案
- 19R505-19G540室外管道钢结构架空综合管廊敷设
- 小学生军事知识课件
- (高清版)TDT 1057-2020 国土调查数据库标准
- 医疗实习生实习合同书
- 曼娜回忆录的小说全文
- 设计院经营管理制度
- 中国铁路的发展历史-高铁(课件)
- B2B市场研究岗位职责
- 玉渊潭公园景观介绍
- 江西电网调度控制管理规程最终发文版
评论
0/150
提交评论