Yarn技术原理与实践_第1页
已阅读1页，还剩14页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Yarn技术原理与实践技术创新，变革未来2提纲Yarn 简介Yarn 系统架构123资源调度器3YARN 简介MapReduce存在的问题JobTracker可用性集群资源利用率低无法支持更多的计算模型 限制系统的扩展性4YARN简介YARN是什么Hadoop 2.0新增系统负责集群的资源管理和调度使得多种计算框架可以运行在一个集群中YARN的特点良好的扩展性、高可用性对多种类型的应用程序进行统一管理和调度自带了多种多用户调度器，适合共享集群环境5提纲Yarn 简介Yarn 系统架构123资源调度器6YARN系统架构7YARN系统架构-ResourceManager调度器根据容量、队列等限制条

2、件，将系统中的资源分配给多个队列和应用可插拔的组件，自带三个资源调度器，FIFO、Capacity Scheduler、Fair Scheduler纯调度器，不再负责监控、跟踪应用的执行状态仅根据各个应用的资源需求进行调度，通过资源容器container完成应用管理器负责接收作业协商获取第一个容器用于执行AM提供重启失败的AM container的服务8YARN系统架构-NodeManager每个节点上的框 架代理负责单个节点的 资源管理和监控定期将资源使用 情况汇报给 ResourceManager接收来自 ApplicationMaster 的命令以启动或 回收Container9YARN

3、系统架构-ApplicationMaster负责管理单个 应用程序向 ResourceManager 申请资源启动内部任务负责任务的运 行监控和容错 等10YARN系统架构-Container对资源的抽象封装了某个节点上CPU、内存等资源ApplicationMarster只有获得了一个Container之 后才能启动任务，ApplicationMaster本身也运 行在一个Container之中。11提纲Yarn 简介Yarn 系统架构123资源调度器12资源调度器最核心的组件之一插拔式服务组件负责整个集群资源的管理和分配 支持多队列多用户Capacity SchedulerFair Scheduler13由Yahoo!开发的多用户调度器资源调度器-Capacity SchedulerCapacity Scheduler容量 保证灵活性多重 租赁安全 保证动态更 新配置 文件14由Facebook开发的多用户调度器资源调度器-Fair SchedulerFa

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论