《大数据离线分析技术》课件-3.YARN的架构与原理_第1页
《大数据离线分析技术》课件-3.YARN的架构与原理_第2页
《大数据离线分析技术》课件-3.YARN的架构与原理_第3页
《大数据离线分析技术》课件-3.YARN的架构与原理_第4页
《大数据离线分析技术》课件-3.YARN的架构与原理_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

YARN的架构与原理大数据离线分析教学目标1.掌握YARN核心架构

2.理解资源分配原理

1.YARN概述YARN是Hadoop2.x引入的资源管理系统，取代了Hadoop1.x的JobTracker和TaskTracker模式。它采用主从架构，支持动态资源分配和多应用框架（如MapReduce、Spark），允许集群资源共享，提高利用效率。YARN的核心功能包括资源协商、作业调度和监控，通过容器抽象化资源（如CPU和内存），确保隔离和可扩展性。2.架构组件YARN的架构组件包括ResourceManager（RM）和NodeManager（NM）。RM是全局资源管理者，负责集群资源分配、应用调度和监控，采用高可用配置（如Active/Standby模式）避免单点故障。它维护资源队列，支持公平或容量调度器。NM则运行在每个节点上，管理本地资源，启动和监控容器，向RM报告心跳信息。3.ApplicationMaster作用ApplicationMaster（AM）是每个应用的特定管理者，由RM启动，运行在NM的容器中。它负责应用的生命周期管理，包括资源请求、任务调度和进度监控。例如，在Spark应用中，AM向RM申请容器，然后分配给执行器进行计算。AM的优势在于解耦应用逻辑与资源管理，支持自定义框架，提高灵活性。它还处理任务失败重试，确保应用容错。通过与RM和NM的交互，AM优化资源使用，避免全局瓶颈。4.资源分配原理YARN的资源分配原理基于需求驱动和队列管理。应用通过AM向RM提交资源请求，RM使用调度器（如FairScheduler或CapacityScheduler）分配容器。分配考虑队列优先级、用户配额和资源可用性，支持预占和弹性扩展。5.容器管理容器是YARN的基本资源单位，抽象化节点上的CPU、内存和磁盘资源，确保应用隔离。NM负责容器生命周期，包括启动、监控和清理，通过cgroups或Docker实现资源限制，避免过度使用。在任务运行中，容器封装应用进程，NM定期检查资源消耗，向RM报告状态。管理机制支持动态调整，如增加容器以处理峰值负载。这种容器化设计提升安全性，防止应用干扰，并支持多版本框架共存。7.故障恢复机制故障恢复机制作用YARN的故障恢复机制确保系统高可用。RM使用ZooKeeper存储状态，支持热备切换；NM失败时，RM重新调度容器到其他节点。AM故障由RM重启，恢复应用状态通过检查点机制。在节点崩溃中，NM心跳丢失触发RM回收资源，重分配任务。这种机制最小化中断，结合日志回放和状态持久化，支持长运行作业的连续性，提高整体可靠性。小结1.YARN是Hadoop的资源管理系统，支持动态资源分配和多应用框架。2.YARN的架构组件包括ResourceManager和NodeManager，负责全局资源管理和本地资源管理。3.Appl

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论