《大数据离线分析技术》课件-项目2：YARN资源管理

YARN的架构与原理大数据离线分析教学目标1.掌握YARN核心架构

2.理解资源分配原理

1.YARN概述YARN是Hadoop2.x引入的资源管理系统，取代了Hadoop1.x的JobTracker和TaskTracker模式。它采用主从架构，支持动态资源分配和多应用框架（如MapReduce、Spark），允许集群资源共享，提高利用效率。YARN的核心功能包括资源协商、作业调度和监控，通过容器抽象化资源（如CPU和内存），确保隔离和可扩展性。2.架构组件YARN的架构组件包括ResourceManager（RM）和NodeManager（NM）。RM是全局资源管理者，负责集群资源分配、应用调度和监控，采用高可用配置（如Active/Standby模式）避免单点故障。它维护资源队列，支持公平或容量调度器。NM则运行在每个节点上，管理本地资源，启动和监控容器，向RM报告心跳信息。3.ApplicationMaster作用ApplicationMaster（AM）是每个应用的特定管理者，由RM启动，运行在NM的容器中。它负责应用的生命周期管理，包括资源请求、任务调度和进度监控。例如，在Spark应用中，AM向RM申请容器，然后分配给执行器进行计算。AM的优势在于解耦应用逻辑与资源管理，支持自定义框架，提高灵活性。它还处理任务失败重试，确保应用容错。通过与RM和NM的交互，AM优化资源使用，避免全局瓶颈。4.资源分配原理YARN的资源分配原理基于需求驱动和队列管理。应用通过AM向RM提交资源请求，RM使用调度器（如FairScheduler或CapacityScheduler）分配容器。分配考虑队列优先级、用户配额和资源可用性，支持预占和弹性扩展。5.容器管理容器是YARN的基本资源单位，抽象化节点上的CPU、内存和磁盘资源，确保应用隔离。NM负责容器生命周期，包括启动、监控和清理，通过cgroups或Docker实现资源限制，避免过度使用。在任务运行中，容器封装应用进程，NM定期检查资源消耗，向RM报告状态。管理机制支持动态调整，如增加容器以处理峰值负载。这种容器化设计提升安全性，防止应用干扰，并支持多版本框架共存。7.故障恢复机制故障恢复机制作用YARN的故障恢复机制确保系统高可用。RM使用ZooKeeper存储状态，支持热备切换；NM失败时，RM重新调度容器到其他节点。AM故障由RM重启，恢复应用状态通过检查点机制。在节点崩溃中，NM心跳丢失触发RM回收资源，重分配任务。这种机制最小化中断，结合日志回放和状态持久化，支持长运行作业的连续性，提高整体可靠性。小结1.YARN是Hadoop的资源管理系统，支持动态资源分配和多应用框架。2.YARN的架构组件包括ResourceManager和NodeManager，负责全局资源管理和本地资源管理。3.ApplicationMaster负责应用的生命周期管理，包括资源请求和任务调度。4.YARN的资源分配基于需求驱动和队列管理。YARN资源调度器的配置大数据离线分析教学目标了解YARN的几种核心调度器掌握配置Capacity与FairScheduler掌握队列管理、资源预留与抢占等高级功能掌握通过XML配置文件完成调度策略的配置1.调度器概述YARN调度器概述包括三种主要类型：FIFOScheduler按提交顺序执行作业，简单但可能导致长作业阻塞；CapacityScheduler通过队列分配固定容量，支持多租户和优先级；FairScheduler动态分享资源，确保公平分配，避免饥饿现象。FIFO用于小集群，Capacity和Fair用于生产环境。通过yarn.scheduler.class参数选择调度器，这些类型提供基础资源管理框架，帮助平衡负载和响应时间。2.CapacityScheduler配置CapacityScheduler配置通过yarn-site.xml定义队列容量和访问控制。关键参数包括yarn.scheduler.capacity.root.queues指定子队列，yarn.scheduler.capacity.root.<queue>.capacity设置百分比容量，支持最小/最大用户限制如yarn.scheduler.capacity.root.<queue>.user-limit-factor3.FairScheduler配置FairScheduler配置使用fair-scheduler.xml定义队列权重和策略。参数如<queuename="root"><weight>1.0</weight></queue>设置公平分享，minResources和maxResources限制队列资源，支持DRF（DominantResourceFairness）多资源公平。配置支持嵌套队列和预占启用yarn.scheduler.fair.preemption。适用于动态环境，确保小作业快速响应，而大作业不垄断资源，通过权重调整优先级，实现自定义公平策略。4.队列管理队列管理是YARN调度器的核心，包括创建、配置和监控队列。yarn.queue.acl.administer-queue控制管理员权限，支持叶队列和父队列层次结构。管理实践涉及监控队列使用率，通过yarnrmadmin-refreshQueues更新配置，而不重启集群。5.资源预留与抢占源预留与抢占机制优化YARN的资源利用。预留通过yarn.resourcemanager.reservation-system.enable启用，支持时间段资源锁定，避免高峰期争用。抢占由yarn.scheduler.preemption.enable控制，当队列超过阈值时，从低优先级应用回收资源，支持容器级别抢占。配置参数如yarn.scheduler.monitor.enable监控策略，确保公平抢占。这种机制减少空闲资源，提高集群吞吐量，适用于变负载场景。6.动态分配动态分配配置是YARN的增强特征，通过yarn.resourcemanager.am.max-attempts和spark.dynamicAllocation.enabled实现应用根据需求自动扩展/收缩容器。参数包括yarn.app.mapreduce.am.resource.mb设置AM资源，动态模式下，执行器可闲置时释放。配置优势在于节省资源，避免静态分配浪费，适用于批处理和流作业，通过YARNAPI监控动态变化，提升集群效率。6.XML配置文件详解yarn-site.xml包含全局参数如yarn.resourcemanager.scheduler.class指定调度器类。CapacityScheduler使用capacity-scheduler.xml定义<property><name>yarn.scheduler.capacity.root.queues</name><value>default,prod</value></property>。FairScheduler的fair-scheduler.xml支持<allocation-file>引用外部文件。详解强调验证XML语法，避免配置错误，通过重载命令应用变更，确保配置一致性。小结1.YARN调度器类型包括Fair,Capacity,FIFO。2.CapacityScheduler通过yarn-site.xml配置队列容量，FairScheduler使用fair-scheduler.xml配置队列权重和策略3.资源预留与抢占机制通过配置参数优化资源利用，动态分配支持应用根据需求自动调整资源4.XML配置文件的正确编写和管理对YARN调度器的性能和稳定性至关重要YARN的调优与监控大数据离线分析教学目标1.掌握调优参数

2.使用监控工具

3.掌握性能优化策略1.调优概述YARN调优概述涉及调整配置参数以匹配工作负载，提高吞吐量和减少延迟。核心包括资源分配优化、队列管理和应用级调整，通过分析集群使用模式，选择合适的调度器如Fair或Capacity。调优过程从基准测试开始，逐步迭代参数如容器大小和心跳间隔，确保平衡负载。在实际环境中，调优可将资源利用率从60%提升到90%，减少作业失败率，支持混合批处理和流任务。2.内存与CPU调优内存与CPU调优聚焦yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores参数，设置节点总资源。容器级调优包括mapreduce.map.memory.mb和mapreduce.reduce.cpu.vcores，确保应用不溢出。3.监控工具监控工具如Ambari和Ganglia提供YARN集群的可视化管理。Ambari是Hortonworks的GUI工具，支持警报、配置管理和指标图表，监控RM和NM状态。Ganglia则专注于分布式指标收集，显示CPU、内存和网络使用曲线，支持历史数据分析。4.日志分析YARN日志分析通过yarn.log-aggregation-enable启用聚合，存储在HDFS中，便于集中查看。工具如YARNWebUI或ELK栈（解析日志，搜索错误如容器失败或资源不足。分析步骤包括过滤应用ID，检查AM和容器日志，识别模式如频繁GC。实践帮助调试作业，优化配置，减少重复问题，提高系统可靠性。5.性能指标监控性能指标监控追踪关键度量如AppsRunning、ContainersAllocated和MemoryUsed，通过RMWebUI或JMX暴露。指标包括队列等待时间和节点健康，支持阈值警报。监控实践使用脚本自动化采集，结合Grafana可视化趋势，帮助预测负载峰值。这种监控确保及时干预，维持集群性能在高负载下的稳定性。6.Prometheus集成Prometheus集成通过YARN的JMXexporter暴露指标，Prometheus刮取数据，支持查询语言PromQL分析如CPU利用率。集成优势包括警报规则和长期存储，