《大数据离线分析技术》课件-4.YARN资源调度器的配置

YARN资源调度器的配置大数据离线分析教学目标了解YARN的几种核心调度器掌握配置Capacity与FairScheduler掌握队列管理、资源预留与抢占等高级功能掌握通过XML配置文件完成调度策略的配置1.调度器概述YARN调度器概述包括三种主要类型：FIFOScheduler按提交顺序执行作业，简单但可能导致长作业阻塞；CapacityScheduler通过队列分配固定容量，支持多租户和优先级；FairScheduler动态分享资源，确保公平分配，避免饥饿现象。FIFO用于小集群，Capacity和Fair用于生产环境。通过yarn.scheduler.class参数选择调度器，这些类型提供基础资源管理框架，帮助平衡负载和响应时间。2.CapacityScheduler配置CapacityScheduler配置通过yarn-site.xml定义队列容量和访问控制。关键参数包括yarn.scheduler.capacity.root.queues指定子队列，yarn.scheduler.capacity.root.<queue>.capacity设置百分比容量，支持最小/最大用户限制如yarn.scheduler.capacity.root.<queue>.user-limit-factor3.FairScheduler配置FairScheduler配置使用fair-scheduler.xml定义队列权重和策略。参数如<queuename="root"><weight>1.0</weight></queue>设置公平分享，minResources和maxResources限制队列资源，支持DRF（DominantResourceFairness）多资源公平。配置支持嵌套队列和预占启用yarn.scheduler.fair.preemption。适用于动态环境，确保小作业快速响应，而大作业不垄断资源，通过权重调整优先级，实现自定义公平策略。4.队列管理队列管理是YARN调度器的核心，包括创建、配置和监控队列。yarn.queue.acl.administer-queue控制管理员权限，支持叶队列和父队列层次结构。管理实践涉及监控队列使用率，通过yarnrmadmin-refreshQueues更新配置，而不重启集群。5.资源预留与抢占源预留与抢占机制优化YARN的资源利用。预留通过yarn.resourcemanager.reservation-system.enable启用，支持时间段资源锁定，避免高峰期争用。抢占由yarn.scheduler.preemption.enable控制，当队列超过阈值时，从低优先级应用回收资源，支持容器级别抢占。配置参数如yarn.scheduler.monitor.enable监控策略，确保公平抢占。这种机制减少空闲资源，提高集群吞吐量，适用于变负载场景。6.动态分配动态分配配置是YARN的增强特征，通过yarn.resourcemanager.am.max-attempts和spark.dynamicAllocation.enabled实现应用根据需求自动扩展/收缩容器。参数包括yarn.app.mapreduce.am.resource.mb设置AM资源，动态模式下，执行器可闲置时释放。配置优势在于节省资源，避免静态分配浪费，适用于批处理和流作业，通过YARNAPI监控动态变化，提升集群效率。6.XML配置文件详解yarn-site.xml包含全局参数如yarn.resourcemanager.scheduler.class指定调度器类。CapacityScheduler使用capacity-scheduler.xml定义<property><name>yarn.scheduler.capacity.root.queues</name><value>default,prod</value></property>。FairScheduler的fair-scheduler.xml支持<allocation-file>引用外部文件。详解强调验证XML语法，避免配置错误，通过重载命令应用变更，确保配置一致性。小结1.YARN调度器类型包括Fair,Capacity,FIFO。2.CapacityScheduler通过yarn-site.xml配置队列容量，FairScheduler使用fair-scheduler.x