2023学年完整公开课版YARN中的调度

YARN中的调度1、了解YARN中的调度01目录导语02YARN中的调度导语1导语

理想情况下，YARN应用发出的资源请求应该立刻给予满足。然而现实中资源是有限的，在一个繁忙的集群上，一个应用经常需要等待才能得到所需要的资源。YARN调度器的工作就是根据既定策略为应用分配资源。调度通常是一个难题，并且没有一个所谓最好的策略，这也是为什么YARN提供了多种调度器和可配置策略供我们选择的原因。YARN中的调度2YARN中的调度三种调度器FIFO调度器（FIFOScheduler）容量调度器（CapacityScheduler）公平调度器（FairScheduler）YARN中的调度

容量调度器配置：

容量调度器允许多个组织共享一个Hadoop集群，每个组织可以分配到全部集群资源的一部分。每个组织被配置一个专门的队列，每个队列被配置为可以使用一定的集群资源。队列可以进一步按层次划分，这样每个组织内的不同用户能够共享该组织队列所分配的资源。在一个队列内，使用FIFO调度策略对应用进行调度。如果队列中有多个作业，并且队列资源不够了呢？这时如果仍有可用的空闲资源那么容量调度器可能会将空余的资源分配给队列中的作业，哪怕这会超出队列容量。这被称为弹性队列（queueelasticity）。如果一个队列一开始资源够用，然后随着需求增长资源开始不够用时，那么这个队列就只能等着其他队列释放容器资源。缓解这种情况的方法是为队列设置一个最大容量限制，这样这个队列就不会过多侵占其他队列的容量了。YARN中的调度

公平调度器配置：

公平调度器为所有运行的应用公平分配资源。两个用户A和B分别拥有自己的队列。A启动一个作业在B没有需求时A会分配到全部可用资源；当A的作业仍在运行时B启动一个作业，一段时间后按照我们先前看到的方式，每个作业都用到了一半的集群资源。这时，如果B启动第二个作业且其他作业仍在运行，那么第二个作业将和B的其他作业（这里是第一个）共享资源，因此B的每个作业将占用四分之一的集群资源，而A仍继续占用一半的集群资源。最终的结果就是资源在用户之间实现了公平共享。YARN中的调度

公平调度器配置示意图：

YARN中的调度

抢占：在一个繁忙的集群中，当作业被提交给一个空队列时，作业不会立刻启动，直到集群上已经运行的作业释放了资源。为了使作业从提交到执行所需的时间可预测，公平调度器支持抢占（preemption）功能。所谓抢占就是允许调度器终止那些占用资源超过了其公平共享份额的队列的容器，这些容器资源释放后可以分配给资源数量低于应得份额的队列。注意，抢占会降低整个集群的效率，因为被终止的containers需要重新执行。YARN中的调度

延迟调度：对于单一类型资源，如内存的调度，容量或公平性的概念很容易确定。例如两个用户正在运行应用，可以通过度量每个应用使用的内存来比较两个应用。然而当有多种资源类型需要调度时，事情就会变得复杂。例如如果一个用户的应用对CPU的需求量很大，但对内存的需求量很少；而另一个用户需要很少的CPU，但对内存需求量很大，那么如何比较这两个应用呢？YARN中调度器解决这个问题的思路是，观察每个用户