一个典型的容量调度器

主讲：侯磊目录0102回顾具体配置回顾1回顾前面我们学习了如何创建队列并对其进行配置，下面来看一个实际的capacity-scheduler.xml文件的例子。在上一节中，为容量调度器创建了三个资源队列。但是，这些队列非常简单，其资源分配、应用程序限制和权限都使用的是默认值。为了在生产环境中有效地使用容量调度器，必须配置一组配置属性。回顾下面的示例capacity-scheduler.xml文件使用本章前面的例子中相同的组和队列。我们将较长的capacity-scheduler.xml文件分解成更容易理解的小块，来解析它们的工作过程。具体配置2具体配置1、三个配置属性分别指定如下：最大的ApplicationMaster(AM)资源百分比最大的应用数量谁可以管理队列(值*表示属于指定组的任何人都可以管理此队列)yarn.scheduler.capacity.maximum-am-resource-percent=0.2yarn.scheduler.capacity.maximum-applications=5000yarn.scheduler.capacity.root.acl_administer_queue=*具体配置2、以下属性在根队列下配置研究、支持和生产这三个父队列：yarn.scheduler.capacity.root.queues=research,support,production3、为研究组分配资源总量的60%，并指定研究组如何为其子队列(分析和数据叶子队列)分配其资源。yarn.scheduler.capacity.root.research.capacity=60yarn.scheduler.capacity.root.research.maximum-capacity=100yarn.scheduler.capacity.root.research.queues=Analytics,Datayarn.scheduler.capacity.root.research.state=RUNNINGyarn.scheduler.capacity.root.research.user-limit-factor=1yarn.scheduler.capacity.root.research.minimum-user-limit-percent=20具体配置yarn.scheduler.capacity.root.research.Analytics.capacity=20yarn.scheduler.capacity.root.research.analytics.maximum-capacity=100yarn.scheduler.capacity.root.research.analytics.state=RUNNINGyarn.scheduler.capacity.root.research.analytics.user-limit-factor=1yarn.scheduler.capacity.root.research.data.capacity=80yarn.scheduler.capacity.root.research.data.maximum-capacity=100yarn.scheduler.capacity.root.research.data.state=RUNNINGyarn.scheduler.capacity.root.research.data.user-limit-factor=1具体配置以下属性集显示了如何给支持组分配10%的总资源，还指定该组如何将其分配的资源分配给其子队列(即培训和服务叶子队列)。yarn.scheduler.capacity.root.support.capacity=10yarn.scheduler.capacity.root.support.maximum-capacity=100yarn.scheduler.capacity.root.support.queues=training,servicesyarn.scheduler.capacity.root.support.state=RUNNINGyarn.scheduler.capacity.root.support.user-limit-factor=1，yarn.scheduler.capacity.root.support.training.capacity=20具体配置yarn.scheduler.capacity.root.support.training.maximum-capacity=100yarn.scheduler.capacity.root.support.training.state=RUNNINGyarn.scheduler.capacity.root.support.training.user-limit-factor=1yarn.scheduler.capacity.root.support.services.capacity=80yarn.scheduler.capacity.root.support.services.maximum-capacity=100yarn.scheduler.capacity.root.support.Data.state=RUNNINGyarn.scheduler.capacity.root.support.Data.user-limit-factor=1具体配置以下属性集显示如何为生产组分配其余30%的集群资源。由于生产组没有叶子队列，因此不必为子队列分配资源。duction.capacity=30duction.