阿里统一调度系统SIGMA介绍

1、阿里统一调度系统SIGMA介绍调度系统业界的发展状态开源产品Google的开源调度系统：Kubernetes伯克利的杰作：Mesos其他开源产品： swarm, Yarn等闭源，基于开源的改造或者开源兼容系统：Google的Borg两获百度百万大奖的调度系统：Matrix阿里巴巴的Fuxi，Sigma等调度系统业界的发展状态在线和离线任务混部：已知主要是Borg，Matrix资源利用率状况：Borg领先 (所有机房CPU平均利用率50%左右），Matrix(40%以上)真正的挑战？ 在实际工程中落地，实现业务稳定性，资源效率和运维效率 的提升大纲统一调度的历史演进和sigma的整体架构调度策略

2、和算法的具体实践资源管理和调度优化展望统一调度的历史演进和sigma的整体架构BU1T4分组1（CPU:1%）T4分组2（CPU:20%）.BU2T4分组1（CPU:0.5%）物理机分组1.其它BU分组1,2,3,4物理机.宿主机物理资源各BU彼此割裂使量各种形式的T4分组集合+众多物理分组多套调度系统资源池独立（各BU各自为王）机器成本压力大，利用率被挑战问题：规模：各T4分组规模不一，绝大部分只有数百台小规模：资源碎片化。调度：T4分组内小规模调度，核心应用打散受限。资源分配：双11期间参差不齐：交易相关CPU充分售卖，无空闲CPU。但众多T4分组，宿主机尚未分配容器实例。资源利用率不均衡

3、：双11零点表现：部分分组CPU很高但相当多的分组CPU几乎完全空闲统一调度的历史演进和sigma的整体架构统一大公共资源池统一大公共资源池1其它专属资源池专用资源池1专用资源池2Sigma统筹所有物理资源统资源池改变：统一调度，云化架构，混部云架构规模：统一大资源池模式。调度：大资源池下，Sigma统一调度对核心应用的各种策略保障，稳定度过双十一。资源分配：双11充分使用了所有资源，没有闲置。资源利用率：资源充分均衡使用为在线和离线的混部打下了基础为双十一稳定性提供了资源保障统一调度的历史演进和sigma的整体架构Sigma架构图兼容k8s api,与社区共建采用阿里pouchcontain

4、er容器（ 兼容oci标准）统一调度的历史演进和sigma的整体架构业务架构的特点：业务多样性业务场景复杂调度策略和算法的具体实践灵活可配置的策略（效率）在线策略优化和双十一建站中的排布挑战通过调度减少容器之间的干扰（稳定性）混部和双十一场景的cpu策略优化（精确的资源控制）OS超卖/超卖比应用基本需求单元基础OS需求规格 是否启动容灾与打散5：POD级3；机柜级1：机框级4：ASW级0：宿主机级高级策略容器HostConfig特殊需 求（如Privilege）IP隔离特殊需求宿主机任意标签匹配资源池匹配网络版本、物理机机型、 物理机能力匹配等.应用间策略CPU精细调度策略CPU互斥SameC

5、ore策略CPU均衡分布CPU独占GPUP0M0应用间互斥/亲和/依赖应用互斥第一/第二原则宿主机亲和宿主机独占异构资源FPGA复杂和丰富以及多变的调度策略支持多样的应用场景：交易，搜索，中 间件，数据库等业务团队的需求，可配置立即生效，不 需要发布代码用户发起资源需求Sigma一层调度Sigma ApiServerSigma scheduler资源交付链路资源交付资源入口Sigma策略链路策略读取|写入|编辑|删除APISigma标签键值的统一管理应用 元信息应用应用应用间CPU基本需求高级策略复杂策略精细策略ETCD集群用户录入资源需求Sigma运维录入应用规则规则录入和编辑UI规则自动同

6、步至ETCDSigma策略引擎，其职责是：Sigma标签（键值）管理标准化 ： 资源交付链路的业务规则传参不再混乱。Sigma执行链路和策略链路解耦 ：复杂的业务需求，录入规则即生效业务调度规则，是混部和双11业务稳定性调度的基础。灵活可配置的策略中心多种约束对在线排布带来的挑战默认的这种调度算法问题：资源不足，分配不合理，依赖分配的顺序Sigma在线调度策略及其优化请求调度策 略集群状 态机器打 分分配方 案调度策略是计算资源利用效率的决定因素之一调度策略需要自适应环境变化手工调整缺乏方向、效率较低在策略空间中构造候选调度策略通过模拟器获取策略效果的评估由算法自动生成优化的调度策略模拟器优化

7、 策略调度 策略评估样本SwarmRL算法验证策略将策略更新至线上cpu分配率提升在线策略优化的调度效果：从60% 以上提升到90%以上双十一建站的挑战：解决方案：一表建站完成更高分 配水位并高质量的排布。x笔交易用在线分配需要350台以 上，批量排布只需要318台。并且具 有确定性。应用的稳定性部署优化解决真实应用混部场景下容器之间CPU/Mem等资源的竞争干扰在调度层面采用反亲和策略防止有干扰的应用容器部署在一起，保障应用运行时SLA。依赖专家经验的反亲和策略，不易维护。线上这种有干扰的组合很大，人工维护不太可能。CPI2（CPU peformance isolation for shar

8、ed compute clusters）干扰分析输入:历史观测数据如容器排布信息和cpu干扰指标检测模型：判断哪些容器有异常；离群点检测和密度分析相结合的办法输出：干扰概率的极大似然估计模型(干扰组合矩阵)在离线混部Motivation:多种差异化优先级的负载 提高日常的资源使用率为双十一当天准备弹性资源挑战：集成更多的负载类型和调度器通过更好的资源隔离机制和精确的资源 控制改善资源效率。在离线混部通过sigma和fuxi完成在线离线的各自调 度通过零层相互协调资源通过调度和内核解决资源竞争隔离问题 基于共享状态的调度为在线应用提高cpu资源优先级CFS：完全公平的调度，面向吞吐量设 计的，不

9、是面向应用延时不同设计的 在线优先级高于离线任务的优先级高优先级任务总是可以抢占低优先级 任务的时间片离线任务设置很小的静态权重(cfs.shares)规避HT（noise clean）:避免离线任 务调度到在线任务相邻的HT上,保证已经 运行的离线任务在在线任务于相邻HT上 唤醒后迁走为在线应用提高cpu资源优先级L3 Cache隔离CAT：BDW CPU的特性内存带宽隔离Memory Bandwidth MonitoringCfs bandwidth control 调节离线任务运行时间片长度延时高敏感应用cpu策略同一个物理核尽量在同一个socket 独占物理机双十一0点峰值应用的cpu策略在容器cpu规格一定的情况下，尽量保证0点峰值应用的容器能够更多的使用物理cpu资源，减少应用容器之间对cpu资源的抢占，从而影响0点