互联网Kubernetes调度系统概述

1、互联网Kubernetes调度系统概述一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践三、展望未来迎接挑战目 录contents目录2/19一、蚂蚁金服的Kubernetes现状3/19Part 1：发展历程与落地规模Part 1：蚂蚁金服的Kubernetes现状平台研发2018年下半年开始投 入 Kubernetes 及其配 套系统研发4/19灰度验证2019年初于生产环境 开始灰度验证，对部分 应用做平台迁移云化落地2019年4月完成云化环境适配，蚂蚁金服云上基础设施全部采用 Kubernetes 支撑618规模化落地2019年7月到双十一前完成 全站 Kube

2、rnetes 落地，超过 90% 的资源通过 Kubernetes分配，核心链路100%落地支撑 大促。大促规模Part 1：蚂蚁金服的Kubernetes现状数万台服务器和ECS超一万单集群规模90%+应用服务数十万应用 Pods5/19业务统一资源调度架构Part 1：蚂蚁金服的Kubernetes现状非云 资源云化资源基础 服务蚂蚁 k8s 核心CRIKubernetes API Server极速交付分时复用弹性容量资源画像规模化调度高可用容灾可视化 服务Cluster Control PanelCSICNIDevice Pluginruncnanovisorkata日志服务云盘本地多盘

3、弹性网卡网络安全组GPU安全可信在线应用数据库服务 OBserverless 平台SOFAMesh资源分时复用计算型混部任务神龙裸金属VPC云存储数据库服务器应用服务器国产化服务器6/19二、双十一 Kubernetes 实践7/19Part 2：资源分时调度Part 2：双十一 Kubernetes 实践快速腾挪的问题实例上下线需要预热腾挪耗时不可控大规模腾挪的稳定性8/19技术风险资源分时链路切换Part 2：资源分时调度KubernetesNode分时调度 AgentPod 资源Node分时调度 AgentPod 资源Node分时调度 AgentPod 资源容量平台监控平台巡检平台流量控

4、制流量平台配置中心流量控制器流量状态CRD资源状态CRD资源及流量控制CRD资源控制分时调度 控制器9/19Pod 资源Pod 资源Pod 资源Part 2：资源分时调度分时切换效果数万台应用 Pods分钟级链路切换数万核CPU资源节省100%分时切换成功率10/19计算型任务混部Part 2：双十一 Kubernetes 实践其他自研 OperatorsAI 训练KubernetesTensorFlowPyTorchHorovod/mpiXGBoostSparkSparkApplicationSpark Operator在线应用无状态服务NodeNodeNodeNodeNode无状态服务无状

5、态服务Node无状态服务spark driver 111/19无状态服务无状态服务无状态服务TF PS 1TF Worker 1TF Worker 2spark exec 1spark exec 2随着业务越来越多Part 2：双十一 Kubernetes 实践12/19调度性能优化Part 2：双十一 Kubernetes 实践13/19Operator开发者最佳实践14/19Part 2：双十一 Kubernetes 实践CRD 在定义时需要明确未来的最大数量，大量CR 业务最好采用 aggregate-apiserver 进行扩展CRD 必须 Namespaced scope，以控制影响范围MutatingWebhook + 资源 Update 操作会给运行时环境带来不可控破坏，尽量避免使用这种组合任何 controllers 都应该使用 informers，并且对写操作配置合理限流DaemonSet 非常高阶，尽量不要采用这类设计，如果必需请在 Kubernetes 专家的辅导下使用；弹性资源建站Part 2：双十一 Kubernetes 实践15/19三、展望未来，迎接挑战16/19Part 2：平台与多租户Part