FFA2024分论坛-云原生 合辑

流批混部未来展望…ServerlessFlink…vn-agentvn-agent↓VirtualCluster标准化多租VirtualAPIServer轻量化多租VirtualAPIServer轻量化多租……↓↓↓agentansmagentansmflink-reserveflink-reserve-capacityflinkflink-pay-as-you-go…… …………AjobjobAjobjob …………replicas:2-ntopologySpreadConstra-labelSelector:matchLabels:/network-service-id:abcdmaxSkew:1topologyKey:topology.kubernetes.io/zonewhenUnsatisfiable:DoNotScheduleaffinity:nodeAffinity:requiredDuringSchedulingIgnoredDuri-matchExpressions:-key:topology.kubernetes.io/zoneoperator…………XXXXansmappswatchappswatchwatchwatch……pyxispyxis-managerTHANKYOUFlinkonYarnFlinkonK8sFlinkon20182023↓7.create6.createvalidate2.spec5.create...jobmanagerjobmanager2jobmanager1jobmanager1........taskmanager1....taskmanager1taskmanager2!!4.4.3.上传jar1.提交jar3.上传jar1.提交jar—学alerttalos!aggregatealerttalos!aggregateapply 核THANKYOUServerlessFlink:小红书在云上k8sServerlessFlink:Xiaohongshu'sJourneyinMigratingandDeployingFlinkClusters………………各个子业务使用不同的独占资源池，维护上百资源池人力成本巨大各个子业务使用不同的独占资源池，维护上百资源池人力成本巨大Flink独占池扩缩容流程复杂，涉及预算审批、云厂商开关机、机器环境初单次流程耗时在天级别nodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodFlink独占集群公共混部集群FlinkQuotaFlinkQuotaB其他业务其他业务quotaCFlinkQuotaAFlinkQuotaAnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodnodeFlinkPodFlinkPodFlinkPodnodeFlinkPodFlinkPodFlinkPodnodenodeFlinkPodnodenodeFlinkPodPodFlinkPodquota扩容quota缩容启动quota扩容BaremetalSupplyBaremetalSupply标准混部池标准混部池BufferBufferControllerAPIServerWorkload画像服务Workload画像服务ControllerMetricsAwareController更新预测指标获取历史监控监控系统resourceProfilerMetricsAware监控系统resourceProfilerMetricsAware汇总画像，更新NodeMetrics监听监听MetricsAwareAgentAgentAgentAgentresourceProfilerlMetricsAwareresourceProfilerlMetricsAware实时负载感知调度SchedulerDescheduler动态更新规则实时负载感知二次调度容器服务容器服务Node维度汇总待驱逐的pod构造Flink请求URL请求驱逐Pod列表请求驱逐Pod列表校验pod是否在用返回RequestId或者结果根据RequestId轮训结果申请冗余pod资源ready后拉黑pod并触发task重启返回是否可驱逐根据返回结果执行驱逐或放弃释放空闲pod根据返回结果执行驱逐或放弃收到驱逐请求收到驱逐结果请求生成并返回RequestId返回生成并返回RequestId返回RequestId对应的请求状态结束根据请求传入的Pod结束根据请求传入的Pod数量，申请对应的新Pod否是否申请完成 是否申请完成 是否超时是触发checkpoint触发checkpoint获取Pod上的Task集合主动重启Task上述流程正常上述流程正常执行否设置驱逐请求为失败否设置驱逐请求为失败是设置驱逐请求为成功结束设置驱逐请求为成功结束使用CSIEphemeralInlineVolum资源扩缩容耗时资源扩缩容耗时扩大池化资源覆盖度年底迁移60kcore左右总体成本收益接近10k年底迁移60kcore左右总体成本收益接近10kcore应用AutoScaler进一步THANKYOUjobjob1job2job3...managerapiserverflinkmanagerapiserverflink/cancel等操作fetchjarjobjob-修复线程池设置bugrest服务就绪慢-不等待service关联pod-池化复用RestClient序列化操作频繁-删除不必要的序列化操作operator可调谐的单集群任务数达到2w提交作业吞吐可达1000app/分钟，全程稳定整体吞吐1000整体吞吐1000app/m单app启动时延小于1.5minwatchindex优化watcherswatchers单机Pod数与系统内存关系(G)864208单机Pod数与系统内存关系(G)86420850nodeCache:一轮调度中同质作业的调度cache,nodeCache:一轮调度中同质作业的调度cache,cachecachejobjobjoballocatejobache3allocatejobache3 源assignableexclusivewatchwatchapiserverwatchTaint/cordon/drainwatchTHANKYOULarge-ScaleCloud-NativePracticeOfFlinkatBilStreaming数量:6500+Batch数量:3000+Streaming数量:6500+Batch数量:3000+流批混部、Spark混部/opt/flink/opt/flinkconfconfpluginsusrlibL──tableapi等依赖jar物理机迁移机器从YARN物理机迁移机器从YARN集群迁移为Pod挂载物理磁盘磁盘异构物理机磁盘数量不统一磁盘故障，权限问题等磁盘异构物理机磁盘数量不统一磁盘故障，权限问题等磁盘负载不均RocksDB默认随机选择磁盘磁盘挂载在/mnt子目录Flink进程启动时筛选可用目录磁盘优化残留数据在残留数据在Pod退出时，不会删除数据增加Podlifecycle，Pod退出时通过preStop清理数据开启HA时：任务可以从正确的Checkpoint恢复，但遇PodPod处于失败状态Pod处于Pod处于Running状态启动时根据numberOfTaskSlots值调整阈值大小，避免固定参数的不足Pid数量限制优化服务器无法创建线程优化部分作业中线程泄漏，引起所在机器可用线程数不足，影响机器上所有作