【邹晟】混合云容器稳定性治理实践

GOGOPS全球运维大会2023·上海站目录目录业务复苏后服务器业务复苏后服务器私有云机房资源的GOGOPS全球运维大会2023·上海站GOGOPS全球运维大会2023·上海站混合云的目标-降本增效提升到40%-60%业务高峰无需人工扩容业务高峰无需人工扩容云云效果：释放本地存储，节省成本GOGOPS全球运维大会2023·上海站>上公有云的价值对现有应用的影响•保障上公有云后应用的整体SLA•提供和私有云同样的服务体验······················································································•平滑地弹缩公有云•公有云高可靠分验证2.阶段二：灰度并全量P3、P4应用，然后全量3.阶段三：灰度并全1.公有云可用区failover2.私有云应用级多机房failover分验证2.阶段二：灰度并全量P3、P4应用，然后全量3.阶段三：灰度并全1.公有云可用区failover2.私有云应用级多机房failover1.完善公有云观测指标2.根因分析与预案推荐3.一键快速下云GOPS全球运维大会2023·上海站GOPS全球运维大会2023·上海站1.压测评估系统容量2.业务流量预测1.应用启动加速2.缩减发布批次系统优化:应用授权3.升级为高配pod,减少实例数1.压测评估系统容量2.业务流量预测1.应用启动加速2.缩减发布批次系统优化:应用授权3.升级为高配pod,减少实例数2.评估链路延时影响，谨慎上云GOPS全球运维大会2023·GOPS全球运维大会2023·上海站GOGOPS全球运维大会2023·上海站2.对容器的自助运维能力（重启、debug、接入摘除流量、重建等）2.对容器的自助运维能力（重启、debug、接入摘除流量、重建等）1.交付顺畅度（公有云的api限流、个别pod失败等）GOGOPS全球运维大会2023·上海站可靠性保障系统瓶颈治理平台功能泛化GOGOPS全球运维大会2023·上海站GOGOPS全球运维大会2023·上海站可靠性保障治理实践-故障应急要点：要点：failover结论：1.公有云到私有云延时0.7～1ms，影响看业务的链路总时长增加多少2.500+P1/P2应用可以上云。。。。。。。流量算法预测结合五一经验倍关注业务指标与性能指标pod最大数等优化方向：优化方向：2.支持应用授权，2.支持应用授权，优化过程：GOGOPS全球运维大会2023·上海站优化总结：：大应用采用高配额的pod优化效果最佳，减少发布批次是长期收益的右GOGOPS全球运维大会2023·上海站√×题√×√×√×量√√vk并发更新annotation/label被覆盖vk并发更新annotation/label被覆盖参考：/virtual-kubelet/virtual-kubelet/pull/976k8s1.21+通过指定注解controller.kubernetes.io/pod-deletion-cost实现指定pod缩容删除前对pod摘除流量，状态变为notready,再进行缩容公有云机器大多数情况下是最后扩容、最后ready的（默认选项，实现成本最低）4.OpenKruiseCloneSet原生支持缩容指定podGOG