vivo多云管理平台建设实践（对外版）

区块链架构云原生架构lT^UBcc2踮©2023年06月30-07月01日|切北京维景国际大酒店C2014第16届中国系统架构师大会[SYSTEM-architectconferencechina坤、数字转型架构演进、、志.w空:*..終..・•数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平台建设实践viv。高级研发经理陈琛SACC数字转型架构演进168^

ChinaUni。pUBaa2023数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023陈琛vivo高级研发经理2018年加入vivo,经历多个平台从0到1的建设,目前负责viv。云平台、数据库存储管理平台等项目和研发团队数字转型架构演进L"：：

f168^'ChinallmxpUBaa2023O目录/CONTENT___________________________________数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平台建设背景vivo多云管理平台最佳实践未来展望),.：■168^nChinaUni。aaOMkzU2023SACC数字转型架构演进01.PARTONE•viv。互联网业务规模•viv。互联网资源规模•业务高速发展带来的挑战数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平台建设i数字转型aaoAvkx2023-.*•3，'•f168^ChinaUnix:RBvivo多云管理平台建设背景vivo互联网业务规模（公开数据，历史最高）数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023应用商店累积分发1.5万亿月活用户2.5亿日活用户8210万月活用户2.5亿游戏中心日活用户1082万月活用户9818万网SACC数字转型架构演进在网总用户（不含外销）3亿项目数量1800+服务数量10000+aa2023•**.*.....L"：：

f168^n

'ChinallmxpUBvivo多云管理平台建设背景vivo互联网资源规模数字转型架构演进第+六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023•服务器规模物理服务器服务器规模增长40+倍2017-2023数据库运营数据数据库实例7年56倍2017年2018年2019年2020年2021年2022年2023年•实例数量•服务器数量•DBAA均运维实例数量•数据库服务实例密度数据库数据库实例规模增长56倍数据库实例部署密度增加7.6倍数据库服务器规模增长7.4倍人均运维数据库实例规模增加25倍f16B^

包ChinaUni艾pUBSACC数字转型架构演进GACC2023vivo多云管理平台建设背景业务高速发展带来的挑战数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023资源管理与成本管控交付与变更效率•平台资源覆盖范围有限•云上云下没有统一纳管•资产数据准确性不高•生命周期管理流程不闭环•资源缺乏考核和度量•预算缺乏有效控制•共享资源缺乏分摊规则•资源采购和交付周期长•自动化率不高•变更缺少管控•缺少场景化支撑能力可用性与质量感知•缺少有效度量•故障感知方法单一•问题定位时间长•故障自愈能力缺失SACC数字转型架构演进aAjTX2023t168^

•^^ChinaUnbc02.PARTTWO-业务架构-系统架构-平台实践数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平台最佳实践数字转型aaoAvkx2023-.*•3，'•f168^ChinaUnix:RB故障演练资源卡控安全审计故障分析资源优化计价瓣网络安全故障自愈资源报表故障il预算/采购安全阻断元服务树管理工单管理权限WS故障管理资源运营账单系统..安全公共服务资源预测计算1网络1数据库1削诸大数据1CICD1微服务和中间件监控1日志中心1故障管理1资瘫营安全1运厩更1公共服务vivo多云管理平台最佳实践业务架构数字转型架构演进第十六届中国系统架构师大会SYSTEMARCHITECTCONFERENCE.CHINA2023laaS计算存储网络：＞UBmACC数字转型架构演进,I168^

®ChinaUnixGACC2023平台层资和务云源服_____vivo多云管理平台最佳实践系统架构数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023云平台portal命令下发<■___示］|网络|!计算自建iDC公有云公共服务账单系统运维变更资源管理CMDB监控和日志中心资源信息业务信息消息队列HF六皿丁工日志'________利用率数据通道命令通道分析处理大数据计I算集群!统一入口统一平台资源管理资源运营工具计算资源预算CICD数据库采购作业变更存储交付监控账单系统中间件__SACC数字转型架构演进168^

ChinaUni。pUBaa___2023vivo多云官理平台最佳头践资源云化和运营管理策略管理础8资源签收资源使用资源回收资源申请业务侧支撑侧资源交付资源定义资源池化资源水切库存资源评估资源水位运营业务需求预测资源统一运营窒癲寸接资源纳管pUB^^ChinaUnix(业矗皿)资源需求处理H资源交付食资源云化资源云化瓷源云化登气CC数字转型架构演进数字转型架枸演进第十六届中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2022自建IDCtaxa计算网络■公有云物理机管理(CMDB-计算资源)虚拟机管理(OpenStack/CMP)云主机管理(CMP)容器集群管理(CaaS)

1数据库管理(DaaS)

1存储集群管理(太初)物理机虚拟机_______J云主机容器数据库1LJ

1轩辕存储…多云管理vivo多云管理平台最佳实践CICD核心流程推送制品数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023拉取代码QJenkins①认领需求触发执行②提交代码③执行构建⑤执彳丁部署持续集成CI,\需求管理项目管理平台GitLab拉取制品拉取制品持续部署CD运维中心监控中心日志中心配置中心\_______丿云基础服务SACC数字转型架构演进aa2023@ChinaUmxpUBvivo多云管理平台最佳实践全球化部署生产机房测试1机房vivoops-civivoops-cdgitlabgerrit测试2机房spinnaker-echospinnaker-orcaJenkins混合云主机vivoops-uploadArtifactoryArtifactory2G专线公有云-香港某国1某国2某国3其它vivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-cdvivoops-cdvivoops-cdvivoops-cdArtifactoryArtifactoryArtifactoryArtifactory虚拟主机云主机混合云主机云主机2023国外国内数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023全球代理Proxy+CDN加速@ChinaUmx数字转型架构演进spinnaker-■spinnaker-gateJEfront50Redisvivo多云管理平台最佳实践CICD系统架构数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023gitfetchnotifyeventdockerpushwgetpipelinedockerpullCIServerdeveloperSpinnakercmd口openstackvcsagentCDServerVGitLab爾kubernetessonarqube©HARBORSendFileJenkins----月均构建10W+基于Jenkins和Spinnaker自研SACC数字转型架构演进■'-1T685'

ChinaUnixpUBoACC2023vivo多云管理平台最佳实践数字转型架构演进第+六,中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023Spinnaker■流水线优化—优化后使用方式---------------、等待10s机器6.,一亠.-►•-.升级&改造Spinnaker源码•升级Pipeline、Stage、Task查询接口•增加Task重试机制-扩展存储引擎丿FindimageDeployFromTestCanaryCutoverManualapproval原生使用方式DeployPRODTearDownDestroy(red/black)CANARYoldPROD原生性能问题•内存消耗过大，100以上Stage内存占用超过80%以上-FullGC频繁，CPU经常被打满^SACC数字转型架构演进aa___2023@ChinaUmxpUBvivo多云管理平台最佳实践运维自动化提升运维自动化率上线10+平台和子系统作业平台公共服务数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023持续交付监控服务变更管理@CICD旦统一监控*E事件变更工作台告变更事f枷表Dashboard变更事件统计代码煎主机监控Snginx变更管理代码评宙新监控upstream配置管理制品管理DB监控domain配置管理B管理解険其他文件管理资源梟目证书文件管理研发蛙域名峰vip管理平台运营VGWIS^nginx集群管理帮助中心历史记录空作业平台模板管理吉弱理作业成元跡管理流量灰度策略文件管理domainSdM校验E域名可用性权限管理执行历史Nginx域名校验机管理操作历史A6域名E流星调度平台^^5计域名总览廊域名管理Crontab配置管理网络监控大屏根域名管理曰R志中心纬於曽建SACC数字转型架构演进.11.8丄ChinaUnix：）UBaa2023vivo多云管理平台最佳实践成本分摊分摊比12%共享成本分摊比x%分摊比y%分摊比25%独占资源分摊比63%独享成本数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023云平台*分摊比Z%备注:X、y、z的值由服务提供方给出大数据平台搜索平台算法中台-总成本云平台资源成本合理分摊业,成本中台价值云化资源总费用：¥***使用资源数量:**个资源消耗:-计算：**核-存储：***GB云化资源总费用：¥***使用资源数量:**个资源消耗:-计算：**核-存储：***GB1物理机自有资源1云主机1容器（资源池）1数据库算法:12%搜索：14%云平台:15%大数据：27%浏览器|自有资源算法：25%搜索：27%云平台:15%视频|自有资源算法:63%搜索：21%云平台:60%游戏|自有资源云化资源总费用：¥***使用资源数量:**个资源消耗:-计算：**核-存储：***GBB定价体系中台成本成本分摊SACC数字转型架构演进oACCOMVzVr1a.：-18168^

(^Chinallmx»)UB03.PARTTHREE-当前存在的问题和痛点•vivocloud2.0介绍数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023未来展望数字转型aaoAvkx2023-.*•3，'•f168^ChinaUnix:RB未来展望当前存在的问题和痛点数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023技术产品化程度较低平台的规划缺乏顶层设计，大多数平台都是自下而上的构建，平台的定位更多的着眼于解决团队当前的问题；产品化能力低、平台之间协同困难或者无法协同持续提升研发效率困难现有平台经过3-4年的持续迭代，积累了一些技术债务，平台架构可持续建设难度增大，用户需求投入产出比持续下降持续提升运维效率困难缺乏业务和用户视角的场景化、全链路解决方案和能力，变更和故障排查要在多个模块间物辟转，效率较低，没有实现功能串联持续提升资源效率困难资源运营仍然是线上线下结合的方式，无法进一步提升资源使用和运营效率SACC数字转型架构演进aa__2023B.；

；

f168^ChinaUni戈pUB未来展望vivocloud2.0产品架构数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023监控采集监控检则监控告警监控配置监控看板公有云安全平台数居分析中间件平台能力服务大数据平台巡检服务项目管理平台测试相关平台财务平台监控系统三方系统SACC数字转型架构演进aaOMkzLr2023@ChinaUmx未来展望基于FinOps理念构建资源运营解决方案•关键指标-治理晾晒•持续迭代SACC数字转型架构演进数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023预算订单成本4资源运营收支运营明细账单/培养成本意识•引入订单，按天计费•费用中心下沉项目空间，成本可视化•推送账单，关注成本持续优化•营收视角搭建产品线维度成本分析，多视角观测成本信息•数据分析，决策优化--•fI685'ChinaUmxpUB未来展望资源效能数字转型架构演进第十六斥中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023资源利用效率单位业务IT成本云产品单价（成本）SACC数字转型架构演进--•fI685'ChinaUmxpUBaa___2023未来展望监控能力建设可观测能力建设<指\:可腕;一=■=■=w=.一=■=■=■=.I,‘3请求范血、/’以證"、/阜件®嗥&/、、、，、—W'、■■前聚合的事件L—:请求｝<范围内，.追踪k的事时日志；\请求范\/事件记/、、、围>t录'ACC数字转型架构演进数字转型架构演进中国系统架构师大会SYSTEMARCHITECTCONFERENCECHINA2023I•可观测能力建设-链路/指标/日志信息关联转化-多场景信息关联排查（如多维告警〉日志/指标等）I•检测告警能力强化III