混合云下的DevOps的实践方案

1、技术创新 变革未来混合云下的DevOps的实践方案目录vivo互联网架构演进和DevOps建设历程1混合云架构下的DevOps实践之旅2vivo未来DevOps之路的探索3 vivo互联网业务介绍系统App服务 vivo互联网业务介绍0：数据统计截止2018年8月vivo互联网的架构一一业务架构90%以0在线服务是java9术栈C+、G+lang、Pyth+n、N+d%js等 多元化异构9术栈持续C入 vivo互联网的架构一一基础设施App 1App 1Host OS物理机App 1App 2KVMKVMHost OS物理机App 1App 2App 3CMP物理机云主机1拟机物理机虚拟机混合

2、云 DevOps的建设一一挑战和解决思路抽象资源层，屏蔽底层异构D性基于Jenkins实现CI环J，提升CI效率重C发力CD，推进标准化，I 动化挑战解决思路基础设施异D，网络连通性， 稳定性问题较8业务规模增长O速，迭代速度日益0快业务架构1一技术栈向8元技术栈过度交付效率交付周期长，交付不标准人员规模增长O速，人员能力2差不齐 DevOps的建设一一从0起步未使用jenkins，无流水线，手工操作XXXX问题：非持续集成各环节纯手工操作，效率和质量无法保障编码构建0试打包发布8置2控DevOps的建设一一流水线1.0ac：JO务 J的开发人员加入时，Jenkins配置复杂不友好CI未与线上

3、CD打通，发C上线成为短板基于SaltStack的手动发C，容易造成发C变更事I基于jenkinsD立最简单的流水线，未打通线上环节，ChatOps阶S编码构建测试打包发布配置监控IDEGit/GerritJUnitGradleMavenNexusLoadRunnerJMeterD动化 8口测试Jenkins手2JenkinsFTP/SSH虚拟主机云主机参数化0ProfileZKZabbixDevOps的建设一一流水线2.0基于Jenkins自研CI平台，基于Spinnaker自研CD平台，打通CI到线上CD 全流程环节编码构建测试打包发布O置D控IDEGit/GerritJUnitGradl

4、eMavenNexusLoadRunnerJMeter自动化 接口测试SonarQubeJenkinsDocker ImageCI平台JenkinsFTP/SSH虚拟主机混0云主机CAASCD平台参数化2ProfileZKO置中心ZabbixPrometheusGrafana KibanaD控系统调用链日8中心目录vivo互联网架构演进和DevOps建设历程1混合云架构下的DevOps实践之旅2vivo未来DevOps之路的探索3 混合云是企业IT发展的主流 混合云架构的优势和挑战优势灵活性按O分配 0扩展 更低TCO可靠性2云容灾丰富性2云特8互补挑战统一D控异构特8交付效率计量计费安全0控

5、网络互通研发和运维的需求和平台目标标准化自动化自助化多样性环2需求标准化 业务部署标准化快速 D动化 可重复 的运行环2资源D助申请和创建覆盖多种18的资源需求DevOps功能全景图 DevOps全链路CMDB元数据管理基础 CMDB架构图功能特性Agent采集资源 自动录入变更信息实时上 报全网覆盖采集信息资产数据资源利用率数据 CMDB服务树模型作用横向：平台串联，监控平台、CICD、配置中心、日 志中心纵向：利用树形结构的继承树形，高效组织监控策略、 权限配置服务树资产管 0服务管 0权限管 0流1管 0DevOps之CMP统一资源访问和管理开放API混合云支持安全可控流程整合费用管控

6、线下云服务架构图 作用和目标提高线下开发 测试环境A建效率线下开发 测试资源统一管控功能特性基于ContivC建docker容器云自研容器调度算法基于Activity实现申请流程基于telegraf prometheus和 grafana实现监控告警Spinnake 淮件简介Deck:面向用EUI界面组件API: 面向调用API组件Gate:APIU关组件Orca:IC流P引F组件Igor:集DCI系统组件Echo:G通O系统组件Front O:存储管理组件C0o5d driver:适配不同云A台的组件Fiat:鉴权的组件 基于Spinnaker+Jenkins的CI流+线建设 构建编排方式J

7、enkins构建多套Jenkins模板参数化动态生成Jenkins JobSpinnaker建立pipeline定义stage执行顺序和依赖关系 发布编排方式部署策略机房间串并行机房内串并行自定义暂停点功能特性一键回滚失败重试重试跳过快速终止组件包增量发布 Spinnaker流水线建设优化基于K8S的使用方式原生扩展Pi1+li0+，stag+，task查y接口扩展Task重试机G%ys2lO储引a扩展原生Spinnaker产生的性8问题DO消v过多：100+ stag+超过80%的DO占nCPUFn率间g性打k：过多Full GCUqstag+上下游l态s引，取消P整1i1+li0+扫描和T

8、列化消息数据te体优化，u小消息体事件通p机G优化，C闭非必要事件通p机G我们的使用方式优化方向：全球发布 作业平台 自动化运维平台的基础 作业平台 统一Agent通道统一CMDB监控发布统一Agent管控变更和升级进程守护安全控制审计 域名变更管理 DNS变更内网DNS全网管控，平台化变更对接Dnspod、万网实现外网DNS变更流量预案机房故障预案VIP故障预案域名故障预案Nginx变更管理 Nginx配置标准化格式化常规变更模板灰度下发快速回滚Nginx变更管理 热加载方案ConsuI+upsync动态更新路由表定+巡检高可用 配置中心SDKvivoCfg-AgentvivoCfg-Api

9、OPSStorageCacheCacheCacheFRKHUHQFH/FRQVLVWHQFSXVKpollSUBPUBRest-API 使用场景代B、环境、配置分离云控实现/能开关业务运营配置动态下发线上A/B test功能特性配置共享配置检索配置决照配置项批量导入、导出版本管A批量diff监控系统 构建立体化监控业务MB链VMB组件MB 基础MB D志MB，SR埋点MB，拨测自研javaagent服务谓求数、响应时间、L态码基于zabbix、nagios构建LVS、Mysql、Redis、MongoDB基于zabbix、solarwinds构建主机MB、SRMB监控系统 主机与基础组件监控基

10、于Zabbix搭建主机监控D群B过Zabbix插件实现组件的部分监控,LVS,Mysql, redis,MongoDB境外云主机zabbix agentzabbix proxyzabbix serverzabbix web告警中心主机数据公网国内云主机zabbix agentzabbix proxyzabbix serverzabbix web告警中心主机数据专线国内物理机（非大数据）zabbix agentzabbix proxyzabbix serverzabbix web告警中心主机数据内网国内物理机（大数据）zabbix agentzabbix proxyzabbix serverza

11、bbix web告警中心主机数据内网开吊开吊开吊开吊 监控系统 拨测探O机：云主机、体专BT手机上部署探针基于Spa+k St+eaming做实时汇聚计算基于OpenTSDB + Redis实现指标存储基于自R异常检O模块对时序指标实现D定闾值、 同环比、S升S降检O 监控系统 调用链监控指标请L数QPS、高0峰、趋势、同P比响应时间平均1、趋势、毛刺O态O态码、业务返8码、错误2布、异常调用链作用服务分析：量级、时延、质量链路分析：服务、组件间请L链路问题定位：异常、响应D、DSQL、 错误日志容量规划：服务量级、P比数据、 上下游Q颈、高0峰 监控系统 调用链监控系统日志监控H千f081e

12、,f研age2t(Bees),Te0egraf实现SO实Tm 集H千ESL语法实现多机SO搜索sl滤与LaH千ES实现查询SO短期B存,HDFSCn期存D支持Ga8ge与Co82ter汇e与FgH千i2f08xDB与Grafa2a实现Ngi2xioSO的E用N统计与 Fgtomcat loginfluxDBGrafanalogcenter portalHDFSElasticsearchJava ETLSparkKafkatomcat logNginx logDE机FlumeBees AgentTelegrafBA机FlumeBees AgentTelegraf目录vivo互联网架构演进和DevOps建设历程1