中兴大规模系统产品-DevOps-探索之路课件

大规模系统产品DevOps探索之路大规模系统产品DevOps探索之路1目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望2系统产品的特点实现复杂产品要求高协同难度大千万级代码规模大量协议信令支持不同设备终端兼容历史版本兼容高性能、大容量质量可靠性高要求产品维护周期长大规模研发团队跨地域协同项目群并行开发产品差异大云管端嵌入式软件制式场景系统产品的特点实现复杂产品要求高协同难度大产品差异大3系统产品研发框架组织协同 产品管理 项目管理 敏捷开发 团队协同 知识管理 资产管理 度量路标规划 项目计划 迭代计划 群组沟通 知识库 研发物料预算 全景可视化项目立项 进度跟踪 敏捷看板 关键事件管理 FAQ 研发物料采购 指标基线资源管理 回顾验收 远程协同 搜索推送 研发物料流转研发交付需求&规划版本规划需求分析需求评审需求跟踪软件设计软件方案设计详细设计硬件设计硬件方案设计逻辑设计EDA设计结构设计内容设计框架设计节点梳理模版设计软件开发软件编码UT/FT代码走查仿真逻辑仿真EDA仿真力热电磁仿真算法仿真内容开发内容编写内容评审构建集成 测试分层CI 测试设计编译构建 用例管理静态检查 测试执行自动打包 性能压测检查 投版&打样

调试&测试原理图检查 备料 静态调试PCB检查 状态跟踪 动态调试逻辑器件检查 指标测试料单检查构建&翻译 测试文档构建 文档批注自动化检查 自动化测试文档翻译反馈版本发布合规安全审批和协同快速下载灰度发布中试转产设计验证可生产性验证文档发布在线浏览定制化发布部署部署编排自动部署弹性部署运维自动化采集快速定位自动恢复监控指标监控日志监控行为监控分析研发过程反馈客户运营分析产品运营分析系统产品研发框架组织协同 产品管理 项目管理 敏捷开发 团队4系统产品研发改进历程2016~2017产品级敏捷DevOps项目立项千人重点项目版本交付周期6个月质量提升50%安全合规内嵌DevOps产品化某重点项目版本交付周期1个月项目级敏捷成熟度模型驱动工具共创云CI云测试某标杆项目版本交付周期3个月2013~2015敏捷萌芽自研工具内部试点项目探索加速规模化产品化2018~2019探索2010~2012系统产品研发改进历程2016~2017产品级敏捷安全合规内嵌5目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望6项目诉求高效研发项目可快速上线高可用可持续演进可灵活配置轻量级维护优秀实践快速复制项目诉求高效研发项目可快速上线高可用可持续演进可灵活配置轻量7DevOps方案挑战工具架构能力资源工具选型多样重复建设和引入多样性有余顶层设计不足缺少专业团队开源能力不足分散利用率低DevOps方案挑战工具架构能力资源工具选型多样多样性有余缺8目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望9DevOps解决方案架构服务层RT（发布测试）基础设施监控安全数据层设计仿真 产品安全中心 合规中心场景层持续交付流水线（软件、硬件、文档）敏捷开发组件共享产品规划全景透视项目管理团队协同代码仓库 用例仓库统一认证 统一权限 统一审批 邮件服务计算服务 存储服务 网络服务运维管理资源池（物理机、虚拟机、容量）CM（变更管理）需求中心 版本中心O&M（运营监控）故障中心 数据中心文档仓库 制品仓库DNS服务 日志 消息容灾备份服务 资源管理数据仓库CI（持续集成）组件中心 集成中心CD（持续交付）测试中心 交付中心DevOps解决方案架构服务层RT基础设施监控安全数据层设计10数据中心1DC计算存储网络DC计算 存储数据中心n网络基础设施TECS

计算/存储/网络虚拟化物理机Director云资源管理平台资源池层云服务层应用层存储服务DevOps应用其他IT应用其他研发应用物理机管理层计算管理存储管理网络管理安全管理VM管理用户管理统一资源管理任务调度集中监控日志查看统一告警自助巡检集中拓扑统一运维管理网络/安全服务计算服务块存储文件存储灾备服务高可用热迁移vFWvSwitch物理机虚拟机容器 对象存储 虚拟网卡 备份恢复DevOps之基础设施数据中心1DC计算存储网络DC计算 存储网络基础设施T11DevOps之能力中心DevOpsCMCIRTCDO&M开源扫描产品安全合规中心缺陷扫描 漏洞扫描病毒扫描版本规划版本中心配置项管理版本发布集成中心编译构建 静态检查FT UTST 版本打包交付中心版本归档版本分发版本下载测试中心用例管理 任务管理环境管理 测试分析组件中心开源软件自研组件分级共享需求中心需求分析需求排序故障中心故障处理DevOps之能力中心DevOpsCMCIRTCDO&M开源12DevOps之CI模型解决方案CI实例CIPipelineStageStep产品CI组件CI个人CIVerifyCIMergeCICI模型定义公共资源项目资源CI公共库项目配置CI配置模板公共配置平台DevOps调度平台 DevOps工具集模型解析器-CI事务构建器-CI实例创建引擎-CIDevOpsCMCIRTCDO&MDevOps之CI模型解决方案CI实例CI公共资源项目资源平13DevOps之分层CI个人CI编码静态检查/编译UTCodeReviewLocal

FTMerge组件CI组件FT组件打包推库：Snapshot解决方案CI取版本部署组件打包推库：Release产品CI版本打包冒烟推库：AlphaST自动ST手动推库：ReleaseDevOps之分层CI个人CI编码静态检查/编译UTCode14DevOps之发布测试CMCIRTCDO&MDevOps用例管理用例设计脚本开发版本/特性用例管理脚本管理环境管理虚拟环境 物理环境编排/部署 部署环境状态管理任务管理与执行任务调度执行结果报告/日志任务管理测试分析测试结果分析版本测试质量/效率分析版本/特性环境部署/释放接口任务执行/获取报告接口版本质量分析报告接口数据中心测试业务基础数据（和版本特性建立关联的用例、环境、任务、执行结果、关联故障）+汇聚层数据版本质量红线DevOps之发布测试CMCIRTCDO&MDevOps用例15DevOps之硬件一体化交付需求&任务TFSCandenceProE/CreoRCSVivadoQuartusMentorWindchillVayoPro原理图检查HFSSCSTQuartusSimAbaqusFlothermHyperworksMTSDMM云测试产品线自研工具GX

Works2Robot

StudioSCMADSPCB检查逻辑器件检查料单检查PDM硬件工具StorePBS/LSF设计仿真检查投板&打样调试&测试中试转产SLMPMSEC设计云线上协同提高协作效率并行设计缩短设计周期组件共享提高效率仿真云缩短仿真周期提高资源利用率节省License费用检查云经验共享减少重复犯错自动化检查提高效率质量管控问题闭环改进测试云自动化测试提升效率提高资源利用率DevOpsCMCIRTCDO&MDevOps之硬件一体化交付需求&任务TFSCandence16DevOps之文档持续交付同源内外文档同源版本文档同步交付架构研发信息组件化交付拉动内容输出构建自动化采集与组装灵活编排共创全员共创内容文档、翻译嵌入流程售前工服客户特性故障代码模型库需求方案FL/FDHLD版本说明升级指导参数手册API手册研发标准化 组件化生产构建发布研发工服规划翻译团队协同体系化 定制化 用户体验FD/FG自动化 可视化 代码化文档快速反馈快速闭环①④ 反馈③②DevOpsCMCIRTCDO&MDevOps之文档持续交付同源售前工服客户特性故障代码需求方17DevOps之安全合规DevOpsCMCIRTCDO&M开源扫描开源协议分析开源漏洞分析缺陷扫描白盒自动化扫描静态代码严重故障漏洞测试黑盒扫描测试协议模糊测试病毒扫描外发版本包病毒扫描代码提交个人CI开源扫描组件CI漏洞扫描病毒扫描缺陷扫描版本包质量数据扫描工具扫描结果版本发布版本包质量数据版本包售后提取生产提取其它提取扫描资源版本CI打版本包制品库Alpha制品库Release制品库ProductCCA平台扫描任务发布测试版本提取DevOps之安全合规DevOpsCMCIRTCDO&M开源18DevOps之一站式应用DevOps之一站式应用19DevOps之成熟度模型基础级2具备从需求到商用环境部署的端到端自动化交付能力全流程的自动化度量与分析具备迭代交付的协同开发能力初始级成熟级优化级创新级1345开始自动化实践建立自动化环境具备从需求到测试环境部署的自动化交付能力具备智能化交付与运维能力，为产品及服务的创新提供支撑分类评价项持续规划需求管理与规划协同式开发配置构建检查CI流水线知识管理与过程文档发布测试测试环境管理测试用例管理测试任务管理故障报告/故障管理安全测试仿真/可靠性/性能持续部署版本升级制品库管理补丁、版本发布发布部署监控与反馈监控与告警安全监控用户反馈数据分析与挖掘系统日志DevOps之成熟度模型基础级具备从需求到商用环境部署的端20DevOps整体方案收益统一框架统一DevOps术语减少重复投入，优秀经验易于推广，规划易于落地降低应用成本•分层模型以价值流驱动，抽取用户关注的业务核心，剥离实现细节以项目可感知的资源、活动，层次化的表达DevOps设计聚焦业务活动•工具解耦DevOps架构可继承；工具可切换，不受单工具制约公共工具维护和项目DevOps落地界面更清晰方案持续演进DevOps整体方案收益统一框架降低应用成本•分层模型聚焦业21DevOps整体方案收益模型代码化实现灵活的多分支自动化管理多分支自动化管理•算法配置解耦DevOps产品化统一规划，定期发布，项目间优秀实践快速复制定制部分，项目运维小组完成个性化开发定制或数据配置快速复制轻量维护DevOps产品化版本管理版本管理实现构建可追溯，随时可以重生指定历史版本及其构建环境幂等版本发布DevOps整体方案收益模型代码化多分支自动化管理•算法配置22目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望23DevOps之持续演进服务层