华为云DevSecOps质量效能白皮书

HUAWEI华为云DevSecOps质量效能白皮书有质量的效率，有效率的质量，使能企业价值创造0010100000010111100101111111010100000000111011101110000010011012023年7月CONTENTS01华为云DevSecOps质量效能体系综述1.1DevSecOps质量效能简述1.2DevSecOps质量效能现状1.3华为云DevSecOps质量效能方法论模型1.4基于价值流创造的华为云DevSecOps质量效能体系及特点02价值流定义：快速识别企业质量效能关键要素020404062.1华为云DevSecOps价值流简述2.2DevSecOps价值流质量效能要素2.3通过流程引擎实现价值流快速IT化03价值流实现：高质高效实现业务价值交付08093.1正确实施DevSecOps的关键是质量效能双赢3.2快轨：基于Q点自动检查的大吞吐量高速上线3.3慢轨：基于发布计划自动抬杆的内建质量防护网快速路3.4通过灰度发布降低全网质量风险和问题影响度04价值流表征：通过三层指标管理逻辑及模型化实现业务评估4.1通过有效数据度量实现价值流表征4.2DevSecOps质量效能指标管理逻辑4.3基于指标的质量效能度量和评估4.4如何开展基于业务的质量效能管理05价值流洞察：快速有效识别质量效能风险短板5.1DevSecOps质量效能“诊疗”思路195.2“诊”：DevSecOps质量效能风险洞察服务205.3“诊”：DevSecOps质量效能运营服务2106价值流增值：依托质量效能风险洞察&运营服务实现组织、团队及个人持续改进6.1质量效能持续改进简述6.2“疗”：质量效能策划改进双循环07华为云DevSecOps质量效能实践分享22237.1华为云DevSecOps质量效能实践概述247.2华为云DevSecOps质量管理总结247.3华为云DevSecOps效能管理总结257.4实践一：构建华为云DevSecOps质量效能数字化评估模型277.5实践二：基于质量效能管理模型洞察&运营价值流风险317.6实践三：持续改进双向双循环337.7实践四：华为云DevSecOps质量效能评估3608愿景与展望华为云DevSecOps质量效能体系综述数字经济时代已然来临，企业数字化转型如火如荼，所有企华为云DevSecOps质量效能体系综述数字经济时代已然来临，企业数字化转型如火如荼，所有企业都希望抓住未来产业高速发展的机遇，成为数字化变革浪潮中的一员，通过自动化、信息化、数据化的数字化基座来承载自身业务创新和发展。《“十四五”软件和信息技术服务业发展规划》中明确指出，到2025年规模以上企业软件业务收入突破14万亿元，年均增长12%以上，而五大任务之一即提升产业基础保障水平，囊括了提升软件工程化能力、提升软件产品和数据能力、提升软件质量管理能力、提升软件价值保障能力是重要的发力方向。在这一趋势下，企业产品研发的交付能力面临巨大挑战，产品研发的交付实践和方法亟待变革。围绕DevSecOps价值流所构建的研发质量效能管理体系将是这一变革的破局之道。基于20年的数字化实践和数百万企业客户的服务经验，华为云吸收业界先进DevSecOps理念精华，提炼出DevSecOps质量效能管理体系典型特征，同时以价值流创造为核心，摸索出了一套行之有效的质量效能方法论和最佳实践。藉此，华为云推出《DevSecOps质量效能：有质量的效率，有效率的质量，使能企业价值创造》白皮书，与业界分享华为云对DevSecOps质量效能体系的深刻理解，与业界共享华为云积累的丰富实践经验。全篇共计1万多字并整理成册，以期携手各方共同推动云计算行业的开放与发展。02有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述1.11.1DevSecOps质量效能简述当今市场经济竞争激烈，市场先机稍纵即逝，速度就成为了获胜的关键因素之一，此时市场的成败，就不仅仅是大鱼吃小鱼，而是快鱼吃慢鱼，这就是快鱼法则。有这样一个故事：两个人在树林里过夜。早上，突然树林里跑出一头大黑熊，两个人中的一个忙着穿球鞋。另一个人对他说：“你把球鞋穿上有什么用？我们反正跑不过熊啊！”忙着穿球鞋的人说：“我不是要跑得快过熊，我是要跑得快过你。”故事听起来有点无情，但竞争就是如此残酷。因为，我们面对的世界，是一个充满变数并且竞争非常激烈的世界，比跑得快不快，很可能成为决定成功与失败的关键。在互联网+时代“快鱼法则”强调了对市场机会和客户需求的快速反应。03软软件件规的模复的复杂杂度度与势趋的务业人员规模软软件件规的模复的复杂杂度度与势趋的务业人员规模有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述随着业务的发展，软件的演进加入更多的功能点，各个模块（Module）间存在着各种微妙的依赖关系，系统变得越来越复杂。对于程序员来说，修改系统时考虑周全所有的相关因素变得越来越困难，使软件开发进度变缓慢，并且引入Bug，从而导致会进一步延缓开发进度，增加开发成本。在任何一个系统的生命周期中，复杂性不可避免会增加，系统越大，需要更多的人开发，管理系统复杂性的工作就越困难，研发的质量效能也越来越达不到理想水平。 研发效能的鸿沟而这些趋势变化都预示着，我们要有匹配的方法论和实践，来指引软件生产力得到持续提升，并最终支撑高质高效价值交付。回顾华为研发模式演进历程，对研发效率提升的诉求日益迫切，研发模式持续演进，使云化/服务化/自动化/数据驱动成为必然，也催熟了华为云DevSecOps质量效能方法论和管理体系，以及在此之上卓有成效的实04有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述1.21.2DevSecOps质量效能现状那么想要有质量有效率的提升DevSecOps研发生产力，实现价值交付，企业有哪些痛点？我们从五个部围绕价值流创造持续高质高效交付是企业的核心竞争力，首先要能清晰识别企业的产品价值流向，寻找从客户要求到客户满意全流程最佳路径和关键要素。但现实中很多企业用户由于缺乏端到端价值流梳理，DevSecOps演变成产品交付的快速迭代而非价值创造的快速迭代；同时习惯聚焦于开发效率、运维效率的局部分析及提升，沿价值流核心要素未系统梳理有效洞察，不利于组织质量效能的持续提升。关键点就在于要以全局最优代替局部最优，并在此基础上牵牛鼻子。其次，价值流变现最重要的载体就是DevSecOps工具链，然而现阶段的用户应用大多仍建立在传统IT技术之上，应用架构耦合性强、复杂度高，导致技术债务重、部署速度慢等问题日益凸显；同时开发模式落后，存在部门墙严重、开发运维割裂的问题，致使研运协同困难、发布周期长且不可控，如何快速在企业实现DevSecOps价值流IT化承载以及在此之上如何内建“有质量的效率、有效率的质量”是一个值得思考的问价值流一方面通过IT化承载，另一方面则通过数据来表征，如何实时监控产品交付的质量和效率，及时识别交付中的风险短板，传统的做法就是通过指标度量分析，但单纯基于指标的管理容易偏离目标，需要考虑采取更有效的价值流表征方式来实现。通过数据表征价值流，衍生出一个新的命题，即在大量的指标和数据模型中，如何识别出价值流交付中关键的质量效能风险及短板，并能够通过合适的方式产生预警和策略应对，实现交付数据的风险洞察和运营，为团队价值流交付寻找最优解。基于价值流作业的洞察改进不足以支撑整个组织的质量效能持续提升，通常的做法是：作业指标度量分析改进，四步质量效能管理过程，这种方式对改进价值流形成闭环有所欠缺，同时改进更强调的是团队/个人改进，组织级能力沉淀固化是短板。从实践来看PDCA持续改进是改善价值流、提升组织级能力的重要手段。1.31.3华为云DevSecOps质量效能方法论模型结合DevSecOps质量效能现状分析，华为云提出了“有质量的效率，有效率的质量，使能企业价值创造”方法论价值流5V模型（价值流定义、价值流实现、价值流表征、价值流洞察、价值流增值）：05价值流表征义定流值价察洞流值价价值流实现价值流增值流程效能数据作业质量诊断价值流表征义定流值价察洞流值价价值流实现价值流增值流程效能数据作业质量诊断有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述改进改进华为云DevSecOps质量效能方法论模型的关键特征包括以下几点：服务于价值创造质量与效能双赢善用指标度量，不能以指标代替目标管理全栈多维度风险自动冒泡运营使能，两层双循环持续改进一个方法论、一套管理框架、一组行之有效的质量效能实践商业环境利益相关方客户利益相关方客户价值流增值价值流洞察商业环境价值流表征价值流实现要求满意价值流定义商业环境利益相关方客户利益相关方客户价值流增值价值流洞察商业环境价值流表征价值流实现要求满意价值流定义有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述1.41.4基于价值流创造的华为云DevSecOps质量效能体系及特点华为云DevSecOps质量效能方法论模型，以客户要求到客户满意为起止点，围绕价值流定义、价值流实现、价值流表征、价值流洞察以及价值流增值，内建质量效能体系框架。华为云华为云DevSecOps质量效能理论体系有质量的效率，有效率的质量质量效能质量效能OBP策划(O)组织级能力改进风险冒泡预警基于业务的效能管理体系快速发布通路（两种模式）持续规划发布计划持续计划&构建持续测试持续发布部署上线持续运维&运营流程转作业引擎持续运维(SRE)&运营流程基于业务的质量管理体系标的质结果质量评估|过程质量评估持续规划与组合管理流程持续开发与发布流程效能评估模型质量评估模型质量策划(S)运营使能灰度发布组织能力沉淀组织能力沉淀价值流定义：沿产品交付价值流流转全流程，梳理DevSecOps持续规划与组合管理流程、持续开发与发布流程、持续运维（SRE）&运营流程，确保产品交付全链路无死角无断点、敏捷高效；其次识别质量效能关键要素作为质量效能体系开展工作的锚点；另外通过流程引擎服务快速将流程设计转化为IT作业，实现价值流定义与价值流实现的无缝衔接。0607有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能体系综述价值流实现：DevSecOps持续发布流水线通过两种发布快速通路实现质量效率的均衡，一种是以自动Q点（质量检查点）检查快速上线方式，另一种是在规划阶段基于服务发布计划开展质量策划，以开发交付QCP、Q检查点内建质量防护网，以及后端持续运维&运营、PRR/ORR检查确保最终产品上线质量。核心原则是自动放通不影响效率，例外上升确保质量。价值流表征：以质量效能指标度量（体检项）为基础，围绕三层指标管理逻辑，构建质量效能成熟度评估体系（体检报告），在此之上实现基于业务的质量效能管理，不唯指标论。其中效能评估模型按照人（人员效率）、机（工具效率）、料（业务效率）、法（流程效率）、环（组织效率）五个要素展开度量评估。价值流洞察：通过构建风险洞察&运营服务，围绕价值流全栈质量效能短板识别和预警，驱动产品交付作业质量短板和效能瓶颈点改进。价值流增值：团队改进举一反三，基于发布计划对团队/个人的风险短板自动进入DevSecOps作业小闭环，识别组织级关键效能短板，对于共性/重大风险则由组织级OBP质量效能策划后进入作业，并最终形成组织效能资产，风险消减的同时实现组织能力沉淀。0202价值流定义：快速识别企业质量效能关键要素2.12.1华为云DevSecOps价值流简述华为云DevSecOps价值流主要包括持续规划与组合管理、持续开发与发布、持续运维&运营。持续规划与组合管理流程：依托OBP流程实现产品及产品组合的业务管理，同时建立高效、主动、与相关流程紧密配合的需求管理体系，是价值流的龙头。持续开发与发布流程：华为云DevSecOps强调开发、运维/运营、安全团队的融合协作，依托“技术+工具”，将质量、效率、可信软件工程能力、安全、开源/第三方管理的要求，通过规范、软件/API、用例、工具固化到DevSecOps生产线，自动化的、透明的融入到产品管理全生命周期，在保证安全可信的同时又不会妨碍灵活性，达成产品的“稳定可靠、安全可信”。0809流程流程作业引擎2系统设计与系统实现之间的偏差如产品特性设计与最终上线交付间存在GAP，需要考虑在流程及IT衔接点中进行检查。有质量的效率有效率的质量使能企业价值创造价值流定义，快速识别企业质量效能关键要素持续运维（SRE）&运营流程：实现服务上/下架、生命周期管理、现网变更、监控、告警、事件、问题等运维运营等关键活动流程定义。2.22.2DevSecOps价值流质量效能要素持续运维（持续运维（SRE）&运营流程高可用及时发现持续规划与组合管理流程持续开发与发布流程需求质量设计质量落差PONC一致性落差承诺兑现部署频率及时恢复及时解决变更前置时间服务恢复时间变更失败率响应力交付力价值流定义通过梳理DevSecOps价值流质量效能要素，识别关键业务痛点及着力点：价值流定义中的质量要素（3+2价值流定义中的质量要素（3+2）：重点关注需求质量，建立需求质量互锁模型，代表客户/行业的重点关注需求质量，建立需求质量互锁模型，代表客户/行业的提出方组织给出需求排序，产品侧根据历史周期上线需求价值评估向对应提出组织赋权值，两者拟合对需求自动初始排序后进入需求决策及开发管道。持续规划与组合管理1根据业界10倍缺陷成本法则，流程要素重点考虑消减根据业界10倍缺陷成本法则，流程要素重点考虑消减PONC，通过Q点检查实现缺陷左移。持续开发与发布流程233重点关注产品在现网高可用。持续运维（SRE）重点关注产品在现网高可用。&运营流程客户满意的质量落差：在三个流程衔接点上存在两个质量落差点11客户期望与系统设计之间的偏差如客户的潜藏诉求中可能包含DFX全要素，产品侧设计时只考虑到功能和性能规格。有质量的效率有效率的质量使能企业价值创造价值流定义，快速识别企业质量效能关键要素价值流定义中的效能要素（3+4+3价值流定义中的效能要素（3+4+3客户满意三元素：响应力（快速响应市场/客户需求）、交付力（需求交付能力及交付周期）以及基于前两者的承诺兑现（客户需求按时上线验收，尤其是关键承诺需求）。DevSecOps黄金四指标：借鉴基于业界通用衡量DevOps成熟度观察项，包括部署频率、变更前置时间、服务恢复时间、变更失败率，同时基于价值流交付梳理出效能短板改进扩展要素。现网高可用效率三板斧：基于监控告警的及时发现、基于故障容灾机制的及时恢复、基于OPS驱动的问题及时解决。2.32.3通过流程引擎实现价值流快速IT化传统模式下流程行管定义标准流程要求，经评审发布后形成正式流程发文，由IT工具承载流程从而“流程BuildIN工具”，最后产生作业流、信息流、数据流等业务IT。华为云通过打造数字化流程引擎，基于此承载DevSecOps全生命周期内对象业务流程，实现了“流程流程即服务能力：数字化流程引擎带来模式革新，由流程行管定义流程规范要求、流程定义、发文等内容沉淀至流程引擎，评审基线发布之后即可产生标准作业流、信息流、数据流等业务IT，达到线上“流程即服务”；后续流程发文变更后业务对象字段枚举、是否必填、状态联动、可编辑等均可在系统中联动。分层流程协同：企业信息树中上层组织流程Owner定义标准流程并沉淀流程市场，下层组织流程Owner基于标准流程进行继承、扩展、重写和发布（OOP），达到流程编排的高效协同；流程实例作业过程中状态信息依据流程引擎分层协同配置，下层自定义扩展状态节点被上层卷积时进行状态信息映射转化，呈现上层节点空间对应的标准状态信息，每层组织空间内角色只关注本层关联的状态信息，上下层节点空间内的流程实例信息在树形结构中顺畅运转；同时不同层级流程管理员、业务各角色在流程作业过程中进行高效协同。价值流实现：高质高效实现业务价值交付价值流实现：高质高效实现业务价值交付03033.13.1正确实施DevSecOps的关键是质量效能双赢通过梳理企业价值交付流以及通过IT承载作业后，是不是就意味着实现了高质高效的业务价值交付呢？据Veritis发布的《2019年DevOps状况报告》显示，正确实施DevOps的组织有着明显的竞争优势：软件部署频率提高208倍，事件恢复速度提高2604倍，变更失败率降低7倍。这项结果让更多企业看到了DevOps的高效之处，同时也使得DevOps在近年来慢慢有成为主流的趋势。要实现DevOps的高质高效前提即是正确实施，但实际情况是很多企业在部署DevOps作业时通常会牺牲质量以换取速度。TechstrongResearch和Testlio对1000多名工程师和DevOps专业人士进行的调查结果也印证了这一现实。比如为了节省时间，在发布前进行不完整或表面测试，这样开发出来的软件，虽然可以实现灰度发布、快速上线、快速回滚但并不能达到最终用户对软件质量的整体预期，尤其是在涉及国计民生千行百业的政企、互联网行业所不能容忍，随着时间推移，潜藏的质量问题最终会暴露出来，从而造成最终用户的不信任甚至流失。有质量的效率有效率的质量使能企业价值创造价值流实现，高质高效实现业务价值交付另一方面，从软件开发生命周期（SDLC）来看，检测和修复软件缺陷的成本随时间呈指数增长。越在开发过程的早期测试修复问题，问题左移对成本的降低越显著。它通过代码的早期检查减少初始开发阶段的错误，问题在刚发现时就被有效处理，而不是在最终上线或上线之后才被发现和修复，以此节省维修成本和宝贵的开发时间。那么，如何正确实施，如何实现DevSecOps持续交付的高效和高质量则是价值流实现中的一个需要解答的问题，两者是背离的还是可以实现双赢呢？从华为云DevSecOps质量效能实践来看，在高度优化的软件开发模式中，开发速度和软件质量应该共同发展，并最终实现“有质量的效率、有效率的质量”。解题的思路即基于Q点自动检查的大吞吐量高速上线，以及基于发布计划自动抬杆的内建质量防护网快速流水线持续规划发布计划持续设计持续规划发布计划持续设计持续开发&构建持续测试持续发布部署上线持续运维&运营QCP1发布计划基线QCP2生产准入自动抬杆QCP1发布计划基线QCP2生产准入自动抬杆灰度发布质量设计评审开发门禁测试评估快轨效能慢轨序号价值要素控制点关键要求QCP1：保证在项目需求基线时，OBP规划中的需求、1致性落差、高可用两个QCP点各需求方角色代表所提需求按时落入发布计划。QCP2：保证产品包在上线发布前已通过生产发布准入2PONC三层质量要求云服务底线质量要求、专项质量要求、产品部加严质量要求。·跟随年度OBP节奏明确，在CloudDevOps进行质量策略配置，工具自动检查。··快轨：日常小迭代/Bug修复版本，通过流水线的质量门禁和生产发布准入门禁保证质量。慢轨：多服务多平台集成交付版本，在流水线质量要求外增加其他非自动化质量加固活动，如全量集成验证。发布计划基线时明确快慢轨，各服务每年至少2次慢轨，间隔3个月以上。效能全要素快慢轨机制3有质量的效率有效率的质量使能企业价值创造价值流实现，高质高效实现业务价值交付3.23.2快轨：基于Q点自动检查的大吞吐量高速上线维基百科中定义DevOps为透过自动化“软件交付”和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。这里面的核心就是通过自动化流水线作业，装载解耦为微服务的单体软件进行持续设计、持续开发、持续构建、持续测试(α/β/γ/灰度等），以及快速交付部署、秒级回滚无损变更以及Ops的快速反馈能力，在构建DevSecOps高速通路基础上，华为云通过引入Q质量检查点概念，通过一组Q点对关键开发活动的自动检查评估，实现对微服务/组件开发过程中的正常自动放通，例外预警/回退修复，从而实现有一定质量保证的高效率上线。周而复始的DevSecOps交付在过程中会基于数据洞察识别团队/个人质量改进点和效率瓶颈点，在结果上对承诺按计划达成情况、现网问题反馈，这两者都会重新进入流水线作业加以改进，并沉淀优秀实践及COE案3.33.3慢轨：基于发布计划自动抬杆的内建质量防护网快速路那么华为云为什么要引入基于发布计划自动抬杆的内建质量防护网快速通路呢？为了实现持续迭代快速交付部署，架构解耦将单一应用程序划分成一组微服务，服务之间互相协调、互相配合，为用户提供最终价值。显而易见，基于微服务/组件Release包的版本和迭代计划粒度太细，无法有效开展诸如DFX需求及关键大颗粒特性基线、质量效能策划执行评估、产品基线版本配套等一系列问题，同时基于微服务粒度收编，因为无法有效协同配套，易引发特性不一致问题，华为云借鉴了IPD对质量管理的优秀实践，引入发布计划概念，通过2个QCP点实现对重点产品关键特性能力的质量保证，消除质量落差，确保客户满意。策略上，QCP点设置通过低频度、自动抬杆实现重载不降效。3.43.4通过灰度发布降低全网质量风险和问题影响度全面实现灰度发布能力，逐步收编手动变更场景，服务上线落实友好客户验证、切流灰度验证、Ring环发布，通过灰度发布降低全网质量风险和问题影响度。基于运维工具的自动化变更，建立分层分级的灰度能力（Ring环、蓝绿、金丝雀），目标实现端到端的分批升级，逐步放量，控制全网质量风险；通过低V客户应用场景，拦截新版本上线、现网运维变更实施等场景基础质量问题，降低问题影响度。流量结果 Region级灰度（Ring环）发布流水线BuildGamma测试Beta测试Alpha测试变更评审灰度测试静态检查发布分支华为云节点级灰度（金丝雀）LB流量结果 Region级灰度（Ring环）发布流水线BuildGamma测试Beta测试Alpha测试变更评审灰度测试静态检查发布分支华为云节点级灰度（金丝雀）LB用户......V2V1V2有质量的效率有效率的质量使能企业价值创造价值流实现，高质高效实现业务价值交付价值特性在线试验局，通过用户精准分流，控制版本/特性呈现对象，降低问题影响。建立分层分级的灰度能力建立分层分级的灰度能力Ring0Ring0Ring1Ring2Ring3Ring4用户切流用户切流绿集群蓝集群LB流量收集流量入库实时验证检查点任务调度流量收集流量入库实时验证检查点任务调度流量匹配场景用例用例执行用例设计用户用户V10404价值流表征：通过三层指标管理逻辑及模型化实现业务评估4.14.1通过有效数据度量实现价值流表征如何通过数据如实表征价值流健康状态，通常的做法就是基于指标来实现，然而单纯的指标并不能完整呈现价值流，而且很多时候在指标的强牵引下，很多工作都会因为趋利避害而产生变形，甚至适得其反。所以关键在于要善用指标，结合有效性、完备性、业务性，构筑DevSecOps质量效能评估能力。有效性一致性完备性评估模型指标集数据结果指标支撑结果指标的过程度量工程活动有效性分析DevSecOps数据流水线数据获取，数据治理数据底座：云数据湖、大数据分析等能力DevSecOps模型和衡量标准：如业界标准的效能黄金指标基于数据的持续运营，智能分析，闭环改进有效性一致性完备性评估模型指标集数据结果指标支撑结果指标的过程度量工程活动有效性分析DevSecOps数据流水线数据获取，数据治理数据底座：云数据湖、大数据分析等能力DevSecOps模型和衡量标准：如业界标准的效能黄金指标基于数据的持续运营，智能分析，闭环改进有质量的效率有效率的质量使能企业价值创造价值流表征，通过三层指标管理逻辑及模型化实现业务评估业务性业务性业务管理有效性有效性指标管理逻辑价值流实现（价值流实现（DevSecOps作业）4.24.2DevSecOps质量效能指标管理逻辑Google使用GSM框架来指导目标导向型指标的设置和管理，首先建立目标（Goals），然后选择可以显示目标成功与否的信号（Signals可能无法测量），最后选择适当的数据指标（Metrics量化指标）进行表征和过程管理。这套框架可以防止“路灯效应”。（注：路灯效应：“在路灯下寻找钥匙”，如果只考虑可以看到的地方，则可能找不到钥匙的真正所在。）华为云根据自身业务特点和成功实践，建立了DevSecOps质量效能指标体系三层管理逻辑，确保指标牵引和目标达成有效及一致。通过三层管理逻辑，确保指标牵引和目标达成协同和一致通过三层管理逻辑，确保指标牵引和目标达成协同和一致定义：目标达成的关键结果性指标定义：目标达成的关键结果性指标特征：客观、明确、精简（北极星指标）定义：支撑结果性指标达成的过程度量指标定义：支撑结果性指标达成的过程度量指标特征：逻辑承接、识别过程核心要素，充分必要定义：过程度量所表征的工程活动开展的有效性定义：过程度量所表征的工程活动开展的有效性特征：打开过程度量指标，对业务流关键要素进行剖析和运营，对真实性和有效性负责DevSecOpsDevSecOps流水线作业有质量的效率有效率的质量使能企业价值创造价值流表征，通过三层指标管理逻辑及模型化实现业务评估DevSecOps流水线作业产生的数据经过治理，根据价值流要素定义的指标字典，形成质量效能指标库。那么如何通过三层指标管理逻辑来牵引目标达成：L1层：以客观、明确、精简（北极星指标）为标准，识别目标达成的关键结果性指标，通过这一组结果性指标来对目标进行描述，以此作为目标状态的晴雨表。L2层：确定支撑结果性指标达成的过程度量指标，这些指标的选取要遵循上下指标逻辑，要承接且充分必要、衡量对象为过程核心要素等原则，作为目标结果指标与实际作业的有效衔接，一方面能支撑结果指标的达成，另一方面是对工程活动的直接呈现。L3层：要对过程度量所表征的工程活动开展的有效性做评估，需要打开过程度量指标，对其表征的业务流关键要素进行具象化剖析和运营，目的是确保指标度量的真实性和有效性。4.34.3基于指标的质量效能度量和评估通过三层指标管理逻辑可以实现目标、指标及活动的一致性和有效性，但单一/少量指标准确有效且达标，不一定带来目标的达成。比如一个人要达成身体健康的目标，他给自己定的结果指标中有一项是BMI指数正常，过程度量指标中有一项是每天一万步，我们也证实了他这一万步是确实存在的，而不是摇步器摇出来的，但这不能说明他一定能达成身体健康的目标，是否健康需要完整的体检报告做依据。这也是除了指标度量，合理成熟度评估的重要性。华为云DevSecOps定义并践行了质量效能基于指标的成熟度评估体系。质量效能结果成熟度评估质量效能结果成熟度评估质量效能过程成熟度评估基于价值流的质量效能过程度量风险运营及分析服务指标风险预警策略服务作业流改进质量效能指标库LOWCODE平台质量效能要点一：沿着DevSecOps价值流对质量效能全链路要素进行刻画，在此基础上构建成熟度模型。要点二：根据业务特点，通过指标风险预警策略服务自定义自动预警指标项、规则、组织层级、干系人等。要点三：实现风险的自动识别及推送，冒泡出的风险自动创建改进作业。要点四：进入研发管道的改进项在完成改进后形成闭环，并体现在结果/过程成熟度评估中。有质量的效率有效率的质量使能企业价值创造价值流表征，通过三层指标管理逻辑及模型化实现业务评估4.44.4如何开展基于业务的质量效能管理基于价值流的质量效能管理两种方式：第一种即按照业务流关键环节/专题进行专项运营管理，这种一般适用于新环境新场景或者需要重点看护的内容，不仅关注对应环节/专题指标，更要关注指标涉及价值流交付活动的实际开展情况，确保目标、指标、活动一致性和有效性，方式有成立专题运营组或者进行全流程自动运营，根据场景及成熟度不同进行选择；另一种则是通过价值流表征的质量效能评估体系发现风险异常后，再深入剖析识别改进点，形成改进专题，进入改进循环。两种方式相辅相成，互相转化，也是确保质量效能工作发挥真正价值的有效手段。0505价值流洞察：快速有效识别质量效能风险短板5.15.1DevSecOps质量效能“诊疗”思路通过价值流表征，我们实现了对DevSecOps质量效能的度量和评估，让数据能够近乎精准表述作业，那么如何通过这份“体检报告”找到“病灶”，并决定是通过“吃药”还是“手术”来解除“病痛”，这就是5、6两个章节所要讨论的主要问题，包括“诊”“疗”两部分内容。20完备性指标指标集风险冒泡针对性风险洞察评估模数据提取点瞄准移动靶型DevSecOps作业流持续改进流水线作业指标管理逻辑结果指标管理过程度量管理指标有效性运营指标生成标签化质量效能指标库指标引擎数据宽表完备性指标指标集风险冒泡针对性风险洞察评估模数据提取点瞄准移动靶型DevSecOps作业流持续改进流水线作业指标管理逻辑结果指标管理过程度量管理指标有效性运营指标生成标签化质量效能指标库指标引擎数据宽表有质量的效率有效率的质量使能企业价值创造价值流洞察，快速有效识别质量效能风险短板数据改进点数据改进点组织能力沉淀组织能力沉淀5.25.2“诊”：DevSecOps质量效能风险洞察服务通过风险洞察服务识别关键问题根源：建立度量和评估模型预警&风险冒泡规则，自动识别质量效能短板和问题点。一般方法有基于预警阈值的度量指标风险识别、基于评估模型的雷达图短板识别、基于链路洞察的多维风险识别、基于风险场景的冒泡提示（高风险代码函数/二方/三方件、COE案例&最佳实践）、基于规则的飞检风险发现、基于代码价值流覆盖评估预警等等。 洞察 改进 洞察 改进 表征质量效能管理质量效能管理质量效能评估模型质量效能评分趋势部门风险问题洞察质量效能流分析三层指标下钻全栈风险冒泡风险多维洞察模型理想状态能营使理想状态能营使有质量的效率有效率的质量使能企业价值创造价值流洞察，快速有效识别质量效能风险短板5.35.3“诊”：DevSecOps质量效能运营服务通过风险运营服务推送预警风险：风险识别后如何将风险和问题传递给对应责任组织/人也是一个关键点，这里有两个途径，首先是通过分层级分类自动报告、警示函、研发桌面、改进任务项等驱动日常改进；还有一个途径就基于决策的运营，管理者介入重大系统性问题风险是组织级改进取得成效的重要因素，通过可视化系统风险报告、高层级会议通报决策，牵动资源，策划专项改进。组织规划业务目标实际执行业务目标业务目标运风险运营专项专题SL轮盘转专项专题SL轮盘转业务ST质量效能月报PMTPMTOBP质量策划质量COE质量COE例会行业例会COO推广客满...专项例会客满...专项例会硬件赋能宣传赋能宣传工具结对试点系列宣传(邮件、应用号)工具能力直播课Welink工具运营群专家案例评选进展&风险通报进展&风险通报NA客户预警函风险服务预警函考核&度量牵引各专题月报质量效能周预警风险专题日报0606价值流增值：依托质量效能风险洞察&运营服务实现组织、团队及个人持续改进6.16.1质量效能持续改进简述识别组织级关键质量效能短板，同时对团队改进举一反三，最终形成组织质量效能资产，并固化进流程IT、知识等，驱动持续改进，实现“上医治未病，中医治欲病，下医治已病”。通过质量效能PDCA改进双循环，对应风险运营服务推送的两个途径，开展分层“治疗”，进行系统性组织改进和具体问题个性改进，改进要再入作业，形成完整闭环，并持续积累组织资产（要求、流程、IT、知识案例等），提升组织能力。22满意商业环境客户利益相关方客户风险管理体系质量成熟度评估体系效能成熟度评估体系可信Built-IN管理体系全链路风险洞察模型管理体系持续改进能绩效评估研发外包管理体系理体系要求商业环境客户利益相关方1457质量回溯持续改进APCD立项决策停售决策停服决策云服务持续规划上线OBP立项服务研发服务下线友好用户测试服务停售战略规划制定年度业务计划与预算管理执行与监控战略评估奖项管理KPIOKR战略管理8XX规划战略解码【战略专题】【业务组合策略及计划】重点工作战略举措2决策支撑质量效能指标库流程规范物料资产外包管理质量效能风险控制可视化自动分析预警实时质量策略调整运营使能质量效能在线报告质量效能评估质量效能KPI考核质量度量、晾晒、警示函绩效排名质量效能策划质量效能管理体系改进领导力质量战略、方针、目标质量政策、规则、标准质量大会，质量研讨质量文化质量激励、问责业务目标结果指标过程指标关键措施进任务进作业6持续规划持续发布持续运维持续运营持续改进组织能力3服务现网部署结果质量管理现网问题分析客户质量管理满意商业环境客户利益相关方客户风险管理体系质量成熟度评估体系效能成熟度评估体系可信Built-IN管理体系全链路风险洞察模型管理体系持续改进能绩效评估研发外包管理体系理体系要求商业环境客户利益相关方1457质量回溯持续改进APCD立项决策停售决策停服决策云服务持续规划上线OBP立项服务研发服务下线友好用户测试服务停售战略规划制定年度业务计划与预算管理执行与监控战略评估奖项管理KPIOKR战略管理8XX规划战略解码【战略专题】【业务组合策略及计划】重点工作战略举措2决策支撑质量效能指标库流程规范物料资产外包管理质量效能风险控制可视化自动分析预警实时质量策略调整运营使能质量效能在线报告质量效能评估质量效能KPI考核质量度量、晾晒、警示函绩效排名质量效能策划质量效能管理体系改进领导力质量战略、方针、目标质量政策、规则、标准质量大会，质量研讨质量文化质量激励、问责业务目标结果指标过程指标关键措施进任务进作业6持续规划持续发布持续运维持续运营持续改进组织能力3服务现网部署结果质量管理现网问题分析客户质量管理OBP竞争力规划财务目标运营目标商业设计事件技术地图产品事件分析COE案例消费积分赛马云服务成熟度个人能力评估服务间需求协同云服务概览过程质量云服务效能云服务可信商业目标达成运营目标达成关键投诉云服务体验流程运营有质量的效率有效率的质量使能企业价值创造价值流增值，依托质量效能风险洞察&运营服务实现组织、团队及个人持续改进6.26.2“疗”：质量效能策划改进双循环团队/个人改进：针对单点问题在作业流中通过Ops快速闭环，并在此基础上基于快速分析回溯流，举一反三，形成改进任务进作业，沉淀知识。系统性组织改进：1、基于日常风险识别，在月度发布计划承载质量策划（关键质量效能属性需求包特性树+过程度量指标体系），自动出评估报告（指标评估+特性评估）。2、基于共性问题风险识别，开展OBP质量效能策划，年初拆解内部规划需求、结果指标、度量指标、事务分别接入作业、质量效能指标库、战略执行管理跟踪，过程可视风险冒泡，结果自动评估华为云质量效能持续改进管理体系及PDCA改进环。高质高效客户满意高质高效客户满意管理战略举措和重点工作管理战略举措和重点工作专项改进管理业务组合预核算管理管理绩效运营服务产品绩效服务协同重点工作关键事件任务令管理高效运作（决策支撑）组织与能力支撑组织与能力支撑（质量与运营组织/能力建设/知识管理/23华为云DevSecOps质量效能实践分享华为云DevSecOps质量效能实践分享07077.17.1华为云DevSecOps质量效能实践概述前面几个章节围绕“价值流定义、价值流实现、价值流表征、价值流洞察、价值流增值”详细阐述了华为云在DevSecOps质量效能领域的方法论和理念，本章先从质量视角、效能视角对价值流五分层进行总结回顾，然后选取部分典型实践来解读质量效能方法论理念如何在华为云落地。7.27.2华为云DevSecOps质量管理总结华为云DevSecOps质量管理围绕QCP消除客户质量落差，Q检查点消减PONC，基于风险运营的过程&结果质量可视可评估，实现PDCA环持续改进及组织能力沉淀固化。24质量评估质量策划共性问题个性问题质量评估质量策划共性问题个性问题有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享质量持续改进（进作业）质量持续改进（进作业）风险运营业务业务STPMTPMTOBP质量策划进展&风险通报进展&风险通报NA客户预警函风险服务预警函考核&度量牵引各专题月报质量效能周预警风险专题日报工单VOC投诉需求事件Bug质量效能月报专项专题SL轮盘转行业例会专项例会COO推广质量COE例会硬件客满...赋能宣传赋能宣传工具结对试点系列宣传(邮件、应用号)工具能力直播课Welink工具运营群专家案例评选风险冒泡&自动洞察风险冒泡&自动洞察质量监控过程质量成熟度模型指标管理逻辑结果质量成熟度模型组织质量场景发布计划质量场景现网包质量场景质量效能指标库（KPI&度量）测试发布编码生产需求设计构建基于指标的质量管理过程质量成熟度模型指标管理逻辑结果质量成熟度模型组织质量场景发布计划质量场景现网包质量场景质量效能指标库（KPI&度量）测试发布编码生产需求设计构建L1牵引目标L1牵引目标L2支撑目标的过程度量L2支撑目标的过程度量L3工程活动有效性分析L3工程活动有效性分析特性设计白盒测试底线门禁现网问题现网全景客户投诉赔偿分析问题反复发生分析特性设计白盒测试底线门禁现网问题现网全景客户投诉赔偿分析问题反复发生分析现网事件多维分析硬件三维多路径追溯代码Clean缺陷管理例外管理现网微服务包版本现网问题函数流转追溯数据探针数据探针质量控制持续规划发布计划持续设计持续开发&构建持续测试持续发布部署上线持续运维&运营持续运维&运营设计落差与需求理解不正确或设计不满足设计落差与需求理解不正确或设计不满足期望有关(设计)QCP1发布计划基线1.OBP规划分解2.可信及DFX落管道3.质量策划(含可信)QCP2生产准入自动抬杆1.生产发布门禁(含开源、漏洞、测试等)2.遗留DI3.合规检查4.ICSL稽查一致性落差系统实现与系统设计、客户权益不一致(交付)设计评审1.可信实施策略评审设计评审1.可信实施策略评审2.架构设计评审3.特性设计评审4.测试策略评审5.测试设计评审测试评估1.测试报告2.专项评估(安1.代码Review全、DFX、可全、DFX、可用、用户体验、资料等)3.构建门禁4.合规门禁5.DT门禁(含UT、API等)质量理念设计落差一致性落差客户期望承诺给客户的客户获得的客户权益开发测试上网10倍缺陷成本法则-流水线Q检查点设计落差一致性落差客户期望承诺给客户的客户获得的客户权益开发测试上网10倍缺陷成本法则-流水线Q检查点 质量落差-2个QCP控制7.37.3华为云DevSecOps效能管理总结通过效能成熟度评估对组织DevSecOps效能开展水平进行定级，识别未来一段时间提升方向及目标。考虑到各行业产品交付的差异化，综合普适性和有指导意义，华为云DevSecOps效能成熟度评估模型围绕价值流5V模型开展梳理，形成五级效能成熟度模型：入门级：价值流标准化、流程化，有完备清晰的DevSecOps价值流定义，并在产品交付中遵从，要点是流程无断点、非开环。25有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享基础级：DevSecOps交付自动化、IT化，基于价值流定义，具备E2E产品交付工具链，能实现快速上线，要点是工具链无缝衔接，交付效率满足业务诉求。进阶级：效能评估数据化、模型化，通过对作业数据指标化、数字化建模有效表征产品交付过程。要点是具备效能数字化评估的有效性、一致性，具备初步的数据分析改进能力。高阶级：效能风险洞察服务化，具备围绕价值流全栈能力效率短板洞察和预警能力，并能驱动产品交付效率瓶颈点改进。要点是自动识别短板、风险冒泡预警、团队级效能改进。专业级：具备效能组织级持续改进，识别组织级关键效能短板，同时对团队改进举一反三，并最终形成组织效能资产，并沉淀进流程IT、知识等，驱动持续改进。专业级高阶级同时对团队改进举一反三，并最终率短板洞察和预警能力，并能驱动产品交付效率瓶颈点改进。进阶级组织效能资产沉淀进流程IT、知识等，驱动持续改进。进阶级基础级字化建模有效表征产品交付过程。基础级字化建模有效表征产品交付过程。警、团队级效能改进。入门级入门级定义：基于价值流定义，具备E2E产品交付工具链，能实现快速上线。满足业务诉求。满足业务诉求。定义：有完备清晰的DevSecOps价值流定义，并在产品交付中遵从。不同于效能成熟度的一次性/低频评估，效能度量诊断是通过对作业流效能的持续不间断的分析洞察和短板改进，驱动团队效能提升在平时。华为云以关键能力使能效率，基于人机料法环五要素展开效能洞察，基于效能度量诊断驱动业务、流程&IT、组织、人员效率提升，实现整体效能持续改善。26效能度量诊断效能五维分解作业效能效能度量诊断效能五维分解作业效能有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享效能度量诊断模型五维度量分析三层指标下钻五维度量分析三层指标下钻二分离（度量/牵引）趋势分析洞察分析趋势分析洞察分析效能流分析效能成熟度评估效能成熟度评估组织效率流程效率业务效率工具效率人员效率需求TTM需求TTM需求及时答复率承诺需求及时上线率需求数量服务平均上线时长缺陷阶段拦截占比代码量统计服务平均上线时长缺陷阶段拦截占比代码量统计回归不通过构建包发布上线E2E周期自动化测试比例变更频率事件及时恢复率现网问题及时解决率变更失败率变更频率事件及时恢复率现网问题及时解决率变更失败率监控告警发现故障率流程卡点数量卡点自动化率流程卡点数量卡点自动化率卡点自动化率流程卡点数量卡点自动化率流程卡点数量卡点自动化率流程卡点数量卡点自动化率流程卡点数量需求管道占比高价值需求实现率需求管道占比高价值需求实现率需求类型分析低价值需求分析人工等待时长平均变更等待时长问题单挂起比例/时长事件单挂起比例/时长平均变更等待时长问题单挂起比例/时长事件单挂起比例/时长告警处理及时性规划IT规划IT支撑度规划IT支撑满意度规划IT支撑效率持续开发IT持续开发IT支撑度持续开发IT满意度持续开发IT支撑效率工具变更比率告警有效率工具变更比率告警有效率需求工作量设计文档统计测试效率代码缺陷密度设计文档统计测试效率代码缺陷密度MR成功率开发代码量发布计划准点率现网问题及时解决OBPOBP规划需求接纳需求规划市场/客户/自规划持续规划持续发布部署&变更管理持续设计持续开发持续构建持续测试持续发布部署&变更管理持续设计持续开发持续构建持续测试持续监控告警管理事件管理问题管理持续开发与上市持续运维快速交付快速交付(TTM)积极响应使诺必达SOFTWAREDEVELOPMENTSERVICESOFTWAREDEVELOPMENTSERVICEOPERATIONPERFORMANCEMETAICSSOFTWARESOFTWAREDEPLOYMENT 现网可用 现网可用及时发现及时恢复及时解决7.47.4实践一：构建华为云DevSecOps质量效能数字化评估模型步骤一步骤一：通过指标引擎实现数据宽表快速生成指标指标生成的主要痛点：固化的指标看板不能满足多变的数据应用场景：基于不同应用场景，指标口径多变。数据分析的两难：手动分析数据分析周期长，工作量大；通过看板自动分析投入产出不高。数据定义和数据实现两张皮，指标生成过程漫长割裂，所见非所得。27有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享基于宽表的典型指标模板化，关键字段过滤条件自定义，适应各种指标口径数据及时获取。指标即代码，质量效能指标通过指标流水线生成并基线，纳入指标库。指标全生命周期可视，所见即所得，解决指标字典与指标实现不同步常见问题。 BeforeNow 步骤二：构筑质量效能指标库支撑价值流全链路表征在步骤一中快速生成的指标会纳入到质量效能指标库统一管理，同时按照价值流全链路分解展开，形成对DevSecOps价值流质量效能的全面表征，各部门/团队可以根据自身业务特点扩展表征指标集以及指标自动告警推送阈值。【交付过程指标表征】【质量效能指标库】指标持续更新2829交付关联用例的特性占比需求 需求Alpha特性关联设计文档比例特性设计文档评审比例设计评审评审无检视/自提检视MR占比代码合入保障率Committer审核拒绝率代码用例 Beta过程质量评估 编码测试白盒测试用例通过率全量代码行覆盖率全量代码分支覆盖率 预发检查编码与缺陷检查结果达标率静态开源安全合规 构建发布测试拨测测试通过率在线生产变更失败率 变更交付关联用例的特性占比需求 需求Alpha特性关联设计文档比例特性设计文档评审比例设计评审评审无检视/自提检视MR占比代码合入保障率Committer审核拒绝率代码用例 Beta过程质量评估 编码测试白盒测试用例通过率全量代码行覆盖率全量代码分支覆盖率 预发检查编码与缺陷检查结果达标率静态开源安全合规 构建发布测试拨测测试通过率在线生产变更失败率 变更有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享步骤三：质量成熟度评估维度模型（示例指标）步骤三：质量成熟度评估维度模型（示例指标）为了更好在组织层面牵引质量和效能，在步骤二的基础上选取充分必要指标形成质量/效能的成熟度评估模过程质量成熟度评估模型：用例用例 设计用例用例发布发布TTM需求一线需求TTM需求吞吐量（流速率）一线需求开发TTMOBP对标需求及时上线率一线需求及时答复率需求及时答复率需求开发TTM需求按时交付率流效率需求颗粒度需求变更率 需求 测试APIFirstDevSecOps效能指标体系特性关联设计文档比例特性设计文档评审比例ServiceOnService十统一规范满足度TTM需求一线需求TTM需求吞吐量（流速率）一线需求开发TTMOBP对标需求及时上线率一线需求及时答复率需求及时答复率需求开发TTM需求按时交付率流效率需求颗粒度需求变更率 需求 测试APIFirstDevSecOps效能指标体系特性关联设计文档比例特性设计文档评审比例ServiceOnService十统一规范满足度变更 设计部署频率代码量代码提交频率代码合并频率检视代码行检视问题密度构建频率构建时长构建成功率部署时长部署成功率 生产有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享效能成熟度评估模型：缺陷解决率缺陷解决率测试用例数量测试自动化率回归不通过率自动化测试执行时长Alpha环境缺陷拦截占比Beta环境缺陷拦截占比预发环境缺陷拦截占比缺陷缺陷TTR服务变更频次失败率服务工具变更比例发布发布构建包发布上线E2E时长服务上线时长（首Region）服务上线时长（首Region去掉人工卡点）置时长变更前置时长 开发监控告警发现故障比例P3以上事件及时恢复率现网事件 恢复时长公有云现网问题及时解决率30事件及时恢复率降低，系统预警事件及时恢复率降低，系统预警一线需求答复不及时，系统预警需接纳后排队时间过长，系统预警有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享 步骤四：基于评估模型的质量效能管理样例按照质量效能成熟度模型，根据算法规则按照趋势和部门维度进行管理评分，用以牵引能力提升，同时作为风险短板识别，深入洞察的输入。7.57.5实践二：基于质量效能管理模型洞察&运营价值流风险 步骤一：作业流数据状态灯及风险环节识别对于趋势/部门评分出现异常时，需要按照周期/组织维度展开流分析，在流分析中识别异常环节，并对异常环节进行风险提示。作业流环节数据出现异常，系统自动告警需求规划周期过长需求规划周期过长有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享需求接纳后，规划需求接纳后，规划排队时间过长 步骤二：华为云DevSecOps质量效能风险环节要素洞察模型对识别出的风险环节则需要通过多维风险要素对其进行洞察分析，识别关键路径并风险冒泡。在日常质量效能数据分析中，寻找关键瓶颈点经常事倍功半，问题追溯链路长路径多，每次都需要在不断的数据分析摸索中抽丝剥茧，如果靠人力意味着巨大的分析工作量，如果期望用工具则意味着不断延伸积累的各类看板，缺乏灵活性和可观测性，对投入产出亦是巨大挑战，同时数据与作业割裂，是一个开环系统，不利于组织持续改进和能力提升。华为云通过实践对多维度线索追踪，识别关键路径因素，冒泡风险进作业，沉淀经验&知识，持续改进优化业务流，达成较好改进效果。以需求TTM实现周期长短为分析对象，首先定义影响需求TTM的维度并建模（为提高分析效果实现多维度可编排、关键路径标定、关键路径节点风险下钻/趋势分析），如需求类型、需求价值分层、需求处理阶段、需求责任团队、需求处理时长等维度，遍历多维度全路径，按照权值对关键效率瓶颈点冒泡，自动流转进流水线作业任务，分析问题点并加以改进，同时积累沉淀组织级场景模式库并用于指导后续设计。客满分析质量分析......项目分析营收分析人力分析费用分析应用场景客满分析质量分析......项目分析营收分析人力分析费用分析效能分析改进评估风险识别数据分析数据治理数字化分析改进评估全路径改进评估关键路径风险自动冒泡洞察全路径风险穷举信息作业流进任务任务分发分析改进闭环闭环嵌套分析模型关键路径标定路径风险趋势/下钻二维......N维场景模式数据源2......数据源N嵌套分析模型关键路径标定路径风险趋势/下钻二维......N维场景模式数据源2......数据源N流转分析模型多维编排一维数据宽表数据治理数据源1数据采集场景模式库进作业设计开发验证发布上线3233改进进作业流客户反馈产品能力组织能力沉淀专家积分能力评估任职资格人员能力提升声音分析进需求事件回溯指标衡量进任务改进进作业流客户反馈产品能力组织能力沉淀专家积分能力评估任职资格人员能力提升声音分析进需求事件回溯指标衡量进任务有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享 步骤三：对洞察出的质量效能全链路风险冒泡并IT化运营，让价值流RUN起来通过风险洞察我们找到了关键问题点，一方面通过中高层、基层自动化报告触发领导层关注、基层风险及时识别，同时通过IT话自动运营分发把具体问题推送给当前责任人，并进入改进作业，双管齐下运营驱动。【质量效能分层实时可视洞察】【IT化自动运营分发（Welink、OutLook、IDE）】7.67.6实践三：持续改进双向双循环 步骤一：梳理华为云DevSecOps质量效能持续改进框架（2+2）持续改进双向闭环：面向作业流的改进闭环，面向能力沉淀的改进闭环。持续改进双循环：组织级改进循环（组织分层）、团队/个人改进循环。DevSecOps质量效能公共专项产品部OBP质量策划基于发布计划的产品质量改进组织改进持续改进流持续改进流技术改进地图团队/个人改进Ops驱动改进（需求、问题、任务）DevSecOps作业流DevSecOps作业流34有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享步骤二：组织级质量效能改进步骤二：组织级质量效能改进PDCA环三横三纵逻辑展开（策划-进作业-评估）云服务产品部/服务产品部组织OBP质量策划，年初拆解内部规划需求、结果指标、度量指标、事务分别接入作业、质量效能指标库、战略执行管理跟踪，过程可视风险冒泡，结果自动评估。云服务基于发布计划承载质量策划（关键质量属性需求包特性树+过程度量指标体系），自动出评估报告（指标评估+特性评估）。流程SPBPOBP对标质量策划策划SPBPOBP对标质量策划OBP立项执行评估质量策略执行&监控预警OBP审视质量策略执行&监控预警OBP审视OBP结项质量评估OBP结项质量评估作业不可衡量可衡量客观有效性关键举措分解分解过程度量分解关键结果结果指标评估模型不可衡量可衡量客观有效性关键举措分解分解过程度量分解关键结果结果指标评估模型进任务进任务阶段风险管理主观评价与布署发部务服服务测试续持服务构建计设务服服发开务服进需求规划服务研发友好用户测试公测服务停售服务下线指标衡量规划务构建与布署发部务服服务测试续持服务构建计设务服服发开务服进需求规划服务研发友好用户测试公测服务停售服务下线指标衡量规划务构建商用质量效能指标库客观评价工具可视E2E可视化(策划、监控执行&风险预警、结果自动评估) 步骤三：团队/个人持续改进流及技术能力地图为保证组织级持续有效开展，减少大量无效的手工分析工作量，实现产品问题的聚类及关键共性问题自动提取，华为云统一构建了问题/事件技术根因树，通过机器学习一次自动默认分类，二次人工校准，形成产品部事件问题分类全景图，支撑产品研发快速分析改进。目产品事件分析流产品技术根因树（归因）产品技术根因树（归因） 服务产品部月度校准 分层/同比/环比自动风险识别IT工具承载流 ML大数据分类标记 事件持续改进电子流 产品事件分类全景视图35有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享通过风险洞察我们找到了关键问题点，一方面通过中高层、基层自动化报告触发领导层关注、基层风险及时识别，同时通过IT话自动运营分发把具体问题推送给当前责任人，并进入改进作业，双管齐下运营驱动。构建云服务产品类事件持续改进流。通过P事件实时同步、改进过程流程化/结构化、改进措施进入作业流以及改进报告一键生成等能力，提供了轻量、便捷和高效的质量持续改进流程，提升持续改进的运作效率和统一现网事件技术根因分类树，结合机器学习算法实现自动一次分类，QEA组织二次校准，形成事件全景图，通过多维度自动对比对重点风险改进项，牵引云服务持续改进。各产品部组建持续改进小组，构筑组织级负向改进能力。QEA组织负向分析现网事件，并促进改进措施闭环，推动负向改进案例消费。步骤四：持续改进组织及人员能力建设步骤四：持续改进组织及人员能力建设黑格尔说过：“人类从历史中学到的唯一教训，就是人类无法从历史中学到任何教训”，因为那段历史发生在了别人身上，只有我们感受到了其中的切肤之痛，于是开始调整行为，就像孩子要被烫过一次才懂得远离火焰一样。这份疼痛常常要亲历，才足够猛烈到促成改变。如何避免重蹈覆辙，让问题不重犯，举一反三，减COE作为一种有效的业务改进的方式，目的在于研发团队可以找到问题背后深层次的技术和管理根因，制订有效的纠正和预防措施并快速实施，从而在源头上进行根治和预防，彻底杜绝同类问题再次发生，并且积累沉淀为知识库经验用以分享和传承。36有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享华为云通过打造统一完整的COE作业流平台，将质量工具方法、会议评审IT化，通过COE作业流平台，让每个员工知道针对什么问题，在什么地方、怎么做COE回溯，并如何改进，从而持续提升COE分析和改进的能力；通过COE分析作业流，实现COE报告自动输出，并持续沉淀为组织资产，避免COE分析结果碎片化、零散化，无法随取随用；通过引入大数据智能分析算法，实现共性和典型问题的及时预警，和改进措施的自动推荐，避免类似问题重犯。COE案例发挥价值的关键点在于如何实现有价值的总结和有结果的消费，为此华为云引入了专家积分评估模型，综合了案例输出&消费、方案评审、代码检视等维度，牵引专家员工贡献高质量的案例，鼓励学习他人案例后能生成任务项改进自身工作，同时提升对方案、代码的评审参与度及价值。持续改进案例库持续改进案例库9999+篇主动改进案例持续运营优秀案例评选/宣传：9999+篇优秀个人评选/宣传：9999+人优秀团队评选/宣传：9999+个专家积分总积分：9999+人均积分：9999+P3+事件9999+篇现网事件回溯基于主动改进案例、现网关键问题历史经验教训，从根因归类、根因服务和故障模式三种视图提供通用持续改进案例，鼓励团队经验总结并分享，建立持续改进氛围，帮助横向分析和排查共性问题。结合故障案例库，牵引前端设计评审、过程代码检视、后端案例贡献及消费，生产和消费活动转换为“专家积分”，对案例输出达人、优秀团队、优秀学习个人持续评选宣传，并纳入专家任职资格标准，加强质量效能改进文化和能力建设。7.77.7实践四：华为云DevSecOps质量效能评估 场景一：基于作业的团队及个人能力评估示例为有效评估团队及个人能力，华为云通过洞察业界，结合华为云业务特点，构建DevSecOps团队及个人绩效五步法，瞄准高效能团队构建，牵引团队和个人实现能力、责任、贡献、专业、协同五维提升，以能力构建为例，梳理并应用团队能力评估模型、个人能力评估模型：团队能力评估模型：包含团队模型、持续部署、持续集成、可信构建和发布、质量控制、工程效率、标个人能力评估模型：工作产出、工作质量、工作效率、个人能力。工作产出工作质量工作效率个人能力需求交付|代码产出|测试|生产部署代码质量|测试质量|部署质量生产流水线质量|变更质量工作产出工作质量工作效率个人能力需求交付|代码产出|测试|生产部署代码质量|测试质量|部署质量生产流水线质量|变更质量|问题单质量代码效率|生产流水线发布效率|需求单效率变更效率|问题单效率开发能力|构建能力|测试能力灰度策略使用能力|扫描能力|部署能力个人能力评估有质量的效率有效率的质量使能企业价值创造华为云DevSecOps质量效能实践分享对他人贡献借助他人帮助做的更好专家积分、专业回馈战略目标承重（对