构建企业DevOps的度量体系

——DevOps驱动价值的交付构建企业DevOps的度量体系目录度量==铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4

以铜镜为鉴,可以正衣冠相对个体，更希望了解团队的生产力Q1

目前20应用状况怎么样?与20个PM沟通后3天后给领导一份报告Q2

3天后能否上线?应该可以吧估计差不多吧

量化理性感性属性理性度量可靠性

(Reliability)宕机数，不可用时间可测试性

(Testability)测试用例被打回数易用性

(Usability)平均用户请求帮助数鲁棒性

(Robustness)资源超过平均值时响应数可用性

(Availability)每月维护时间……数据度量是认清、改进团队的基础软件度量的强弱对项目影响的分析强 弱按时交付率 75% 45%项目延迟率20%40%项目中止率 5% 15%缺陷移除效率95%<

85%资源评估 准确 过于乐观的客户满意度更高更低员工士气 更高 更低度量生产力的企业占财富五百强比例:30%度量质量的企业占财富五百强比例: 45%具备完整度量体系的企业占财富五百强比例:15%应用度量的软件项目数: 160,000没有应用度量的软件项目数: 50,000,000来源:CapersJones,Measurement,MetricsandIndustryLeadership,2009andSoftwareEngineeringBestPractices,McGrawHill,

2010

度量的三位一体：点、线、面点帮助个体、团队提升交付能力某个时间点目标达成情况线控制风险一段时间内，工作状态和发展趋势面梳理标杆、帮扶落后个体、团队、组织的横向比较

等级

组织与文化产品与项目管理

开发与测试管理配置管理持续集成与部署流水线运维监控基础设施度量与跟踪5级

精益阶段对整个工程体系能够持续度量优化，数字化展示过程与结果以业务的成功评估团队的成功；估；统优化的行为；自动估算项目周期；别的能力；代；实时监测债务，给出有效建议；测试驱动开发；力；随时重塑交付过程；基于度量结果，自动给出包括对组织、对人、对技术的优化建议，形成可持续闭环；4级

改进阶段规范执行、有效检查、发现问题，通过引入更优的工具、平台，来补充整个工程交付链责与影响； 分析；以自动化为主；全打通分析；自定义指标，自定义视图；与持续集成、自动部署完

基于关联配置，

可靠保障机制，支持回滚，

可视化的全资产视

按需自动调整；

与监控预警等无缝打通；3级

控制阶段已有明确的规范与过程管理，通过传统的质量管理等方式，对工程的一些关键点进行审查付物标准；目指导；有严格的阶段评审和验收标准；通过jira、zentao等管理issue；团队角色和责任清晰；有统一的监控预警

传统虚拟化与容

全生命周期度量，覆盖从需求到最终交付；各阶段常用报表内置，快速导出；2级

定义阶段但大部分指标还没有标准化建立处于规范建立阶段，有一定的工程化思路，

一些沟通总结；点上统计汇报；管理项目指标； 隔离；环境管理粗粒度化；有虚拟化平台支持对基础设施理；对进度、质量等有一定的分析能力；的全生命周期管

支持多维查询和下攥；1级

原始阶段完全无统一规范标准递；无统一协作目标；确的识别能力；工程实施比较无序，各项目完全自成体系，

无部门间合作标准；

缺少评审纳入机制，没有技术架构多而乱；理无版本管理；维；物理机为主；技术引入；简单的叠加计算，人工统计；度量的五级成熟度模型新特性是否知道运行在哪些机器上？功能是否知道有多少人花了多少代码完成的？设计的架构和实际部署的架构是有有偏离？代码库与介质库、组件与介质库的元信息关联？项目风险到底是什么造成的？管理能否前移？DevOps：数据打通，随时获取，基于度量引领优化12345软件研发协作统一平台实施效果

目录度量==铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4

来源:2017

DevOps现状调查报告DevOps以业务价值为目标的度量业务价值

度量类型度量指标优先级指标的定义（规则）计算公式工程效率Meantimetorestoreservice(MTTRS)问题平均恢复时长高问题在JIRA中从创建到关闭的时长H=关闭时间

–

创建时间变更交付周期高变更在JIRA中从创建到关闭的时间。H=关闭时间

–

创建时间需求交付时长高需求在JIRA中从创建到交付上线时间H=关闭时间

–

创建时间构建频率引领性指标统计每天构建的次数，求平均值每天构建次数的平均数构建时间引领性指标统计每次构建的时间，求平均值每次构建时间的平均值构建平均恢复时长引领性指标统计每次构建恢复时间，求平均值每次构建恢复时间的平均值验证测试时长高统计系统交付测试到系统上线间的时长每次系统验证测试的平均时长部署频率引领性指标统计每个版本/产品的部署频率每个版本/产品的部署频率部署时长引领性指标统计每次部署的时间，求平均值每次部署时间的平均值工程质量周期内生产事故数量（半年高大版本上线后半年的生产事故数统计改时间段的生产事故数缺陷移除率高大版本上线后半年为单位，统计UAT环境+生产环境问题占该版本总缺陷的占比（UAT+PRO）/ALL

defects构建成功率高统计大版本中构建成功的次数占总次数的比例构建成功数/构建总数部署成功率高统计大版本中部署成功的次数占总次数的比例部署成功数/部署总数特定版本中的Bug#高一个大版本周期内的Bug数Bug数量累加特定版本中严重Bug占比中一个大版本周期内严重Bug占总Bug数的比例严重Bug数/总Bug数代码扫描检测率中根据Sonarqube扫描情况统计/特定版本中通过用例占比中一个大版本周期内通过用例占总用例数的比例Passedcases/All

cases需求覆盖率中一个大版本周期内测试用例对需求的覆盖已覆盖需求/总需求工程进度任务进度偏差高统计一个项目中，所分配任务的进度偏差，未按时完成任务的占比按时完成任务数/总任务数项目进度偏差高统计一个项目中各个时间节点的进度偏差，未按时完成的项目节点占比按时完成时间节点数/总节点数任务滞留时间低统计一个项目中，任务从创建到进行中的时间，求平均数每个任务的滞留平均时间全生命周期效率、质量、进度用户体验DevOps覆盖全生命周期数据打通与多维度量12 成员、团队、组织34

引领性指标定义了那些和达成最终目标关系最为重要的行动。要在可以驱动你的引领性指标的事情上倾斜资源，这样就可以为实现滞后性指标提供支撑。DevOps度量指标筛选原则-引领性指标预见性关键任务关键任务巨石（最重要目标）（滞后性指标）

2滞后性指标（leadmeasure）让小明考试得100分引领性指标（lagmeasure）每天晨读30分钟每周刷5套题What

引领性指标1

目标是否完成滞后性：得到结果已经over是跟踪性指标数据容易获得目标怎样完成预见性：可以促进滞后性目标达成是帮助团队得逞目标的关键行为数据难获得引领性指标是改进的手段，滞后性指标是量化目标引领性指标滞后性指标

目的引领性指标滞后性指标提高生产力每个冲刺Backlog放弃的工作项比例

(目标5%-15%)每个开发者交付的功能数量(目标为

20%增长)周末commit代码比例(目标低于5%)更高的质量持续集成的测试通过率(目标是95%)生产环境缺陷逃逸率(发布30天内)

(目标是50%减少)开发阶段发现70%的产品缺陷更快的发布速度在每个项目产生和展示燃尽图(目标

为100%至少每季度进行一次主版本发布

引导团队梳理引领性指标G

:

提升代码质量Q

:

如何将代码缺陷率降低到10%？M

:（人）提高单元测试覆盖率到95%M

:

（事）开发周期内完成的交付物数目降低5%M

:

（物）缺陷类型服务端、UI密度分别降低5%，10%G:

目标Q:

问题1Q:

问题2M:

度量1M:

度量2M:

度量3e.g.基于GQM法则量化梳理度量点11.目标/问题/度（Goal/Question/Metric）：确定目标，使用量化的形式表示问题，并且建立度量。22. 度量一定由企业的商业目标和问题驱动33. 好的产品质量是通过控制产品开发过程的质量而获得的

健康容忍不健康度量类型状态趋势当前状况上升趋势稳定趋势下降趋势数值表示86%分值4.3业务值时效表示每小时每半天每天每周每月自定义86%+++=

4.3度量数据的表示模型

度量==铜镜1建立引领性度量指标体系2DevOps度量领域落地实践3总结4

目录建立组织的IT基线数据，量化管理并持续优化

通过DevOps平台：工件打通，连接需求到基础设施用户故事任务/用例/缺陷storyAstoryBtasktaskcasecasebugbugtasktaskcasecasebugbug代码commitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommitcommit介质环境基础设施1.01.12.02.1容器空间虚机虚机容器空间虚机虚机物理机物理机物理机物理机

开发环境测试环境生产环境开发环境测试环境生产环境示例：以需求为主线建立数据关联D0

1S••＿•通过用户故事，拆分相关任务，建立关联通过提交模板建立com

mit与任务或问题的关联关系查询出本次构建的提交历史列表，打通关联部署时，通过介质坐标配置，建立发布物与目标资源的关联名称雪 冲

剌

ms,,,

,

.,＃

示例/

tlt

lc,

b

)$Loon

.Coot

rnll

ccI,

修复登录失败界面崩误的"

"'fl

bcyd

修复登录失败界面崩溃的OUG,辖出异常类型转换错误，便月约定的异常类型＃/ho,g,1001,1001

,1003ttasc1001,

2001II

or

1nlpoc_s

hango1201705

密码策路页面提示中调整密码策略页面样式调整岱码策略页面样式Update

数据备份UTFB,

读写文件关闭控制台输出Update

修改代码分析超时时间Mergebranch'poc_shangq1201705'of

http,//10橾作日志详情页面样式诮整Update

数据备份增加对特殊字符的转义资源选择n

资源名称ti

node146ti

node149资源地址body,,,taskDevOps

国际峰会2

0

1

8

·

深圳站交付速度工程质量运维保障用户体验建立引领性度量指标的四个维度业务价值

某金融客户：引领性度量指标

某金融客户：公示但不排名，团队的鲶鱼效应615版本万达财富630版本万达贷0601版本统一账户601版本统一支付615版本统一消息0525版本统一客服URP

2.0版本统一风控需求覆盖率100%100%100%100%100%100%100%构建成功率80%70%90%85%70%75%80%单元测试覆盖率30%20%30%25%20%10%15