研发质量管理(学员版)

1、华成培训研发管理系列课程之RDM017,R&D Quality Management,研发质量管理,课程目录,1、案例分析,2. 研发质量 管理概述,3. 研发质量 管理组织,7. 研发质量 保证,8. 研发质量 改进,4. 研发质量 策划,0、公司及培 训课程介绍,5. 研发质量控 制实务：评审,6. 研发质量控 制实务：测试,9. 如何成功建立研发质量体系,华成对企业核心价值链的理解,青铜器RDM全方位实现研发业务信息化,课程清单（一）,课程清单（二）,课程清单（三）,课程清单（四）,单元一、案例分析,案例研讨,请参考案例分析材料，并进行讨论 A公司的产品开发管理存在哪些问题？ 如果你是吴

2、总/CTO，你准备怎么办？ 每个小组选派一名代表上台发表,单元二、研发质量管理概述,研发质量管理体系,公司研发质量管理体系,NPD,CMMI,质量理念,结构化的流程 业务决策 产品战略 项目团队,5个级别 4个模型 22个过程域 验证&确认,质量的定义 质量的发展 交付、过程质量 质量成本,产品开发流程体系,支撑流程的组织体系,研发质量管理工具集,研发质量体系的持续改进机制,研发质量管理中常见的误区,“重视”交付质量，忽视过程质量 “重视”实体交付质量，忽视文档质量 依赖后端质量检验，忽视前端质量引导 缺少全流程质量意识 质量责任主体错位,什么是质量？,产品/服务的固有特性满足客户要求的程度,

3、质量成本分析,研发质量体系,质量管理的发展与演变,交付质量与过程质量,交付件质量 系统质量 文档质量 过程质量 进度偏差率 工作量偏差率 需求的稳定度 缺陷和问题的发现率/解决率 过程规范的符合度,质量管理的基本思想,研发质量管理与产品开发流程的关系,概念,方案,开发,验证,发布,启动 项目,制定产品质量目标和计划,PQA,优化产品质量目标和计划,持续监控化产品质量目标和计划,TR,TR,TR,TR,TR,TR,DCP,DCP,DCP,研发质量管理与供应链、客服的关系,研发过程资产库（PAL）,质量管理系统的所有文件 系统工程方法、软件/硬件工程方法 项目信息库 过程数据库：开发过程文档；过程

4、度量数据；经验教训； 过程能力基线库PCB 样例库 风险数据库 偏差和裁剪库 工具库 内部审计库 培训资料库,PAL,PAL : Process Asset Library 过程资产库 PCB : Process Capability Baseline 过程能力基线,业界最佳研发模式,CMM/CMMI NPD NPD-CMM/CMMI,CMMI : Capability Maturity Mode Integration 能力成熟度模型集成 NPD : New Product Development 新产品开发,演练,识别我们公司质量管理体系的缺失？ 目前公司研发质量管理方面问题（TOP5）？

5、 每个小组选派一名代表上台发表,质量管理体系,流程与指标体系,质量管理活动,文件系统,组织保证,质量控制,质量策划,质量保证,质量改进,如： 评审 测试,如：引导 培训 审计,如： 产品开发流程 软件开发子流程 硬件开发子流程 结构开发子流程 测试子流程 项目管理流程,IT支撑,研发质量体系,关键内容回顾,如：度量考核,如： 质量目标质量计划,单元三、研发质量管理组织,研发质量管理组织体系,质量理念 业界研发管理 成功实践,公司级 质量组织体系,项目级 质量组织体系,质量人员 任职资格,NPD CMMI,公司组织结构 公司质量组织 研发质量组织,产品级（PDT） PQA、SQAHQA,管理线

6、技术线 等级划分 素质特征 任职资格,研发质量部在质量体系中的定位,公司质量部,研发质量部,制造质量部,客服质量部,SQA,TQA,HQA,QA,QA,PQA PDT,研发质量部与研发组织体系的关系,硬件部,研发部,研发总体技术部,研发质量部,公司质量部,软件部,测试部,结构部,产品管理部,研发质量部的构成,HQA,组,SQA,组,EPG,组,TQA,组,研发质量部,EPG : engineering process group 工程过程组,研发质量部的职责（示例）,负责研发领域的质量管理和流程的执行监控，在业务上接受公司质量部的指导 参与系统/软件/硬件/测试活动的工程方法和工具的研究、引进

7、，并推广实施和持续优化 负责CMM/CMMI的推行、审计 对产品软硬件开发计划的制定及执行过程进行规范性审计 负责CMM/CMMI等相关文档管理活动规划和实施 负责与研发IT接口,产品开发团队（PDT）的构成,PDT是临时小组 项目开始时成立 项目发布后解散 PDT是跨部门小组 PDT是分层小组 PDT共同对项目成败负责,研发人力资源管理,技术人员的双重晋升机制,QA的任职通道,小组讨论: QA需要什么样的背景？需要掌握哪些技能？ 每个小组选派一名代表上台发表,单元四、研发质量策划,结构化的产品开发流程,产品审批委员会,CEO,VP,VP,VP,质量,硬件设计,生产,用户服务,核心小组组长,协

8、助人,0,1,2,3,4,结构化的开发过程,开发工具及技术,阶段评审过程,质量,市场,软件,硬件,生产,客服,LPDT,POP,0,1,2,3,4,PDT,VP:Vice-president 副总,产品测试管理,结构化的产品开发流程示例,案例：T公司流程体系,为什么要把产品开发流程结构化？,为了管理好产品开发，产品开发必须成为结构合理、定义清楚的流程 结构合理：自上而下的层次架构中，上层结构简单一些，越到下层越具体 定义清楚：每项工作都应清楚地、明确地规定出来，所有与产品开发有关的人应该清楚他们所参与的是什么工作，用什么方法去完成,结构化的产品开发流程展示,流程架构 各阶段流程 活动说明 指导

9、书 模板 WBS,WBS: Work Breakdown Structure 工作分解结构图,到什么程度合适？,案例分析,请按照DesignFlow的流程设计的方法论画出公司的产品开发流程，并找出改进的机会点,产品质量计划,根据公司质量方针和策略，结合本产品的质量要求，确定本产品要达到的质量目标，以及为达成这些质量目标所采取的策略和行动的计划。 计划目的： 周期性质量目标达成情况检查 阶段性决策 模块项目级质量目标的制定,制定产品质量目标和计划的时机,概念,方案,开发,验证,发布,启动 项目,制定产品质量目标和计划,PQA,优化产品质量目标和计划,持续监控化产品质量目标和计划,TR,TR,TR

10、,TR,TR,TR,DCP,DCP,DCP,DCP:Decision Check Point 决策评审点 TR: Technology Review 技术评审点,质量目标,根据业务目标、客户期望和组织能力，确定产品的质量目标，所有的质量目标都是量化的、可以度量的。 内部问题累积解决率 设计更改/工程更改/计划月更改频率 关键交付件缺陷发现密度 ,产品质量计划的责任主体,谁制定？ 谁批准？ 谁配合？ 谁实施？ 谁监控？,质量计划在四级计划体系中的位置,产品级项目计划 业务计划（Business Plan；商业计划） 附件：一级、二级进度计划（WBS1/2） 附件：产品级质量管理计划 模块级项目计

11、划（软硬件项目级） （模块级）项目计划 附件：三级进度计划（WBS3） 附件：项目级质量管理计划 个人周工作计划（员工级） 工作日志,单元五、研发质量控制实务：评审,四级评审体系,商业决策评审（DCP） 产品级技术评审（TR） 模块级技术子评审（SUB-TR） 日常质量控制活动（PEER REVIEW）,结构化的商业决策评审,资料来源Setting the PACE in Product Development, A Guide to Product and Cycle-time Excellence,商业决策迟缓的代价,单位：KUSD,评审操作中的常见问题,评审抓壮丁 评审会变成科普会 评审

12、会变成批斗会 没有结论或后续跟踪不力 缺少必要的评审标准（CHECKLIST） 评审会偏离主题、陷入过多的技术细节,产品开发过程中技术评审点的设置,一般设置34个业务决策评审点 一般设置47个产品级技术评审点 Sub-TR一般不在产品开发主干流程中体现,TR的目的,发现问题、优化设计 跟踪需求、确保需求得到实现 质量评估、为业务决策提供依据 发现风险、规避风险,技术评审过程,为了保证技术评审的效果需要明确以下4点： 何时进行评审 谁来评审 评审什么（不要陷入细节） 下什么结论（避免无结论的会议）,技术评审流程,评审计划 （时间、 职责、 交付件 分工）,评审要素表 自检,评审材料 准备 （报告

13、初 稿或会议 胶片）,技术评审 会议,生成 或 优化 评审报告,PM 审核报告,评审报告 发布,评审结论 执行,技术评审 度量,评审报告 会签,技术评审结论,Go 没有遗留问题和只是一些没有解决风险可以很快解决的问题 Go with risk 遗留问题的解决存在一定风险，但不影响下一步活动的启动 Redirect 遗留问题影响到下一步活动的启动，必须首先解决,评审过程中各角色定位,SE：“技术主持人” PQA：“过程主持人” PDT核心组：反映部门问题，代表本领域提出专业意见，并代表功能部门承担责任 技术专家：贡献个人才智，不承担直接责任 LPDT：以业务需要为出发点对技术问题做决策,LPDT

14、: Product/Project Development Team Leader 项目经理,TR点裁减原则,裁减分为：增加、删除、合并 裁减时机：裁减需要在计划中定义 遵循的原则： 裁减不能损害质量目标达成 裁减要与流程、活动裁减相一致 裁减要得到PQA认可，并被EPG批准 TR裁减要严格控制，原则上不允许裁减,TR报告,产品质量评估 要素表检查情况 遗留问题改进计划 冲突点记录和结论 风险分析 评审结论 过程规范和质量目标达成情况 过程审计结果 度量指标 质量目标 会签记录,案例：IT提升评审质量,评审一次通过率 评审效率（问题、投入） 评审要素通过率 专家表现统计（问题、投入） 评审问题

15、的解决情况 评审资料、评审过程评分 评审结论会签情况,演练,分析公司实际产品开发过程中有哪些技术评审点？评审要素是什么？ 技术评审操作存在的问题？ 每个小组选派一名代表上台发表,单元六、研发质量控制实务：测试,测试操作中的常见问题,为什么受伤的总是我？ 测试是得罪人的事？ 测试效率低，可测试性差 单纯的手工测试效率低 不知道测试多少轮才能“修成正果”,产品测试需求分析,测试需求分析,测试方案,DFT,产品需求评审 产品测试规格 测试重点分析,测试环境 特性测试方案,产品测试用例设计,测试用例设计基本原则,优秀测试用例的标准 模块重要性划分（4级） 基本测试环境 质量标准,白盒测试用例设计法,语

16、句覆盖用例设计法 判定覆盖用例设计法 条件覆盖用例设计法 条件决策覆盖用例设计法,黑盒测试用例设计法,等价类用例设计法 边界值用例设计法 场景用例设计法 正交分析用例设计法 判断表用例设计法,产品缺陷分析,量化管理体系,测试质量评估,测试问题 分析方法,测试绩效 评价体系,刻画、评估、预测、改进 过程度量 交付度量 开发能力 成熟度 PCB,被测对象评估 测试设计评估 BUG的定义 BUG的要素 BUG的等级划分,ODC法 四象限法 Rayleigh曲线法 RCA法,质量成本 投入产出分析 测试成本收益分析,业界优秀的公司都非常重视测试,IBM 软件可靠性比硬件可靠性低一个数量级 软件工程化和

17、软件测试是保证软件质量的有效手段 一般项目：项目总投入的30%40% HP,传统测试流程出现的问题,开发进度 （已实现比例）,项目进度,100,开始集成,设计缺陷导致返工,计划发布日期,实际发布日期,项目进度难以控制 项目风险控制能力弱 40精力发费在集成和测试上,产品测试策略,产品测试过程,渐增测试模型,模块设计,编码 模块测试 每日构建,系统联调 与集成,原型机测试,模块级 （MUTMITMST）,系统级,SDV的内容,SIT的内容,客户化测试,IBM：客户遇到的57故障来自2的缺陷 站在客户角度测试有利于测试效率提升,系统缺陷,客户遇到缺陷,业界4代白盒测试,调试即测试阶段,覆盖测试阶段

18、,持续测试阶段,调测一体阶段,过程不规范 缺少测试评估 测试是自发行为,形式化测试描述 测试覆盖评估 测试用例阶段重用,质量优先 持续测试,重用调试 在线测试 持续集成 持续测试,编程语言写测试用例，效率低下,全脚本语言、调测一体、突破效率瓶颈,参考：,产品生命周期成本冰山模型,什么是DFT?,可测性：系统和设备能及时准确地确定其工作状态（可工作、不可工作、工作性能下降）并隔离其内部故障的一种设计特性 -MIL-STD-2165,目的 方便测试 降低测试成本 发现、定位、隔离、解决问题,可见性 面向测试、维护人员 一般对客户不可见，客户也不关心,全流程性 贯穿项目全过程 涵盖所有测试阶段：验证

19、测试、生产测试、维护诊断,DFT,可观可控可预测,DFT : Design For Test 可测试性设计,DFT的必要性,M公司DFT效益分析,NASA经验分享,NASA（美国航空航天管理局）：,等价类用例设计法,等价类：某个输入域的划分为若干类，每一类的代表性测试数据的作用等价于这一类的其他数据，若能发现问题，其他数据也能发现，否则亦然 有效等价类（N个）、无效等价类（N个） 具体划分为4步：,明确系统目的,划分等价类,设计有效用例,设计无效用例,场景分析用例设计法,系统通常是用事件触发来控制业务流程的，事件触发时的情景便形成了场景，不同的触发顺序和处理结果就形成事件流 基本流、备选流 具

20、体划分为5步：,基本流分析,备选流分析,确定测试场景,选取测试数据,构造测试用例,FFBD Usecase,FFBD : Function Flow Block Diagram,场景、基本流、备选流,场景 1: 基本流 场景 2: 基本流 备选流 1 场景 3: 基本流 备选流 1 备选流 2 场景 4: 基本流 备选流 3 场景 5: 基本流 备选流 3 备选流 1 场景 6: 基本流 备选流 3 备选流 1 备选流 2 场景 7: 基本流 备选流 4 场景 8: 基本流 备选流 3 备选流 4,判定表用例设计法,判定表：分析和表达多种输入条件下系统执行不同动作的工具，可以把复杂的逻辑关系和

21、多种条件组合的情况表达得既具体又明确。 条件、结果、规则 具体划分为步：,判定表样例,结果反应,条件组合,系统规则,结果穷举,条件穷举,判定表的合并,规则合并：将两条或多条规则具有相同的动作，并且其条件项之间存在着极为相似的关系,多维分析法,检视发现的主要是一般问题,压力测试发现一个致命问题,四象限分析方法,累计人时 / KLOC,累计缺陷数 / KLOC,稳定象限,不确定象限,极不稳定象限,不确定象限,日志管理,ADSL,MML,告警管理,补丁管理,配置管理,设备管理,特性,Rayleigh分析方法,BUG收敛性分析,日期,Bug的数量,Bug 收敛点,案例：IT提升缺陷管理能力,缺陷趋势分

22、析（发现趋势、关闭趋势等） 缺陷类别分析（严重性、发现方法等） 缺陷归属分析（人员归属、物理归属等） 缺陷龄期分析 等等,单元七、研发质量保证,QA的职责,流程引导和组织培训 项目度量分析 推行公司研发流程、规范、标准 验证流程、规范、标准的执行情况 收集体系改进建议、持续优化,QA的独立性,给担当QA角色的个人提供组织上的自由度，使他们成为高级管理者在产品/项目上的“耳目”。 使得担当QA角色的个人免受他们正在评审的产品/项目的管理者的影响。,PQA的工作关系,PQA、HQA、SQA、TQA、MQA、CQA,PQA基本活动,制定产品质量计划 体系引导和培训 产品质量度量分析 产品级技术评审

23、项目审计 产品质量活动协调 产品质量回溯,PQA例行活动,检查项目组是否更新并跟踪所有风险 每周向QA经理提交PQA周报，并发送LPDT 每月向EPG通报度量数据 参加产品例会、阶段会议、月度评估会议、问题分析会议,EPG : engineering process group 工程过程组,常用的质量分析工具,因果图 调查表 直方图 控制图 散布图 分类法,常用的质量分析工具,因果图 调查表 直方图 控制图 散布图 分类法,常用的质量分析工具,因果图 调查表 直方图 控制图 散布图 分类法,常用的质量分析工具,因果图 调查表 直方图 控制图 散布图 分类法,常用的质量分析工具,因果图 调查表

24、直方图 控制图 散布图 分类法,常用的质量分析工具,因果图 调查表 直方图 控制图 散布图 分类法,演练,SETP 1：对照质量标准，发现不符合项（调查表） SETP 2：抓住重点，找出核心重要问题（直方图） SETP 3：分析原因，找出核心原因（鱼骨图） SETP 4：分析对策、确定解决方案 每个小组选派一名代表上台发表,项目的双重汇报机制,研发管理委员会,项目管理部,产品总监,产品经理,项目经理,QA,QA经理,质量部经理,项目状态报告,质量周报,升级问题,项目审计,C,P,D,Q,L,项目过程审计,项目基线审计,项目交付件审计,外部顾问审计,项目外人员审计,外部审计,内部审计,单元八、研

25、发质量改进,度量管理,量化可视性、可管理性 度量是量化管理、客观管理的基础 度量目的： 刻画（理解、发现问题、改进的目标） 评估（期望与实际相比较） 预测（由已知要素推算、估计其它要素） 改进（识别问题、查找问题的根源）,案例分析,案例公司（ABC） 14BUG/KLOC USA国防部（DOD） 0.01BUG/KLOC,DOD,ABC,度量流程,项目度量涉及的角色,业务度量质量度量,业务度量,过程质量度量,产品质量度量,如何评价一个公司的研发能力？,组织能力基线,PCB反映开发能力和成熟度,20,40,60,80,P1,P2,P3,P4,P5,PCBUCL,PCB基线,PCBLCL,PCB

26、: Process Capability Baseline 过程能力基线,公司的战略目标如何落实下去？,公司KPI,产品线KPI,功能部门KPI,产品团队KPI,项目团队KPI,设定目标,设定 目标,设定 目标,汇报 整合,汇报 整合,汇报,汇报,设定目标,整合,共同配合,KPI: Key Performance Indicators 关键业绩指标,样例：产品线的度量指标,财务 市场份额 新产品销售比重 研发费用比重 废弃项目比重,内部（业务） 项目进度偏差率 共用基础模块效率 生产率,客户 客户问题及时解决率 客户服务支持费用比重,样例：产品团队的度量指标,产品质量度量的分解,产品度量,业务

27、指标,产品质量度量,质量指标,系统工程度量,软件项目度量,硬件项目度量,制造质量度量,实际运行质量度量,技术评审度量,问题跟踪度量,规模、工作量 进度 稳定度 设计缺陷,制造缺陷,运行缺陷 客户服务,评审效益 问题管理,细化 完善,产品质量度量项稳定度,稳定度,需求稳定度,规格稳定度,ECO/ECR,单板平均 投板次数,内部发布版本平均周期,产品设计需求稳定性指数衡量产品设计需求稳定性 工程设计需求稳定性指数衡量可测性需求、可制造性需求、可靠性需求、可服务性需求等被产品采纳后的稳定性 设计规格稳定性指数变更的设计规格数/初始设计规格数 单板平均投板次数衡量硬件开发过程稳定性 内部发布版本平均周

28、期衡量内部版本控制情况 ECO/ECR衡量工程文件变更情况,ECO : Engineering Change Order 工程变更指令 ECR : Engineering Change Request 工程变更申请,项目级度量分析,组织级度量分析,印度某CMML5公司PCB,样 例,度量数据收集需要注意的问题,采集数据要目的明确（平衡计分卡） 保护数据提供者的积极性 收集巨大数量的数据是没有意义的 数据收集的手段要集中 铲除虚假数据的土壤（绩效评价）,演练,从项目整体控制来讲，公司目前常用的度量指标有哪些？量化管理过程中存在的问题？ 每个小组选派一名代表上台发表,案例：PCB自动汇总、项目度量

29、IT化,样 例,单元九、如何成功建立研发质量体系,管理不在于“知”，而在于“行” 即使再好的方案也存在如何实现的问题 公司管理优化的几个层次如下：,QCC、合理化建议、案例分析学习,变革,变革管理重点在于行,案例分析,请先阅读案例材料，然后讨论： 1、导致变革暂停的根本性原因是什么？ 2、如果您是该公司的负责人，或者咨询顾问机构的负责人，准备如何运作这个变革项目？,1、对变化的认识不一致（达成共识，将最佳实践移植到公司） 2、开发未被看作是一个E2E的流程 3、谁负责解决问题呢？（各方面的问题） 4、没有系统解决方案、零散出击的方式 5、对必须付出的努力估计不足 6、没有公司高层领导的强有力的支持 7、认为写一个流程就完事了 8、没有相应的机构去落实企业的长期改革,为什么实施会遇到困难？,变革对组织的影响,强调跨部门的流程，建立E2E的流程体系 职位的变化（经常会非常显著的发生） 跨越了部门间的障碍 新的企业文化的建立（文化的变革） 新的绩效衡