CMMIATM学习报告20071230.doc

CMMI ATM学习报告2007-12-22 ATM培训总结：通过本次ATM培训对CMMI的评估方法、组织方式、评估过程、评估组成员职责等有了初步的了解。结合课程本身对公司进行评估需要做得工作有了一定的理解。一、培训目标本课程培训的目标：通过培训帮助评估组成员为组织进行SCAMPI CLASS A评估时能够高效的履行职责、了解评估步骤、了解评估方法背后隐含的基本概念、通过培训练习熟悉评估方法。具体期望如下：A. 能够有效和高效的做好文档评审B. 能够有效和高效的做好访谈C. 知道如何为每个项目在每条实践上的实施程度进行评分D. 学会如何给出初步结论E. 学会如何基于每条结论给出最终的目标评分、成熟度评分F. 总结二、评估组的建立 1. CLASS A评估组成员的选择标准：A. 首先是一批有经验的个人，具体的经验要求如下：a) 接受过SEI证书培训b) 接受ATM小组培训c) 整个评估组成员工程经验总计要25年、平均要6年d) 整个评估组成员管理经验总计要10年，至少有一人是6年e) 公司产品开发生命周期的每个阶段至少有两人参与经历过B. 评估组成员不能是被访谈项目的项目经理、上司C. 内部评估和外部评估人员总共加一起一般是49人，不能低于4人，可以超过9人，但不建议超过。2. 为什么评估组对于评估非常重要：A. 评估结果反映整个评估组的知识、经验和技能：能够给出切实有益的改进建议B. 评估的结果客观与否取决于评估组；C. 评估结果可信与否也取决于评估组的结论以及评估过程3. 评估组团队的成长过程评估团队应建立共同工作的目的，团队成员间的经验、能力是可以共享的，团队成员都相信团队的力量比个人的力量大。评估组的成长过程经历7个步骤：A. 定方向阶段：组员了解为什么到这个组；B. 建信任阶段：组员彼此熟悉、信任、了解；C. 界定清楚角色和职责；D. 作承诺；E. 过程管理、执行阶段；F. 跟踪控制团队表现，提高团队表现的过程；G. 团队的持续改进过程：为公司培养内部改进人员。4. 评估组章程：A. 严格遵照SCAMPI评估方法B. 提供准确清晰的结果C. 经过协商产生结果，确保每个人都支持这个结论D. 小组协商一致时要进行表决E. 遵守保密协议，避免泄露可能称为口实的消息，是评估组陷于被动F. 所有参加人员要参加会议，按时开始、结束G. 当一个成员休息时，全体休息H. 不同意见要公开，没有隐瞒子自己的意见I. 只有理解后才能表示同意，并基于负责任的态度提出异议J. 相互尊重K. 整个组织按预定的计划实施活动，对离题的现象要控制，避免严重争执L. 即时提出好的建议、积极的观点5. 评估主意事项：A. 每个成员都要进行记录B. 笔记一定记录被访谈者的陈述，不做解释、不做推论、不做结论C. 不做自己的事情D. 不要在访谈时提到其他访谈的消息E. 事先准备好访谈问题F. 仔细听、努力理解被访谈者的意见G. 不要忽视访谈者的话，不要问重复的问题H. 如果被访谈者难以回答，不要建议答案I. 被访谈者不明白问题时，重复问题或询问被访谈者是否明白J. 每次只一个人发言，不要抢话K. 记录要求被访谈者会后提供的证据，并在会后提醒跟踪。三、评估方法介绍SCAMPI方法（Standard CMMI Appraisal Method for Process Improvement）：SCAMPI评估方法是一种诊断工具，是标准的CMMI过程改进评估方法，支持和推动组织对过程改进进行承诺。通过确认组织和一个或多个CMMI模型相关(CMMI-SE/SW)的现有过程的强/弱项，SCAMPI能够帮助组织对它自身的过程能力或组织成熟度有一个全面的了解。西安和北京预评估实行的是SCAMPI ARC A类评估，要对工作产品和面谈人员进行广泛的评审，从而得出成熟度等级或能力等级的评定。CMMI的SCAMPI评估分为三种评估方法：CLASS A、CLASS B、CLASS C，其中：CLASS A：完整的、综合性能的评估方法，要求组织严格按照体系文件执行，可以允许有个别项目例外。例如体系文件主要针对研发项目，对维护项目则可以例外，但需要提供合理的原因。 CLASS A评估的目的：结合CMMI模型能够理解公司当前过程、通过理解过程了解公司的弱项及强项、对CMMI过程目标的满意度进行评价、对过程域成熟度等级进行评分。CLASS B&C：通常用于组织内部的考察，例如考察体系文件与模型的差别、考察试点项目运行结果与模型的差距、预评估等。组织可根据实施状态选择评估方式，三类评估结果都可以上报SEI，但评估的主导者不同，A类为主任评估师，BC类为SEI授权的组长即可，目前上报到SEI的国内企业基本采用A类评估方法。正式评估时要求：列出公司项目剖面图，包括项目名称、周期、当前阶段、生命周期模型、人数、组织形式，评估组从中进行采样评估。CLASS A评估方法的评估原则：i. 要以过程模型为开始ii. 要有一个一定义的评估方法iii. 要求高级管理人员支持本次评估iv. 评估过程要遵循保密原则，不点名，评估笔记最终要销毁v. 通过协作来达到评估目的vi. 关注行动，对事不对人正式评估时需要上报给SEI的数据：组织范围项目数/组织单位项目数、组织范围人数/组织单位人数。覆盖率偏低对公司通过评估有一定压力。组织范围指参与评估以及支持评估的范围，组织单位指评估实体范围，可以是组织的一部分也可以是组织全体。客观证据，指文档或访谈的结果，表明各条实践的实施程度。客观证据来源有以下几种：A. 工具（常指调查问卷），可选B. 展示（演示），可选C. 文档（电子、纸质、工具记录均可），必选D. 访谈，必选实例：指组织单位里面按照模型实施的项目。评估时就是从实例中进行采样，采样评估结果指示整个组织单位在模型实施的能力水平。正式评估时要求列出：几个部门、每个部门的项目数、项目的开发周期、项目采用的生命周期模型、当前处于什么阶段、项目人数、项目的组织形式、项目在每个部门的情况。评估组根据项目剖面图进行采样。 实践实施指示器（PIIDS表）： 走路留脚印，做事留痕迹。做事过程中留下的证据，证据分为直接证据、间接证据、人证：A. 直接证据指实践产生的有形的产出物B. 间接证据指涉及实践的会议记录、过程数据、邮件等C. 人证指口头的或书面的陈述来确认实践的实施、由实践的实施者或相关人员提供，人证的获取方式可以是面对面的访谈、电话访谈、视频会议、调查问卷等。 咨询师的要求：访谈证据是否充分一定要听到两次（至少有两个人证），看到一次。在评估方法中没有明确要求。 四、评估阶段介绍 SCAMPI评估方法分为三个阶段：计划阶段、现场评估阶段、报告阶段。1、计划阶段工作内容：A) 确定评估目标和目的B) 确定评估计划C) 培训评估组D) 评估组内部准备PIIDS表E) 进行内部分析F) 策划现场活动G) 评估前进行就绪检查：检查客观证据、评估组是否就绪、设备是否就绪2、现场评估阶段工作内容：A) 召开开幕会：要求出资人必须参加，如不能召开要委托他人参加B) 找到直接证据、间接证据C) 确认证据D) 进行访谈E) 进行初步结论F) 确认初步结论：最后提供证据的机会G) 组织级的评分3、报告阶段A) 汇报正式结论B) 与出资人最后沟通C) 总结具体步骤如下：第一步，进行评估策划。1) 确定被访谈成员，被访谈成员角色需要包括：评估出资人：保证证据的真实性、保证证据至少保留三年中层经理：项目直接上司，参加被访谈，也是数据提供者、对访谈结果进行初步确认项目负责人：单独被访谈，数据提供者、参与访谈结果的初步确认职能代表：具体的实践人员，如：QA、CM、EPG、培训、软件开发人员、硬件开发人员、测试人员等。一般按照职能组进行分组进行，也可按照不同角色进行分组访谈。 2) 确定评估组成员角色，评估过程需设定以下角色：评估组组长：负责整个评估过程，需要得到SEI授权，且需要对最终评估结果进行确认和负责。职责：确保整个评估的策划过程是完整的、给评估小组分配角色及职责、确保评估方法得到遵循、监督过程的表现、推动问题的解决、与出资人接口、负责上报结果给SEI。库管理员：管理评估期间的文档，在评估结束后将文档返回计时员：控制访谈时间，进度控制3) 进行评估分组，评估分组一般可采用以下形式：项目管理：PP、PMC、SAM、IPM、RSKM工程：REQM、RD、TS、VER、VAL、PI过程管理：OPF、OPD、OT、QA、CM、MA、DAR评估策划主要由评估组长来做，正式评估时需要写评估计划文档（正式评估前一个半月应提供），文档内容应包含：A. 评估的商业目的B. 评估目的C. 评估关键参数：出资人姓名、出资人头衔、出资人单位、联系方式等D. 评估组组长信息E. 评估组成员组成：名字、参与培训的培训师、工程经验年限、管理经验年限、参与执行过哪些PAF. 评估组成员职责、联系信息G. 评估参与者：姓名、头衔、职责H. 项目名称、支持组名称、项目类型（FOCUS项目、NON FOCUS项目）、项目规模、项目组织级的职能、项目在组织单位的具体位置FOCUS项目：覆盖所有PA的项目NON FOCUS项目：补充提供证据的项目，只覆盖个别PA，不要求完全覆盖所有PA 第二步，完成评估策划后，组织单位需要进行准备工作：A. 收集客观证据并进行记录（填写PIIDS表）：围绕项目生命周期进行B. 客观证据的评审和初步分析，要求在访谈前进行文档评审，确认PIIDS表中提到的客观证据第三步，就绪检查：客观证据是否准备充分、评估组是否就绪、后勤设施（如设备、场地等）是否准备就绪。就绪检查不符合要求的情况，评估组长要进行决策，决策有以下三类：A. 按计划继续进行评估B. 重新安排计划C. 取消计划就绪检查可能会进行多次。就绪检查需要回答的问题：有多少证据？结合CMMI模型要求还缺少什么证据？在什么地方可以得到缺少的证据？第四步，进行访谈，访谈的目的是为了收集口头的人证信息来证明实践的实施。首先进行访谈准备，确定访谈类型、被访谈人员分组、准备访谈问题。访谈的类型分为：A. Standard：事先做好计划，准备好问题，根据类似职责分组，整个评估组参加。B. Oncall：证据不足或不充分或相互冲突的时候，采用事后访谈。也要求事先计划，通过现场协调员通知被访谈人，组长制定至少两个人以上的评估组成员对其进行访谈，也需要事先准备好问题。C. Office hour：去位置上访谈对被访谈人员的分组可参考以下情况：A. 项目负责任：单独访谈B. 中、高层经理：可合并一起访谈C. QAD. CME. PMF. 开发人员，可根据相似只能合并G. 测试人员其次，确定访谈计划，包括：开场白（访谈、被访谈人员自我介绍、评估目的等）、安排座位、访谈角色确定等访谈角色包括：A. 主导者：问问题、访谈的推动者，每个成员都是所负责的PA的主导者B. 计时员：控制实践，提醒C. 库管理员：记录访谈会后需提供的证据，责任人访谈问题分为三类：A. 开放式的问题：没有标准答案B. 直接问题：有标准答案，必须做出回答C. 转移性问题：随着问题问问题访谈中的经验介绍：A. 不要心中装着自己想好的答案B. 不要对别人说的话做出反应C. 不要表露怀疑、轻蔑的态度D. 认真听每个人说的话E. 不要问已问过的问题F. 遇到问题的事后巧妙的转移，避免陷入僵局最后，汇总访谈结果，整理PIIDS表，给出评分结论，并确认。注意：间接证据和人证是和或的关系，如没有直接证据，光有间接证据是不够的，还需要有人证的支持。人证的覆盖规则：A. 一行一列规则：每一个实践至少有一个项目提供人证信息，每一个项目至少为一个实践提供人证信息。如果满足这个要求，则表明这个目标人证满足要求。如果某条实践没有人证信息，则必须找到直接、间接证据，才能说明这条实践被完全实施。此规则只针对人证，对直接证据不适用此规则。对没有间接证据的实践，在访谈时一定得问到，得到人证，否则此实践的评估结果只能是PIB. 50%规则：对实践、项目需要提供的人证只要达到50的比例即可。如四个实践、四个项目在执行，人证只需要提供8个即可。五、评分方法1、对SP的评分标准对每个项目每条实践的评分标准：FI：全部实施：有直接证据，且有间接证据或者人证，且没有找到弱项LI：大部分实施：有直接证据或间接证据，但有弱项PI：部分实施：直接证据不存在，或有直接证据但证据不充分；或无直接证据，但间接证据说明做了；或有直接证据且证据充分，但访谈中无间接证据，也无人证NI：未实施：无直接、间接、人证，且应该做的实践但没有做；NY：未到实施时机：还未到时间做，未作。对组织单位级实践的评分标准： 所有项目都是FI/NY，至少有一个FI，则这条实践为FI所有项目都是LI/FI/NY，则这条实践为LI至少有一个LI/FI，至少有一个PI/NI，则这条实践为LI或PI所有项目都是PI/NI/NY，至少一个PI，则这条实践为PI所有项目都是NI/NY，至少一个NI，则这条实践为NI所有项目都是NY，则这条实践为NY。这种情况在正式评估时是不允许的，认为组织未到评估时机。正式评估的初步结论如何写？将每个项目的实现转化为组织级的实现情况，将每个项目的观察项转换为组织级的观察项，并将每个项目的每条实践结果概括为综合组织级在每条实践的发现。2、对SG的满足评价进行目标的评分必须满足三个条件：A. 所有相关信息评估组已经收到并已考虑过B. 所有实践都在组织单位级给予综合评分C. 已经做过初步结论反馈判断目标是否满足必须达到两个条件：A. 所有相关实践在组织单位级必须为FI或LIB. 如