三维故障定级.doc

一、三维故障定级法简介 三维故障定级法从严重程度（Severity）、故障发生概率（Occurrence）和用户识别是否是故障的概率（Detection）等3个维度进行评分，根据得分的高低分为A/B/C/D（待观察）等4个等级。具体如下： Defect Ranking R=（Severity）（Occurrence）（Detection） R（A,B,C）根据（S）（O）（D）三个维度分数自动进行乘法计算： ABCD（待观察）R=80125或Severity=5 (最小445) R=4579 (最小533) R=11 44 (最小322) R=1 10或者无法复现的故障 1、Severity Level（S） ：用来评估故障的影响程度（严重程度），且要考虑顾客的不满。 严重程度故障影响S得分Critical 严重的 1、*正常使用时引起人身伤害或者受重伤* 2、*常规认证未通过（除了CE等认证外，也包括待机电流和灵敏度等指标）* 3、*不符合安全标准和法律规范* 4、*正常使用时产品故障，可能导致用户数据被打断或者丢失* 5、*整个模块或所有模块都存在的大面积UI问题，大量wording方面的低级错误* 6、*承诺战略运营商的重大需求未实现或者说明书明确说明的功能没有实现* 7、*运营商或客户的历史客退、投诉数据中的严重故障* 8、*重大明显的兼容性故障* 9、核心或常用模块出现的只能通过拔电池、升级版本、重新组装或者专业服务才能恢复的故障 10、影响运营商的收益或用户的财产安全 11、关键卖点功能故障（根据产品价值和市场信息定义）5 （带*直接为A类故障）Major 主要的 1、基本的功能模块故障，将会影响公司品牌形象 2、只有通过重启才能恢复的故障 3、功能命令没有完全执行或者执行出现错误 4、功能或者产品文档无法理解导致用户误解或者无法正常使用达到预期的故障 5、一般需求没有实现或者没有完全实现 6、常规操作引起的死机，重启，关机，花屏 7、导致手机性能严重下降的故障 8、对一二级主菜单，个别单词或某个页面存在的UI界面显示明显错误，小花屏等，但不影响用户正常使用 4Minor 次要的 1、故障出现后无须重启可恢复或简单重装可恢复，不影响其他功能或数据 2、功能或产品文档难以理解导致用户理解困难但不影响正常使用 3、同一机型界面，菜单，按键不一致 4、对三、四及以上级菜单，个别单词或某个页面存在的UI界面显示明显错误，小花屏等，但不影响用户理解和使用 3Low 低 1、尽管功能实现，但用户仍然有抱怨的故障 2.MMI或者用户手册出现的拼写和语言错误 3.操作过度复杂，且异常压力操作引起的故障 2None 无影响 对用户使用无实际影响 12、Occurrence Level（O）:用来评估目标用户遇到某故障的概率（如：在某种应用场景下遇到的概率） 。 发现级别 发现频率O得分Inevitable （必然） 1、故障出现在每日使用的核心模块、或者核心模块的重要功能、待机界面或者第一次使用就出现 2、核心、常用模块且用户经常使用进行简单并发操作出现 3、故障出现频率50%（根据调查结果确定） 5Common （经常） 1、故障出现在至少一周会用到的常用模块，无须对功能模块有特别了解和输入特殊数据 2、核心、常用模块但用户不经常用到的简单并发操作出现 3、故障出现频率10%（根据调查结果确定）4Infrequent （不经常） 1、故障只出现在长时间的功能操作或者输入特殊数据情况 2、非常用模块用户进行复杂的并发操作出现 3、故障出现频率3%（根据调查结果确定） 3Occasional （偶尔） 1、故障只出现在性能限制下，如长时间的压力条件下 2、故障出现频率3%（根据调查结果确定） 23、Detection Level（D）用来评估目标用户识别是否是故障的能力（概率）。 发现可能表现 D得分Obvious （明显的） 1、目标用户或市场很明显能识别这个故障（30%） 2. 在预置内容中发现的故障（没有手机使用经验的用户都认为是故障）5High （高） 1、目标用户或市场非常可能识别这个故障（10%30%） 2、在系统设备捆绑式销售的配件发现的故障 3、有手机常识的人就认为是故障 （一般用户认为是故障） 4Moderate （中） 1、目标用户或市场可能能识别这个故障（2%10%） 2、非SE捆绑式销售但通过认证的配件发现的故障 3、只有经验丰富、对功能非常了解的用户才能识别的故障（比较挑剔的用户认为是故障） 3Low （低） 1、目标用户或市场很难识别的故障或几乎不可能识别的故障（2%） 2、用户使用未经认证的内容或配件发现的故障 3、只有专家型用户或者内部分析才认为是故障 2二、三维故障定级法与原来使用的故障定级法的区别 1.三维故障定级法中引入了Detection维度，这个在原来故障定级法中考虑较少。 比如某些现象测试人员很容易认为是故障，但真正的用户未必这么认为。对于测试人员来说，因具备一定的专业知识和技术能力，识别故障的能力比较强，Detection维度认为如果目标用户也很容易发现某种现象是故障，则该维度评分较高，而不仅仅通过测试人员是否发现是故障来评估。 这个维度引入的好处是避免测试人员将实际用户并不特别关注的故障定级过高。目前我司每个项目公司测试同事提交的故障数总是比较多，由于项目进度关系，不少产品都是带着不少故障就上市了，但真正的用户可能对这类故障反馈较少，或者并不认为是故障。 2、三维故障定级法比原来直接A/B/C定级更严谨和科学 我司故障定级主要根据问题特点看是否符合A/B/C故障，主观性较强，往往几秒钟就对一个故障进行定级，而索爱故障定级法需要根据三个维度（严重程度/发生概率/用户识别故障概率）的得分再评判故障的A/B/C等级。尽管对三个维度的评分也不可避免存在一定的主观性，但这种方法已经做到了量化，比直接A/B/C定级更严谨和科学。 三、三维故障定级的优点： 1、三维故障定级法做到了量化 三维故障定级法最明显的优点是从三个维度计算故障得分来考察故障影响程度，做到了故障定级的量化。这种方法对一个故障进行定级必须包含两个步骤：首先，对故障从Severity、Occurrence和Detection等3个维度进行评分，并将三个分数相乘，最终的乘积就是故障的得分；然后根据这个得分属于A/B/C/D哪个区间再确定到底是哪个等级。 一个故障成为严重故障的条件是每个维度得分都比较高，这种定级方法比单纯的A/B/C定级更科学和准确。比如复现的死机重启问题在我司很多测试同事都会定为A类故障, 但按照索爱的故障定级法，R=（Severity）（Occurrence）（Detection），复现的死机重启只能代表严重程度（Severity）的得分为4，如果后面两项Occurrence和Detection得分都低于5分的话，则这个故障严重程度只能是B或者C。 三维故障评分可为研发人员提供故障解决优先级的信息 通过三维故障评分，每个故障都有个确定的分值，分数越高，故障越严重。当项目中故障数较多尤其是严重故障较多时研发人员可优先解决得分较高的故障，这样比单纯的A/B/C定级对研发人员的指导意义更大。 实际上一些大型重点项目往往故障数很庞大，少则几千，多则上万，其中的A类故障数也是成百上千，这样很容易让研发人员陷入CQ故障的海洋而无法自拔，这样真正严重的故障没有第一时间解决而影响项目进度。为给研发提供故障解决优先级的思路，某些项目采用从A类故障中筛选出A+故障或者A类的严重故障以便最严重的故障能尽快解决，三维故障评分法对这个问题应该有所帮助。 三维故障定级法更容易调整故障的定级 项目测试中，因测试人员自身技能和测试的主观性难免会存在某些故障定级不合理的情况，对于这种问题，根据三维定级法可通过每个维度去检查并适当调整不合理的维度，从而调整故障定级，这种调整比单纯的调整A/B/C定级更准确和可靠。 四、三维故障定级的缺点： 三维故障评分法各维度的取值较难把握 三维故障定级法的缺点是这种评分法比较复杂，需要先对每个维度进行评分，再进行故障A/B/C定级，目前三个维度中某些取值比较难以把握。比如严重程度（S）维度4分和3分的取值、发生概率（O）维度5分和4分的取值、用户识别故障概率（D）维度4分和3分的取值都不容易区分，需要测试人员对此方法有较好的理解和相应的实际应用经验。 五、三维故障定级在日常测试中的的运用结果： 采样P955B1100个故障作为样本，并运用三维故障定级法进行分析： 由上表可以看出，使用三维故障定级法之后，故障级别出现大幅度下降，具体表现为： 原测试样本中总故障数为100个，其中A类故障30个，B类故障30个，C类故障30个,待观察故障10个 经过三维定级之后，变为： A类故障10个，B类故障24个，C类故障65个，D类故障1个 其中：A类故障降为B类故障16个，降为C类故障6个 B类故障降为C类故障20个，升级为A类故障2个 C类故障降为Remark1个。 待观察故障升级为C类故障10个（全部） 总体表现为： 故障降级明显，有个别故障会有所反弹。待观察故障全部升级为C类，总故障的降级率为43%。 其中A级故障降级为B级故障的降级率为8/15，A级故障降为C级故障的降级率为3/15。B级故障降级为C级故障的降级率为2/3,B级故障升级为A级故障的几率为1/15，C级故障降级为Remark故障的几率为1/30，待观察故障升级为C类故障的几率为100%。 三维定级故障提交处理流程 用例：由测试中经过的一系列状态和在每个状态中必须依靠输入/输出数据满足的一对条件组成。 TE：TestExpress，