软件测试度量精华

1、软件测试度量（精华）转至 摘要：任何过程的有效管理需要量化、测量和建模。软件度量为开发和软件过程模型的验证提供量化方法。度量帮助组织 获得继续提高生产率、减少错误和提高过程接受率、产品、服务以及达到最终目标的信息。这份白皮书发表了度量生命周期、各种 软件测试度量元、度量元元素、过程评估以及达到理想的结果。一、业务需要在技术方面日益增加的竞争和飞跃，迫使公司采取创新的方法来评估自己的过程、产品和服务。这种评估将帮助他 们改善业务，使他们能够取得成功，并且获得更多利益和较高的市场占有率。度量是评估的基石也是任何业务改进的基础。二、软件度量度量是标准度量单位的量化结果。对于评估软件过程、产品以及服务

2、使用的度量被称作软件度量。Paul Goodman给出的软件度量定义：软件度量是一中度量技术，这种技术应用在过程、产品和服务中用来支撑工程和管理信息，以及支持过程、产品以 及服务的信息上的改进，如果需要的话。EnrrneeringSiInformationMeasurementBasedTechniaues三、度量的重要性度量是用来提高质量、产品生产力以及服务，从而达到客户满意度。对于管理组织很容易分析数据并且深入下去，如果需要的话。当过程不受控时有不同的度量方式作为监控者。度量提供当前过程改进。四、记忆要点度量那些可以收集的必须使用的准确以及完整数据。度量必须很容易解释以及评估。度量多样化使

3、度量基准形式可以从组织到组织，也可以是个人到个人建立度量时涉及的过程: IdehtHy Metric(s) to use Define Metrics) identEfied.* Define parameter(s) for evaluating the metric(s identified., Exphin the need of metric to stakeholder and the testing team. Educate testing team about the data points need to be captured for pracewingthe metric

4、.五、度量生命周期Capture the data. Verify the data.Evaluating Cakulatingthe metric!5) value using the data captured.Develope the report with effective conclusion.Distribute report to the stakehotdcr and their representatLvr. Take feedback from the stakehotder.六、软件测试度量类型基于测试执行的不同类型，下面就是软件测试度量的类型:1、手工测试度量2、性能

5、测试度量3、自动化测试度量下面的图表展示了不同的软件测试度量 Test CaseProductivity Test Execution Summary Defect Acceptance Defect RejectionBad Fix Defect Test Execution Productivity Test Efficiency Defect Severity IndexPerformanceScripting Productivity Performance Execution Summary Performance Execution Data - Client Side Perfo

6、rmance Execution DaU - Server Side Performance Test Efficiency Performance Severity Index Automation Scripting Productivity Automation Test Execution Productivity Automation Coverage Cost Comparison Effort Variance ScheduleVarianceScope Change让我们逐一熟悉一下：6.1手工测试度量6.1.1测试用例生产率(TCP)度量给出基于测试用例编写生产率，这些测试用

7、例有确定的结果。- 广 巾 TotalRawTestSteps ,少Test Csse Productrvrty - Step(s)/hourEfforts (hours)例子测试用例名称测试步骤XYZ 130XYZ_232XYZ_340XYZ_436XYZ_545总步骤183结论8小时编写183个步骤TCP=183/8=22.8测试用例生产率=23步/小时人们可以和以前版本和生产力比较测试用例生产率，并从中得出最有效率的结论。测试用例生产率趋势图TC ProductivityDk 200SReled if6.1.2测试执行摘要这种度量分析给出测试用例分类方面的状态以及原因，如果可能，针对各类

8、测试用例。下面给出了发布版本的静态 视图。人们可以收集执行结果如下的测试用例数量的数据:通过失败以及失败原因不能测试及其原因。一些导致这些状态原因，时间不足，推迟缺陷，安装问题，超出范围摘要趋势Test Execution Summary人们也可以为各种不能进行的测试以及失败的测试用例的原因分类展示同样的趋势。6.1.3缺陷可接受率（DA）这项度量决定测试组在执行期间定义的有效缺陷的数量。yoo %-*Number of Valid DefectsDefect A ccep tan ce-Totsl Number of Defects度量值可以和以前发布版对比从而得到更好的图表。缺陷接受率趋势

9、Defect AcceptanceOJMeluJIallJ&d6.1.4缺陷不接受率（DR）这项度量决定在测试期间不接受的缺陷数量。Defect Rejection J 机炖外 Total /V um ber of Defects它提供了测试组已经打开的并在必要时可以控制的无效缺陷的百分比。缺陷不接受率趋势Defect Rejection对51|%£6.1.5不良缺陷修复（B）不良缺陷修复是指由解决缺陷导致的新缺陷这项度量决定缺陷修复过程的效果。, Number of of Bad Fix Defect(s)Bad Fix Defe ct - *100 %To ta t Nu

10、mber ofVa lid Defects它指出需要控制的不良缺陷修复的百分比。不良缺陷修复趋势6.1.6测试执行生产率(TEP)这项度量指出测试用例生产率,进一步分析可以得出确切的结果。ExeconProducy = 了妁*5以"砌 * 希心相快Execution Efforts (hours)Te计算如下：T&=Bssekst 0seH(T (Q33)* Q33+(T 钩* Q66+(T 勿)在这里，基本用例=至少执行了一次的TC编号T (1) = No. of TC 重新测试 71% to 100% of 总 TC 步骤T (0.66) = No. of TC 重新测试

11、 41% to 70% of 总 TC 步骤T (0.33) = No. of TC 重新测试 1% to 40% of 总 TC 步骤例子用例名基础执行重复运行重复执重复运行重复执重复运行重复执称效果情况1行效率情况2行效率情况3行效率(hr)1 (hr)2(hr)3(hr)XYZ_12T(0.66)1T(0.66)0.45T(1)2XYZ_21.3T(0.33)0.3T(1)2XYZ_32.3T(1)1.2XYZ_42T(1)2XYZ_52.15在上面的例子中,基础测试用例5T(1)4T(0.66)2T(0.33)1Total Efforts(hr)19.7Te = 5 + (1*4) +

12、 (2*0.66) + (1*0.33) = 5 + 5.65 = 10.65测试用例生产力=(10.65/19.7) * 8 = 4.3 执行/day人们可以和以前发布版对比生产力从而得出有效结论。测试用例执行生产力趋势Test Execution ProductivityS 一 waWMMUJoctooe NmootRel«se6.1.7测试效率(TE)这项度量决定测试组在提交缺陷时的效率。Test Efficiency =* 100 %DTDU下面,DT =在测试期间定义的有效缺陷数。DU =应用发布后由用户定义的有效缺陷数。换句话说就是，事后测试缺陷测试效率趋势Test Ef

13、ficiencyOct J00<Nw 20G«Ekt-W硕RE心福6.1.8缺陷严重性指数（DSI）这项度量决定测试时和发布时的产品质量，基于这项人们可以决定是否发布产品，即这项代表了产品质量。Defect Severity Index =£ (Severity index * No. of Valid Defect(s) for this severityTotal Num her of Valid Defects人们可以将缺陷严重程度分为两部分：1、所有缺陷状态的缺陷严重程度：这项值提供了在测试中的产品质量。DSI for All Status = 2.820 r

14、Um Medium nffi GyuuISeverity Level2、打开状态缺陷的缺陷严重程度：这项值给出发布时的产品质量。因为为此计算缺陷严重程度，必须考虑仅仅是 打开状态的缺陷。DS!(Open) =£ (Seversty Index * No. of Open Valid De fect(s) for th/5 seventy)Total Number of Op&n Valid ctsDSl for Open Status = 3.020匚15 iJ _Ln* MMium ihgh cmitjlSewsritv Lvtl缺陷严重程度趋势Defect Severit

15、y IndexCh心IHighOwn 3 AUSUIukiaMediumLow从这个图表中可以很清楚得到测试中的产品质量，即所有状态缺陷的缺陷严重程度=2.8 （高严重程度）发布时的产品质量，即打开状态缺陷的缺陷严重程度=3.0 （高严重程度）6.2性能测试度量6.2.1性能测试脚本生产率（PSP）这项度量为性能测试脚本提供脚本生产率以及一段时间内的趋势。Performance Scripting Pro du ctivity -Opera tion(s/h our£ Operations P&rform edEfforts (hours)执行的操作是：1、点击编号，即点击刷

16、新的数据。3、关联参数编号上述评估过程包括嵌入式逻辑在很少用到的脚本中示例执行性能Total点击数重10输入参数数量5关联参数数量5总执行性能20脚本编写结果=10小时性能脚本生产率=20/10=2操作/小时性能脚本生产率趋势Pert Scripting Productivity4 12 1-0- A2 eact loot hisooeRelew6.2.2性能执行综述这项度量列出了与由状态（通过/失败）控制的测试的数量的类型，针对性能测试的各种类型。一些性能测试类型：1、负载测试2、疲劳强度/渗透测试3、断点/压力测试4、失效测试综述趋势Execution SummaryPoMTai trbd

17、LirjmicC'VolkirTMTtTtfit6.2.3性能执行数据-客户端这项度量为执行给出客户端数据的细节信息。以下是这项度量的一些数据点：1、运行用户数2、响应时间3、每秒点击率4、吞吐量5、每秒总事务数6、第一个字节传输时间7、每秒错误数6.2.4性能执行数据-服务器端这项度量给出执行时服务器端数据的详细信息。下面是这项度量的一些数据点1、CPU占用率2、内存占用率3、堆内存占用率4、每秒数据库连接数6.2.5性能测试效率（PTE）这项度量决定在拿到需求时性能测试组的质量，如果需要的话，这份需求可以作为将来改进的输入使用rmet during PT) (Reqnot met

18、ft er Sig no ff of PTi“Perform ance T&st Efficiency = - *100 %Req met during PT评估这项需要在性能测试期间以及结束后收集数据点。一些性能测试的需求是：1、平均响应时间2、每秒事务数3、应用必须可以处理预定义的最大用户负载。4、服务器稳定性。例如考虑在性能测试期间遇到的上述提到的需求。性能测试期间的需求数 =4在产品中，平局响应时间比期望值更好，在性能测试结束后没有满足需求=1PTE = (4 / (4+1)* 100 = 80%性能测效率是80%性能测试效率趋势Perf. Test Efficiency100

19、10040这项度量决定基于性能标准的产品质量，性能标准可以决定下个阶段发布产品，即它代表性能方面测试的产品质量。cl土 , , . E (Seventy index * No. of Req. not met for th is Severny)Perform a nee S&verity !nd(?汗 二)一如果没有满足需求，人们可以为需求确定严重程度以至于可以决定性能方面的产品发布。例如考虑，平局响应时间是没有满足的重要需求，然后测试人员可以按照标准打开缺陷严重程度。然后性能严重程度指标=(4 * 1) / 1 = 4 (严重)性能指数趋势Perf. Severity Index

20、= 44 事 -2 t# o zuaaiclodz3、增加的检查点的编号6.3自动化测试度量6.3.1自动化脚本生产率(ASP)这项度量为基于同样的可以分析并且得出最有效结论的自动化测试脚本生产率。Au to ma tio n Scrip ting Productivity =Opera t/o n(s)/ho ur£ Operations Perform edEfforts (hours)执行操作如下：1、点击编号，即在刷新数据时的点击。2、输入参数的编号。以上过程包含很少使用的嵌入式逻辑的脚本。例如操作总计点击数10输入参数熟练5增加的检查点个数10总的操作性能25脚本效率=10

21、小时ASP=25/10=2.5自动化测试脚本生产率=2.5操作/每小时自动化脚本生产率趋势Auto. Scripting Productivity<kV200SNW-200S6.3.2自动化测试执行生产率（AEP）这项度量给出自动化测试用例执行生产率。A“I" Total No, of Automated TC executed (ATe) A H /Auta txecutfon Productivfty -, -_ 一 8 Executfonfsl/Da yExecution Efforts (hours)ATe计算如下= Test 十(1(033)* Q33)-h(T (0

22、.66)a 66) + (T (1)* 1)评估过程和手工测试执行生产率相似。6.3.3自动化覆盖率这项度量指出自动化手工测试用例的百分比。*100 %rAutomation Coverage -Tot Si No. of TCAi/toniTbtai N。、of TC例如如果有100个手工测试用例，并且人们可以自动化 60个用例，那么自动化覆盖度=60%6.3.4成本对比这项度量给出在手工测试和自动化之间的成本比较。这项测试被用来得出确定的POI （投资回报）手工成本评估如下： 成本（M）=执行结果（小时）*支付比率自动化成本评估如下：成本（A）=购买工具成本（一次性投资）+维护成本+脚本开

23、发成本+ （执行结果*支付率）如果脚本重用，脚本开发成本将更新成本。使用这项度量在IT工业扮演重要角色的流通方面得出有效结论。6.4各种类型测试的通用度量6.4.1 挣值（EV）这项度量指出估计结果的差异。EffortActual Effort - EsUma ted EffortEstimated Effort100 %结果差异趋势Effort VarianceEi-bmatrd EHEAciujLEHart6.4.2进度差异（SV）这项指标指出估计进度的差异，即日期数。Schedu!eVnce=.大竺竺竺时曾如竺地*皿% Estimated No. of Days进度差异趋势6.4.3范围变化（SC）这个指标指出如何固定测试范围Scope Cha nge -Total Scope - Previous ScopePre vious S cope下面总范围=以前