软件可靠性测试充分性问题的理论研究

1、2003年4月第29卷第4期北京航空航天大学学报JournalofBeijingUniversityofAeronauticsandAstronauticsApril2003Vol.29No14软件可靠性测试充分性问题的理论研究李秋英陆民燕阮镰(北京航空航天大学工程系统工程系)摘要:在分析了软件可靠性测试充分性准则研究的重要意义的基础上,阐述了软件测试充分性准则的概念、分类以及软件可靠性测试充分性准则与整个软件测试充分性准则体系的关系,提出了其在软件可靠性测试中的一种实现方法,是借鉴已有的软件测试充分性方面的理论,对软件可靠性测试充分性问题进行的初步探索.关键词:软件;可靠性;运行;则;运行剖

2、面中图分类号:TP311文献标识码:A章号(2003)0420312205.即使对于软件可靠性测试技术作为保障软件质量和可靠性的重要手段,越来越受到人们的重视.同软件测试一样,软件可靠性测试也面临充分性问题,该问题是软件可靠性测试的关键技术和难点问题之一.针对该问题,借鉴已有的软件测试充分性理论,对软件可靠性测试充分性进行初步的探索.分性度量都不能满足这一要求.软件测试充分性最初是由Goodenough和Gerhert在验证程序正确性时提出的2,因此人们也试图从软件正确性或可靠性的角度定义测试充分性,但很遗憾的是,人们发现:测试充分性与软件正确性或可靠性之间尚无确切的、必然的联系1,因此从这两

3、个角度定义充分性的作法目前尚处于难以自圆其说的状况.基于不同目的、不同要求和不同信息的测试对应不同的测试充分性,因此建议目前不要急于给出测试充分性的统一定义.显然,人们目前说某一测试集合是充分的,是相对于某一准则来说是充分的,语句覆盖达到100%的测试数据集合相对于语句覆盖充分性准则来说是充分的,但其对于分支覆盖充分性准则来说则不一定是充分的.而且,可以肯定的一点是,如果根据一个非常基本的准则,如语句覆盖准则或分支覆盖准则,测试是不充分的,那么软件的质量是无法保证的.人们在不断的测试实践中,分析不同测试方法的特征,给出了不同的测试充分性准则,这些准则规定了不同的测试充分性,软件测试充分性准则的

4、定义分为谓词形式和定量度量函数形式两种3.谓词形式的软件测试充分性准则C是一个定义在T×P×S上的谓词,即C:T×P×Strue,false.C(t,p,s)1软件测试充分性准则的定义对于什么是“软件测试充分性”,尚未见到任何文献给出其明确定义.从字面上理解,其定义的落脚点应为软件测试应该具备或者表现出什么样的性质,因此有人曾提出“软件测试充分性”表示当被测软件成功地通过测试集合中的所有测试数据时,该测试集合能够证明程序中不存在错误的能力1.显而易见,目前已有的许多充=true表示用测试收稿日期:2002201208作者简介:李秋英(1973-),女,黑

5、龙江大庆人,博士生,100083,北京.第4期李秋英等:软件可靠性测试充分性问题的理论研究313s.这样根据不同的s大,充分度越高.注意这里同样将文献4中的功能规约改为规则.两种定义之间是有联系的.谓词形式的充分性准则是度量形式的充分性准则的特例,将谓词形式的充分性准则的值域看作是集合0,1.度量形式的充分性准则M以及一个充分度要求r,可以定义一个谓词形式的充分性准则Cr,使得一个测试数据集合是Cr充分的,当且仅当其M充分度大于等于r4.2,阐明其与其它,将充分性准则进.:一是为了发现错误,称其基于正确性的软件测试;另一目的是为了确保软件满足使用要求,称其基于可靠性的软件测试.下面先依据测试目

6、的的不同将软件测试充分性准则分为两大类,再依据前面定义中的s的不同将软件测试充分性准则进行分类,具体情况如图1所示.由图可见,软件可靠性测试充分性准则从测试目的上区别于为了发现错误(从而验证程序正确性)而进行的软件正确性测试充分性准则,从依据的规则上区别于基于程序规范的语句覆盖充试充分性准则.表1名称功能规范使用规范程序规范义等的规格说明规定计算机程序结构的任何规格说明度量函数形式的充分性准则是一个从测试数据集合、被测程序及其规则到实数区间0,1的函数.C(t,p,s)=r表示程序p相对于规则s在测试数据集合t上的测试充分度为r.r越图1软件测试充分性准则的分类314北京航空航天大学学报200

7、3年分性准则.对于基于程序规范的充分性准则来说,可以将程序看作一个纯粹的语法对象,因此结构覆盖信息可以衡量测试进行的程度.对于基需要被测软件可靠度达到的最小值.该要求同样可以表示为c(为软件的失效概率,即不可靠度).依据可靠性的定义可知上述要求可以保障软件中高发生概率的错误及早暴露,这对于一般的、非安全关键软件来说,测试是足够了,但对于安全关键软件来说,某些低发生概率的致命错误也许不会在如此短的测试时间内暴露出来,一旦其出现,就会引起系统崩溃、人员伤亡等致命伤害,所以对于安全关键软件,应增加一条要求NpiNci(i=1n)3软件可靠性测试充分性准则定义软件可靠性测试充分性准则区别于一般的基于功

8、能规范的测试充分性准则的特点在于,测试数据集合还需满足使用规范中定义的运行剖面的特征,即运行剖面对于软件可靠性测试充分与否具有一定的影响.如果遵循文献4中的功能规约的定义,则对于软件可靠性测试充分性准则来说其所谓的通用定义形式显然是不适用的,因为功能规约不包含使用需求信息的使用规范,即不包含运行剖面方面的信息.因此,若要定义软件测试充分性准则的通用定义,则定义中应该是“规则”,而不能是功能规约.Npii的错误数;Nci;.,提出软件可靠性测试充分性准则:RRcNpiNci(i=1,n)满足上述要求的软件可靠性测试数据集合可认为是实现软件可靠性测试充分的数据集合,或者说,经过满足上述要求的软件可

9、靠性测试数据集合测试后的软件,实现了充分的软件可靠性测试.限于篇幅,不讨论软件可靠性测试数据的生成,感兴趣者可以参见相关文献.当然,如果欲将上述准则作为广而适之的准则,还需要经过验证其满足充分性准则的公理化理论.这是下面将提出的一种保障软件可靠性测试充分性准则实现的测试用例数确定方法的理论基础.5测试数据数量的确定方法软件可靠性测试的充分性必须通过度量来体现,有人称之为度量形式的软件可靠性测试充分性准则4.软件可靠性测试充分性度量可以分为3类:以概率为基础的充分性度量;以可信度为基础的度量;以可靠性估计为基础的度量4.下面详细阐述第类充分性度量方法,该方法借鉴了Parnas等提出的可靠性估计的

10、可信度理论,建立以可信度为基础的度量.Parnas等应用假设检验方法,根据随机测试4可靠性测试充分性准则的提法RRc样本的大小(也就是测试数据集的元素个数)和其中发现软件错误的测试数据的个数,给出了软件的可靠性估计公式.对于一个给定的可靠性估计,例如可靠性大于等于r,那么软件的实际可靠性大于等于r的概率即为这一估计的可信度的的要求.其中,R为被测软件的可靠度;Rc为第4期李秋英等:软件可靠性测试充分性问题的理论研究315软件可靠性测试隶属于黑盒测试,被测程序在完全不考虑程序内部结构和内部特性的情况下,依据需求规格说明书中提供的程序输入和输出之间的关系,判断测试结果的正确性8.设是根据规范判断程

11、序的输出不符合预期结果的概率,即失效概率.由可靠性理论,提出如下假设:H:<1/h()假定在n,就接;,就拒绝该假设,认为软件的失效概率不满足指标要求.这是将文献9中传统意义的假设检验具体应用于软件可靠性测试中.对于软件的可靠性测试来说,第2类错误比第1类错误更严重,当软件的失效率高于某值却接受了该软件,其危害性是不言而喻的,尤其对于安全关键软件来说,其危害是难以想象的.根据犯第2类错误的概率小于(预先规定的任意小的正数)的约束条件确定测试数据n的大小,即确定满足充分性要求的测试用例的数量.设H为假时接受假设,即1/h时在测试n个测试数据时未发生失效,则此情况下n次测此为当对至少n个测试

12、用例测试成功时,犯第2类错误的概率小于1/h时对n的约束条件.对于充分大的h,显见需要相当大的测试量来保障统计意义上的可信性,这与直观概念相吻合.鉴于n的表达式过于复杂,本文根据不等式(1-x-1)x<e-1(x>0)(6)确定n的简化表达式.不妨令x=h代入(6)式,则有(1-h-1)h<e-1(7)(8)对不等式(7)进行变换,hln(hhlnh-ln(h-1)(9)(5)式的要求,只需n>hlnh(10)就能够保障测试用例的大小满足所需要求.例如:想获得H:<1/100,则根据(5)式,取nmin=459;根据(10)式,取nmin=461,误差为014%.

13、可见可利用简式(10)确定测试用例的大小.下面讨论当n满足上述约束条件时,犯第1类错误的概率,即n次测试中至少发生一次失效的概率为)P=1-(1-n(11)(12)考虑)y=1-(1-x当0<1-<1时,有yx>0,所以犯第1类错误的概率P当n>增.时单调递lnh-ln(h-1)试时未发生失效的概率为)n(1-1/h)P=(1-令(1-1/h)nn(1)(2)这说明在保障犯第2类错误的概率小于1/h时,使得犯第1类错误的概率增加.因此有必要改变验收准则:当n次测试中失效数小于t3时接受假设H,则t3的求解是一个最优化过程,使得在保障犯第2类错误的概率小的同时犯第1类错误

14、的概率尽可能小,此时的t3/n作为失效概率的最优估计,限于篇幅,该问题不详细讨论.<对(2)式两边同时取以e为底的对数,则有(3)nln(1-1/h)<ln可得n>ln(h-1)-lnh(4)因此,当对n个测试用例进行测试成功时,H为假时接受该假设的概率,即犯第2类错误的概率小于.若取=1/h,即得文献10中的表达式n>lnh-ln(h-1)(5)6结束语软件可靠性测试充分性准则是用于确定软件可靠性测试进行得是否充分、软件可靠性测试可否停止的准则,这是软件可靠性测试领域所面临316北京航空航天大学学报2003年5MichaelRLyu.软件可靠性工程手册M.刘喜成译.北

15、京:的难点问题之一.为此,阐述了软件可靠性测试充分性准则的定义,提出了一种准则形式和在软件可靠性测试中确定保障可靠性测试充分的测试数据数量的方法,借鉴已有的软件测试充分性方面的理论,作为对于软件可靠性测试充分性问题的研究的初步尝试.参考文献(References)1GardinerS.Testingsafety2relatedsoftware:ApracticalhandbookC.NewYork:SpringerVerlag,1999.1431542GoodenoughJB,GerhertSL.TowardatheoryoftestdataselectionJ.IEEETransaction

16、sonSoftwareEngineering,1975,SE23:156电子工业出版社,1996.110112MichaelRLyu.HandbookofsoftwarereliabilityengineeringM.LiuXichengTr.Beijing:PublishingHouseofElectronicsIndustry,1996.110112(inChinese)6WeissSN.MethodsofcomparingtestdataadequacycriteriaA.ComputerSoftwareandApplicationsConference1990ProceedingsC.

17、1990.167ParnasDL,vanSchouwenAJ,KwanSP.Evaluationofsafety2criticalsoftwareJ.CommunicationsofACM,1990,6(33):6366488郑人杰.计算机软件测试技术M.:清华大学出版社,1992.7980ZhengomputersoftwareM.Beijing:,80in)9上海:同济大学出版社,90WProbabilitytheoryandmathematicalstatisticsM.Shanghai:TongjiUniversityPress,1984.8890(inChinese)10Howden

18、WE.FunctionalprogramtestingandanalysisM.NewYork:McGraw2Hill,1987.51551733ZhuHong,HallPAV.TestdataadequacymeasurementJ.Soft2wareEngineeringJournal,1993,8(1):21294朱鸿,金凌紫.软件质量保障与测试M.:版社,1997.8186ZhuHong,JinLingzi.Beijing:(in)TheoreticalResearchonSoftwareReliabilityTestingAdequacyLiQiuyingLuMinyanRuanLian(Dept.ofSystemEngineeringofE