版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
目录TOC\o"1-3"\h\u6264lec1测试概述 3299741.软件测试SoftwareTesting 3149892.术语Terminology 3269783.一些对比 427561lec2单元测试UnitTesting 5212951.概述 5167632.JUnit 630765lec3白盒测试 616072lec3.1图论与结构化覆盖 673161.GraphinTesting软件测试的图 6228552.Path路径 882193.GraphCoverageCriteria图覆盖准则 859574.StructuralCoverage结构化覆盖 10183075.ControlFlowGraphandItsCoverage控制流图及其覆盖 1119332lec3.2主路径和基本路径覆盖 16162581.PrimePathCoverage主路径覆盖 16268652.BasicPathCoverage基本路径覆盖 193102lec3.3数据流覆盖和事件流覆盖 21299841.DataFlow数据流 21285892.DataFlowCoverageCriteria数据流覆盖标准 2160763.DataFlowTesting 22284434.EventFlowGraph事件流图 25302755.GUITAR 2513246.CoverageCriteria覆盖率标准 2518115lec3.4变异测试和缺陷测试 25257901.MutationTesting变异测试 2565222.Fault-basedTesting基于缺陷的测试 2727245lec3.5逻辑覆盖 2962821.LogicCoverage逻辑覆盖 2981962.MC/DC 3113845lec4自动化测试 322193lec5黑盒测试 3317541lec5.1随机测试 33251221.BlackboxTesting黑盒测试 33251222.DiversityRandominUniformDistribution均匀分布中的随机 334558lec5.2等价-边界-组合测试 34129201.EquivalencePartitioning等价类划分 3496942.Assumptions假设Equivalence等价 35241093.Boundary-ValueAnalysis边界值分析 3714514.CombinatorialTesting组合测试 41179505.CostEffectiveTesting成本效益测试 4210098lec5.3缺省-约束-决策表 4413071.DefaultOptionsinTesting测试中的默认选项 45271732.ConstraintsinTesting测试约束 45307633.DecisionTables决策表 4612573lec6测试前沿专题 4719946lec6.1多样性 4737211.OtherTesting 4732197lec6.2测试预言与测试约简 48312871.TestOracle测试预言 48199992.TestSuiteReduction测试用例集约简 4916287lec7集成与系统、验收测试、移动测试 512217lec7.1集成与系统 51259501.系统集成的模式与方法 51139382.功能测试FunctionalTesting 5485863.回归测试 55188104.非功能性测试 5618806lec7.2验收测试 5919921.验收测试的过程和主要内容 59248152.产品规格说明书的验证 60277363.用户界面和可用性测试 60194394.兼容性测试 6152175.可安装性和可恢复性测试 61326016.文档测试 6217333lec7.3移动应用测试 63123581.报告中发现的缺陷 6385312.缺陷 64lec1测试概述软件测试SoftwareTestingFault,Error&FailureSoftwareFault:Astaticdefectinthesoftware(i.e.,defect)软件中的静态缺陷(即缺陷)SoftwareError:Anincorrectinternalstatethatisthemanifestationofsomefault一种不正确的内部状态,它是某些故障的表现SoftwareFailure:External,incorrectbehaviorwithrespecttotherequirementsorotherdescriptionoftheexpectedbehavior关于预期行为的要求或其他描述的外部的不正确行为Bug:informaltermforfault/failurefault/failure的非正式术语PIEModel饼图模型执行/可达性:必须到达程序中包含故障的一个或多个位置感染:程序的状态一定不正确传播:受感染的状态必须传播以导致程序的某些输出不正确讨论:测试可能无法执行故障位置执行错误的测试可能不会产生错误错误可能不会传播到输出练习Isthereisafault,whichcannotberevealedbyanytest?是否存在无法通过任何测试发现的故障?Isitafaultornotafault?PleaseconstructasimpleprogramP(withafault)and3tests(t1,t2,t3),s.t.①t1executesthefault,butnoerror②t2(executesthefaultand)producesanerror,butnofailure③t3producesafailure术语TerminologyTestCase测试用例TestCase包含:TestInput(TestData)、TestOracle(Expectedoutput)、Others(Environment)Testoracle给定输入的软件预期输出测试用例的一部分自动测试中最困难的问题:测试Oracle生成Testfixture被测软件的一种固定状态,用作运行测试的基准;也称为测试上下文,例如:用一组已知的特定数据加载数据库准备输入数据以及设置/创建伪造或模拟对象Testsuite&Testscript测试套件&测试脚本Testsuite测试用例集通常,这些测试用例具有相似的先决条件和配置通常可以按顺序一起运行用于不同目的的不同测试套件某些平台,某些功能,性能……Testscript自动运行一系列测试用例或测试套件的脚本Testdriver测试驱动可以加载测试用例集合或测试套件的软件框架它还可以处理预期输出和实际输出之间的配置和比较Testadequacy需要一种策略来确定何时完成了足够的工作充分性标准:一个规则,可让我们判断某个软件的一组测试数据的充分性example:testcoverage测试覆盖率评估测试代码百分比的度量声明范围分支机构覆盖率一些对比Testingvs.DebuggingTestingistorevealabugbyexecutingtestandobservingfailure.测试是通过执行测试并观察故障来发现错误Debuggingistofixabugbylocating,understandingandcorrectingfault.调试是通过定位、理解和纠正错误来修复错误Verificationvs.Validation验证Verification:对产品、服务或系统是否符合规定、要求、规范或强加条件的评估。这通常是一个内部过程Validation:产品、服务或系统满足顾客和其他确定的利益相关者的需求的保证。它通常涉及外部客户的接受度和适用性StaticTestingvs.DynamicTestingStaticTesting静态测试withoutexecutingprograms不执行程序DynamicTestingwithexecutingprogramsBlack-boxTestingvs.White-boxTestingBlack-boxTestingwithoutsourcecode源代码White-boxTestingwithsourcecodeGray-boxTesting=Black-boxTesting+White-boxTestinglec2单元测试UnitTesting概述GranularityofTesting测试粒度单元测试:每个模块的测试集成测试:测试模块之间的交互系统测试:开发人员将系统作为一个整体进行测试验收测试:由没有正式测试用例的客户根据用户需求验证系统单元测试软件测试的基本模块函数,类,组件发现的典型问题本地数据结构演算法边界条件错误处理单元测试的作用分而治之的方法将系统拆分为多个单元单独调试单元缩小可能存在错误的地方不追逐其他单元的错误如何做单元测试分层构建系统从不依赖其他的类开始在已经测试过的类上继续测试好处避免编写模拟类在测试模块时,它所依赖的模块是可靠的UnittestframeworkxUnit、JUnitJUnit测试通过测试程序自动验证可以自己编写这样的测试程序,或使用测试工具支持,例如JUnitJUnit一个简单,灵活,易于使用的开放源代码且实用的Java单元测试框架可以处理大量的测试用例集JUnitTestSuite测试套件:一组测试(或其他测试套件)将测试组织到更大的测试集中帮助自动化测试lec3白盒测试lec3.1图论与结构化覆盖GraphinTesting软件测试的图概述图可能是计算机科学中最常用的结构ControlFlowGraph控制流程图112354687Graphscomefrommanysources需求说明书、有限状态机、用例图、活动图FormalDefinitionofGraphs1练习1Isasinglevertexagraph?一个顶点是图吗?CanEbeaninfiniteset?E可以是一个无限集吗?讨论Path路径PathPath:Asequenceofvertices–[v1,v2,…,vn]路径:顶点序列Eachpairofverticesisanedge每对顶点都是一条边Length:Thenumberofedges长度:边的数目Asinglevertexisapathoflength0单个顶点是长度为0的路径Subpath:Asubsequenceofverticesinp子路径:p中顶点的子序列TestPath测试路径:从初始顶点开始,到最终顶点结束的路径11327465p1=v1v2v4v5v7p2=v1v2v4v6v7p3=v1v3v4v5v7p4=v1v3v4v6v7测试路径代表测试用例的执行一些测试路径可以由许多测试执行某些测试路径无法通过任何测试执行TestandTestPathpath(t):测试t执行的测试路径path(T):由测试集T执行的测试路径集每个测试仅执行一个测试路径GraphCoverageCriteria图覆盖准则Reach如果存在以v1开头并以v2结尾的路径,则v1可以到达v2如果存在一条以v1开头并以G'中的顶点结尾的路径,则v1可以到达G’11327465v1canreachv5v2canreachv6v2canreachG’V’={v4,v5,v6},E’={(v4,v5),(v4,v6)}Syntacticreach:Apathexistsinthegraph语法范围:图中存在一条路径Semanticreach:Atestexiststhatcanexecutethatpath语义范围:存在一个可以执行该路径的测试v2cansyntactically语法上reachv5v2maynotsemantically语义上reachv5Cover如果v在p中,则测试路径p覆盖顶点v如果e在p中,则测试路径p覆盖边e如果p'在p中,则测试路径p覆盖子路径p'若p1=v1v2v4v5v7p1coversv5p1coversv4v5p1doesnotcoverv4v6①GraphCoverage在测试中使用的图形如下:将软件模型开发为图形要求测试覆盖特定的顶点、边或子路径集②StructuralCoverage结构覆盖在图上仅根据顶点和边定义源代码需求规格设计图③DataFlowCoverage要求对图进行引用变量的注释11327465i<5x>yx=i+1TestCriteria测试标准测试要求(TR):描述测试路径的属性测试标准:定义测试要求的规则满足度:给定一个准则C的一组测试需求TR,一组测试T满足图上的C当且仅当对于TR中的每个测试需求,路径(T)中有一个测试路径满足测试需求TRStructuralCoverage结构化覆盖VertexCoverage(VC)顶点覆盖率(VC)当且仅当对于V中的每个语法上可到达的顶点v,在path(T)中存在一条路径p使得p覆盖v时,测试集T满足图G上的顶点覆盖TR包含G中的每个可达顶点EdgeCoverage(EC)边缘覆盖率(EC)当且仅当对于E中每个句法可到达的边e,在path(T)中存在一条路径p使得p覆盖e时,测试集T满足图G的边缘覆盖率TR包含G中的每个可到达边缘23231VertexCoverage:TR={v1,v2,v3}TestPath=[v1,v2,v3]EdgeCoverage:TR={(v1,v2),(v1,v3),(v2,v3)}TestPaths=[v1,v2,v3][v1,v3]CoveringMultipleEdges覆盖多个边边对覆盖需要一对边边对覆盖(EPC):TR包含每一条长度不超过2(含2)的可达路径,单位为G完全路径覆盖(CPC):TR包含G中的所有路径n路径覆盖(nPC):TR包含每个长度为n(含n)的可达路径,单位为GVC(n=0),EC(n=1),EPC(n=2),CPC(n=∞)11327465Subsume包含C1包含C2,表示为C1≥C2
对于任何T,如果T满足C1意味着T满足C2如果n1≧n2则n1PC≧n2PCC1≥C2并不意味着满足C1的T1可以检测到由T2检测到的满足C2的任何故障StructuralCoverageExample结构覆盖率示例ControlFlowGraphandItsCoverage控制流图及其覆盖CodeCoverage代码覆盖率代码覆盖率控制流覆盖声明范围分行覆盖率路径覆盖率覆盖率收集工具EclEmma获得代码覆盖率:一种常见的方法是将程序抽象成图形图:通常是控制流图(CFG)节点覆盖率:执行每条语句边缘覆盖:执行每个分支ControlFlowGraph控制流程图控制流图(CFG)是使用图表示法表示程序在执行期间可能遍历的所有路径①CFG:if②CFG:if-return③CFG:while④CFG:do⑤CFG:for⑥CFG:breakandcontinue⑦CFG:switchControlFlowGraphCFG-basedCoverage基于CFG的覆盖范围若x=0,a=true,b=false①CFG-basedCoverage:StatementCoverage声明覆盖范围测试覆盖语句的百分比SCov=4/5=80%②CFG-basedCoverage:BranchCoverage分支覆盖测试覆盖的分支百分比,考虑每个条件语句的false和true分支BCov=2/4=50%声明覆盖分支覆盖③CFG-basedCoverage:PathCoverage路径覆盖率测试覆盖的路径百分比,考虑所有可能的程序执行路径PCov=1/4=25%CFG-basedCoverage:Comparison①Statement声明CoverageVS.Branch分支Coverage如果一个测试套件达到100%的分支覆盖,那么它必须达到100%的声明覆盖不在分支中的语句将被任何测试覆盖所有其他语句都在某个分支中分支覆盖严格包含声明覆盖②Branch分支CoverageVS.Path路径Coverage如果测试套件达到100%的路径覆盖率,则必须达到100%的分支覆盖率所有分支组合均已覆盖,表明所有分支均已覆盖路径覆盖严格包含分支覆盖③总结路径覆盖率严格包含分支覆盖严格包含声明覆盖CFG-basedCoverage:Effectiveness有效性大约65%的错误可以在单元测试中捕获单元测试以控制流测试方法为主导语句和分支测试在控制流测试中占主导地位CFG-basedCoverage:Limitation某些方面的100%覆盖率永远不能保证无bug软件CoverageCollection:Mechanism机制源代码已插入指令(源代码/二进制代码)写入跟踪文件的日志代码插入到每个分支、语句等中执行插入指令的代码时,覆盖率信息将写入跟踪文件lec3.2主路径和基本路径覆盖PrimePathCoverage主路径覆盖LoopsinGraphs图中的循环如果一个图包含一个循环,那么它有无限多条路径因此,CPC是不可行的概念①简单路径:如果没有节点出现多次,则从节点ni到nj的路径是简单的,除非第一个和最后一个节点可能相同没有内部循环循环是一条简单的路径②主路径:一条简单路径,它不会作为任何其他简单路径的正确子路径出现PrimePathCoverage主路径覆盖一个简单、优雅和有限的标准,它要求执行循环和跳过循环主路径覆盖(PPC):TR包含G中的每个基本路径将覆盖所有长度的路径0,1…也就是说,它包含节点和边覆盖PPC不包含EPC如果顶点v本身有一条边,EPC将需要[v,v,v'][v,v,v']不是素数RoundTrip往返路径:在同一节点上开始和结束的基本路径简单往返覆盖率(SRTC):TR包含至少一个往返路径,用于开始和结束往返路径的G种每个可到达顶点完全往返覆盖(CRTC):TR包含G中每个可达顶点的所有往返路径这些条件会忽略不在往返中的节点和边也就是说,它们不包含边对,边或顶点覆盖率Simple&PrimePathExamplePrimePaths[1,2,3,4,7][1,2,3,5,7]Executeloop0times[1,2,3,5,6][1,3,4,7][1,3,5,7]Executelooponce[1,3,5,6][6,5,7][6,5,6]Executeloopmorethanonce[5,6,5]练习Howtogenerateteststocoverallprimepath?如何生成覆盖所有主路径的测试?Aresomeprimepathsinfeasible?一些主路径是不可行的吗?Primepath:themaximal-longsimplepath主路径:最大长度的简单路径BasicPathCoverage基本路径覆盖概述McCabe提出的一种测试机制分支覆盖和所有路径覆盖之间的测试标准满足分支测试要求的测试;还测试可用于通过计算机程序构造任意路径的所有独立路径路径①IndependentPath独立路径通过系统的路径仅在其包含某些顶点或边未被其他路径覆盖的情况下,才与其他路径无关路径1[1,2,3,4,5,6,8]路径2[1,2,3,5,6,7,8]②LinearlyIndependentPath线性独立路径[e1,e2,e3,e4,e5,e6,e7,e8,e9][1,1,0,0,1,1,0,0,1][1,1,1,1,1,1,0,0,1][1,1,0,0,1,1,1,1,1][1,1,1,1,1,1,1,1,1][1,1,2,2,1,1,2,2,1]……从线性代数可知,每个矩阵都有一个唯一的秩(线性独立行数),该秩小于或等于列数③TheNumberofLinearlyIndependentPaths线性独立路径数线性独立路径的个数就是这个矩阵的秩这个矩阵的秩正是图的圈复杂度④McCabe’sBasicPathTestingMcCabe的基本路径测试生成控制流程图计算圈复杂度选择一组基本路径生成基本路径的测试BasicPathCoverage练习所有路径测试>=BPT>=分支测试McCabe圈复杂度基本路径(线性独立)lec3.3数据流覆盖和事件流覆盖DataFlow数据流DataFlow超越结构目标:尝试确保正确计算和使用值定义(def):将变量值存储到内存中的位置用途:访问变量值的位置defs中给出的值应至少达到一种,某些或所有可能的用途SetsofDefandUse定义和使用集def(n)或def(e):由节点n或边e定义的一组变量use(n)或use(e):节点n或边e所使用的变量集定义①DUpair对:一对位置(li,lj),使得变量v在li处定义并在lj处使用②Def-clear:如果变量v在路径中的任何节点或边上均未赋予其他值,则对于变量v,从li到lj的路径是def-clear的到达率:如果从li到lj相对于v有def-clear的路径,则li处的v的def到达lj处③dupath:
一个简单的子路径是def-clear,和v的def到v的用法相关du(ni,nj,v)t从ni到nj的du路径集du(ni,v)t从ni开始的du路径集DataFlowCoverageCriteria数据流覆盖标准全定义覆盖率(ADC):对于每组du-pathsS=du(n,v),TR在S中至少包含一条路径d所有使用覆盖率(AUC):对于要使用S=du(ni,nj,v)的每组du路径,TR至少包含S中的一条路径d全du-paths覆盖(ADUPC):对于每个集合S=du(ni,nj,v),TR包含S中的每个路径dDataFlowTestingControlFlowGraph控制流程图VariableListofNodesEdgeUse(1,
2)(2,
3)(3,
4){
i,
length
}(4,
3)(3,
5){
i,
length
}(5,
6)(6,
7){
i,
length
}(7,
6)(6,
8){
i,
length
}DU-PathsvariableDU
PairsDU
Pathsnumbers(1,
4)(1,
5)(1,
7)[
1,
2,
3,
4
][
1,
2,
3,
5
][
1,
2,
3,
5,
6,
7
]length(1,
5)(1,
8)(1,
(3,4))(1,
(3,5))(1,
(6,7))(1,
(6,8))[
1,
2,
3,
5
][
1,
2,
3,
5,
6,
8
][
1,
2,
3,
4
][
1,
2,
3,
5
][
1,
2,
3,
5,
6,
7
][
1,
2,
3,
5,
6,
8
]
var(8,
8)No
path
neededsum(1,
4)(1,
5)(4,
4)(4,
5)[
1,
2,
3,
4
][
1,
2,
3,
5
][
4,
3,
4
][
4,
3,
5
]variableDU
PairsDU
Pathsmean(5,
7)(5,
8)[
5,
6,
7
][
5,
6,
8
]varsum(5,
7)(5,
8)(7,
7)(7,
8)[
5,
6,
7
][
5,
6,
8
][
7,
6,
7
][
7,
6,
8
]i(2,
4)(2,
(3,4))(2,
(3,5))(4,
4)(4,
(3,4))(4,
(3,5))(5,
7)(5,
(6,7))(5,
(6,8))(7,
7)(7,
(6,7))(7,
(6,8))[
2,
3,
4
][
2,
3,
4
][
2,
3,
5
][
4,
3,
4
][
4,
3,
4
][
4,
3,
5
][
5,
6,
7
][
5,
6,
7
][
5,
6,
8
][
7,
6,
7
][
7,
6,
7
][
7,
6,
8
]EventFlowGraph事件流图定义:事件流图(EFG)是一个三元组M=⟨V,I,E⟩,其中:1.V是一组表示对象的所有事件的顶点2.I⊆V是一组初始顶点3.E⊆V×V是顶点之间的一组边。(vi,vj)∈E如果vj可以在vi之后立即执行GUITAR基于EFG的自动化测试框架四个子系统:GUIRipper:GUI对象提取GUIStructure2Graph:EFG构造TestCaseGenerator:基于EFG的测试生成GUIReplayer:运行测试CoverageCriteria覆盖率标准基于图形的覆盖率活动范围事件对覆盖率路径覆盖率根据已执行功能的事件覆盖率语义交互事件的覆盖双向、三向覆盖lec3.4变异测试和缺陷测试MutationTesting变异测试MutationTesting通过创建程序的许多版本(称为变异体)将错误引入程序每个变异体都包含一个缺陷测试用例应用于原始程序和变异程序目的是使变异程序失败,从而证明测试用例的有效性变异测试是一种将错误插入程序中以测试是否检测到错误,从而使测试有效或无效的方法变异测试是一种测试技术,致力于衡量测试用例的充分性变异测试应该与传统的测试技术结合使用,而不是代替它们MutantPrograms变异测试包括创建一组被测试程序的变异程序每一个变异体与原来的程序有一个不同的突变变异是对程序语句进行的单个语法更改①CategoriesofMutationOperators变异因子的类别OperandMutationOperators操作数突变运算符:用另一个操作数或常量替换单个操作数。例如,if(5>y)Replacingxbyconstant5.if(x>5)Replacingybyconstant5.if(y>x)Replacingxandywitheachother.ExpressionMutationOperators表达式变异操作符:Replaceanoperatororinsertnewoperators.E.g.,if(x==y)if(x>=y) Replacing==by>=.if(x==++y) Inserting++.E.g.,ifalloperatorsare{+,-,*,/}thenthefollowingexpressiona=b*(c-d)willgenerate6mutants:3byreplacing*3byreplacing-.Object-OrientedMutationOperators面向对象变异因子识别变异算子是困难的,因为传统的变异技术不能轻易地扩展到面向对象的语言。它们可能导致无法编译的代码R.T.Alexander等人(2002)使用对“对象突变引擎”的调用来突变测试中的类他们的标准库包括以下内容:CollectionMutator-删除,添加,更改订单ListMutator-最后删除,更改顺序VectorMutator-最后删除MapMutator-首先删除,最后删除,清空IteratorMutator-跳到下一个对象EquivalentMutant等效变异体可能存在尚无法杀死的突变体,这些突变体称为等价突变体尽管在语法上有所不同,但通过测试无法区分这些突变体因此,必须“手动”检查它们MutationScore变异分数一组测试用例的变异分数是被测试数据杀死的非等效变异的百分比变异分数=100*K/(T-E)K=被杀死的突变体数量T=总突变体数E=等效突变体的数量如果一组测试用例的变异分数为100%,则该测试用例是充足变异的讨论:等价变异体的不确定性,以及“手工”检查的成本Hypotheses假设称职程序员假说被测模块已经由合格的程序员或设计师编写。因此,如果模块不正确,则与正确模块的区别最多为几个小故障耦合效应仅通过简单的故障就可以将所有模块与正确的模块区分开的测试套件是如此敏感,以至于它也隐式地区分了更复杂的故障。Conclusion变异是单个语法变异测试用于评估测试的充分性Fault-basedTesting基于缺陷的测试Fault-basedTesting设计测试以揭示种子故障证明没有某些故障揭示错误我们想通过评估测试套件发现种子错误的程度来判断测试套件的有效性变异是广泛使用的基于缺陷的测试方法之一变异:单一语法变更(a|b)&c(a|b)&!ca|(b&c)(a&b)&cFaultClassE=(a|b)&c①OperatorFaultClass操作员操作员参考故障OperatorReferenceFault(ORF)逻辑连接词“&”的出现被“|”代替或相反亦然E’=(a&b)&c表达否定错误ExpressionNegationFault(ENF)子表达式(条件除外)将替换为其否定E’=!(a|b)&c可变负故障VariableNegationFault(VNF)E’=(a|b)&!c条件的出现被其否定所代替关联换档故障AssociativeShiftFault(ASF)E’=a|b&cASF是由于对操作员评估优先级的误解而省略了方括号②OperandFaultClass操作数缺少可变故障MissingVariableFault(MVF)E’=(a|b)条件的出现被省略可变参考故障VariableReferenceFault(VRF)E’=(a|b)&a一种情况的出现被另一种可能出现的情况所替代子句合并错误ClauseConjunctionFault(CCF)E’=(a|b)&(c&a))条件c的出现由c&c’代替子句析取错误ClauseDisjunctionFault(CDF)E’=(a|b)&(c|a))卡在0故障Stuck-At-0Fault(SA0)E’=(0|b)&c条件的出现被替换为0卡在1故障Stuck-At-1Fault(SA1)E’=(1|b)&cTestCondition试验条件Testcondition:E⊕E’AtestcasetdetectsthemutantE’ofE,iftsatisfiesthetestconditionE⊕E’.如果t满足测试条件E⊕E',则测试用例t将检测到E的变异E'E=(a|b)&cVNFE’=((a|b)&!c)(a=1,b=0,c=1):E=1,E’=0(a=0,b=1,c=1):E=1,E’=0E⊕E’≈a|bImplicationofTestConditions测试条件的含义Implication:(E⊕E1)|=(E⊕E2),denotedbyE1|=EE2蕴含:(E⊕E1)|=(E⊕E2),由E1|=EE2表示E1isstrongerthanE2ImplicationRelation蕴涵关系FAisstrongerthanFB,ifforany(mutant)faultE1inFB,thereexistsone(mutant)faultE2inFA,suchthatE1|=EE2,thenFA|=FBFA比FB强,如果FB中的任一(变异)故障E1,FA中存在一个(变异)故障E2,使得E1|=E2,则FA|=FBFaultClassHierarchy1故障等级1lec3.5逻辑覆盖LogicCoverage逻辑覆盖DecisionCoverage决策覆盖率DecisionCoverage(DC):
Executingtrueandfalseofdecision.执行决策的真假((x>5)&&(y>0)):trueandfalse//{(6,1),(1,1)}--DCintfoo(intx,inty){ intz=y; if((x>5)&&(y>0)){ z=x;} returnx*z;}ConditionCoverage条件覆盖率ConditionCoverage(CC):
Executingtrueandfalseofeachcondition执行每个条件的true和false(x>5):trueandfalse(y>0):trueandfalse//{(6,0),(0,1)}--CCintfoo(intx,inty){ intz=y; if((x>5)&&(y>0)){ z=x;} returnx*z;}Subsume包含C1subsumesC2,denoted表示byC1≥C2DC≥SCCCnot≥SCDCnot≥CC,CCnot≥DCCondition/DecisionCoverageCondition/DecisionCoverage(C/DC):CombingDCandCC条件/决策覆盖(C/DC):结合DC和CCC/DC≥CCC/DC≥DC//??intfoo(intx,inty){ intz=y; if((x>5)&&(y>0)){ z=x;} returnx*z;}MultipleConditionCoverage多条件覆盖多条件覆盖(MCC)报告布尔表达式的每种可能组合是否发生满足条件的多个条件所必需的测试用例基本上由该条件的逻辑运算符真值表给出MCC//??intfoo(intx,inty){ intz=y; if((x>5)&&(y>0)){ z=x;} returnx*z;}MC/DCModifiedCondition/DecisionCoverage修改的条件/决策覆盖率MC/DCorMCDC:
Executingtheindependenttrueandfalseoutcomesofeachcondition.执行每个条件的独立真假结果MC/DC≥C/DCMC/DC//??intfoo(intx,inty){ intz=y; if((x>5)&&(y>0)){ z=x;} returnx*z;}MC/DC:Discussion修改后的条件/决策范围设计用于包含不会短路的逻辑运算符的语言C,C++和Java中的短路逻辑运算符仅在其结果会影响包围决策时评估条件MC/DC将受到程序中决策结构的影响MC/DC练习Pleaseconstructadecision,inwhichaconditionhasnoindependentoutcome.请构造一个条件没有独立结果的决策Discussionlec4自动化测试自动化软件测试测试用例生成测试用例选择RegressionTestSelection针对修改部分的测试TestSuiteReduction针对测试需求的用例集约简TestCasePrioritization针对测试需求的用例排序测试用例选择假设测试用例过多,无法在指定时间执行完云计算的出现旧的测试用例能够在新版本软件执行测试用例修复测试用例扩增测试用例修复EFG模型的测试脚本修复工业化测试工具脚本对象映射问题完备的EFG模型非完备EFG,无法判断对象是漏识别还是已删除lec5黑盒测试lec5.1随机测试BlackboxTesting黑盒测试RandomTesting随机测试测试用例是完全随机生成的[SwebokV3.0]输入域必须是已知的在输入域内选取随机点自动化ProblemsinRTDefineinputdomain定义输入域Randommechanism随机机制RandomnessandIntegrityService()随机性和完整性服务()DiversityRandominUniformDistribution均匀分布中的随机AdaptiveRandomTesting自适应随机测试ARTAlgorithm自适应随机测试算法随机生成输入t,运行t,将t加到Twhile(未达到停止条件)随机生成k个候选输入c1,…ckforeachcandidateci计算距T的最小距离diendfor选择一个最小距离的候选trunt,addttoTendwhileProblemsinARTDistanceOverheadCurseofDimensionality维度TypicalPatternsofFailure-causingRegions故障发生区域的典型模式lec5.2等价-边界-组合测试EquivalencePartitioning等价类划分EquivalencePartitioning可以平等地应用于多个测试级别单元一体化系统相对容易应用,无需自动化易于调整程序,以获取更多或更少的测试InputDomains输入域程序的输入域包含该程序的所有可能输入即使是小型程序,输入域也是如此之大,以至于它可能是无限的从根本上讲,测试是从输入域中选择有限的一组值输入参数定义输入域的范围方法的参数从文件读取数据全局变量用户级输入每个输入参数的域被划分为多个区域从每个区域中至少选择一个值PartitioningDomains划分域域DD的划分方案pp定义了一组块b1,b2,...bn划分必须满足两个属性:①块必须成对不相交(无重叠)②这些块一起覆盖了域D(完整)bb1b2b3Assumptions假设Equivalence等价TwoApproaches两种方法①Interface-basedapproach基于接口的方法直接从单个输入参数开发特性最简单的应用在某些情况下,可以部分自动化②Functionality-basedapproach基于功能的方法从被测程序的行为观出发,开发出特征更难开发--需要更多的设计努力可能会导致更好的测试,或更少的测试同样有效Interface-BasedApproach基于接口的方法机械地单独考虑每个参数这是一种简单的建模技术,主要依靠的是语法忽略参数之间的关系TriTyp:三个int参数合理的特性:边与零的关系TriTyphasthreeintegerinputs①FirstCharacterizationofTriTyp’sInputsTriTyp输入的第一个特征Characteristicb1b2b3q1
=
“Relation
of
Side
1
to
0”greater
than
0equal
to
0less
than
0q2
=
“Relation
of
Side
2
to
0”greater
than
0equal
to
0less
than
0q3
=
“Relation
of
Side
3
to
0”greater
than
0equal
to
0less
than
0Amaximumof3*3*3=27testsSometriangles三角形arevalid,someareinvalidRefiningthecharacterizationcanleadtomoretests…细化特征可以导致更多的测试…②SecondCharacterizationofTriTyp’sInputsCharacteristicb1b2b3b4q1
=
“Refinement
of
q1”greater
than
1equal
to
1equal
to
0less
than
0q2
=
“Refinement
of
q2”greater
than
1equal
to
1equal
to
0less
than
0q3
=
“Refinement
of
q3”greater
than
1equal
to
1equal
to
0less
than
0Amaximumof4*4*4=64testsThisisonlycompletebecausetheinputsareintegers(0..1)Possiblevaluesforpartitionq1Characteristicb1b2b3b4Side1510-5Functionality-BasedApproach基于功能的方法识别与预期功能相对应的特征需要测试人员更多的设计工作可以整合领域和语义知识可以使用参数之间的关系建模可以基于需求,而不是实现同一个参数可能出现在多个特性中,因此很难将值转换为测试用例TriTyp:三个参数代表一个三角形合理的特性:三角形的类型前两个表征是基于语法参数及其类型的语义层面的表征可以使用三个整数代表一个三角形的事实GeometricCharacterizationofTriTyp’sInputsCharacteristicb1b2b3b4q1
=
“Geometric
Classification”scaleneisoscelesequilateralinvalid该分区的值可以选择为Possiblevaluesforgeometricpartitionq1Characteristicb1b2b3b4Triangle(4,
5,
6)(3,
3,
4)(3,
3,
3)(3,
4,
8)Boundary-ValueAnalysis边界值分析等价类边界上的BugEquivalentclasses等价类Need2testcasesClass(i)x<0Class(ii)x>=0Boundaryvalues边界值Boundaryvaluesof(i)are0and-MAX(i)的边界值为0和-MAXBoundaryvaluesof(ii)are0and+MAX(ii)的边界值为0和+MAXTestcases测试用例-MAX-MIN0+MIN+MAXBoundaryTest
casesstringMin
length-1
/
Max
length+1A
input
string
with
1
~
255
character:Valid
inputs:
1
character,
255
characterInvalid
input:
0
character,
256
characterintMIN-1
/
MAX+116
bit
unsigned
integer:Valid
inputs:
0,
65535Invalid
input:
-1,
65536
looploop
numberfor(int
i=0;i<n;++i)for(int
i=0;i<=n;++i)for(int
i=1;i<n;++i)rangebit0
or
1byte0
~
255word0~65535(16bit)
or
0~4294967295(32bit)K1024M1048576G
1073741824characterASCIIcharacterASCIInull0A65space32a97/
47Z90048z122
:
58
‘
96@64SelectBoundaryValues选择边界值Aninputvariablewithequivalentclass[Min,Max]具有等效类[Min,Max]的输入变量SelectMinMin+NomMax-MaxExample:Twoinputvariablesx1(a≤x1≤b)andx2(c≤x2≤d).Testcasesinclude:两个输入变量x1(a≤x1≤b)和x2(c≤x2≤d)。测试用例包括:<x1nom,x2min>,<x1nom,x2min+>,<x1nom,x2nom>,<x1nom,x2max>,<x1nom,x2max->,<x1min,x2nom>,<x1min+,x2nom>,<x1max,x2nom>,<x1max-,x2nom>Number6positiveintegersTests:Classarbitraryvalue:X1=123123Classboundaryvalue:X2=12345Classboundaryvalue:X3=1234567Classboundaryvalue:X4=1Classboundaryvalue:X5=0Classinvalidvalue:X6=-123123Classinvalidvalue:X7=asdasdOthers?Classinvalidvalue:X8=000123X9=asd123X10=EmptyWeakBoundaryAnalysis弱边界分析aabcdSelectBoundaryValues选择边界值
(Considerinvalidvalues)考虑无效值Example:Twoinputvariablesx1(a≤x1≤b)andx2(c≤x2≤d).Testcasesincludes:aabcd①BoundaryAnalysisforTriTypTriTyp(a,b,c):1≤a≤1001≤b≤1001≤c≤100a={0,1,2,50,99,100,101}b={0,1,2,50,99,100,101}c={0,1,2,50,99,100,101}②BoundaryAnalysisforNextDateMonth[1,12]DateJan,Mar,May,Jul,Aug,Oct,Dec:[1,31]Apr,Jun,Sep,Nov:[1,30]Febincommonyear:[1,28]Febinleapyear:[1,29]StrongBoundaryAnalysis强边界分析aabcd①BoundaryAnalysisforTriTypTriTyp(a,b,c):1≤a≤1001≤b≤1001≤c≤100a={1,2,50,99,100}b={1,2,50,99,100}c={1,2,50,99,100}Testset=a×b×c
={1,2,50,99,100}
×{1,2,50,99,100}
×{1,2,50,99,100}Example:Twoinputvariablesx1(a≤x1≤b)andx2(c≤x2≤d).Testcasesincludes:aabcd②BoundaryAnalysisforNextDateNextDate(Day,Month,Year):1≤day≤311≤month≤121900≤year≤2012Month={0,1,2,6,11,12,13}Day={0,1,2,15,30,31,32}Year={1899,1900,1901,1930,2011,2012,2013}CombinatorialTesting组合测试InputDomainTestingInputDomainTesting输入域测试Randomtesting随机测试Equivalencepartitioning等价划分Boundary-valueanalysis边界分析ProblemRelationshipamonginputvariables输入变量之间的关系ModelBasedTestingModelBasedTesting基于模型的测试DecisionTables(consideringrelationshipbetweeninputandoutputvariables)决策表(考虑输入和输出变量之间的关系)Problem:TooDifficultExtractrelationship提取关系Describerelationship描述关系WeakEquivalenceClassTesting弱等效类测试StrongEquivalenceClassTestingCostEffectiveTesting成本效益测试ExampleCombinatorialTesting组合测试AllCombinations测试所有可能的参数值组合2*2*2*3=24Pair-wiseTesting成对测试t-wise/t-waysCombinatorialTestingTestcases(t=3)Input
AInput
BInput
CInput
DA1B1C1D1A1B2C2D1A2B1C2D1A2B2C1D1A1B1C2D2A1B2C1D2A2B1C1D2A2B2C2D2A1B1C1D3A1B2C2D3A2B1C2D3A2B2C1D3Combinatorialtesting组合测试固定强度组合测试成对测试Pair-wisetestingT型组合测试T-waycombinatorialtesting可变强度组合测试关键问题所有组合中的抽样不考虑投入的特殊信息Variablestrengthcombinatorialtesting可变强度组合测试lec5.3缺省-约束-决策表DefaultOptionsinTesting测试中的默认选项BaseChoiceMultipleBaseChoiceConstraintsinTesting测试约束MergeInputVariables合并输入变量RefineInputDomain优化输入域ModifyTestCases修改测试用例DecisionTables决策表概述决策表表示条件(大致为输入)和操作(大致为输出)之间的逻辑关系。系统地导出测试用例…[SWEBOKv3.0]决策表的优点:能够将复杂的问题按照各种可能的情况全部列举出来,简明并避免遗漏。因此,利用决策表能够设计出完整的测试用例集合在一些数据处理问题当中,某些操作的实施依赖于多个逻辑条件的组合,即:针对不同逻辑条件的组合值,分别执行不同的操作。决策表很适合于处理这类问题决策表的组成决策表通常由以下4部分组成:条件桩—列出问题的所有条件条件项—针对条件桩中条件列出所有可能的取值动作桩—列出问题规定的可能采取的操作动作项—指出条件项各取值情况下应采取的动作决策表的生成构造决策表的5个步骤:①确定规则的个数有n个条件的决策表有2n个规则(每个条件取真、假值)②列出所有的条件桩和动作桩③填入条件项④填入动作项,得到初始决策表⑤简化决策表,合并相似规则若表中有两条以上规则具有相同的动作,并且在条件项之间存在极为相似的关系,便可以合并合并后的条件项用符号“-”表示,说明执行的动作与该条件的取值无关,称为无关条件练习前一日函数DPreate是NextDate的逆函数,即给定一个月份、日期、年,会返回前一天的日期。年的取值在1812年到2017年日的取值在1日到31日之间月的取值在1到12月之间条件项M1={月份:4,6,9,11月}M2={月份:5,7,10,12月}M3={月份:1月}M4={月份:2月}M5={月份:3月}M6={月份:8月}D1={日期:1日}D2={日期:2<=日期<=27}D3={日期:28日}D4={日期:29日}D5={日期:30日}D6={日期:31日}Y1={年:是闰年}Y2={年:不是闰年}lec6测试前沿专题lec6.1多样性OtherTestingDiversity:aprincipleoftestdesign
多样性:测试设计的原则lec6.2测试预言与测试约简TestOracle测试预言TwoFundamentalProblems两个基本问题AdequacyCriteria充分性标准TestOracle测试OracleNotestoracleNoautomatedtestoracle无自动预言测试NoTestOracle某些类型的应用程序尤其难以测试,因为没有“测试预言”机器学习、离散事件模拟、优化、科学计算等即使在没有oracle的情况下,如果违反了软件的属性,也有可能检测到缺陷MetamorphicTesting蜕变测试如果新的测试用例输出f(t(x))如预期的那样,则不一定正确但是,如果f(t(x))不是预期的,则f(x)或f(t(x))–或者两者都是!–错的练习使用蜕变测试为示例1和示例2定义新的MRExample1:Sin(x)functionExample2:theshortestdistancebetweentwonodes:ShortestDis(x,y)where,xisastartingnodeandyisanendingnode.两个节点之间的最短距离:ShortestDis(x,y),其中,x是起始节点,y是结束节点MetamorphicRelationTestinput:[a,-a,b,-b]mean=0Testinput1:[a,b,c,d]mean1Testinput2:[a+1,b+1,c+1,d+1]mean2Thenmean2=mean1+1NoAutomatedTestOracle无自动测试预言某些类型的应用程序尤其难以测试,因为没有自动化的“测试oracle”多媒体、人机交互等OneSolution:当没有自动化的oracle时,应该减少手动检查测试结果的成本TestSuiteReduction测试用例集约简TestSuiteReduction①Greedy贪心forTestSuiteReduction②AdditionalGreedyforTestSuiteReductionComplexityTestSuiteReduction测试用例集约简≈MinimumCardinality最小基数HittingSetFailureProximity故障接近度SoftwareBehaviorLearningDistance
lec7集成与系统、验收测试、移动测试lec7.1集成与系统系统集成的模式与方法集成测试前的准备人员安排测试计划测试内容集成模式测试方法集成测试的模式渐增式测试模式与非渐增式测试模式非渐增式测试模式:先分别测试每个模块,再把所有模块按设计要求放在一起结合成所要的程序,如大棒模式。渐增式测试模式:把下一个要测试的模块同已经测试好的模块结合起来进行测试,测试完以后再把下一个应该测试的模块结合进来测试自顶向下和自底向上集成方法驱动程序/驱动模块(driver),用以模拟被测模块的上级模块。驱动模块在集成测试中接受测试数据,把相关的数据传送给被测模块,启动被测模块,并打印出相应的结果。桩程序/桩模块(stub),也有人称为存根程序,用以模拟被测模块工作过程中所调用的模块。桩模块由被测模块调用,它们一般只进行很少的数据处理,例如打印入口和返回,以便于检验被测模块与其下级模块的接口①自顶向下法(Top-downIntegration)②自底向上法(Bottom-upIntegration)③混合策略(ModifiedTop-downIntegration)混合法:对软件结构中较上层,使用的是“自顶向下”法;对软件结构中较下层,使用的是“自底向上”法,两者相结合大棒与三明治集成方法①大棒集成方法(Big-bangIntegration)采用大棒集成方法,先是对每一个子模块进行测试(单元测试阶段),然后将所有模块一次性的全部集成起来进行集成测试因为所有的模块一次集成的,所以很难确定出错的真正位置、所在的模块、错误的原因。这种方法并不推荐在任何系统中使用,适合在规模较小的应用系统中使用②三明治集成方法(SandwichIntegration)采用三明治方法的优点是:它将自顶向下和自底向上的集成方法有机地结合起来,不需要写桩程序因为在测试初自底向上集成已经验证了底层模块的正确性采用这种方法的主要缺点是:在真正集成之前每一个独立的模块没有完全测试过③改善的三明治集成方法改进的三明治集成方法,不仅自两头向中间集成,而且保证每个模块得到单独的测试,使测试进行得比较彻底持续集成通常系统集成都会采用持续集成的策略,软件开发中各个模块不是同时完成,根据进度将完成的模块尽可能早的进行集成,有助于尽早发现Bug,避免集成中大量Bug涌现而且容易定位Bug、修正Bug,最终提高软件开发的质量与效率几种集成方法性能的比较自底向上自顶向下混合策略大棒三明治改进三明治集成早早早晚早早基本程序能工作时间晚早早晚早早需要驱动程序是否是是是是需要桩程序否是是是是是工作并行性中低中高中高特殊路径测试容易难容易容易中等容易计划与控制容易难难容易难难功能测试
FunctionalTesting
根据产品特性和设计需求,验证一个产品的特性和行为是否满足设计需求功能测试常用步骤①根据需求来细分功能点②根据功能点派生测试需求③根据测试需求设计功能测试用例④逐项执行功能测试用例验证产品用户界面类型非图形化用户界面命令行图形化用户界面(GUI)桌面:Windows风格,单文档、多文档、资源管理器等Web:Html元素等,静态页面,动态页面移动设备:多触点交互,传感器等其他用户交互方式相关的测试类型正确性产品功能是否与需求和设计文档一致可靠性用户交互是否引发软件崩溃和其它异常易用性软件产品完成特定任务的难易程度功能测试示例软件需求:功能点单程国内机票预订测试需求有直飞航班城市间的预订无直飞航班城市间的预订有联程,无联程单人,多人(带小孩,带婴儿)有票无票,座位选择等测试编号测试环境输入数据预期结果实际结果回归测试回归测试的目的所做的修改达到了预定的目的,如错误得到了改正,新功能得到了实现,能够适应新的运行环境等不影响软件原有功能的正确性回归测试的方法再测试全部用例基于风险选择测试基于操作剖面选择测试再测试修改的部分非功能性测试性能测试 ①定义PerformanceTesting验证产品的性能在特定负载和环境条件下使用是否满足性能指标进一步发现系统中存在的性能瓶颈,优化系统②性能测试目的和需求目的:
为了验证系统是否达到用户提出的性能指标,同时发现系统中存在的性能瓶颈,起到优化系统的目的。性能测试需求:
用户对各项指标提出的明确需求;如果用户没有提出性能指标则根据用户需求、测试设计人员的经验来设计各项测试指标。(需求+经验)主要的性能指标:
服务器的各项指标(CPU、内存占用率等)、后台数据库的各项指标、网络流量、响应时间③性能测试度量方法不同的关注对象采用不同的性能的度量方法服务端性能采用CPU、内存等使用率来度量客户端性能通常根据系统处理特定用户请求的响应时间来度量④响应时间响应时间是指系统对请求作出响应所需要的时间响应时间划分为:服务端响应时间是指从请求发出开始到客户端接收到最后一个字节数据所消耗的时间客户端响应时间是指客户端收到响应数据后呈现/响应用户所消耗的时间⑤并发用户数并发用户数取决于测试对象的目标业务场景需要先确定业务场景,然后基于场景采用某些相应方法计算并发用户数并发用户数与同时在线数的区别⑥吞吐量吞吐量是指单位时间内处理的用户请求数量访问人数/天,页面数/秒,请求数/秒,处理业务数/小时,等等⑦性能计数器性能计数器是描述系统性能的一些数据指标例
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中劳动教育教学设计:吹塑纸板镜框的结构设计与制作实践
- 2027年初中九年级物理《热机》教学设计
- 初中九年级物理第四章光现象一轮复习教学设计
- 初中七年级人文地理《母亲河》教学设计-基于浙江省人教版教材的流域文明与生态智慧融合课例
- 高中地理教学设计:城镇化进程、空间效应与地域文化的一轮复习策略研究
- 初中七年级心理健康教学设计《善于调节情绪 学会快乐生活》
- 初中七年级地理《气候与人类活动》第一课时教学设计
- 高中信息技术选择性必修3《网络基础》教学设计:IP地址规划与子网划分实战
- 小学一年级音乐铁匠波尔卡聆听教学设计
- 新版统编版(2024)八年级上册道德与法治期中复习:60题单项选择题刷题练习题(含答案解析)
- 大班语言秋天真美丽(散文诗)说课讲解
- 国内卫星通信小型地球站(VSAT)通信系统工程设计规范
- T/CACM 1557-2023年龄相关性白内障中医诊疗指南
- 身体约束管理制度流程
- 大学英语四级考试2024年12月真题(第一套)Part IV Translation
- 《轴承失效判断及分》课件
- 《磷酸铁产品单位能源 消耗规范》
- 彝族年放假安全教育
- 别墅石材装修施工合同
- 建筑表现生涯发展展示
- 《数据、模型与决策》 课件 3.2 DEA数据包络分析
评论
0/150
提交评论