(通信与信息系统专业论文)协议测试系统研究.pdf_第1页
(通信与信息系统专业论文)协议测试系统研究.pdf_第2页
(通信与信息系统专业论文)协议测试系统研究.pdf_第3页
(通信与信息系统专业论文)协议测试系统研究.pdf_第4页
(通信与信息系统专业论文)协议测试系统研究.pdf_第5页
已阅读5页,还剩67页未读, 继续免费阅读

(通信与信息系统专业论文)协议测试系统研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中国科学技术大学硕f :论文摘要摘要协、议是网络和通信的核一t l , 。随着通信网络技术发展,协议测试正成为协议工程中越来越重要的问题。而通信协议一致性测试是协议测试中的最重要的部分,它的目的是测试通信协议软件的实现是否与通信协议规范一致。考虑到越来越复杂的通信网络,我们必须对网络中的每一个组成部件依据协议规范来进行一致性测试。对于协议测试的需求增长如此迅猛,促使人们寻找能更便利进行大量测试的通用协议测试系统。本文在比较研究了两种测试集的描述语言( t y c n 和t c l ) 在协议测试中的不同应用特点后,根据在i s o9 6 4 6 中定义的协议测试框架和方法论,开发了具有创新性的系统的协议测试方法,提出了一个基于t c l 的分布式协议测试系统d p t s 。这个系统具有通用性、易操作性、平台无关性和可扩展性等优点,使广泛地开展完整的协议测试更为便利。对于控制流的测试,我们研究运用基于f s m的u i o 序列生成技术来生成测试用例,对于数据流的测试则采用了基于测试目的描述的测试生成技术。文中通过d p t s 上的测试实例分别具体详述了这两类测试的完整过程。目前已利用d p t s 对i p v 6 协议族各主要协议的实现进行了广泛的一致性测试。关键词协议测试;d p t s ;t t c n ;t c l ;分布式测试;一致性测试;u i o ;t p v 6中国科学技术大学硕上学位论文a b s t r a c tp r o t o c o ll st h ek e r n e lo fn e “v o r ka n dc o m m u n i c a i t o ns y s t e m t h ea d v a n c i n go fc o m m u n i c a t i o na n dn e t w o r kt e c h n o l o g yi sm a k i n gp r o t o c o lt e s t i n gam u c hm o r ei m p o r t a n tp r o b l e m t h ec o m m u n i c a t i o np r o t o c o lc o n f o r m a n c et e s ti st h em o s ti m p o r t a n tt e s ta c t i v i t yw i t h i np r o t o c o lt e s t i n g ,i t sm a i ni n t e n s i o ni st od e t e c tw h e t h e rt h e r ee x i s t sd i s a g r e e m e n tb e t w e e nt h es p e c i f i c a t i o na n dt h ei m p l e m e n t a t i o n c o n s i d e r i n gt h ec o m p l i c a c yo fc o m m u n i c a t i o nn e t w o r k s ,w eh a v et ot e s te a c hn e t w o r kc o m p o n e n ta c c o r d i n gt ot h ep r o t o c o ls p e c i f i c a t i o n s s ot h ei n c r e a s ei nd e m a n do fp r o t o c o lt e s t i n g si ss or a p i d l yt h a ti t sn e c e s s a r yt of i n dai n t e r c h a n g e a b l es y s t e mw h i c hc a r lc a r r yt h r o u g hal o to f p r o t o c o lt e s t i n g sm u c hm o r ee a s i l y c o m p a r i n gt h ed i f f e r e n t so ft h et w od e s c r i p t i o nl a n g u a g e sf o rc o n f o r m a n c et e s ts u i t e ( t t c nv nt c l ) ,b a s e do nt h em e t h o d o l o g ya n df r a m e w o r kf o rp r o t o c o lc o n f o r m a n c et e s t i n gd e f i n e di ni s o9 6 4 6 ,t h ep a p e rp r o p o s e sat e l - b a s e dd i s t r i b u t e dp r o t o c 0 1 t e s ts y s t e m ( d p t s ) w h i c hd e v e l o p e di n n o v a t i v es y s t e m i cm e t h o d sf o rp r t o t o c o lt e s t i n g d p t sh a sa d v a n t a g e ss u c ha sc o m m o n a b i l i t y , e a s yt ou s e p l m f o r m -i n d e p e n d e n c ya n de x t e n s i b i l i t ye t e ,s oi t sm u c he a s i e rt ow i d e l yc a r r yo u tt h o r o u g hp r o t o c o lt e s t i n g t ot e s tc o n t r o lf l o w , w es t u d yu i ot e s t i n gs e q u e n c eg e n e r a t i o nm e t h o db a s e do nf s mm o d e l ;t ot e s td a t af l o w , w eo s et e s t i n gg e n e r a t i o nm e t h o db a s e do nt e s tp u r p o s e sd e s c r i p t i o n i n s t a n c e st ot h e s et w ok i n d so ft e s t i n ga r es u m m a r i z e ds e p a r a t e l yi nt h i sp a p e rt os h o wt h ed p t s w o r km e c h a n i s m u pt on o w , m o s tc o n f o r m a n c et e s t so ni p v 6p r o t o c o l sh a v eb e e nr e a l i z e do nd p t s k e y w o r d sp r o t o c o lt e s t i n g ;d p t s ;t t c n ;t c l ;d i s t r i b u t e dt e s tm e t h o d ;c o n f o r m a n c et e s t i n g ;u i o ;i p v 6中国科学技术大学碗上学位论文第一章引h - -第一章引言1 1 研究背景协议是通信网络和分布式系统中各种通信实体之间相互交换信息所必须遵守的一组规则,是构建网络的基石。在通信网络及系统的发展过程中,协议一直处于核心地位。协议的标准化是协议的一个重要方面。通信网络能取得今天这样大的发展与通信协议国际标准的存在有很大关系。随着网络的发展,保证各个厂家的计算机都能互相连接是至关重要的,而协议的国际标准化是实现这一目标的前提。通信方面的国际标准化工作是以i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n :国际标准化组织) 和i t u _ t s ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n -t e l e c o m m u n i c a t i o n s e c t o r :国际电信联盟电信标准化部) 为中心开展的。另外,还存在有一些很多用户使用的既成事实的国际标准。目前的网络协议多是以自然语言描述的文本。实现者对于协议文本的不同理解和可选的协议属性以及实现过程中的非形式化因素都会导致不同的协议实现,有时甚至是错误的协议实现。何况有些没有进行完备详尽描述的协议,最容易出现不同协议实现之间的不兼容情况。即便不同的实现各自都符合协议标准,也不能保证它们彼此之间能够准确无误地通信。同一协议的不同实现还存在着性能差别。对于目前的数据通信领域中,通信协议日趋复杂,数据通讯涉及到越来越多的设备供应商和服务提供商。在这种情况下,需要一种有效的方法对协议实现进行评价,这就是“协议测试”。在协议测试中,又以协议的一致性测试为最重要的部分。一致性测试是指对被测实现i u t ( i m p l e m e n t a t i o nu n d e rt e s t ) 进行的细致、系统的试验,以确定该实现是否完全符合协议规范中的标准。协议测试是保证协议实现正确性和网络产品互通的重要手段。尤其是随着近年来i p v 6 研究的兴起,对协议测试的需求更是日益增长。版本4 互联网协议( 1 p v 4 ,i n t e r a c tp r o t o c o lv e r s i o n4 ) 是一个令人难以置信的成功的协议,但它潜伏着下列三大危机:地址枯竭,网络号码匮乏,路由表急剧膨胀。因特网工程任务组i e t f 提出的下一代互联网协议( i p v 6 ,i n t e m e t p r o t o c o lv e r s i o n6e 1 1 ) 就是为了解决这三个根本缺陷而设计的,它继承了i p v 4 的优点,并根据i p v 4 多年来运用的经验进行了大幅度的修改和功能扩充。另外,i p v 6 在中国科学技术大学硕士学位论文第一章引言服务质量、自动控制和安全的方面也做了很大的改进。因此,i p v 6 协议将会成为下代网络的主导协议。i p v 6 协议族不仅仅有一个新版“网络层协议”,还包括有各项相关的基本协议标准,目前各协议标准制订都已经基本完成。对于i p v 6相关协议族这样的一整套复杂协议,要使其能真正成为下一代互联网的主流协议我们就必须不断的利用各种测试环境对各被测实现进行大量的测试,从而对改进i p v 6 的被测实现提供指导,促进其完善。如此高涨的需求使得对一个方便易用、通用性好、移植性好的协议测试系统的呼声越来越高。1 2 协议测试技术的国内外发展现状目前的协议测试已经不仅仅是产品开发研制过程中一个简单的检测支持过程,而是发展成为计算机网络技术的一个重要分支和协议工程学的个重要组成部分。对协议测试技术的研究将真接影响到计算机网络技术的进步和世界网络市场的竞争与发展。所以很多国家都投入了大量的人力物力从事协议测试的研究工作。例如:英国的国家物理实验室n p l ,法国国家通信研究中心、德国国家通信研究局g m d 、美国国家标准化研究局、美国新罕布什尔大学甄操作研究实验室、清华大学计算机科学与技术系的网络和协议测试实验室瓤中科院计算所的网络测试实验室等单位都在这个领域投入了大量的研究力量1 2 】。现有的一些测试方法都是针对特定实现,有许多的限制。这些专用的测试平台没有兼容性,测试方法较单一,其他测试人员也难以用它们来进行扩展测试。以i p v 6 测试为例,目前国内外的研究包括:1 9 9 8 年底东京大学,y d c 公司,y o k o g a w a 公司发起组织了对i p v 6 进行测试的t a h i 计划【3 。采用p e r l 语言来描述i p v 6 测试套并用解释执行方式执行测试例,在测试方法上并没有提出新的思想;美国新罕布什尔大学的i o l 实验室对6 协议的一致性测试1 4 j ,采用自然语言来描述测试套,覆盖测试并不是很完备;中科院计算所从1 9 9 9 年开始与n o k i a 公司合作设计实现的v 6 p t s t s l ,采用他们自行设计的测试套描述语言t s s( t e s t s u i t es p e c i f i c a t i o n l a n g u a g e ) 来描述测试套,缺点在于系统架构的针对性强,可扩展性较差:清华大学网络实验室在他们的协议集成测试系统p i t s( p r o t o c o li n t e g r a t e dt e s ts y s t e m ) j 2 实现了i p v 6 主协议和i c m p v 6 的一致性测试【6 1 ,采用t t c n 来描述测试套,他们的实现还只是一个实验产品,没有涉及i p v 62中国科学技术大学硕士学位论文第一章引言协议族的其他协议;我们s e 实验室曾提出了一种分布式虚拟测试方法,以及相应的i p v 6 协议测试框架和系统实现【w ,但尚欠完善全面,仍有具体协议和测试方法上的局限。1 3 研究目的和方案如上所述,之前还没有一个通用的协议测试系统,这与当前高涨的对于协议测试的需求是不相符的。本论文的主要研究目的就是要建立一个完整的实用的协议测试系统。这个系统要能采用多种测试方法进行测试,具有通用性、易操作性、平台无关性,可以方便地扩展协议模块来测试包括i p v 6 协议族在内的各种网络通信协议。文中首先讨论了两种协议测试集描述方法基于t f c n ( 8 】_ 的方法和基于t c l 【9 】的方法,以及它们的实践,最终鉴于t c l 的某些优点而选择了t c l 作为构建了分布式协议测试系统d p t s ( d i s t r i b u t e d p r o t o c o l t e s t s y s t e m ) 的方法。d p t s 不仅仅提供一个测试平台或环境,它是一个完整的协议测试系统。d p t s 的研究从测试理论和实用出发,贯穿了协议测试的开发和执行的整个过程,满足了各种协议测试方法的要求11 结合t c l 的特性,我们开发了自由扩展的层次化的测试环境体系等,从协议软件工程的需要出发,设计开发了系统各部分功能,实现了研究目的中所提出的通用、易用、可移植、可扩展等特性:2 我们在d p t s 中开发了分布式虚拟组网测试法,可以更便利地实现测试所需的复杂逻辑拓扑,更便利地实现对i s o i e c9 6 4 6 - 2 j 1 6 j 中定义的四种抽象测试方法乃至中继测试系统的支持。3 具体协议狈l 试套的开发和执行是协议测试的关键部分。因此,我们重点研究了一致性测试中对控制流测试和对数据流测试的方法。对控制流测试主要采用基于有限状态机1 ”的形式化方法,使用u i o 测试序列生成方法【1 9 1 形成测试用例。对数据流测试主要采取基于测试目的描述的测试生成技术,通过协议规范的相关测试点进行测试表达来形成测试用例ad p t s 综合运用这两种方法,开展了对i p v 6 协议族广泛的一致性测试。目前主要针对一致性协议测试,可以扩展应用于其他测试中3中国科学技术大学硕士学位论文第一章引言1 4 论文结构第一一章介绍协议测试相关的背景知识和发展概况,并给出本文的主要研究内容和方案。第二章介绍了协议测试理论,其中包括了协议工程和协议测试的基本概念,协议的形式化方法,重点介绍了一致性测试的结构和测试方法。对一致性测试中几种常用的测试序列生成方法作了概述。第三章对目前最常用的两种测试集描述方法t t c n 和t c l 做了介绍和系统的比较,结合本文的研究目的说明了为什么我们的协议测试系统d p t s 要采用t c l 语言来实现。第四章详细描述了分布式测试系统的具体设计、功能和实现,重点介绍了d p t s 的设计突破点,包括系统中的层次化支持命令体系等、自由扩展功能、虚拟组网测试法等。第五章通过d p t s 上的具体测试实例说明了对控制流测试和数据流测试完整的测试过程进行的研究。对于控制流测试,文中以对b g p - 4 的测试为例,研究了从根据协议规范取得严格的形式化描述i 到依照u i o 方法【1 9 1 生成相应的测试序列,再生成用t c l 描述的测试用例,最后将测试用例在铸测协议实现i u t上实际执行,生成测试报告的全过程。对于数据流测试,文中以i p v 66 0 t 4 隧道协议为例,采用基于测试目的描述的测试生成技术,研究了从协议规范到测试目的描述和测试表达来构建测试用例,继而扩展测试命令,构建测试环境,然后对m t 进行实际测试的全过程。本章最后介绍了我们目前已经广泛进行了的实际测试的一些情况。第六章总结了全文,并针对研究的不足提出今后需要继续努力的方向。中国科学技术大学硕士学位论文第二章协议测试理论第二章协议测试理论2 1 协议工程和协议测试基本概念2 1 1 概念简介协议的开发主要包括协议设计、协议描述、协议验证、协议实现、协议测试和协议维护等等阶段。在协议的开发过程中,需要采用一体化、形式化的方法,这种开发过程称为协议工程( p r o t o c o l e n g i n e e r i n g ) o o lo 协议工程中的“形式化”则指的是:用形式化描述语言( f o r m a ld e s c r i p t i o nl a n g u a g e s :f d l ) 连接协议开发的各个阶段。利用形式化,我们可以力争做到协议的验证、实现、测试在协议工程系统中自动化进行。协议描述阶段是对自然语言表达的协议进行形式化描述,研究如何用数学模型来精确描述协议,主要解决用自然语言描述协议的不精确和二义性问题。协议验证技术是采用数学方法来证明协议的形式化描述中是否存在逻辑错误,如死锁,活锁,不可达等等。协议的实现则是将协议文本或者协议的形式化描述变换称计算机可执行代码的过程。协议的测试是检查协议实现与协议规范是否一致的过程,是保证协议实现能够按照协议规范准确工作的重要步骤。协议测试分为三类:一致性测试、互操作性测试和性能测试。一致性测试是根据协议描述文本对协议实现的功能进行测试,检测箕是否符合协议标准的要求。互操作性测试是检测不同的协议实现之间是否能可靠的进行通信交互。性能测试是测定协议实现的性能特征,如响应时间、延迟等,并据此对系统性能作出评价。其中,一致性测试是其他两者的基础。是协议测试的关键部分。e l 前对通信协议软件测试的一般方法是首先根据通信协议的描述生成测试序列。即测试集的构造:然后使用这些测试序列进行测试,即测试集的执行;最后,对测试结果进行评估,给出待测实体一致性分析的结果。这种测试方法是测试系统根据测试项目,主动向协议实现发出消息并观察待测实体的反应,称为主动测试( a c t i v et e s t i n g ) 。另外还有被动测试( p a s s i v et e s t i n g ) 思想:通过监听来采集数据,通过分析数据来发现协议实现中潜在的错误,它是一种监控诊断的方法。主动测试和被动测试主要区别在测试分析方法上,在测试平台的构建上,两者并无根本性区别。中国科学技术大学砸士学位论文第二章协议测试理论2 1 2 协议的形式化方法如果光是使用人类语言描述的协议规范,我们很难做出有效的测试,这种基于生活语言的协议规范不仅在表达上会可能产生歧义含混,而且往往不能将协议的各种属性清楚的分离开。进行测试的首要问题就是去除规范中可能产生的歧义和错误,要想做到这一点就需要对协议使用形式化描述技术对协议模型化。形式化描述是通过系列形式化理论、模型和方法,对协议进行精确的描述。形式化描述是协议设计、实现、测试的基础,对协议实现的正确性、完全性和复杂性有至关重要的影响。2 1 2 1 形式化模型关于协议的形式化方法,目前已经研究并开发出多种形式的模型,主要有以下几种:有限状态机( f i n i t es t a t e m a c h i n e ) t 】、p e t r i 网 e t r i n e t ) b 2 、时序逻辑( t e m p o r a ll o g i c ) 【1 3 】、通信系统演算( c a l c u l a t i o n so fc o m m u n i c a t i o ns y s t e m ) 【1 4 】、形式文法( f o r m a lg r a m m a r ) 、过程语言( p r o c e d u r a ll a n g u a g e ) b s 等数学模型和逻辑模型。在广泛使用于协议实现的形式化规范的方法中,主要有标号迁移系统l t s ( l a b e l l e dt r m a s r i o ns y s t e m s ) ,和有限状态机f s m ( f i n i t es t a t em a c h i n e s ) 。在一个l t s 中是不区分输入和输出的,输入与输出通常表达成相互作用的状态。一个具有如是属性的l t s 的子集被称为输入输出迁移系统( i o t s ) ,i o t s 与输入输出状态机( i o s m ) 非常相似。不同的是在这个模型中,当输入不导致任何输出的情况时,也将为这些状态定义表示状态迁移的边,这些边就表述没有输出的自环。另一个不同的就是l o t s 中的状态集和迁移集都可能是无限的,而i o s m则都是有限的,因而i o s m 经常被作为有限状态机。有限状态机f s m 经常被用来描述协议实现。f s m 对于有限状态空间和可以确定的协议行为具有足够的描述表达能力,并且可以为测试人员提供最大的测试控制能力。简单的说,f s m 是l t s 的子集,只不过对于每一个状态迁移,一个输入对应一个或者几个( 也包括零个) 不同的输出。一个有限状态机吖是一个六元组:m = ( ,0 ,s ,s o ,j ,丑) ,其中,是输入符号集,0 是输出符号集,s 是状态符集,i 、0 、s 均为非空集合;s o 是初始状态;d :s x l 呻s 是状态转移函数:中国科学技术大学硕士学位论文第二章协议测试理论旯:s x ,斗o 是输出函数。状态转移函数占和输出函数五共同定义了状态的转换集合t ( 因此,有限状态机也可以看作是一个五元组m = ( ,o ,s ,s 。,丁) ) ,其中每个元素可以表示为一个三元组t = ,其中j ,s 称为转换f 的头状态,i 门口0 = a ( s ,i ) o分别称为转换f 的输入和输出,s = 5 ( s ,i ) s 称为转换t 的尾状态。我们用j ,坐i 表示有限状态机m 处于状态鼻时接受输入f 使状态转移到- 并且产生输出o 。当使用有限状态机模型描述一个协议规范时,状态是协议实体能够停留的稳定条件,输入是协议实体从外界接收到的报文激励或者内部产生的事件激励,输出是协议实体对外界的响应。2 1 2 2 形式化描述语言基于不同的数学模型,人们也提出了多种形式化描述语言( f d l ) ,概括起来主要有以下几种il o t o s ( l a n g u a g eo f t e m p o r a lo r d e r i n gs p e c i f i c a t i o n 时序规范语言) 、e s t e l l l ;( e x t e n d e ds t a t et r a n s i t i o n :l a n g u a g e 扩展的漱态转移语言) 和s d l ( s p e c i f i c a t i o na n dd e s c r i p t i o nl a n g u a g e 规范描述语言) 。其中,l o t o s 和e s t e l l e 是i s o 为协议o s i 模型应用开发的,但是也可以用于其他的领域。e s t e l l e的理论基础是有限状态机模型,但是经过p a s c a l 语言加以扩展的描述语言。s d l开始是由c c i t t 为描述交换系统开发的,它也可以用于其他的场合,它和e s t e l l e相似,是基于扩展的有限状态机模型,它主要是面向图形方式表达,同时也支持抽象数据类型。协议的形式化描述这一部分的工作非常重要,它的正确性将决定接下去的测试步骤是否有意义。2 2 一致性测试协议一致性测试是检查协议实现与协议规范是否一致的过程,是保证协议实现能够按照协议规范准确工作的重要步骤。一致性测试的研究最早于1 9 7 9 年由英国国家物理实验室( n a t i o n a lp h y s i c a ll a b o r a t o r y :n p l ) 展开。1 9 8 3 年,n p l开始了基于o s i 模型的协议形式化和一致性测试的标准化工作。法国的a d i 和7中国科学技术大学硕上学位论文第= 章协议测试理论德国d a r m s t a d t 的g m d 等也是最早的参与者。协议一致性测试经过2 0 来年的发展,取得了很大的进展。国际标准化组织i s o 专门制定了一个国际标准i s 0 9 6 4 6 o s l 的一致性测试方法与框架,这个标准的制定具有罩程碑意义。本文也主要以该标准为基础。2 2 1 协议一致性测试模型和方法论协议的一致性测试总的说来是指验证某个被测系统能否在特定的条件下正确执行协议要求的功能。一致性测试只依据被测系统的外部行为做出分析判断。它基于这样一个前提,即被测系统s u t ( s y s t e mu n d e rt e s t ) 被看成是个黑盒子,任何被测系统一致性测试的结果只与其对输入的响应有关,如图2 1 所示:图2 1测试系统与被测系统的关系i s o i e c 在i o s i e c9 6 4 6 一致性测试的方法论与框架结构( c t m f ) 标准【3 4 】中,对o s i 一致性测试过程作了详细定义。c t m f 曲七个部分组成,它包括了一致性测试概念的描述,测试套描述,测试系统结构,钡l 试表示,测试实现,测试方法以及溺试的组织结构的描述。根据i s o 佃c9 6 4 6 一致性测试方法论的规定,测试标准包括三个部分:抽象测试集( a t s ) ,协议实现一致性说明( p t c s ) ,协议实施附加信息1 ) 。可执行测试集f e t s ) 是在以上- - - 部分的基础上生成的。a t s 是测试软件的核心,其内容直接来自于规范,是描述测试过程的文本。每个a t s 规定某一标准协议的测试目的、测试内容和步骤,所以a t s 的形成决定了测试的质量。一个a t s 可以具有多个测试组,每个测试组用于为测试项提供一个过程安排,它们对测试集的规划、开发和执行起辅助作用。每一个测试组由若干个测试项组成,每个测试项又含有一系列测试步,测试集的最小单元是测试事件。其中,测试项是测试集的最重要的一级,每个测试项都有一个特定事件,例如证明被测协议实现i u t 具有某种要求的能力或某种要求实现的行为( 如当特定事件在某特定状态下发生时,i u t 所做出的响应) 。c t m f 将被测系统与外界中国科学技术大学硕士学位论文第二章协议测试理论的接口定义为控制观察点( p o i n t so f c o n t r o la n do b s e r v a t i o n :p c o ) ,通过p c o的激励和响应定义为抽象服务原语( a b s t r a c ts e r v i c ep r i m i t i v e s :a s p ) ,a s p 所封装的实际需传送的数据定义为协议数据单元( p r o t o c o ld a t au n i t :p d u ) ,需要有测试器激励地产生为实现测试目的所要求的a s p 或p d u ,观察i u t 在收到此a s p 或p d u 后的动作,验证其最终所处的状态,以确定i u t 的动作及处理是否符合规范的规定。由于整个测试集并不可能应用于所有的i u t ,必须执行一个测试选择程序用来决定一个测试项对某一特殊i u t 的可应用性。这种选择程序应该以协议实现一致性说i t j ( p i c s ) 和协议实现附加测试信息( p i x i t ) 为依据。一般而言,一致性测试集合应该具有以下分级式结构:测试集、测试组、测试项、测试步和测试事件。其中,每个测试项由前测试步、测试体和后测试步组成。每个测试步都是由一组有序的测试步或测试事件组成的,每个测试事件表示发送或接收一个帧或一个消息。后测试步图2 - 2 测试例的构成( 1 ) 前测试步把i u t 置到测试体所需的初始测试状态。( 2 ) 测试体是一个测试组中,对达到测试目的所必需的一组测试步。一个测试判定通过( p a s s ) 、失败( f a i l ) 或无结论( i n c o n c ) 将指出测试项的可能输出。( 3 ) 后测试步把i u t 从结束状态置回到一个稳定的空闲状态,空闲状态的选择由p i x i t 决定。在执行测试项的过程中,测试体通过控制观察点对i u t 的输入和输出进行控制和观察,并分析得到的输出是否与测试项预先规定的输出相一致,从而得到以下结论:中国科学技术大学硕士学位论文第= 章协议测试理论1 ) p a s s :表示得到的输出与抽象测试项描述中代表“通过”的输出之一相一致;2 ) f a i l :表示得到的输出与抽象测试项描述中代表“失败”的输出之一相一致;3 ) i n c o n c :表示得到的输出与抽象测试项描述中代表“无结论”的输出之一相一致或该输出与任何预计结果均不一致。根据所有测试项的执行结果,可以得到最后的有关被测系统是否具有一致性的结论。综合以上陈述,测试例的开发应该从明确测试目的着手,而测试目的的明确应当基于i u t 的相关协议规范,测试例指的是在一个特定的测试结构下,针对一个测试目的的实现的描述;即为了完成一个特定的测试目的,要求i u t 完成的一系列行为的描述。测试例应该包括前测试步,测实体,可选的终点状态验证步骤,以及后测试步。前测试步将i u t 从一个稳定状态引导至该测试例所需的起始状态;如果测试例到达的终态不是唯一的,就需要一个验证步骤来检查终点一状态。到达终态后,由后测试步将r u t 引导至另一个稳定的测试状态,同时为下一个测试例的执行复位。这样的测试例还只是抽象的测试例,可执行的测试例还需要结合具体的测试描述方法进行。具体的测试方法是测试的过程和测试设备的综合,它应当包括可执行测试例的生成,测试例的选择,测试例的参数化以及测试例的执行,如此构成一个完整的测试系统,也就是本文所研究的对象。图2 - 3c t m f 的一致性测试过程我们可以描述一个c n 仃的测试过程的概念框架,如图2 3 所示。1 0试方法中国科学按术人学硕上学位论文第二章协议测试型论2 2 2 测试结构1 s o i e c9 6 4 6 2 中规定了协议一致性测试的基本结构,如图2 - 4 。l ( n - 1 ) a s p g工u tit n 一- ,s e n m rp r 。v t 幽r t 一,图2 - 4 协议一致性测试的基本结构其中i u t 为待测协议实体,它通过观察控制点p c o 与外部环境交互,u t( u p p e rt e s t e r ) 为上层测试体,通过在f c o 上调眉i u t 提供的抽象服务原语( a b s t r a c ts e r v i c ep r i m i t i v e s :a s p ) 检测r l t 的行为,l t ( l o w e rt e s t e r ) 为下层测试体,它通过p c o 并经由n - 1 层服务提供者( s e r v i c ep r o v i d e r ) 发送n - i 层a s p 给i u t ,以支持i u t 的行动。在a s p 中可能承载协议数据单元p d u 。在测试期间l r 和u t 可以逶过测试协调过程( t e s tc o o r d i n a t i o np r o c e d u r e s :t c p )相互通讯。2 2 3 抽象测试方法i s 0 9 6 4 6 2 定义的测试方法有:本地方法,远程方法,分布方法和协同方法。测试系统设计对必须考虑对这四种涮试方法的支持。几种测试方法的差异主要体现在p c o 所处的位置上。如图2 - 5 所示。中国科学技术大学硕士学位论文第二审协议测试理论本地铡试摊罔铡试c m睡+ )s u tp d u 5一ju tl 丁p c c 以s p etp d u tp c d a s pi l r r( n - 1 ) s e r v i c e p # o “d 牲嚣韶铡试图2 5 协议一致性测试的四种基本测试方法1 本地测试法:l t l h 是在同一个系统中实现的, 1 p u t 位于测试系统内部,它与i i j t 问的p c o 为标准的硬件接口。这种方法的一个基本假设是在i u t 的上下边界都存在控制观察点p c o ( p o i n to fc o n t r o la n do b s e r v a t i o n ) ,测试系统可以宜接通过这些p c o 对i u t 的输入激励并且观察i u t 的输出响应,然后根据协议描述作出测试判决。本地测试是最简单的方法,而实际中更常见的情况是:i u t 的下边界不存在p c o 。因此要用以下几种方法来测试。2 远程测试法:远程测试法的主要特点是并不要求能访问i u t 的上边界。没有u t ,需要通过设置被测系统( s u t ) 来实现简单的u t 功能,假设i u t 的状态可由l t 通过( n t ) 层服务与之交换( n ) 层p d u 来确定。这种方法依赖于被测协议来实现i u t 和l t 间的同步。远程测试法在低层协议一致性测试中应用得较为广泛。3 分布式测试法:在分布式测试方法中,l t 和i u t 处于两个不同的系统之中,二者之间通过提供( n 1 ) 层服务的底层协议实现连接。l t 是i u t 的对等实体。u t 位于被测试系统内部,它与i u t 间的p c o 为用户界面或编程语言接口。和本地测试法相中国科学技术大学硕士学位论文尊二章协议测试理论比较,分布式测试法有以下几点不同:1 ) 必须修改基于本地测试法所设计的抽象测试集,以包含l 1 1 所使用到的底层抽象服务原语,而这些抽象服务原语和本地测试法中所用到的是互补的。2 ) u 、和i u t 物理上是分离的,因此对同- - n 试事件的观察变得不再同步。3 ) 由于t 和i u t 的通信是通过( n 一1 ) 层服务实现的,因此存在测试数据丢失、失序和出错的可能性。4 ) 由于l 1 1 和u t 分布在不同的系统,二者之间的同步和控制( 即测试协调过程) 比本地测试法要困难得多。4 协同测试法:u t 位于被测试系统内部,但u t 与i u t 间没有p c o 。u t 执行有关的测试管理协议( t e s tm a n a g e m e n tp r o t o c o l :t m p ) ,与l t 交换t m p 协议数据单元来实现t c p ( 测试协调过程) 。协同测试法与分布式测试法的区别主要有两点:1 ) i u t 的上边界不一定要有p c o 。2 ) 采用标准化的测试管理协议( t e s tm a n a g e m e n tp r o t o c o l ,简称t m p ) 和t i v l p d u 进行自动的测试管理和协调。一般采用l ,t 作为主控方,u t 作为被控方的设计方法以减少u t 的实现工作量。,到目前为止,协同测试法还有以下不足之处:1 ) 未定义出独立于任何应用的标准化的测试管理协议;2 ) 未对使用被测协议实现还是足够可靠的底层协议传送t m - p d u 提出建议,在目前已有的实现方法中,有许多基于t c p i p 协议实现方式的t m - p d u 传送,以用于高层协议的一致性测试。2 2 4 测试方法按照测试系统是否与待测实体有交互信息,在测试方法上可以分为主动测试和被动测试。主动测试是由测试者主动执行已设计好的一些测试序列,通过观察待测实体的输出是否和预期的输出一致来判定待测实现是否存在错误,其中最核心也是被研究的最深入的一个问题是测试序列的生成方法。测试序列来源于i u t应该表现出来的逻辑行为,因此它可以从协议模型中推导出来。由于协议本身可以抽象成数据描述以及作用在这些数据上的行为描述,因此协议一致性测试可以中国科学技术人学硕士学位论文第二章协议测试理论分为对控制流的测试以及对数据流的测试。对控制流的测试理论上相对成熟一些,目前常用的控制流测试序列生成方法都是基于f s m 模型 2 6 1 ,主要有;转换回路( t r a n s i t i o n t o u r ,简称t ) 方法”】,可区分序列( d i s t i n g u i s h i n gs e q u e n c e s ,简称d 或d s ) 方法,特征集合( c h a r a c t e r i z i n gs e t ,简称w ) 方法【2 0 l 和唯一输入输出序列( u n i q u ei n p u t o u l p u ts e q u e n c e s ,简称u 或u i o ) 方法f l ”,( 对于这几种常用的方法,在2 3 节中具体介绍) 。为了缩短测试序列的长度,在u i o 方法的基础上提出了很多改进的方法【2 l 】,基于w 方法提出了w p 方法f 2 如。也有一些方法是基于其他模型的,比如:基于p e t r i 网的方法t 2 3 1 ,基于约束满足技术的方法口卅等。数据流的测试都是通过某种分割式,将输入空间划分成若干子域,然后通过测试假设从子域中选取一些元素进行测试。数据流( d a t af l o w ) 测试最初用于软件测试,目的是检测被测数据对象的响应。数据流测试通常是基于数据流 ( d a t af l o wg r a p h ) 的,并且,数据选择的准贝l j :a l l - n o d e s 标准,a l l - e d g e s 标准和a l l - p a t h s标准等等。目前这种测试主要有:基于代数规范的f 2 钟,基于抽象数据类型的【2 6 l ,以及基于构造类别代数的 2 7 1 等。也有将数据流和控制流综合考虑的测试序列方法,比如基于e f s m 模型的【2 引,基于s d l 语言的【2 9 1 ,以及基于l o t o s 语言的 3 0 】。一- 致性测试中,为了得到高质量的致性测试的测试套,主要需要解决两个问题:其一,是要保证生成的测试集合能够确保一定质量的一致性检测结果。第二,是要保证生成的测试套需要包含足够的信息,以确保测试例可以得到执行。因而在测试套生成过程中,可以应用多种不同的方法来分别满足这些要求,以求得到好的一致性测试套。2 3 测试序列生成的形式化方法测试序列生成技术的形式化方法是自动化测试生成方法的基础,对实现测试系统的自动化或部分自动化具有重要的指导意义。因此,研究测试序列生成技术是协议测试系统研究中极为重要的部分。协议一致性测试时,测试系统向i u t 施加输入事件序列,接收校验输出事中国科学技术亢学硕士学位论文第二章坼议测试理论件序列,检查状态转换,根据输出事件和状态的转移,判定i u t 的行为是否符合协议规范的描述,其中的输入、输出事件序列叫做测试序列。测试序列说明i u t所应该表现的逻辑行为,因此它可以从协议模型中推导出来。目前,大部分协议测试序列的生成算法是基于f s m 模型的。基于f s m 的测试序列生成方法,在近十年的研究中主要有四种川:t 方法;w 方法;d 方法;u i o 方法。2 3 1t 方法t 方法又称转换回路法( t r a n s i t i o n t o u rm e t h o d ) ,是最简单的一种基于有限状态机的测试序列生成方法,它通过遍历状态机中每一个状态转移生成相应的测试序列。对图2 6 所示的有限状态机。通过t 方法可以生成的测试序列 a ,y ,b x ,a y ,a z ,c y ,b z ,a y ,a z a图2 6 有限状态机示例一t 方法一种最简单的实现是将随机的输入激励作用在有限状态机上( 无错的情况下) ,直至所有的转换都被遍历至少一次为止。但是这样生成的测试序列可能包含很多重复冗余的转换。另一种实现是借助于中国邮递员回路的求解,求解转换回路就是在对应有限状态机的有向图中求解一类特殊的中国邮递员回路( 即。每条转换至少出现一次) 。t 方法相对于其他基于有限状态机的测试序列生成方法具有简单、生成测试序列长度短( 使用中国邮递员回路问题求解) 的优点,并且这种方法仅要求有限状态机是强连通的,而不必完全定义,基本上可以用于所有的有限状态机。但是,这种方法在测试过程中只检查了转换的输出情况,没有检测转换到达的状态进行,因而错误检测能力很低。如图2 6 所示的有限状态机被实现为图2 7 所示的有限状态机,上述测试序列就无法检测出这个错误。中国科学技术犬学硕士学位论文第二章挤泼测试理论图2 7 有限状态机示例二2 3 2 基于特征序列的方法目前一致性测试方法都是先针对f s m 中的单个转换生成相应的测试子序列,再将这些测试子序列连接起来作为完整的测试序列。假设m 是一有限状态机m = ( l o ,s ,功,膨疆m 的一个实现,则针对转换,= 的测试通常包括以下三步:1 ) 将i u t 从初始状态置成状态j ,;2 1 向i u t 输入激励f ,接收并核对i u t 的输出事件o :3 ) 验证i u t 所到达的新状态是否s ,。通过以上三步得到转换t = 的测试子序列,记作t e s t ,它由三部分组成。第一部分将i u t 从初始状态置成状态j ,称之为桥接序列尸s ( 量) ( p a t hs e q u e n c e ) ,该序列可以通过宽度优先搜索得到:第二部分就是待测转换t 的输,u 输出i o i 第三部分验证i u t 所到达的新状态是否j ,采用的是特征

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论