（计算机科学与技术专业论文）ldp协议一致性测试研究与实现.pdf

国防科学技术人学研究生院学位论文摘要 随着计算机网络技术的迅速发展，网络协议日 趋多样和复杂，从而使得协议的开发面临越来越多的挑战。协议测试是保证协议实现质量的有效手段，测试包括四个方面:一致性测试、性能测试、互操作性测试和坚固性测试。其中一致性测试是协议测试的基础，旨在检测协议实现与协议规范的符合程度。 m p l s 技术是新一代的 i p 骨干网络技术，目 前正在大规模的推广使用中。标记分发协议l d p 是m p l s 最基本的信令协议，国 外十分重视对它的测试，己有多 个测试机构和测试系统生产厂家声称能够对l d p 协议进行多方面的测试。 本文首先对一致性测试进行研究，从l d p 协议规范中生成l d p 协议测试集。测试集的生成直接关系到测试的详尽程度，本文首先对l d p 协议进行了深入分析，使用了基于形式化模型的生成方法和基于测试目的的生成方法来生成测试集，并且对生成的测试集进行了覆盖率分析。 接着，本文选择了远程横断测试方法，并且基于a n v l 测试平台设计并实现了l d p 协议测试套。最后应用l d p 测试套对l d p 协议实现进行了一致性测试，对协议实现中的问题进行了分析。测试实践同时也证实了l d p 一致性测试各个环节的有效性。关键词:一致性测试，l d p 协议，有限状态机，测试集，测试方法国防科学技术大学研究生院学位论文abs t r act wi t h t h e r a p i d d e v e l o p m e n t o f c o m p u t e r n e t w o r k t e c h n o l o g i e s , n e t w o r k p r o t o c o l s a r e m o r ea n d m o r e c o m p l i c a t e d , m a k i n g p r o t o c o l d e v e l o p m e n t c h a l l e n g i n g w o r k . p r o t o c o l t e s t i n g i s a ni m p o r ta n t t e c h n o l o g y w h i c h e n s u r e s t h e q u a l i t y o f p r o t o c o l i m p l e m e n t a t i o n s . p r o t o c o l t e s t i n gh a s f o u r t y p e s : c o n f o r m a n c e t e s t i n g , p e r f o r m a n c e t e s t i n g , i n t e r o p e r a b i l i ty t e s t i n g a n d r o b u s t n e s st e s t in g . c o n f o r m a n c e t e s t i n g i s t h e b a s e o f p r o t o c o l t e s t i n g , a i m i n g a t v e r i f y i n g h o w t h e p r o t o c o li m p l e m e n t a t i o n s c o n f o r m t o p r o t o c o l s p e c i f i c a t i o n s . m p l s i s a n i p c o r e t e c h n o l o g y o f t h e n e x t g e n e r a t i o n . c u r r e n t l y i t i s a c t i v e l y d r i v e n t ow o r ld w i d e d e p l o y m e n t . s o m e f o r e i g n o r g a n iz a t i o n s p a y m u c h a tt e n t i o n t o t h e t e s t i n g o f l d pp r o t o c o l ,w h i c h i s o n e o f s i g n a l l i n g p r o t o c o l s o f m p l s . s e v e r a l i n s t i t u t e s a n d t e s t v e n d o r s h a v ec l a i m e d t h a t t h e y c a n p e r f o r m m u l t i - a s p e c t t e s t i n g o n l d p p r o t o c o l . t h i s p a p e r m a i n l y s t u d y o n c o n f o r m a n c e t e s t i n g . i t g e n e r a t e s l d p p r o t o c o l t e s t s u i t e a n di m p l e m e n t s l d p t e s t s y s t e m b a s e d o n a n v l . t h i s p a p e r f ir s t a n a l y z e t h e f e a t u r e s o f l d p .i tg e n e r a t e s l d p t e s t s u i t e b as e d o n f s m a n d t e s t p u r p o s e ,a n d t h e n a n a l y z e t h e c o v e r a g e o f t h e t e s ts u i t e . a ft e r w a r d s , t h i s p a p e r c h o o s e t h e r e m o t e t r a v e r s e t e s t m e t h o d a n d i m p l e m e n t l d p t e s ts y s t e m b as e d o n a n v l .a t l a s t , t h e p r a c t i c e o f l d p c o n f o r m a n c e t e s t i n g i s p e r f o r m e d o n t h el d p p r o t o c o l i m p l e m e n t a t i o n a n d t e s t r e p o rt i s g e n e r a t e d .t h e t e s t p r a c t i c e s h o w s t h a t e a c h p a rto f l d p c o n f o r m a n c e t e s t in g i s e ff e c t iv e a n d u s e f u l .k e y w o r d s : c o n f o r m a n c e t e s t i n g , l d p p r o t o c o l ,f i n i t e s t a t e m a c h i n e s , t e s t s u i t e , t e s t m e t h o d 1 1独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研宛工作及取得的研究成果。 尽我所知， 除了 又中 特别加以标注和致谢的地方外， 论又中不 包含其他人已经发表和撰写过的研究成果， 也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示谢意. 学位论文题目: l d p 协议一致性测试研究与实现学位论又作者签名:日 期 : 码 年 卜月 冲 日学位论文版权使用授权书本人完全了 解国防科学技术大学有关保留、 使用学位论文的规定 本人授权国防科学 枝术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档， 允许论又被查阅和借阅;可以将学位论又约全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印 或扫描等复制手段保存、汇编学位论又。( 保密学位论文在解密后适用本授权书。学位论文题目:学位论文作者签名:作者指导教师签名:国防科学技术大学研究生院学位论文图目录图2 1 测试工作流程4图4 1 横断测试方法2 2图4 2 动态的测试环境2 3图4 3 a n v l 平台结构2 3图44h a n d l e r 树2 4图45 测试套与a n v l 平台2 6图4 6 u ) p 测试套总体结构2 6图4 7 参考实现的结构3 8图4 8l d p 测试套初始化流程4 i图5 1 测试环境配置4 2图5 2 案例1 t 的运行记录，4 4图5 3 案例l5 的运行记录4 5图5 4 案例2 1 的运行记录4 7图5 5 案例2 9 的运行记录4 8图5 6 案例3 1 的运行记录5 0图57 案例4 2 的运行记录5 2国防科学技术火学研究生院学位论文表目录表3 1 基于f s m 的测试序列生成算法15表3 2 会话协商阶段的状态转换表，15表3 3i n i t i a l i z e d 状态下生成的测试序列1 1 6表3 4i n i t i a l i z e d 状态下生成的测试序列2 17表3 5 i n i t i a l i z e d 状态下生成的测试序列3 1 7表3 6 两个测试集统计2 0襄s l 案例11 描述4 3表5 2 案例ll 的运行4 3表53 案例15 描述4 4表5 4 案例i 5 的运行，4 5表5 5 案例2 1 描述4 6表5 6 案例2 1 的运行4 6表5 7 案例2 9 描述4 7表5 8 案例2 9 的运行4 8表59 案例3 1 描述4 9表5 1 0 案例3 1 的运行，4 9衷5 1 1 案例4 2 描述，5 0表5 1 2 案例4 2 的运行。5 1国防科学技术人学研究生院学位论文第一章 引言互 1 . 1课题研究背景 工 n t e r n e t 正在逐步扩展到各个国家、各个地区。i n t e r n e t 用户数量的指数增长，网络规模的飞速膨胀，已经是无可争辩的事实，i n t e r n e t 与网络正在对我们的生活发生着广泛而深远的影响。 然而， 对网络设计者和运营商来说， 工 n t e r n e t 的飞速发展可能并不那么激动人心。协议是网络建立和应用的基础， 其实现的质量直接影响到网络的运行效率和稳定程度，网络技术的复杂性以及网络技术本身的各种不完善性，使网络协议的开发面临着巨大的困难，从而也使得网络协议的运营和维护十分复杂和困难。如果让网络产品在互连之前先经过协议测试，就会使网络互连的准确性和可靠性得到相对的保障。基于这种需求，协议测试成为近年来非常活跃的领域。 近些年来，许多发达国家都投入了大量的人力、物力进行这方面的研究并取得了显著的成绩。本世纪八十年代，我国也开始进行了o s i 协议方面的研究工作，现在正逐步展开。 由于在多种产品共存的网络环境中，厂商更加关心它们的产品是否跟别的厂商互连，一般更多的是进行互操作性测试。然而，一致性测试是一个协议测试的基础，在不提供一致性测试的情况下就进行性能测试和互操作性测试，或者仅仅提供极其简单的一致性测试，不足以 验证其开放性和互连性。 m p l s ( m u l t i p r o t o c o l l a b e l s w i t c h i n g ，多协议标记交换)u 1 是下一代的i p 骨千网络技术， 是为了解决 i p 技术发展所面临的传输效率低、 无法保证服务质量等主要问 题而 提出的。国 际上对m rs 的 研究十分活跃， i e t f ( i n t e r n e t e n g i n e e r i n g t a s kf o r c e ，国际工程任务组)已经制定出了相关的标准l 1 。目 前，m p l s网络己经大规模地应用于大型骨干网中，m p l s相关技术也在积极地研究和开发中。为了保证 m p l s 设备运行的正确性和可靠性，国外对m p l s 进行了多方面的测试。 信令协议是m p l s的核心技术，其正确性直接影响到m p l s 各种服务和应用的可靠性。 在m p l s 各种技术快速发展的同时， 对信令协议进行一致性测试依然是一个值得重 视的问题。在国内，各测试机构测试的协议主要集中于路由协议和t c p / i p 核心协议， 还未见有关m rs 信令协议测试方面的论文发表。第 1 页国防科学技术大学研究生院学位论文 1 . 2课题研究内容 本课题的依托项目是 g f 8 5 1 6核心路由器。g f 8 5 1 6核心路由器是网络所 自行设计研发的高性能核心路由器。 在协议的设计开发过程中， 所属的测试组使用h a m m e r 公司的a n v l 测试平台。 对路由协议进行测试， 在测试过程中查找协议存在的问题， 有力地支持了各种协议的开发。同时自主开发w )1 试套，扩展a n v l的测试能力。 m p l s 的信令协议分为c r - l d p / l d p ( l a b e l d i s t r i b u t i o n p r o t o c o l ，标记分发协议) 和扩展r s v p ，两者都能达到流量工程的基本要求，并且各有优势，各有缺点。但是总体来看，c r - l d p / l d p较之扩展的 r s v p 信令协议是一种更为完善的技术，在我国的行业标准中，建议用 c r - l d p 作为骨干网上 i p实现 m p l s流量工程的主导技术川 。c r - l d p是在 l d p扩展的基础上得到的，l d p是 m p l s标准的信令协议，本课题将 l d p作为一致性测试研究与实现的对象。 本课题主要承担了l d p 一致性测试套的设计与编码工作，工作如下: 1 )协议一致性测试技术研究。对测试集生成、抽象测试方法、测试系统结构等一致性测试中的关键技术进行了研究。 2 ) l d p 测试集的生成。使用基于 f s m的生成方法和基于测试目的的生成方法来生成测试集，并且对生成的测试集进行覆盖率分析。 3 )基于a n v l 测试平台的l d p 测试套的设计与实现。 4 ) l d p一致性测试活动。用 l d p 一致性测试套对 l d p 协议实现进行测试，并对测试结果进行分析。 1 . 3论文结构 论文的内容共分六章。 第一章对课题的背景和内容进行了介绍，并简述本论文的内容安排。 第二章介绍了协议一致性测试技术，包括协议测试的基本概念、标准、抽象测试方法等内容。 第三章介绍了测试集的生成方法，使用基于形式化模型和基于测试目的的方法生成了测试集，并且对生成的测试集进行覆盖率分析。 第四章主要介绍了l d p 一致性测试套的设计与实现。首先根据l d p 协议特定确定了相应的测试方法， 然后重点介绍了基于a n v l 平台的l d p 一致性测试套的设计与实现。第2页国防科学技术大学研究生院学位论文第五章用测试套进行了实际的测试活动，并对测试结果进行了分析。第六章首先总结了本文所作工作，然后对将来的工作作了进一步展望。 1 . 4本文的研究成果 本文使用了基于形式化模型和基于测试目的的生成方法， 生成了l d p 协议测试集，并且设计和实现了l d p 协议测试套， 并对l d p 协议实现进行了测试。 以第一作者被 计算机工程与科学录用文章一篇。第 3 页国防科学技术大学研究生院学位论文第二章 协议一致性测试技术 2 . ，协议测试概述2 . 1 . 1 协议测试的基本概念 分布式系统之间存在大量的信息交换。 为了使得各个计算机系统成功地进行通讯，就必须为这种通信行为制定一组规则。协议就是用在分布式的计算机系统中，将各个不同部份连接起来的通信管理规范。各个计算机系统必须遵守协议，才能相互理解，实现自由、成功、可靠地通信。 为了使得来自不同厂家的系统能够成功地进行通信，必须有标准化的协议，这种需求导致了o s i 参考模型和t c p 八p 协议集的制定。随着计算机网络的普及， o s i 参考模型和t c p / i p 协议已被广泛地接受。 在过去十几年中， 越来越多的研究人员开始关注于协议工程和形式化技术在协议工程学领域中的应用研究。一体化的、形式化的协议开发过程叫做协议工程 3 ， ，它包含了协议设计过程中的各个阶段，使用形式化技术来加速和完善协议的开发过程，其技术可归结为五个方面:协议设计 ( 构造、综合、开发)技术、协议模型及形式描述技术、协议验证分析技术、协议实现技术、协议测试技术。 协议测试是协议工程的一个重要分支。研究协议测试理论的原因在于一个标准化的协议并不能确保该协议的实现之间能够成功地进行通信。因为协议标准基本上是使用自 然语言描述的、实现者对于协议的不同理解会导致不同的协议实现，甚至有时会是错误的实现。 因此需要一种有效的方法来对协议实现进行判别， 这便是“ 协议测试” 。2 . 1 . 2 协议测试的类型 协议测试一般包括四种类型: 1 )一致性测试:检测所实现的系统与协议规范的符合程度。 2 )性能测试: 检测协议实体或系统的性能指标( 数据传输率、 连接时间， 执行速度、吞吐量、并发度等) 。 3 )互操作性测试: 检测同一协议的不同实现版本之间、 或同一类协议( 如电子邮件协议x . 4 0 0 和s m t p ) 不同实现版本之间互通能力和互操作能力。 4 )坚固性测试:检测协议实体或系统在各种恶劣环境下运行的能力( 信道被切断、第 1 页国防科学技术大学研究生院学位论文通信技术掉电、注入干扰报文等) 。 协议测试中的一致性测试是一种“ 功能测试” ， 它依据一个协议的描述对协议的某个具体实现进行测试。在一致性测试中，只对协议实现的外部可观察行为进行测试，而不涉及到协议实现的内部结构。但是，单纯对一个协议的实现进行一致性测试并不能保证一个协议实现和另一个协议实现之间的成功通信，还需要将协议实现放在一个实际的通信网络环境中进行测试。在这种测试中，主要检测一个协议实现与其他系统之间交互作用的过程。 因此称为“ 互操作性测试” 。 一个协议实现能否通过一致性测试和互操作性测试是它能否入网与其他系统成功互通的决定性保障。另外，协议测试还可以对协议实现的某些性能进行测试，如健壮性、吞吐量等。2 . 1 . 3 协议测试的理论 协议测试理论 ， 包括了协议测试的整个过程，其主要研究的内容可以概括为测试组织、测试方法、测试生成、测试集描述、测试管理、测试执行和判决、测试结果分析等多个方面。 测试组织主要是针对整个协议测试过程进行框架性的研究，明确测试过程中各个阶段所应完成的功能;测试方法则是研究在被测试系统提供不同的可访问程度时，组成测试系统的多个测试器相对于被测系统的配置方法;测试生成主要关注如何从协议标准的描述中获得进行协议测试所需要的测试集:测试集描述的目的是寻找一种合适的语言或公式， 从而能以简洁、 通用和结构化的方式表达协议测试所需要的测试案例;测试管理的研究对象是如何管理和协调测试系统的各个组成部分， 以便成功完成测试;测试执行和判决是协议测试过程中的关键阶段，如何解释测试例的含义以及如何作出判决是它的研究内容，同时也是构造测试系统的基础;测试结果分析是协议测试过程的最后一个阶段，研究如何从测试结果中分析生成测试报告并得出被测的协议实现的结论。 2 . 2协议一致性测试2 . 2 . 1 一致性测试的标准化 协议测试理论经过十几年的发展，在许多方面都取得了很大的进展，其中最为成熟的是关于协议一致性测试的理论。 9 0 年代，国际标准化组织 i s o专门制定了一套国际标准工 s 0 9 6 4 6 。它的诞第 2页国防科学技术大学研究生院学位论文生，是协议一致性测试领域的重要里程碑，它为协议的一致性测试提供了基本方法和框架，为测试集制定了设计步骤和描述方法，并为测试系统的实现提供了指导。i s o / i e c - 9 6 4 6 描述了一个通用的方法论， 用以测试一个声称实现了某一o s i 协议的产品与相应的协议标准的一致性。这个标准由五个部分组成:1 )基本原理:2 )抽象测试集描述:3 ) 树表结合表示法:4 )测试实现:5 )一致性判定过程对实验室和客户的要求。 这个国际标准的建立可以追溯到八十年代早期，欧洲的许多研究机构开始在建立标准化的协议一致性测试活动方面进行合作，其目的是指定一个在 o s i 框架内进行协议一致性测试的指导标准. 最初的参与者包括法国巴黎的a d i ， 德国d a r m s t a d t 的g m d和英国的国家物理实验室 n p l 。这些研究机构在这之前分别关注于一致性测试的不同方面的研究。a d i 设计并实现了一台x . 2 5 协议测试仪;g m d 开发了一种针对 i s o 会话层协议进行测试的测试系统;n p l实现了一个用来对网络服务进行测试的测试系统。美国的国家标准和技术局n i s t由于成功研制了i s o 传输层第四类协议的测试系统。 所以后来也被邀请参加了这一合作项目。 到 1 9 8 4 年， 又有更多的来自欧洲和北美的研究人员加入到这一合作研究之中。 这一合作项目的许多早期研究成果曾在工 f i p 主办的协议描述、 测试和验证会议 p s t v的第一至第五次年会上发表， 它们包括: 各种测试结构，测试语言，各种测试方法的可行性，测试序列的自动生成等等。这些研究成果及其所采用的术语有许多在 工 5 0 指定的协议一致性测试标准i s o 月e c 9 6 4 6 中采用。 这个标准是针对使用自然语言描述的协议的测试而制定的，由七个部分组成: 1 ) i s o / i e c 9 6 4 6 - 1 :基本原理 2 ) i s o / i e c 9 6 4 6 - 2 :抽象测试集描述 3 ) i s o / i e c 9 6 4 6 - 3 :树表结合表示法t t c n 4 ) i s o / i e c 9 6 4 6 - 4 :测试实现 5 )工 s o / i e c 9 6 4 6 - 5 :一致性判定过程对实验室和客户的要求 6 ) i s o / i e c 9 6 4 6 - 6 :协议框架测试规范 7 ) i s o / i e c 9 6 4 6 - 7 :实现一致性说明2 . 2 .2 一致性测试过程协议一致性测试工作流程如图2 . 1 所示。协议规范以及服务规范都由i s o 颁布。协议一致性测试所进行的工作分为四步1 3 1 ， 第一步:根据协议规范、 服务规范确定测试目的:第二步:生成并描述测试集;第三步:按测试集对 i u t 进行测试，这就要建第 3页国防科学技术人学研究生院学位论文立一个测试执行系统;第四部: 根据测试记 录参照 p i c s ( p r o t o c o l i m p l e m e n t a t i o nc o n f o r m a n c e s t a t e m e n t ， 协议实现一致性陈述) 和p i x i t ( p r o t o c o l i m p l e m e n t a t i o ne x t r a i n f o r m a t i o n f o r t e s t i n g ， 协议实现测试的附加信息) 对 t u t ( i m p l e m e n t a t i o nu n d e r t e s t ，被测实现)进行评估，并给出测试报告。图2 . 1测试工作流程2 .2 . 3一致性测试级别 一致性测试可分为四个级别: 1 )基本互联测试:对 i u t进行限定性测试，主要是有关协议的基本特征，主要钡 11试是建立互通的可能性，以确保一致性测试进行。 2 )能力测试:用来测试静态一致性要求和 p i c s 上声明的能力。 3 )行为测试:在 i u t能力范围内，尽可能多的提供动态一致性要求中的理解性测试。 4 )一致性分解测试:进行更深一层的对特殊要求的i u t 的一致性测试，用以提供对特殊一致性问题的明确回答和诊断性信息，比如:测试非标准的性能等。工 u t的行为测试分为b . c . d 三大组，每个大组包括许多小组，每个小组的测试目的可能要由多个测试序列来实现。 b . i u t 对合法行为的响应 测试序列以及测试数据根据协议规范是合法的第 4 页国防科学技术人学研究生院学位论文b i 注重于向 工 u t 发送什么b 1 . 1 连接建立阶段b 1 . 1 . 1 每个状态下改变测试事件b 1 . 1 . 2 改变定时时钟之值b 1 . 1 . 3 改变单个协议参数值b i . l . 4 改变 p d u ( p r o t o c o l d a t a u n i t ,b i . 1 . 5 多个参数值的组合改变b 1 . 2 注重于从 i u t 接收什么 ( 类同于 b 1 . 1 。略)b 1 . 3 注重于与 i u t的交换 ( 类同于b 1 . 1 ，略)b 2数据传输阶段 ( 类同于 b 1 . i ，略)b 3 连接释放阶段 ( 类同于b 1 . 1 ，略)c . i u t 对语法上不合法行为的响应测试序列所根据的协议规范是合法的，c l 联接建立阶段c 1 . 1 注重于向i u t 发送什么c 1 . 1 . 1 每个状态下改变测试事件协议数据单元)编码之值但是测试数据是非法的 c 1 . 1 . 2 改变p d u 编码之值 c 1 . 1 . 3 改变单个协议参数值 c 1 . 1 . 4 多个协议参数值的组合改变 c 1 . 2注重于请求 工 u t 发送什么 c 1 . 2 . 1 单个不合法参数值 c 1 . 2 . 2 多个不合法参数值的组合 c 2数据传输阶段 ( 类同于c 1 . 1 ，略) c 3 连接释放阶段 ( 类同于c 1 . 1 ，略) d . i u t 对不合适事件的响应一一一一一不蔽履下一一 一 -国防科学技术人学研究生院学位论文不合适事件为异常事件，对协议规范来说，它是不合法的d 1 . 1 注重于向i u t发送什么d 1 . 1 . 1 每个状态下改变测试事件d 1 . 1 . 2 改变定时时钟之值d 1 . 1 . 3 改变单个协议参数值d i . 1 . 4 改变p d u 编码之值d i . l . 5 多个参数值的组合改变d 1 . 2注重于请求 i u t 发送什么 ( 类同于d 1 . 1 ，略)d 2数据传输阶段 ( 类同于 d 1 . 1 ，略)d 3 连接释放阶段 ( 类同于 d i . 1 ，略)2 . 2 . 4 抽象测试方法 测试方法 3 ， 是以p c o ( p o i n t o f c o n t r o l a n d o b s e r v a t i o n ，控制观察点)在o s i参考模型中的位置来定义测试器对 i u t的访问模型。p c o是测试器对 i u t进行控制与观察的点，它可以是协议的 s a p s ( s e r v i c e a c c e s s p o i n t s ，服务访问点) ，也可以不是。 一个测试器一般有两个p c o ，一个对应工 u t 的u t ( u p p e r t e s t e r ，上测试器) :另一个对应于 i u t 的下层访问点，测试器中对应此p c o 的部分称为l t ( l o w e r t e s t e r ,下测试器) 。 在 i s 0 9 6 4 6中标准化的测试方法有本地测试法、 分布测试法、 协调测试法、远程测试法。在实际测试工作中，分布式测试法和远程测试法较为常用。 o s 工的协议一致性测试方法使用了在特定点对被测实现的层间服务原语和协议数据单元进行控制和观察的原理。抽象测试方法不同的控制观察点依据的设置，分别定义了本地测试和外部测试。本地测试适用在产品内部测试，外部测试适用于远程的第三方测试。现在的一致性测试多是外部测试。外部测试还可以进一步分成分布式、协调式和远程式，每一种又可以根据不同的测试条件分为单层的，多层的或嵌入式的。对于外测试法而言，必须依据t m p ( t e s t m a n a g e m e n t p r o t o c o l ， 测试管理协议)来协调测试和定义测试交互进程。对不同的外地测试法可以有不同的 t m p 。每种抽象测试方法可以用两个抽象测试功能描述，即由测试协调过程联系起来的 u t和 l t 。工 u t则位于一层或多层己经过测试的协议实体之上 ( 称其为服务提供者) 。 抽象测试方法的选第 6页国防科学技术大学研究生院学位论文择依赖于被测协议实现的上下边界的可访问性。下面，分别介绍这四种抽象测试方法。2 . 2 . 4 . ， 本地测试方法本地测试法是协议一致性测试中的最重要的基本方法，因为它说明了许多抽象测试方法中用到的术语和概念。这种测试方法对应于传统的软件测试，测试执行系统的u t . l t 和i u t 同处在一台机器中，l t 和u t 分别对应于i u t 的上下接口，作用在i u t 上下接口 处通过交换测试事件来 视察i u t 的 行为， 测试的协调过程用于协调l t 和u t 的动作。 这种测试方法的好处就是测试不需要底层通信系统的支持， u t和l t的测试协同过程很容易。当协议的一致性测试有独立的第三方进行，或者测试器与i u t位于不同的地点， 常有的问题是无法对i u t的下边界进行直接的访问， 这时， 本地测试系统就不适合使用。因为这种情况下要使测试系统与被测协议之间无缝接合有一定难度，被测协议在上层协议以及下层协议之间都需要一个p c o， 这就需要测试者清楚地了解协议系统的实现，熟悉上下层协议之间的交互，才能正确地设立控制和观察点。 2 . 2 . 4 . 2 分布测试方法 这种方法对应的结构中， i u t和u t处于同一台机器中， 而l t分布在其他的机器中。l t和 i u t借助于 ( n - i )层服务交换报文，它们之间的 p c o从 i u t转移到 l t中。这种结构由于u t和l t分布在不同的机器中，通过i u t间接通信， 所以u t和l t之间的同步有一定困难，就是通过测试集来进行同步直接导致测试执行存在难度.有人尝试提出同步测试集，。但是由于有些协议并不是严格的同步，所以如果分布测试结构没有协同，任何一个测试集都不能保证完整错误覆盖。 与本地测试法相比较，分布式测试法有以下不同: 1 )必须修改基于本地测试法所设计的抽象测试集， 以便包含 l t 所使用到的底层抽象服务原语，而这些抽象服务原语和本地测试法中用到的原语是互补的。例如如果在本地测试法中l t 发出的指示类原语，则在分布式测试法中l t 应发出原语。 2 ) l t 和工 u t 在物理上是分离的， 因此对统一测试事件的观察在时间上会产生差异; 3 )由于l t 和i u t 的通信是通过 ( n -1 )层服务实现的，因此存在测试数据丢失、失序和出错的可能性; 的 由于上l t分布在不同的系统， 二者之间的同步和控制 ( 即测试协调过程)比本地测试法要困难的多。第 7 页国防科学技术大学研究生院学位论文 在分布式测试法中，测试协调过程可以用 p c o 处交换的a s p ( a b s t r a c t s e r v i c ep r i m i t i v e s ，抽象服务原语)来说明，也就是说上l t 之间的协调是通过 工 u t 实现的，所以测试判决是基于 l t 所观察到的行为作出的。 2 . 2 . 4 . 3 协同测试方法 协同方法和分布方法很相似，两者的根本区别是协同方法引入了一个协同协议t mp ， 这个协议用来协同或者同步u t和l t 。 这样就弥补了分布测试方法中不能协同的问题，但是同时增加了测试系统的复杂性。 与分布式测试法相比，协调测试法主要有以下两点区别: 1 )工 u t的上边界不一定要有暴露的访问接口; 2 )采用标准化的t m p 和t m p d u s 测试管理协议的数据单元) 进行自 动的测试管理和协调。 一般采用 l t 作为主控方， u t 作为被控方的设计方法以减少u t的实现工作量。 协调测试法是最复杂的一种抽象测试方法，它要求在上下测试器之间存在高度的测试协调，并在上下测试器中对所收集和观察到的信息进行报告。上下测试器之间的通信可以是 “i n - b a n d ”方式的 ( 即通过被测协议传送 t m - p d u s ) ，也可以是 o u t - o f - h a n d ”方式的 ( 即使用一个足够可靠的底层协议来传送t m p d u s ) 。到目前为止，协调测试法还有以下不足之处: 1 )未定义出独立于任何应用的标准化的测试管理协议; 2 )未对使用 “ i n - b a n d ”还是 “ o u t - o f - b a n d ”方式提出建议，在目 前已 有的实现方法中， 有许多基于t c p / i p协议实现“ o u t - o f - b a n d ” 方式的t m - p d u s 传送式的t m - p d u s传送，以用于高层协议的一致性测试。 2 . 2 . 4 . 4 远程侧试方法 有些情况下， i u t嵌入到一个复杂的系统中， u t不能放到这个系统中， 这样就引入了远程测试方法。 在这种测试方法中， 没有u t ， 因此不需要u t和l t之间的协同。远程方法适用于被动式协议实体或者服务型协议实体的测试。这种测试方法一般的测试过程都是通过触发协议使之有一定的反馈或者没有特定的反馈来判定协议。 在这种测试方法中，l t和 i u t借助于 ( n -1 )层 a s p交换报文，反馈信息由n层p d u实现。 这种测试系统的好处是可以不考虑协议实现， 只是根据协议说明来判定i u t是否实现协议规定。但是不利的是由于底层一些协议并不会给出可以判定的反馈，所以它并不适用于此类协议。这个测试方法对于高层的路由协议测试十分有效。第 8 页国防科学技术大学研究生院学位论文 由于这种测试方法和上面提到的分布式测试方法的测试系统都分布在不同的机器中，可以通过远程来访问。通过这些测试方法可以建立测试中心来实现通过公共数据网络进行协议一致性测试。 2 . 2 .4 . 5中继系统的测试方法 上述讨论的方法只适用于端系统的测试，对于中继系统的测试可以采用闭环测试方法和横断测试方法。和远程测试一样，中继系统的测试也不需要u t . 2 . 3国内外测试研究与活动现状 网络技术和网络应用的蓬勃发展，使得人们愈来愈重视网络协议的测试。目 前，国际上的协议测试在 i s o 方面开展的比较多，伴随着 工 n t e r n e t 的迅速发展t c p 肛p 协议测试也渐渐受到了重视，并逐渐开展起来。下面将主要介绍一些国际著名的实验室和测试厂家的研究现状以及国内的研究活动。2 . 3 . 1美国新罕布什尔大学的互操作实验室 新罕 布什尔大 学于1 9 8 8年开 始m 建互 操作实 验室 lb l ( i n t e r o p e r a b i l it y l a b s , 简 称i o l ) ， 目 前己能为7 0 多个厂商提拱互操作性和一致性方面的测试。 其测试的产品包括:a t m ， 快速以 太网( l o o b a s e _ t ) , f d d i , f i b r e c h a n n e l , i n t e r n e t p r o t o c o l ( i p v 6和o s p f )网络管理， t o k e n r i n g和无线网。 工 o l实验室的主要目的有两个:一是为计算机厂商提供测试服务;二是为本校提供教育和训练机会。 1 9 9 7年，i o l又提出了一项新的计划一一技术验证计划t e c h n o l o g yv e r i f i c a t i o n p r o g r a m ( t v p ) ， 其中心思想是为新的通信范例或者说新的通信技术提供一套完整的度量手段来验证该范例或技术的成熟性，从而避免有些产品在技术成熟之前就被投放到市场。当某个通信范例或技术符合计划中所列出的一系列标准或尺度之后，便授予该范例一个 “ 己验证”状态，类似于为产品盖一个 “ 合格”的印记，表示该范例或该技术已经比较成熟， 能够应用于市场。 t v p 在其一般框架中定义了技术成熟的五个基本元素: 1 )标准是完整且稳定的; 2 )必须有实现该范例的产品: 3 )必须有管理该范例的产品:第 9 页国防科学技术大学研究生院学位论文4 )必须有测试技术来保证一致性的判定:5 )符合一致性要求的产品必须能够演示其互操作性。2 .3 .2美国国际标准与技术部 美国 国 际 标准与 技术 部( n a t i o n a l i n s t i t u t e o f s t a n d a r d s a n d t e c h n o i o g y ，简称n i s t )从8 0年代中后期开始建立信息技术实验室 i ( i n f o r m a t i o n t e c h n o l o g y l a b o r a t o r y ， 简称i t l ) ， 软 件诊断和一致性测试是其中一个研究方向。 测试方面初期的研究主要集中于对o s i协议的一致性测试，在协议测试环境和测试系统的研究上达到了 较高水平。 随着网络技术的不断进步， 特别是i n t e r n e t技术的迅速发展， i t l也逐渐开始把研究方向转到t c p / i p和高速网络的测试上来。 目前其正在进行一项关于i p v 6技术研究的计划，对i p v 6的一致性测试是其中一个重要的组成部分。 测试的目标是建立一个i p v 6的测试床， 该测试床由多个实现组成，通过测试了解i p v 6各个侧面的技术细节，从而为整个研究计划奠定基础。2 .3 . 3 清华大学的网络实验室 八十年代， 清华大学网络实验室8 开始进行o s i 协议方面的研究工作。其“ 八五”攻关项目一“ 协议一致性测试系统p c t s ” 能够支持计算机网络各主要o s i 协议的一致性测试。 “ 九五” 攻关项目中协议测试又被作为主要的研究方向之一， 其开发的“ 协议集成测试系统”p i t s 主要用于测试各种进网和组网设备的协议实现与计算机网络标准协议的一致性，判断其与计算机网络互连和互操作的能力，适用于网络管理部门的一致性测试中心和各个网络用户。p i t s 使用了形式化的方法和工具，由用户界面、测试组织与管理、测试生成、测试执行、公用软件支持、测试结果分析与测试报告、参考实现、响应器和响应器驱动构成。 目 前该实验室己 经开发出了t c p , u d p , i p , p p p 、 工 c m p , s m t p 等t c p / i p 协议族的多 个协议的测试套 iu - 15 ， 同时 还开发出了r i p , o s p f 和b g p 等路由 协议的测试套c is -18 ) 。主要完成了 形式化的描述语言、测试集自 动生成 z u - 2 z 1测试方法【 z a l测试组织和管理川 等方面的研究。2 . 3 . 4 其他组织 国内外的一些公司长期以来为通信和网络产品提供测试和测量系统、 设备和器件，原来主要对通信协议和设备进行测试， 现在对o s i 和t c p / i p 协议族协议以及下一代网第 1 0 页国防科学技术大学研究生院学位论文络协议的测试也进行了足够的重视。这样的测试公司包括 t e l c o r d i a , n e t t e s t ,a g i l e n t 、 工 x i a , a c t e r n a 等。 它们的 产品可以 进行一致性测试、互 操作测试、 性能测试、模拟以及实时捕获和分析测试数据。 本文所用到的a n v l 测试系统就是由h a m m e r 公司开发的，a n v l 测试系统为2 5 0多家公司的网络产品进行了协议一致性和互操作性测试。 测试的产品包括交换机、 v p n产品， 远程访问服务器和路由器， 有 3 c o m , c i s c o , l u c e n t , n e w b r i d g e n e t w o r k s ,n o r t e l 和工 n t e l 公司等使用这个系统对它们的产品进行测试。 国内其他一些大学和机构如中国科学院计算技术研究所、内蒙古大学计算机学院等也纷纷对协议测试进行研究【 2- 2 r ， 有的开发出了自己的测试系统2 9 1 ， 对网络协议进行第三方评测。第 1 i 页国防科学技术大学研究生院学位论文第三章 l d p 测试集生成 3 . ，测试集生成方法 测试集的生成是一致性测试的第一个阶段。测试集是一组关于协议测试步骤和测试数据的文件。每一个测试集都有固定的层次，依次是测试组、测试例、测试步、测试事件。 其中最关键的一级是测试例， 每一个测试例都有自己的测试目 标， 如检查i u t是否满足特定的能力 ( 如支持某种消息格式) ， 或展现出特定的行为序列 ( 如在特定的状态出现特定的事件) ，并根据i u t 的响应对其行为作出判决，得出结果。多个测试案例可以构成测试组，每个测试组都有与之相联系的测试目的，它是所有构成测试案例的测试目的的集合。测试案例还可以由模块结构测试步组成，每个测试步又包括几个测试事件，而测试事件才是测试集中不可分的单元。 从测试角度来看，测试集的设计和生成是影响测试的重要因素。测试集生成的方式有两种:基于形式化模型的自动生成方式和基于测试目的的生成方式，前者是测试生成的理想目标，可以将科研人员从繁重的测试集编写工作中解放出来，后者符合人的思维习惯，依靠手工实现。 学术界提出了多种基于形式化模型的测试例自 动生成方法【 7a - 7 2 ， 有许多科研人员在此基础上致力于测试集自动生成工具的研制与开发，但是收效不大。 测试集的生成基本上还是采用基于测试目的的方式。人们归纳了测试协议常见的需要测试的内容， 将它们归结为特定的测试目的， 不同的测试目的之间可能相互重复，产生一定的冗余，但总起来说提供了比较好的测试覆盖，常见的测试目的有: 1 )能力测试 2 )正确行为的行为测试 3 )语法错误的行为测试 4 )不 合时