符合性测试和互操作性测试的相关性第2版

1、符合性测试和互操作性测试的相关性（第2版）符合性测试和互操作性测试的相关性（第2版）栏目编辑：闰小梅E-mail: HYPERLINK mailto:yanxmcesi.ac.ca yanxmcesi.ac.ca符合性测试和互操作性测试的相关性（第2版）TheRelevanceofConformanceTestingandInteroperab_?tyTestingETSlAnthonyWiles（法国）FSCOMScottMoseley法国）PQMConsultants,UKSteveRandall（英国）中国电子技术标准化研究所郭楠吴东亚编译摘要传统上讲，符合性测试主要用于电信产业，而互操

2、作性测试主要用于国际互联网络.这两种测试方法存在各自的优点和缺点，结合使用两种方法，能 够使测试过程的效果达到最大化；同时还介绍了欧洲电 信标准研究院（ETSI）的标准化活动.关键词互操作性测试符合性测试欧洲电信标准研究院PlugtestAbstract:Traditionally,conformancetestinghas beenthedomainofthetelecommunicationsindustrywhile interoperabilitytestinghasmainlybeenlimitedtotheInternet world.Thispaperdiscussestheme

3、ritsandshortcomingsof eachapproachandshowsonewaytheycanusefullybecombinedtomaximisetheeffectivenessofthetestingprocess. ThispaperalsopresentsETSIstandardisationactivities, Keywords:interoperabilitytesting;conformance testing;ETShPlugtest1背景电信产业需要不同种类的基础规范和标准来保障产品的功能性，彼此之间的互操作性，安全性和对标准的符合性.任何有效的标准化活动

4、都需要测试规范来支持这些基 本需求.如果没有测试规范，产品的功能必定有所欠缺，不 能和其他产品互 操作，是不安全的并会导致法律责任.电信产业界为了开发和维护他们的产品和服 务,采用了多种测试方法，包括：集成，性能，压力，负载，电磁 辐射，电气安全，机械 强度，符合性和互操作性.对欧洲电信标准研究院（ETSI）而言，测试活动受控于 协 议测试规范.但是，由于不同的原因，我们看到互操作 性测试产生了新的，有意义的 影响.ETSI持续的Plugtest服务成功地证明，互操作性测试的概念已经被产业界所 接 受.目前许多观点认为互操作性测试可以有效地替代符合性测试，并且可以明显的节省花费和时间.本文还将

5、介绍产业界关于互操作性测试与符合性测试的观点，并阐述ETSI关于两种测试的定义和方法论，分 析他们的优点和缺点，结果将表明：互操作性测试与 符合 性测试的目的不同.只进行一种测试并不能保证互操作性，所以好的工程实践 需要两种测试来保障基础协议要求的互操作性.我们进而断言，符合性测试在完成有效的，严格 的互操作性测试中是必要的.2互操作性测试事实上，虽然产业界对互操作性测试存在普遍的认识，但是对于互操作性的定 义还不能达成一致.直至现在，互 操作测试仍被普遍认为是相当不正规的原型设备 之间的互 连，目的是为了产品调试和技术改进.InteropEvent, PlugtestS 和bakeoffs

6、部属于这一类.目前，互操作性测试的方法是设备商将他们的产品拿到某个地方集中，在那里提供了合适的网络设施，如图1所 示.设备被连接在网络上,通过手动设置，两个或多个设 产品5图1典型的bake-off连接设置本文系“十五国家科技攻关计划重点项目：认证认可关键技术研究与示范 (2005BA909B).信息技术与标，幕化2007年第5期备商试图使他们的产品通过通信来实现特有的连接功能.这些测试的成功或失 败的信息被用来提高产品设计或者作为对基本的标准化活动的反馈，以提高它们的技术能力.图1为典型的bake-off测试设置，不同设备商提供 的一些产品连接到 中心网络中.图1显示了产品2,3,6的 制造

7、商统一进行一些公共功能的互操作性检 测的场景，而设备1,4,5之间的测试能够同步进行.这种类型的测试对于提高产品的稳定性和产品技术的提升是一种非常有效的方法.但是,它不提供产品符合任 何标准的证明，也不表明产品完全符合标准所必需 的互操作性要求.市场对于保障互操作性的要求逐渐引起了电信设备商，运营商对基于正规测试 的认证和贴标活动的兴趣.这种测试不仅依赖于采用预先定义的覆盖所有可能功能 的互操作 性测试套，而且依赖于产品与特定协议标准的符合性测试，并且这一测试 是互操作性测试的必要条件.3符合性测试符合性测试的目的是确定特定标准的实现与本标准单独需求的符合程度.在过去的10年内,ETSI技术体

8、已经开发 出针对关键技术的符合性测试规范， 如,GSM,UMTS, DECT,1NAP,TETRA,ISDNBSDN/ATM,HioerLAN/2,VB - 5,FSK和 V01P（H.323/SIP）等.ETSI 测试规范是根据已经被 证明的ISO/IEC9646信息技术开放系统互连一致性测试方法和框架标准 中的 符合性测试方法来开发的，如图2所示.f测试人员l图2对于符合性测试的通用模型（基于 Iso/IEC9646）在图2的符合性测试结构中，有两个主要的部件：包 含被测实现（1UT）的被测系 统（SUT）和测试手段（MOT）. IUT 一般是一个单独的协议，虽然SUTfe含多个协议层，

9、但一次只用一个符合性测试套测试其中的一层.2?7年第5期根据IUT的结构和测试过程中访问的接口 ，MOT至少 有一个测试器，它还处理测 试结果的协调，日志和报告.从SUT连接到测试器是通过一些通信手段（MOC发现的. 例 如,当一个第，层的协议连接到一个单独的测试器时，MOC可能是,一 1层的协议 栈.在真实测试环境中，测试器可能是分布式的，执行的测试程序或者脚本在 ISO/IEC9646的术语中称为测试例，测试例的全集称为测试套.ETSI开发出利用标 准化的测试 语言TTCN写的抽象测试套（ATS）,TTCN语言能够 在不同种类的实际 测试系统中编译并运行.图3是对网络部件（和终端设备（进行

10、测试的说明.删试系统做测系统测试系统 被测乐统o（a）【I】元袭的符台删试（b）终端改备的符合性测试 图3标准符合性测试的 说明在每一种情况下，对于组成产品的不同协议部件可以有不同的标准符合性测试 套.产品作为一个完整的系统不可能只用一个单独的测试套来完成测试.图3中的虚线表 示测试接口，包括产品内部的标准化协议接口和测试系统的接口.符合性测试方法ETsI采用的ISO/IEC9646方法论,最初的目标是 协议测试,还能应用于其他的 被动系统，例如，服务和API的黑盒测试.为了简单起见，我们主要考虑协议的标准 符合性测试.ISO/IEC9646推荐的测试规范内容包含以下一些文档：从相关的基础标准

11、中推 导出的测试套结构和测试目的（TSS&TP）.他们提供非正式的，针对每一个测试 的易 读描述，更关注测试的意义而不是具体实现细节.每一个 测试目的专注于基础 标准中的一个特定需求或者几个需求的混合体.他们一般在详细的协议层上定义，可能指出协 议信息，状态或者性能.最终，测试目的根据恰当的规则 组成逻辑测试 套结构（例如：基本互连，错误处理，协议功 能等）.抽象测试套（ATS）是测试例的全集.每一个测试例给 出了测试目的的详细编码， 一般用测试规范语言完成，例 如:TTCN.实现符合性声明0CS柱嵌入在SUT的被测实现支持的性能的表格.它提供了 产品实现的特征，性能，功能http:H和可选项

12、.ICS能够用来对测试例进行选择和参数化，并作为不同产品之间基本 互操作性的指示器.测试用实现额外信息（IXIT）包括对于测试必要的附加信 息（例 如：专用地址，定时器的数值等）.ATS使用适合于现代测试工具平台（C+,.Java等）的TTCN译器，可以快速，容易地实现可执.15lJ试套（ETS）.运行时的支持 （如：信息编/解码，测试控制和适 应层）需要在现实测试系统中实现.ISO/IEC9646不只是定义上述的测试规范，它有7个部分的系列标准，包括了测 试实现（可执行测试），测试实验室的需求和协议轮廓测试规范的开发等.符合性测试特性因为符合性测试器对发送到IUT的协议信息的序列和内容保持高

13、度的控制，这 样就可以很好的理解符合性测试的范围，包括期望的和不期望的（无效的）./5-为，协议设计必须考虑在百万次事例中偶然出现一次的事件，这种偶然事件不能（故意 地）在互操作性测试中产生.图4表示了一个完整的系统（产品），它的一些部分用不 同的标准来实现.用方 框A,B,C,D来表示.图4符合性测试的范围符合性测试时，分别测试绿色的阴影部分（区域），测试程度的深浅依赖于测试 套的质量和广度.在一个受控的，一定范围的人工的环境中，通过测试 特定的需求，符合性测试的 测试方式范围很窄但是程度很 深.它不测试整个系统，也不测试系统在真实环境中 和其他系统的互操作性如何.符合性测试中的一个问题就是

14、昂贵的开销.事实上，当它和官方的，低效的第三 方测试计划有关时可能确实如 止匕.但是，目前已经不再是这种情况了 .ETSI使编写 测试规范的过程更加有效，同时使测试套本身关注于测试实质性内容，我们称之为为了互操作性的符合性测试.因为 测试规范是ETSI技术成员体的专家组完成的， 开销分摊信息技术与标准化在ETSI的成员中.ETSI测试规范的需求量正在持续增力口，经常被设备商用作内部开发阶段测试的基础，并作为 互操作性测试的实质 性补充.一位3GP啦术工作组的主 席说:3GPP终端的标准符合性测试套是非常值 钱的.严 格的测试要求确保了终端之间的互操作性，形成了供应商 能够持续发展的 核心测试集

15、.基于射频系统的测试系统确实很昂贵.在GS防口 UMTS这样大的市场中,基于射 频系统的测试系统是值得 建立的.但是,对于不是那/ A昂贵的应用，测试是重要的, 但是开销要控制到最小，在非射频协议上，如IP层，进行 低层（射频）仿真的测试目 的得到了越来越多的关注.这是非 常有效的，同时比用真实的测试工具便宜得多. 3.3测试系统树表结合表示法（TTCN混为开发测试规范而特定设计的语言,已经应用到包括 ISDN,GSM,DECT SIP等多个技术领域中.与题目相吻合，TTCN的版本1和2用表格结构表示 测试规范，它们还对单独的 测试步骤使用一些很隐讳的符 号.虽然对于协议测试是强有力的，但是这

16、种方法缺 乏可 读性以及扩展到不同应用领域语言的灵活性.因此,ETSI产生了具有现代编程 语言风格的第3个版本（TTCN-3）,它给出了 TTCNffi写的新的含义，现在称为“测试 和测试 控制表示法，更好地反映了它的目标和作用.除了协议，TTCN 3还是针 对服务,API和一定范围内基于软件的其 他系统进.15-U试的理想语言.它不限于 符合性测试，适用 于很多领域，包括互操作性测试.3.4举例返回到图1中的bake-off例子，有三个互连的产品（产品2,3和6）,它们中的 每一个几乎都是由一些子系统 或部分组成的.这些部分可能也有自己的子部分或者 子系统.在这些部分中，很可能至少存在一个包

17、含有多个协议 层的协议栈.为了进行 符合性测试,IUT可能是协议栈中 在其他下层协议或仿真器之上的一个协议.因此， 符合性 测试套被设计成针对一个产品中一个标准的实现的测试 .理论上，符合性测 试能够对一个产品中出现的每一个标准 实现进.15-U试.换言之，符合性测试对于一个产品的子系统或者部件是特定的，针对每一个子 系统或部件存在一个基本的规范或者标准如果没有基本规范，就没有符合性测试 仅仅考虑协议标准符合性测试，可以这/讲：电信系 统用到一些协议，其中一些是 经过验证并且正确的,其2007年第5期他，些是新规定的.如果新的协议是在协议栈中的较低层，而“经过验证并且正 确的”协议处在协议栈的

18、较高层（这种 情况经常发生），这时协议较高层的可靠性是 没用的，除非 建立起较低层的可信度.在一个没有验证过的实体上设置 一个可靠的协议会引起问题，问题的量级与未验证的协议的复杂程度成比例.虽然这个特定的例子仅仅讨论了系统中的协议部件，对于系统的其他部件，该 原理同样有效.确实，协议需要 最大范围的符合性测试，但是其他子系统（应用，服务, 电气和电子系统，连接器和接口）也需要符合性测试，特别是 当有多种方法可以实 现同样的功能时.这种鲁棒性经常被 作为质量因子设计在传输和电子/电气系统中. 3.5符合性测试的优点和缺点（1）符合性测试能够完成下述给定功能?确定一个实现的行为是否符合基本规范列出

19、的需求，包括所有的错误和只能由特定的测试设备执行或者再现的意外情况；?如果不能用所有的方法，就用尽可能多的方法来实现部件的功能.（2）符合性测试不完成下述功能?证两个I的通信系统之间功能的端到端的互操作性；？同时执行所有系统部件 和它们的接口，来确定实现 是否在真实的环境中起作用；?验证所有自有的特性，功能，接口和非公共域系统 的操作.但是这些自有的方 面可以作为符合性测试的配置和执行中的一部分被间接操作.4ETSI的互操作性测试方法对ETSI来说,互操作性测试的目的是为了证明（至少）两 个通信系统问端到端 的功能与这些系统基于的标准要求一致.互操作性行为可以在广义上分为三 类:bake-of

20、fs,互操作性示范和互操作性测试.bake-offs用于发展，证实各种技术和标准.这一类 的行为最好在发展周期的开 始进行，这个时候正好可以使 用原型和早期的实现.它们的价值在于可以推动标准 的前进，并且重申了最好的技术解决方案.向标准化成员体和 实现者反馈消息是基 本的要求.互操作性示范和它的名字所暗示的一样，主要用在市 场领域中，一般不会在标准发展过程中添加价值.作为第三种类型，互操作性测试正是本文所关注的.这 种行为比起bake-offs的要求具有更严格的方法，尤其是2007年第5期当最终目的是为了形成认证或者商标的时候.具有明确定 义的概念和术语的通 用方法是不存在的，为了填补这个空

21、缺,ETSIEPTIPHON（TIPHONTM电信与互联网 协议在网络上的融合）正在为下一代互联网（NGN）系统通信的互操作性测试定义 一个一般性的方法，见图5和图6.注：在DTS/TIPH0N06025-2中所表述的方法论 只处在一个早 期的阶段，随着它的成熟本文所表示的一些想法可能会有所改动.图5一种互操作性测试的一般模型（基于DTS/TIPHON-06025-2）即使这不是一个全球性的意见，TIPHONTMfc看至U 了制定这种一般性方法的好处.希望通过与ETSITCMTS （MTS!测试和规范的方法） 的合作至少可以产生一个被整 个ETSI团体所接受的方法论.这样看来，互操作性测试的方

22、法论似乎和符合性测试的方法论相似.从广义上讲,ISO/IEC9646的许多概念 与互操作性测试是对应的，但在细节上还有所不同.和 图2的符合性模型一样，两个主要的互操作性结构成分是测试手段（MOT和被测系统（SUT）,见图5.相似点也就只此而已.SUT由被测设备（EUT）和一个或多个的参考设备（RE）组 成.EUT是测试的重点，RE作为整个sUT的一部分并不是测试的重点，它已经经过了 完 整的符合性和互操作性测试，并可能继续进行下去.这就 是ETSI的方法和目前对互操作性理解之间的主要不同点.值得注意的是，RE和EUT能都是复杂的,由 多种设备 组成的，但在概念上它们都被认为是单一的实体.与符

23、合 性测试不一 样,MOT:Sfq需要复杂的测试设备（这不排除互 操作性测试可以自动执行的可能性）, 它包括测试操作人 员，互操作性测试例和编写日志与报告的机制等.RE与EUM 间的通信手段（MoC）既不属于SUT的 部分，也不属于MOT勺部分.4.1互操作性测试方法TIPHON勺方法被卞S括为图6.图6TIPHON勺互操作性测试方法的示范图测试套结构和测试目的（TSS&TP是从相应的基础标准中得来的.它们给出 了一种非正式的，针对每种测试都容易读懂的描述，比起如何详细地完成测试，它们 更注重 测试的方法.每一个测试都着重测试EUT的一个专门的功 能，这个功能在 SUTI供的用户端口处起作用.

24、抽象测试套（ATS）是测试例的一个合集.每一个测试 例都会以建立测试和测试过程为前提，测试操作人员必须按照这个测试过程来完 成测试.注意，如果一个合适的API有效，那/测试人员就可以用一个自动测试程 序来代替，这个程序被写成编程语言（tR可能是TTCNg言）的形式.互操作性声明 0s）是被测设备所支持的性能/功能的一个清单.从某种程度上来讲，它与符合性测 试ICS类似，但是并不那/Z4羊细.IS中的一些信息可能来自相应的lOS中.lS用 来选择测试例并为测试例设定参数，也作为不同产品之间互操作性测试的指示器.测试用实现额外信息（1 X IT）包括测试所需的附加信息（如专用地址，计时器数 值等）

25、.可执行的测试套（ETS）只有当脚本被ATS定义的时候 才是必需的.这些要比符 合性测试例简单的多，它们的实 现只依赖于API的本质.同样，也可能会用到TTCN. 4.2互操作性测试的特点互操作性测试感觉上相对便宜，因为它没有指出具体 的测试设备，互操作性测 试例也很容易（对大多数部分而言）生成.但是它的作用不能被低估，设立一个有用 的互操作性测试床并不总是很简单的.图7表示了一个完整的系统（产品），它的一些部分用不同的标准来实现，这些不同的标准用方框 A,B,C,D来 表示.互操作性测试是将EUT作为一个整体（绿色区域）来测 试,包括产品中非标准的 成分.因为测试人员只在用户端口进行控制，互操作性测试 信息技术与标准化要覆盖产品的正常行为.与