网络系统测试与评价3网络测试方法课件

网络系统评价与测试ByHuaxinZeng(曾华燊）ProfessorSouthwestJiaotongUniversityPhDfromUniversityofLondon(1985)huaxinzeng1@,hszeng@

Lecture4PartII:BasicsofNetworkTestingandEnd-systemTesting网络系统评价与测试ByHuaxinZeng(曾华燊）14.2端系统的测试方法1、由于网络系统为分层结构，因此，对网络系统的测试因测试观察点的不同而异。根据对协议的观察点组合，ISO9646定义了四种抽象测试法单层/多层协议实现下服务访问点SAP上服务访问点SAP单层/多层协议实现服务访问点SAP测试系统被测系统图4－1对（单层或多层）协议实现的观察点4.2端系统的测试方法1、由于网络系统为分层结构，因此，对24.2端系统的测试方法ISO9646定义了四种抽象测试法本地测试法LTM远端测试法RTM分布式测试法DTM协同测试法CTM4.2端系统的测试方法ISO9646定义了四种抽象测试法3下服务访问点SAPITU上服务访问点SAP被测系统上测试器下测试器上下测试器间的协调LTM的特点：上下测试器直接对ITU的上下服务界面的服务访问点进行观察；测试器置于被测系统之中；测试功能最强，但实现该法难度大。图4-2本地测试法示意图①在被测协议对象(IUT–ImplementationUnderTest)的上、下服务访问点直接进行观察的方法——本地测试法（LTM–LocalTestMethod)下服务访问点ITU上服务访问点被测系统上测试器下测试器上下测4LTM的优缺点上下测试器直接对ITU的上下服务界面的服务访问点进行观察；测试器置于被测系统之中。优点:测试功能最强，能够全面测试ITU对正常事件的反应和异常时间的反应；上、下测试器之间同步与协调容易。缺点：由于必须将上、下测试器全部在被测系统中实现，因此，必须为每个被测系统实现一个测试系统，工作量太大。因此，只能作为系统开发时的内部测试系统使用，难以作为第三方测试的使用技术。能否简化？能否将测试器移出被测系统？LTM的优缺点5②仅在被测系统外部对被测系统的IUT的下服务界面间接观察的方法——远端测试法（RTM-RemoteTestMethod)ITU的上层协议实现？与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPITUITU的上服务访问点SAP被测系统下测试器与ITU的下服务访问点对应的SAP外部测试系统图4-3ISO的抽象测试法——远端测试法（RTM)②仅在被测系统外部对被测系统的IUT的下服务界面间接观察的6RTM的优缺点：优点：在测试系统内部不需要实现任何测试部件，因此，实现一个只有下测试器的测试系统就能够对不同系统中的同类IUT进行测试，而且系统设计与实现都相对简单。缺点：测试能力有限：由于仅能够通过在被测系统外部与IUT下服务界面上的服务访问点间接地访问ITU，因此只能在IUT下界面测试IUT的正常协议交互情况，不能测试违背协议的异常情况IUT的应答与活动情况。由于无上测试器，只能以IUT上层协议“代替”。即使该实现经过测试符合相关协议，该“上测试”只能发送和对IUT的正常行为作应答，不能测试IUT上面的协议异常应答情况。

能否综合LTM和RTM的优缺点，对上述测试法进行改进?RTM的优缺点：7③对上服务访问点直接访问，对下服务访问点通过外部测试系统的下服务访问点间接访问的观察的方法——分布式测试法(DTM-DistributedTestMethod)与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUT(ImplementationUnderTest)ITU的上服务访问点SAP被测系统上测试器（UT)下测试器(LT–LowerTester)与ITU的下服务访问点对应的SAP外部测试系统图4-4ISO的抽象测试法——分布式测试法（DTM)③对上服务访问点直接访问，对下服务访问点通过外部测试系统的8上测试器UT的实现问题由于上测试器必须在被测系统中实现，因此，上测试器的实现由两部分组成：与测试过程控制有关的部分＋IUT接口适配器（或称IUT接口部分）。图4-5为UT内部结构示意图：UT测试控制部件（即测试状态控制及UT主动测试控制数据与生成测试应答数据生成及收发）IUT上界面内部服务接口适配区IUT(ImplementationUnderTest)UT图4-5上测试器（UT)的内部结构与功能上测试器UT的实现问题UT测试控制部件（即测试状态IUT上界9分布式测试法的优、缺点优点：下测试器被移至被测系统之外，因此，在被测系统内需要实现的软件复杂度降低。缺点：由于对ITU的下服务访问点只能进行间接访问，对下界面异常情况的控制能力下降（较难制造异常情况）。为了减少在被测系统中实现的上测试器（UT)的难度，尽量减少其复杂度，部分牺牲测试效率，将LT与UT的工作模式改为主从模式，LT为主，UT主要以应答为主，改称测试应答器（TR-TestResponder)。分布式测试法的优、缺点10由于上下测试器分别在两个系统之中，因此同步困难。实例：美国NBS的分布式测试系统的使用说明中特别强调，使用该测试系统必须配备异地专用通信工具——电话，出现问题时，通知被测系统方重新启动被测系统。

如何解决LT与UT间的协调同步问题？由于上下测试器分别在两个系统之中，因此同步困难。11④在DTM基础上增加上下测试器间的协调同步功能的方法——协同测试法（CTM–CoordinatedTestMethod)与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统上测试器(TR)+TDRP下测试器(LT-LowerTester与ITU的下服务访问点对应的SAP外部测试系统图4-6ISO的抽象测试法——协同测试法（CTM)TDRPTDRP(TestDriverTestResponderProtocol)④在DTM基础上增加上下测试器间的协调同步功能的方法——协12协同测试法的优缺点优点：具有与分布式测试法同样的测试功能，同时又较好解决了分布式测试法上下测试器之间的同步问题。缺点：尽管与分布式测试法类似将LT与UT间的对等关系改变为主从关系，使TR有所简化，但由于上测试器内必须实现TDRP协议，因此，其上测试器比分布式测试法的上测试器复杂。协同测试法的优缺点132、ISO定义的四种抽象测试法小结

本地测试法测试功能最全面但实现困难，难以作为第三方测试的技术；远测法实现简单，但测试能力太弱，只能作被动测试（监测）或简单测试的手段；改进后的分布式测试法，即协同测试法，功能居中，但上测试器的复杂性使系统间移至有一定的难度。

新的出路在何方？2、ISO定义的四种抽象测试法小结144.3中国人提出的测试方法1、对ISO四种抽象测试法的分析

要能够对被测协议实现进行全面的测试，就必须能够直接对IUT的上下服务接口进行直接的访问，直接在服务访问点注入测试控制数据和观察被测对象的应答，以此全面评估IUT的协议活动是否符合相关协议标准。而长期以来人们的认识是：要这样做就只有将全部测试系统放置在被测系统之中。

4.3中国人提出的测试方法15在英国国家物理实验室（NationalPhysicalLaboratory)工作期间，在分析各类测试方法和实现各方法的典型系统的基础上，Zeng意识到应当将复杂的测试功能与服务接口适配功能分离，将数据传回外部的测试系统进行复杂的处理。这就是“渡船”（Ferry)概念提出的背景。受人或汽车借用“渡船”过河的简单实事的启发，提出在测试系统与被测系统间利用“渡船通道”将外测试系统向IUT注入测试控制数据和将IUT应答信息返回外测试器进行复杂处理的问题。在英国国家物理实验室（NationalPhysi162、“渡船”测试法（FerryTestApproach)①早期的“渡船测试法”是针对协同测试法提出来的与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统下测试器(LT）外部测试系统图4-7用渡船测试法取代协同测试法上测试器(UT）主渡口从渡口接口适配区上测试器收发的数据渡船通道2、“渡船”测试法（FerryTestApproach)17②“钳形渡口”（FerryClip)与用“钳形渡口测试法”（Ferry-ClipTestApproach)替代四种抽象测试法。下接口适配区与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统下测试器(LT）外部测试系统图4-8用钳形渡口测试法取代ISO四种测试法上测试器(UT）主“钳形”渡口从“钳形”渡口上接口适配区上、下测试器收发的数据渡船通道②“钳形渡口”（FerryClip)与用“钳形渡口测试法18③渡船测试法和钳形渡口测试法后被ISO相关工作组列入端系统的测试方法。后作为实现ISO四种抽象测试方法的通用实现方法。④中国科学院成都计算机应用研究所在两项国家自然科学基金项目、一项“七五”攻关项目、一项中科院院长基金项目和两项四川省应用基础项目的支持下，经过7年的努力，以钳形渡口测试法为基础研究发的OSI传送层协议测试系统获中国科学院科技进步一等奖。③渡船测试法和钳形渡口测试法后被ISO相关工作组列入端系统195.1中继/中间系统层次模型与内部组织结构①中继/中间系统层次结构模型按照OSI/RM,中继/中间系统是由多组多层结构通过中继/转发机制互联而成的系统，按照带内或带外信令传输概念可分别描述为图5-1和5-2所示的层次结构模型。因此，用户数据的传输过程将在输入单元经多层结构的协议处理和选择输出端口后转发至相应输出单元的。这一转发机制常采用交换矩阵的方式。图5-1用带内信令的观点看Internet的通信子网与路由器内部结构

网络中继

relay网络层网络层数据链路层数据链路层物理层物理层用户数据流控制、管理流三层平台5.1中继/中间系统层次模型与内部组织结构①中继/中间系20图5-2用带外信令的观点看Internet的通信子网与路由器内部结构用户数据平面

网络中继

relay高层:路由协议、SNMP+UDP/TCP网络层高层:路由协议、SNMP+UDP/TCP网络层数据链路层数据链路层物理层物理层信控平台信控平台五层信控管理平台带内信令控制观点可解释范围三层用户数据平台带外信令控制观点覆盖范围带内信令观点无法解释部分。用户数据流控制、管理流图5-2用带外信令的观点看Internet的通信子网与路21②路由器是多个多层结构互联而成的设备，是多个输入输出间的数据转发设备，出于以下的考虑，对路由器的测试不采用分层测试：标准化机构未对中继系统中继功能（RelayFunction)提供任何规范，而由产品生产厂家自己决定，因而对该功能的测试缺乏依据。例如，路由器是N×N的转发设备，与传统交换层相关的协议协议的描述为1×1关系。尽管路由器涉及多个多层结构的实现，出于转发效率的考虑个层间界面不清晰，很难找到可直接访问的界面。从使用者的角度，更关心中继层PDU实际转发效率(也即设备性能），因此可从设备外部进行观测。②路由器是多个多层结构互联而成的设备，是多个输入输出间的数225.2ISO9646定义的路由器测试方法①回绕测试法(LTM-Loop-backTestMethod)测试器测试器图5-3a回绕测试法示意图被测路由器（RUT–RouterUnderTest）(N)-PDU测试器控制部件测试支撑层（N-1层服务提供者）N层协议实现＋N-中继功能（N-1）-SAP图5-3b回绕测试法控制观察点被测路由器(RUT)PCO测试器5.2ISO9646定义的路由器测试方法①回绕测试法(L23回绕测试法（Loop-backTestMethod)的利弊优点：实施简单缺点：测试功能不全面，只测到单个端口的自转发行为，N个端口设备必须分N次进行；且不能测试端口间的相互影响。回绕测试法（Loop-backTestMethod)的利24

测试器测试器5-4穿越测试法示意图测试支撑层（N-1层服务提供者)测试控制PCO1测试控制PCO2(N)-PDU(N)-PDU中继功能（路径选择）IP协议IP协议(N-1)-SAP(N-1)-SAP测试器1测试器2被测路由器测试同步手段②穿越测试法（TTM-TransverseTestMethod)测试器测试器5-4穿越测试法示意图测试支撑层（N-1层25穿越测试法（TransverseTestMethod)的利弊分析优点：能够模拟路由器一对端口间的正常工作状况，包括中继功能；一对测试器在同一双端口测试系统中容易实现。缺点：不能同时测试多个端口间的相互影响；尽管可以用多个双端口测试系统性能测试同时测试，但多个双端口测试器间的同步控制困难；现代路由器/交换机可能有数十，上百个端口，很难在同一系统中实现。四川省网络通信技术重点实验室针对这一困难，提出了“路由器多端口并发穿越测试法”(MPC-TTM-Multi-PortConcurrentTransverseTestMethod

)并正在开发分布式多端口并发测试系统

（DMC-TS-DistributedMulti-portConcurrentTestSystem）。

穿越测试法（TransverseTestMethod)的265.3“路由器多端口并发穿越测试法”(MPC-TTM-Multi-PortConcurrentTransverseTestMethod

)被测路由器（RUT）双端口测试器双端口测试器双端口测试器多端口测试管理器发送测试命令/接收响应发送测试命令/接收响应发送测试命令/接收响应发送测试命令/接收响应发送测试任务/接收中间结果发送测试任务/接收中间结果发送测试任务/接收中间结果5.3“路由器多端口并发穿越测试法”(MPC-TTM-M27MPC-TTM的要点多端口测试多个测试器间可交叉穿越由多端口测试管理器与多个分布式双端口测试系统共同组成两级测试结构，配置灵活，易扩展。测试法以多端口并发测试为背景定义同步管理与协调机制。

MPC-TTM的要点多端口测试285.4分布式多端口并发测试系统

（DMC-TS-DistributedMulti-portConcurrentTestSystem）5.4分布式多端口并发测试系统（DMC-TS-Dis29多端口并发测试器用户接口模块(MPCT-UIM):用户操作界面＋图形化测试过程动态显示模块+系统初始化模块)多端口并发测试协调管理协议模块MPCT-CMPTPT可执行测试集/组/例(单测试例执行器、编解码器都被联合编译后成可执行测试例的一部分。单测试例执行器(STCE-SingleTestCaseExecutor)被测层与支撑层间的适配模块（被测层PDU进行装载与卸载）被测层网络硬软件支撑平台TPT测试结果分析与测试报告生成模块MPR-CTM与TPT之间的控制管理接口命令、应答、显示数据、同步信息等多端口并发测试管理软件（MP-CTM–Multi-PortConcurrentTestManager）MP-CTDL描述的多端口测试集/组/例MP-CTDL编译器MPR-CTM测试控制终端发测试过程与测试结果记录，测试报告生成测试记录数据流操作员命令与显示数据TPT用户接口模块（TPT-UIM）双端口测试管理软件（TPT-TM）测试过程与测试结果记录，测试报告生成TPT测试控制终端操作员命令与显示数据被测层下界面待记录数据C编译程序TTCN-3/C编译程序TTCN-3描述的抽