网络系统测试与评价测试控制数据及规划.ppt

测试控制数据及规划,测试控制数据的概念 测试控制数据的规划和描述技术 测试控制数据的组织结构 测试控制数据的分类 IPv6协议集的一致性超级测试类中测试规划举例,测试控制数据的概念,测试控制数据是对主动测试系统（Active Test system)进行的测试所期望达到的测试目的、用以激励被测对象所发送的数据及预期的应答、对测试结果的分析与计算、测试过程的控制及所选用的测试方法以及在指定的测试度纲（Test Metrics)和测试条件下可能的功能或性能测试结论的描述。,测试控制数据的规划和描述技术,测试控制数据的规划是根据协议文本确定需要的测试例。 若协议文本是以非形式化技术描述的，一般以人工方式对协议的待测功能进行分组划分 若协议是以半形式化或形式化技术描述的，那么可通过半自动化或全自动化的方式实现 测试控制数据的描述是根据规划好的测试例，采用适宜的测试方法，再使用某种语言工具对测试例进行详细的描述，从而得到测试必需的抽象测试集。,测试控制数据的组织结构,按照ISO 9646, 测试控制数据自顶向下分别由 测试集 测试组 测试分组 测试例 测试步,测试集（Test Suite),是针对某个或某类测试对象，为实现某类测试目的（一致性、性能、安全性、互通性、仲裁等）采用特定的测试方法和测试度纲（Test Metrics)所描述的测试组、测试分组、测试例的集合。,测试组/分组（Test Group/Sub-group),由测试例组成，测试组/分组内的测试例具有共同或类似的测试目的。,测试例(Test Case),是由一个或一个以上相互关联的测试步组成，它是实现某一测试目的、不可分割的最小测试控制数据单元。 测试例的执行结果通常需要对测试结果给出定性的结论（Pass/Fail/Inconclusive)或者给出一个或多个性能参数的定量的测试结论。,测试步（Test Step),是测试过程中的最小基本单元，它是对“向被测系统发送单个数据或连续发送一组数据后期待被测对象的应答以及根据被测对象的不同应答进行的分析计算、判断和需要采取的进一步测试行为”的描述。,测试控制数据的分类,通用测试控制数据（GTCD - Generic Test Control Data) 抽象测试控制数据（ATCD Abstract Test Control Data) 可执行测试控制数据,通用测试控制数据GTCD,是测试步、例、分组、组和测试集的规划，它与抽象测试方法和测试系统无关。 通用测试控制数据是描述抽象测试控制数据的基础，抽象测试控制数据将针对特定的抽象测试方法，用某种测试控制数据描述语言进行描述。 通用测试控制数据的规划还涉及测试控制数据的命名规则。,抽象测试控制数据ATCD,是用某种测试控制数据描述语言描述的测试步、例、分组、组和测试集，它与抽象测试方法有关但与测试系统无关，因此，它可以作为采用同种测试方法的不同测试系统通用的测试控制数据。 抽象测试控制数据不能在直接运行与实际的测试系统，而必须经过解释或编译，不是实际测试系统中的可执行的测试控制数据。,可执行测试控制数据,可执行测试控制数据由抽象测试控制数据经编译或解释，并根据被测对象的协议实现标准化申明(PICS Protocol Implementation Conformance Statement)和附加申明（PIXIT Protocol Implementation eXtra Information for Testing)或者性能指标申明（PPS - Performance Parameter Statement)以及与测试相关的参数（如：IP/MAC地址、支持的IP分组长度等）对测试控制数据进行参数化后获得的机器可执行代码。,测试例的分类,通用测试例（GTC，Generic Test Case） 用来集中说明测试体，在很大程度上独立于特定的测试方法，只依赖于被测的协议文本。 抽象测试例（ATC，Abstract Test Case） 依附于特定的测试方法，基于通用的测试例与相关的协议规范，完整地说明测试例。 可执行测试例（ETC，Executed Test Case） 来自于抽象测试例，可在测试系统上运行的测试例。,测试集的分类,通用测试集（GTS，Generic Test Suite） 由通用测试例构成的测试集叫通用测试集 抽象测试集（ATS，Abstract Test Suite） 由抽象测试例构成的测试集叫抽象测试集 可执行测试集 由可执行测试例构成的测试集叫可执行测试集（ETS，Executed Test Suite）,测试集的分类,这三个测试集环环相扣，一一为后一测试集奠定了基础、提供了设计的依据。 GTS是对测试目的、测试覆盖范围和测试内容的宏观描述，详细地界定测试组、子组和测试例，是后续的抽象测试集的描述和具体化的基础。 根据GTS和采用的测试方法，再采用某种描述语言(如TTCN)对测试例和测试步骤进行详细的描述，然后再组合成ATS。 测试系统测试支撑工具（编译器或解释器）将ATS变为特定测试系统可执行的机器代码，直接用于控制测试过程。,ISO 9646标准化测试过程,测试准备阶段生成ATS； 测试操作阶段产生参数化的可执行测试集ETS； 测试执行阶段执行可执行测试集，分析测试结果，生成测试报告。,ISO 9646标准化测试步骤,研究协议标准，明确OSI协议的标准化要求，根据该要求的不同覆盖确定测试目的; 根据测试目的对测试控制数据分组，并为分组中每一元素（即测试例）决定测试目标; 针对每一测试目标确定一个通用测试例GTC 选定某种抽象测试方法，以GTC为根据，派生出相应的抽象测试例 ATC 确定一ATS的描述工具，实现抽象测试例的描述。,IPv6协议集的一致性超级测试类测试规划举例,GTS测试集的规划原则 尽管IP路由器的用户平面较为简单，仅涉及网络层的IP协议；但其信令控制与管理平面却涉及包括应用层在内的多个协议。 如网络层的协议除IP之外，在IP之上的子层中，有ICMP、RSVP、IPSec等；而在IP之下的子层中，有ARP和RARP等。 GTS的规划必须充分考虑其复杂性，以便将单个GTS的规划控制在可管理的范围内。,IPv6协议集的一致性超级测试类测试规划举例,GTS测试集的规划原则 测试集的可管理原则 单个GTS的规模不宜太大，所涉及协议宜尽量少。在IP路由器通用测试集的规划实践中采用了以单个协议为基础规划GTS的方法，以避免单个测试集过大，向下细分层次过多。 向上汇聚原则 在ISO的测试集之上，引入了超级测试类(STC - Super Test Class)的概念，将多个测试集向上汇聚为超级测试类(STC)，相应地可派生出通用超级测试类(GSTC)和抽象超级测试类(ASTC)。,IPv6协议集的一致性超级测试类测试规划举例,GTS测试集的规划原则 测试集划分原则 为了适应不同测试性质的测试需要，测试集可分为：一致性测试集、性能测试集、互通测试集等。 测试组划分原则 针对不同的测试集，划分原则也有所不同。 一致性测试主要根据测试需求以协议标准为单位来划分测试组（如ICMP协议测试组、RIP协议测试组等）； 而性能测试主要按性能指标实现测试组的划分（如端口流量测试组等）。 测试组可根据需要进一步增加。,IPv6协议集的一致性超级测试类测试规划举例,GTS测试集的规划原则 测试子组划分原则 对于无连接的单状态协议（如IPv6协议）按报文格式的字段以及协议各项功能来划分测试子组。 对于多状态协议，无连接（如RIPng协议）或有连接协议（如OSPF协议、TCP协议）基于协议的有限状态机并结合非状态描述按各状态来划分测试子组。,IPv6协议集的一致性超级测试类测试规划举例,GTS测试集的规划原则 GTC测试例的规划原则 按报文格式的字段划分测试子组，其测试例的规划主要按各字段的有效取值和无效取值划分。 按协议功能划分测试子组，其测试例的划分有几种情况：一是按功能的有效情况和无效情况划分测试例；二是继续划分子功能，将之作为测试例。 基于状态划分的主要按状态的输入事件、输出事件、状态变迁、状态处理等划分相应的测试例。,IPv6协议集的一致性超级测试类中测试规划举例,测试组规划举例 IPV6基本功能 IPV6路由协议 IPV4-IPV6的过渡机制 移动IPV6机制 IP安全机制,IPv6协议集的一致性超级测试类中测试规划举例,测试控制数据命名与编码规则 为了使测试名称的定义既符合规划原则和层次性分组原则，又能够兼顾可读性和机器易识别性，必须对测试控制数据的命名和编码做明确的规定。,IPv6协议集的一致性超级测试类测试规划举例,测试控制数据命名与编码规则,IPv6协议集的一致性超级测试类测试规划举例,测试控制数据命名与编码规则,IPv6协议集的一致性超级测试类中测试规划举例,IPv6协议测试集的缩写命名规则： G_SSTC_IPv6表IPv6协议集单个/双端口通用超级测试类。 A_SSTC_IPv6表IPv6协议集单个/双端口抽象超级测试类。 C表一致性测试集；P表性能测试集；I表互操作 用G1，G2Gn表示测试组1到测试组n； 用GS1，GS2GSn表示测试子组1到测试子 将一致性测试例以有效行为测试BV（Valid Behavior）和无效行为测试BI（Invalid Behavior）表示，对于每个测试子组的行为用BV或BI加上具体的编号以示区别，都从001开始编号 考虑到ATS与具体的测试方法有关，用SL（Single Loop-back）、DL（Double Loop-back）、TR（Transverse）、MP（Multi-Port）分别表示单端口的回绕法配置、双端口的回绕法配置、穿越法的配置以及多端口配置。 比如：A_SSTC_C_IPv6_TR_G1_GS1_BV001表示 TTM对路由器上单个/双端口抽象超级测试类中的IPv6基本描述协议实现（G1）Version字段（GS1）的有效行为（BV001:Version_6）进行一致性测试。,IPv6协议集的一致性超级测试类测试规划举例,测试规划 报文格式的测试规划 协议功能的测试规划 多状态协议GTS的规划,IPv6协议集的一致性超级测试类测试规划举例,IPV6协议的特点 IPV6有比IPV4更长的地址空间 IPV6对头部进行了简化，这一变化使得路由器能够更快的处理分组。 更好的支持选项，因为以前那些必须的域变成了可选的，而且选项的表达方式也有所不同，使得路由器可以非常简单地跳过那些与它无关的选项。 在安全性方面有所改进,IPv6 基本描述协议通用测试集的规划表,IPv6 基本描述协议通用测试集的规划表,IPv6 基本描述协议通用测试集的规划表,IPv6 基本描述协议通用测试集的规划表,IPv6 基本描述协议通用测试集的规划表,IPv6协议集的一致性超级测试类测试规划举例,报文格式的测试规划 IPV6基本描述协议提供不可靠、无连接的数据传送服务，它并不维护任何关于后续数据报的状态信息，因此无状态变迁。,IPv6协议集的一致性超级测试类测试规划举例,报文格式的测试规划 以IPV6基本报头版本（Version）测试目的定义为例，将该字段的测试划分为第1测试子组GS1 接着根据协议文本对该字段的描述（其值必须为6）按字段值是否有效，分别设计了有效值为6，有效值为5和4的三个测试例。 设置4是想检测被测路由器对版本号字段值为4的IPv6包是按IPv4包处理还是将之作为无效的包处理,IPv6协议集的一致性超级测试类测试规划举例,报文格式的测试规划 基本报头其它字段 Traffic Class、Flow Label,IPv6协议集的一致性超级测试类测试规划举例,IPv6扩展报头由于替代了IPv4中的任选项，信源可以选择在一个给定的数据报中要包含或忽略哪些扩展报头，从而大大提高了网络性能。 一个IPv6可携带0个、1个或多个扩展选项头（简称选项头），而每个选项头的类型由其之前头标的下一头值（Next Header）标明。 根据该字段值的不同可分为6个选项头： 跳到跳选项头HBH（Hop-by-Hop Options Header） 目的选项头（DOH，Destination Option Header） 路由报头RH（Router Header） 分段报头FH（Fragment Header） 认证报头AH（Authentication Header） 封装安全载荷报头ESP（Encapsulated Security Payload Header） 由于扩展头涉及多个选项头，每个选项头的描述比较繁杂，因此需要理清其中关系，一步步层层规划和细分，为了说明扩展头部分测试集的规划，以树形结构图进行说明,IPv6协议集的一致性超级测试类测试规划举例,IPv6协议集的一致性超级测试类测试规划举例,协议功能的测试规划 对协议功能进行测试规划的一般方法是根据协议文本，同时结合相关资料和实践经验划分各项功能及其无效情况就能得到覆盖较全面的协议功能测试集。,IPv6协议集的一致性超级测试类测试规划举例,协议功能的测试规划 ICMPv6是单状态协议，不同的是它更侧重于协议的功能。 RFC2463描述了该协议报文的总体格式（差错报文和信息报文）、报文源地址的测定、报文校验和的计算、报文处理规则以及差错报文和信息报文的处理。,IPv6协议集的一致性超级测试类测试规划举例,协议功能的测试规划 ICMPv6差错报文主要有四种类型： 目的不可达 包过大 超时 参数出错 每一种类型都有不同的描述和要求，根据这四种类型可将差错报文的测试规划为相应的4个测试子组。 对于各测试子组的细化将以参数出错为例进行说明。参数出错的情况有三种 错误的报头字段 不可识别的下一报头类型 不可识别的IPv6选项,IPv6协议集的一致性超级测试类测试规划举例,协议功能的测试规划 ICMPv6测试举例,IPv6协议集的一致性超级测试类测试规划举例,多状态协议GTS的规划 多状态协议由于具有状态变迁因而比单状态协议在GTS的规划上更为复杂 以RIPng（RIP next generation）为例来进行测试集的规划 众所周知，基于距离矢量并且使用最为广泛的路由协议是路径信息协议RIP。 RIP作为一种成熟的路由标准，以其实现简单、易于操作和维护等优点在Internet网，尤其在一些中小型网络中得到了极为广泛的应用。 正是基于这种现状，同时考虑到RIP与IPv6的兼容性问题，IETF对现有技术进行改造，制定了IPv6下的RIP标准，即RIPng。,IPv6协议集的一致性超级测试类测试规划举例,RIPng RIPng协议的目标并不是创造一个全新的协议，而是对RIP进行必要的改造以适应IPv6下的选路要求，其主要变化在地址和报文格式方面，但其工作原理同RIP一样 RIPng协议是距离矢量算法在网络上的直接实现，RIPng把参与通信的机器分为主动机和被动机两种。主动机主动地向其它路由器通告路由，被动机被动地接受其它路由器发来的路由。只有路由器以主动方式使用RIPng，而主机只能作被动机，因为主机不了解路由信息。,IPv6协议集的一致性超级测试类测试规划举例,RIPng 运行RIPng的路由器维持一个到所有可能目的网络的路由表，该路由表有一个周期计时器（Regular Timer，RT）与之相联系，RT一到时路由器就周期性地向邻居节点发送该路由器的路由表，接收方通过接收通告更新自己的路由表。这种周期性的路由信息的交换使得每个路由器形成对网络拓扑结构的局部认识。,IPv6协议集的一致性超级测试类测试规划举例,RIPng RIPng使用到达目的地所经过的链路数，即跳数来度量路由花费，同时RFC规定RIPng的工作范围为15跳，数值16表示路由不可达。 在周期更新的同时，为防止路由表因长时间未更新而失效，RIPng路由表中每个路由表条目要设置两个计时器与之相联系，由此实现过时路由的处理。这两个计时器是超时计时器（Timerout Timer ,TT）和垃圾计时器(Garbage Collection Timer，GT）。每增加一个新的路由表条目，就相应的增加两个计时器。 当新的路由被加入到路由表中时，TT被初始化为0，并开始计数。 每当收到包含路由的RIPng消息，TT就被重新设置为0。 如果在180秒内没有接收到包含该路由的RIPng消息，该路由的度量就被设置为16，而启动该路由的GT。 如果120秒过去了，也没有收到该路由的RIPng消息，该路由就从路由表中删除。 如果GT未到期时（即在120秒之间），收到了包含路由的消息，计时器被清0，而路由被加到路由表中。,IPv6协议集的一致性超级测试类测试规划举例,RIPng的报文格式 RIPng是基于UDP的协议，并且使用端口号521发送和接收数据报。RIPng报文由固定的首部和路由表项RTE（Route Table Entry）组成，其中路由表项可以有多个。 命令字段1表示请求部分或全部选路信息，命令号2表示响应，其中包含一个或多个RTE。 版本号字段包含了协议的版本号，接收方会检测该字段，以确定对方运行的RIPng协议本地是否能进行正确的解释。,IPv6协议集的一致性超级测试类测试规划举例,RTE的结构 路由标记字段的用途是用来对外部路由做标志，以区分内部路由和外部路由，供外部网关路由协议（如EGP或BGP）使用。 前缀长度字段指明了前缀中有效位的长度，IPv6中使用了前缀长度的概念代替了IPv4中的子网掩码。由于IPv6地址的意义很明确，因此RIPng中不再区分网络路由、子网路由或主机路由。 路由花费字段指明到目的网络的花费，由于RIPng的最大工作直径为15跳，因此该字段可以为1和15之间的任意值，16即意味着目的地不可达。RIPng中仍然使用固定的度量方式，即该字段的含义只能是跳数，路由器不能对其进行其他的解释。,IPv6协议集的一致性超级测试类测试规划举例,同RIP一样，基于DV算法的路由协议RIPng在进行路由更新时也会遇到慢收敛（Slow Convergence）和无限计数(Count to Infinity)的问题，这会引发路由的不一致。如果出现环路，直到度量为16，路径回路才能被解除，这属于慢收敛问题。 解决的方法很多，主要采用分割范围法（Split Horizon）和带触发更新的毒性逆转法(Posion Reverse with Triggered updates)。 分割范围法的原理是：当网关从某个网络接口发送RIPng路径更新报文时，其中不能包含从该接口获得的路径信息。 毒性逆转法的原理是：某路径崩溃后，最早发送此路由的网关将原路由继续保存在若干更新报文中，但是指明该路由为无穷（即度量为16）。为了加强毒性逆转的效果，最好同时使用触发更新技术：一旦检测到路径崩溃，立即向邻居通告路由更新，而不必等待下一周期发送更新。,IPv6协议集的一致性超级测试类测试规划举例,RIPng的规划方法（一） 根据RFC文档描述，将其分为RIPng报文格式、计时器处理，输入处理，输出处理和分割范围5个测试子组。 此方法是目前IPv6协议测试研究组织或公司在使用的一种比较通用的方法，但仅凭测试人员对协议文本的理解难免会疏漏很多可能出现的情况和状态,IPv6协议集的一致性超级测试类测试规划举例,RIPng的规划方法（二） 根据RIPng的不同状态来设计其测试子组和测试例。 从协议实现的工作原理出发，尽量考虑到协议的各种状态，为测试的完备性提供了较好的保障，但该方法主要依据输入输出事件对状态的影响，无法较好的对RFC中非状态描述进行覆盖。,IPv6协议集的一致性超级测试类测试规划举例,RIPng的规划方法 RIPng有10个状态，针对各状态下RUT的响应首先划分了相应的10个大组，再根据各状态的不同情况（如各状态输入条件和变迁条件的不同、输入请求处理和输入响应处理的不同以及不同报文的有效性检查等）设计其所属状态的测试子组及其测试例,IPv6协议集的一致性超级测试类测试规划举例,RIPng状态变迁图,IPv6协议集的一致性超级测试类测试规划举例,超时计时器和垃圾收集计时器控制的状态变迁规划举例 RIPng有三个重要的计时器，周期更新计时器、超时计时器和垃圾收集计时器，这三个计时器控制了最主要的状态变迁。对于后两种计时器的测试划分按RIPng的工作原理主要有以下3种情况： 超时计时器期满处理：如果在180秒内没有接收到包