（物理电子学专业论文）sdh系统自动化测试研究.pdf

东北大学博士学位论文 第一章文献综述 1 6 6 合金类负极材料 最近的研究报道显示，某些合金材料具有较高的充放电容量，如m 戬s i 合金 的充放电比容量可达到i0 0 0 m a h g 以上，锂在s n 2 f e 合余材料中的充放电可逆容 量达到7 0 0m 刖g ，但它们的循环性能还不理想。 与锂离子电池中的碳材料相比，合金类负极材料一般具有较高的比容量，典 型的如s i ，g e ，s n ，p b ，a i ，g a ，s b ，i n ，c d ，z n 【3 州6 ，9 0 “l 。其中金属锡的理论比容量 为9 9 0m a h g ，硅为4 2 0 0m 址g ，远高于碳的3 7 2m a j l g 。 合金材料的主要优点是：加工性能好、导电性好、对环境的敏感性没有碳材 料明显、具有快速充放电能力、防止溶剂共插入等。从目前的研究来看，合金是 多种多样的。按基体材料来分，主要分以下几类：锡基合金、硅基合金、锗基合 金、铝基合金、锑基合金、镁基合金和其它合金。 s n 基合金材料：锡基合金主要是利用s n 能与“形成高达l i 2 2 s n 5 的合金，因 此理论容量商。锡基合金材料是最早也是目前最受重视和研究最广泛的锂离子电 池合会负极材料。主要有：s n _ f e 、s n n i 、s n c u 、s n - s b 、s n a g 、s n - m n 、s n - c o 等。这些材料的循环性能都远优于单质s n ，与s n 的氧化物相比，不可逆容量大大 下降。但这些材料的电化学性能距工业化还有很大距离。 研究的比较深入的是铜与锡形成的合金负极材料，如c u 6 s n 6 、c u 6 s n 5 、c u 6 s n 4 、 c u s n 。研究表明，铜在0 2 o v 电压范围内并不于锂形成和金，因此，在铜锡合 会中，铜作为惰性材料，一方面提供导电性能，另一方面提供稳定的框架结构。 其反应机理为，锂插入时发生相变，经过两个步骤：首先形成l i 2 c u s n 结构， 位于o 4 v 的放电平台为c u 6 s m 与l i 2 c u s n 共存产生的；当锂继续插入时，达0 1 v ： 鉴玺鎏三些奎主三兰翌圭兰竺鎏兰 1 1 课题背景 第1 章绪论 s d h 作为基础传输网的一部分，网络的稳定性和安全性是必须考虑的问 题f 】j 。一个完整的s d h 系统是多个嵌入式系统的组合，涉及到单个嵌入式系 统及系统间的通信，功能繁多，结构复杂，性能要求比较高。面对着越来越残 酷的市场竞争，运营商对设备供应商提出了越来越苛刻的稳定性和功能性的要 求。从市场和技术两方面考虑，设备供应商希望在最短的时间内完成最广泛最 苛刻的功能、性能、压力及可靠性测试。 测试并不仅仅是为了要找出故障( b l i g ) 。更重要的是分析故障产生的原因 和故障在开发的哪一个阶段产生【2 1 。测试的工作量很大，特别是s d h 系统测 试经常需要对硬件进行操作，比如拔纤、开关电等，所以现在系统测试还主要 是靠手工操作。相对于网管软件来说，对s 系统进行自动化测试难度更大。 但是对于一些重复性的，非智力创造性的、需求细致注意力的工作，让计算机 代替人类去完成，不但可以减少企业的投资，而且会对整个开发工作的质量、 成本和周期带来非常明显的效果，更能提高效率，把人从手工操作中解脱出来， 所以自动化测试的开发具有重大的意义p 】。 s d h 系统是由多个单板组成的分布式嵌入系统，每个单板是都属于有高实 时性要求的嵌入式系统。 嵌入式系统是以应用为中心、以计算机技术为基础、软件硬件可裁剪、适 应应用环境，对功能、可靠性、成本、体积、功耗严格要求的专用计算机系 统，它是先进的计算机技术、半导体技术、电子技术和各个行业的具体应用相 结合的产物。随着国内外各种嵌入式产品的开发和推广，嵌入式系统已经广泛 地渗透到科学研究、工程设计、通信技术以及人们的日常生活中，在国民经济 的各个方面承担着越来越多的关键应用【4 】。 目前实用的嵌入式系统测试平台主要由国外厂商开发，比较具有代表性的 测试平台有t 卫l o g i c 公司的l o 画s c o p e 、m e n w e r k s 公司的 c o d e t e s t ，w 矾d l e r 公司的c o v e r a g e s c o p e 和m m 公司的r a t i o n a l 等 等。从总的情况来看，国外厂商的嵌入式系统溺口试平台功能较强，但是单单依 靠这些商用工具，只能停留在自动测试的初级阶段，从这一点看需要针对s d h 哈尔滨工业大学工学硕士学位论文 的分布式嵌入系统特点进行一些底层测试的开发。 除此之外，很多做嵌入式系统的厂家自己开发了和设备密切相关的专用测 试平台，有一定的成效，但直接借鉴的意义不大。 1 2 课题综述 本课题的目标是构造开发一个功能比较完善的，对s d h 单网元进行系统 测试的平台。 为达到这一目标，本课题的实现划分为三个主要的功能模块一系统及单板 监控系统、自动化脚本执行系统和测试管理系统。监控系统主要通过监测网元 的通信接口( s 口) ，各个单板内部，以及s d h 测试仪表来提供信息。自动化 脚本执行系统主要实现脚本的自动运行，测试管理系统主要实现结果的收集统 计及分析，并最后得出测试结论，输出测试报告。 本测试系统使测试用例在待测的目标系统上运行，通过测试日志记录的输 入和输出信号判断网元特别是某一单板程序是否达到了预期的功能要求。其各 个组成部分可以协同工作，自动对单网元进行功能测试，以提高测试人员的工 作效率。嵌入式系统的开发者也可以使用本测试系统在研发过程中对各个嵌入 式软件进行自测。 1 - 3 研究内容 作为本自动测试小组的成员之一，本人主要负责监控s 口模块的代码开发 工作，以及脚本自动执行及测试管理系统的研究工作。 s 口监测模块主要截获各个嵌入式系统之间的接口即s 口的通信报文，并 进行有效分析，根据条件进行过滤，提取能证明各单扳运行状态的信息，并记 录在日志文件里。 脚本自动执行系统主要采用r a t i o n a lr 0 b o t 进行设计。 考虑到和脚本执行系统的兼容性，测试管理系统同样采用r a t i o n a l t e s n n a n a g e r 进行构建。 a p p c a t i o f o rb o a r d t p s o s t b s p b 。h r dh a r d w a r e 图2 1 嵌入式系统层次结构图 f i g 2 - 1h i b e r a r c l l y o f 翱幽e d d e ds ”t e m b s p ( b o a r ds u p p o np a c k a g e ) ，是目标板硬件与p s o s 操作系统的接口， 因此b s p 非常重要。 b s p 主要完成以下工作： ( 1 ) 完成目标板硬件的初始化； ( 2 ) 启动p s o s 操作系统； ( 3 ) 提供目标板的调试和通讯接口的驱动； ( 4 ) 提供对外围设备的操作接口。 2 2 _ 2 分布式嵌入系统 分布式系统就是由多个相互连接的处理资源组成的计算机系统，这些资源 可以合作执行一个共同的任务，尽可能少地依赖于集中的程序、数据和硬件等 资源。分布式系统和单处理机系统一个最重要的区别是进程间的通信。在单处 理机系统中进程间的通信无疑是利用共享存储器。在分布式系统中一般没有共 享存储器，进程间的通信必须采用另外的方式，即消息传递方式【3 j 。 用于消息传递的互联方式多种多样，最简单的用于分布式系统的互联网络 是总线。总线是静态的，并且不要求任何类型的路由。每个处理器和内存模块 都连接到总线上，数据的所有事务和移动都发生在这个共享的总线上。常见的 总线协议有e m 啪e t ，珈) l c ，翘) l cb u s ，p p p ，u 越盯等通信协议吼 本s d h 系统各单板间采用分布式体系结构，不同的单板之间以总线方式 相互连接，彼此协作，具有动态的、自形成的和自我管理的特性，是一种基于消 略尔滨工业大学工学硕士学位论文 息机制的分布式体系。其控制总线采用一点对多点的主从式h d l c 协议，并使 用了应答机制。在s d h 系统中，控制总线的主机( a g e n t ) 称为n c p ( 网元控 制板) ，从机统称为m c u ，n c p 与m c u 之间总线的接口称为s 口。s 口提供 了n c p 和m c u 之间数据通信通道，由一块时钟m c u 提供同步机制。通过监 控s 口的通信信息，获取各个单板( m c u ) 的状态。 2 3 测试 2 - 3 1 测试的概念 图2 2s d h 网元总线结构图 f i g 2 - 2h i b 啪r c h yo fs d hn e b u s 测试就是使用人工或自动手段来运行或测定某个系统的过程：其目的在于 检验它是否满足规定的需求或者再清预期结果与实际结果之间的差别pj 。 根据产品开发各阶段的规格说明和内部结构而精心设计一批测试用例，并 利用测试用例去运行系统，以发现软件及硬件错误。 测试的目的是以最小的时间和人力找出产品中潜在的各种错误和缺陷，而 不是证明程序没有错误。测试的附带收获是能够证明产品的功能和性能与需求 说明相符，并为可靠性分析提供依据。对于嵌入式软件来说，必须指出其错误 是不可避免的，而且也不存在一种能发现所有错误的软件测试方法h 。 对于本课题研究的s d h 系统来说，测试在项目中的阶段如图2 3 。 哈尔滨工业大学工学硕士学位论文 圈2 3 项目流程图 f i g 2 3f 1 0 wc h a no f p r o j e c t 2 _ 3 2 测试的工作流程 测试的流程在不同的产品里有不同的要求，大体来说在s d h 设备测试中 是按以下流程进行的【1 0 】： ( ，测试开始、： 制定测试计划 i 编写测试规程 图2 4 测试流程图 f i g 2 4f 1 0 wc l l a r to f _ c e s t ( 1 ) 根据系统需求、系统特性描述、系统设计文档完成测试总体方案，主要 包括测试各阶段的划分及任务、完成时间，测试中的人力、物力需求等； ( 2 ) 根据设计文档，完成单板集成测试规程，并进行集成测试( 包括可靠 性) ； 差罄墓萝耋。i j 暮墓薹慧 蒸臻羹鋈 ：二；未萋；_ 且i i i g “i ； ；g l ! l e l | ? 一；j 。 ；g ” ；! 妻藿；s e 重 、譬? 薹l ；耋i 霎 6 i ! ! l g 垂! a j a j 枣! ! 喜；篁匿e 瓣主嚣即性! ! i i _ ：j j i i ：| g ； l g ! i i i 嚣j 主 i i i ；二蓊、鬟塞毫；招：摹i i 基i i i 擘篓辩鞲糍 目f i j l 曩巷理i l 蝠孽囊蹬萋毫i 掌f 藩= ? i j ! i ；垂i 藿= l 二 j 叁= 西墓?争i i ；宝蚕i 雩i 群；警j 罐| i 芏鼋皋i 撵誊 i l ? ；i ! 童l l 琴i e e ；i 善l 琴j ! i 摹i 莓缓蠹i 目e j 算 i i i l 懋 i 妻a i a ；鬻 蛾 ；l ：i ；i ! ；i l j 一i ；目g ! 蓁嚣i 筝i f 誊亭j j ! i ：鲞；差i ；i | | 蔓；童搴辜；l | # ? ? ? 蚕孽；嚣 薯d 6 i 摇i | g i ； i i | ；：； | 两茸j ! 曼痞# 萼接s ! j j | i i ；j 地i 赢础_ 黧蒸嬲；善= ：j 苗囊| 嚣若帮嚣m 塾a i i ? ；童i i i l 羹p j ；童一 j 自i ；室 ；囊耋；i l ；。i ；? ；i ；j i ! ；二 h i 害：i ：；登i ；摹；嚣 ；i 啦：善 i t ：l 季i i = ；i ；i ；j ；i i i i 。：奄掣! ； 苎j l 獾；毫“；i 捌二| l l ；i i l t ；ii | | l i i 二 i 目目l 嚣i j 摹i 攀；：| 妻醇藿目 囊主；j 虮i i ! i i 饕毪矗方蠢i 川j i | i 蚤萎毫j 色j i t 。善二；产键；喧i i f l 孽j ! ! 茸蠹岱 反爨巷i i 州妊国妻茎! 萌& ；f 釜! 豸：拳i i i l ￥毛i 藿：季 l l i ：富酷宅宣i 重自至差差篷i 睁曲j 羹薹璐剐兰蓄；i j 甬搿鐾 ；叠；l 5 塞臻艟 乎l n 三r ? 垂蓄璧p ；i i 辅；善i 薯辅 ? 乒嚣i i ；墓尊重宴篱e 嚣| 婆。嚣鬟瞪鬻j 凹第t 莹蒌i 莹鹫。；羹；i # ； 系统用途和外 可以发现白盒测试发现不了的问题。因为黑盒测试与需求紧密相关，需求规 格说明的质量直接影响测试的结果，黑盒测试只能限制在需求的范围内进行。 在集成测试与系统测试阶段多采用黑盒测试的方法。白盒测试又称结构测试、 x ( 3 ) 进行系统测试，主要是各种组网下的功能、指标的测试( 包括可靠 性) 。根据测试文档测试要求，按照测试步骤，逐项进行。通过运行系统，观 察测试结果，与需求说明书的内容进行比较，找出系统错误。对于需要调用测 试用例的测试，保证正确地调用了测试用例，注意观察和分析测试结果。某些 不容易重复的错误，需要反复测试，总结重复该错误所需要的测试步骤，直到 确认可以重复出现为止； ( 4 ) 记录发现的错误，填写软件问题报告。为了纠正所测产品的错误，测试 工程师要正确记录发现的错误，将错误再现的步骤写入测试报告中，测试报告 是程序测试的重要组成部分，正确书写测试报告是对测试工程师的基本要求。 采用软件缺陷数据库管理测试中发现的软件缺陷，每一条错误作为数据库的一 条记录，方便记录、修改、查询； ( 5 ) 回归测试、维护改进测试。需要强调的是先有测试方案、测试规程， 再进行测试。测试结束后编写完整详细的测试报告。 2 3 3 测试的分类 测试有多种不同的分类标准。 按内容分有功能测试、指标测试、可靠性测试。 按开发阶段分：单元测试、集成测试、系统测试、维护改进狈g 试。当设计 出一个模块后，通常要对它进行必要的测试，称为单元测试。这时测试与编码 属于同一个阶段。在设计编码阶段结束后，对软件或硬件系统还要进行各种综 合测试，称为集成测试。在硬件或软件的集成测试完成且合格后，把嵌入式软 件植入到硬件中，并组成系统，称为系统测试【3 l 。 按照功能来划分，测试分为黑盒测试和白盒测试。黑盒测试又称功能测 试、数据驱动测试或基于规格说明的钡| 试，是在完全不考虑系统内部结构和内 部性的情况下，检查输入与输出之间关系是否符合要求。这类测试方法根据系 统用途和外部特征查找硬件或软件缺陷，不需要了解系统的内部结构。黑盒澳0 试最大的势在于不依赖代码或硬件逻辑，而是从实际使用的角度进行测试，通 过黑盒测试可以发现白盒测试发现不了的问题。因为黑盒测试与需求紧密相 关，需求规格说明的质量直接影响测试的结果，黑盒测试只能限制在需求的范 围内进行。在集成测试与系统测试阶段多采用黑盒测试的方法。白盒测试又称 结构测试、逻辑驱动测试或基于硬件逻辑及程序的测试。白盒测试是在已知硬 件逻辑或程序内部结构的情况下设计测试用例的测试方法，它关心内部逻辑结 哈尔滨工业大学工学硕士学位论文 构，测试覆盖率，是由逻辑驱动的测试。自盒测试根据源代码的组织结构查找 软件缺陷，它与代码覆盖率密切相关，可以在自盒测试的同时计算出测试的硬 件逻辑和代码覆盖率，保证测试的充分性1 。 对入嵌入软件部分，按测试方法来划分，有静态测试、动态测试。静态测 试是指无须执行被测代码，而是借助于专用的测试工具来评审程序，度量程序 静态复杂度，检查软件是否符合标准，借以发现代码的不足之处，减少错误出 现的概率。静态测试在主机上完成，不需目标系统支持，测试的主要内容有编 程标准验证、数据流分析技术、质量度量信息、代码结构可视化显示、测试外 壳的创建。由此看出，静态测试只是对代码进行扫描分析，检测它的语法规则 复杂度等是否符合要求，主要是为软件的质量保证提供依据，以提高软件的可 靠性和易维护性。动态测试是使被测代码在相对真实环境下运行，从多角度观 察程序运行时能体现的功能、逻辑、行为和结构等行为，以发现其中的错误现 象( 。 除此之外，还有极限测试、强度测试、兼容性测试和一致性测试等州。 本课题的主要任务是对s d h 系统进行系统级功能的黑盒测试及强度测 试。 2 4s d h 系统测试的独特性 s d h 系统测试是以i t 弋j t 发布的各种建议，包括s d h 的信号速率和格式 ( g 7 0 7 ) ，网络结构体系( g 8 0 3 ) ，网络互通( g 8 3 2 ) ，设备的功能特性( g 7 8 3 ) 等为标准进行测试的j 。 由于由于嵌入式系统的自身特点，如实时性，内存不丰富，“o 通道少， 开发工具昂贵，并且与硬件紧密相关，c p u 种类繁多等等，在测试过程中还 需要对硬件进行操作，嵌入式软件的开发和测试也就与一般商用软件的开发和 测试策略有了很大的不同。由于系统测试更关心系统功能及性能的实现，更注 重通信业务，所以把嵌入式软件固化到硬件中，也就是把软 牛移植到目标环 境，模拟实际使用操作，从各单板状态及业务中断与否来评价设备的性能【4 0 】。 测试时需要运用z x 删e 3 0 0 网管对网元( n e ) 的各单板属性及业务交 叉等进行配置，同时连接s d h 测试仪表进行在线测试，在测试过程中需要对 告警信号，性能计数及单板的其它状态特别关注。对于自动化测试平台来说， 需要考虑平台和网管及仪表的通信。 暗尔滨工业大学工学硕士学位论文 2 5 本章小结 图2 5 测试配置图 f i g 2 - 5c o n 6 9 m t i o n 铲9 p ho f t e s t 网管 本章从原理上分析了s d h 系统结构，即分布式嵌入系统的特点并结合 s d h 系统详细介绍测试的有关内容。为下面的s d h 系统的自动化测试的分析 和设计奠定了理论基础。 个新的进程为此客户服务，服务进程接等待其它用户的请求。有的系统不是创 建新进程，而是创建新的线程为此用户服务，线程和服务进程同属一个进程， 它比单独为客户分配进程节省资源。 客户端 s o c k e t o j c o m l e c t 0 - - - 服务器 s o c k e t ( ) l i s t e n 0 a c c e p t 0 等待客户连 c l o s e 0 。1 0 s e o 图3 1 套接口通信模型 f i g 3 - lc o m m i c a t i o n m o d e lo f s o c 融 客户方与服务器通信时，首先也要创建一个套接字，然后用c o n n e c c 0 将套 接字和目标相连接，也就是向服务器发出请求，然后由服务器建立数据连接。 此后用s e n d ( ) 发送数据包，用r e c e i v e o 接收数据包，应用完成时最后用c l o s e o 释放套接字【2 0 。 3 。2w i n s o c k 协议的特性 w 斟s o c k 协议为m i c r o s o rw i n d o w s 环境定义的网络编程接口，它以 b s d 的套接口模型为基础，包括所有b s ds o c k e t 中定义的函数和一些为了使 用消息驱动机制的扩展。实现这个接口的网络软件以d l l ( 动态链接库) 的方 式提供，应用开发人员只要遵循w i n s o c k 协议规范便可使用d u 。中的函数 。 w 烈s 0 c k 中的扩展部分有助于开发者开发出适合w i n d o w s 风格的程序， 而且也有助于开发出可靠和高效的应用，但是除了应用开始时必须调用 w s a s t 盯缸p o 和最后调用w s a c l e 翘u p o 外，扩展部分完全可以不用。 w s a s t a n u p 0 检查环境中是否安装w i n s o 纰d l l 并做初始化工作w s a c l e a n u p 0 释放分配的一些资源。 b s d 的s o c k e t 可以存在于嗽，m 锄e t ，x n _ s 等通信域中，同一域中的 套按字具有共同的通信性质如命名法和协议地址格式，但是w i n s o c k 目 前只能支持h l t e m e t 域，也就是它只能支持i n t e m e t 协议簇，将来的新版本可能 加入对其它域的支持【z o l 。 b s d 中s o c k e 省缺是同步阻塞方式，可以设置成异步非阻塞方式。同步阻 塞方式中，只有调用的函数完成动作，调用才返回：异步非阻塞方式中，一个 调用无论动作是否可以立即完成它均立即返回，应用此时可以处理其它事件， 当动作完成时，以消息通知应用，由应用做相应的处理。同步阻塞引出的问题 是当一个调用需要长时间完成时，客户端等待，浪费系统资源：更有甚者，由 于各种原因动作无法完成时，客户端可能被死锁。在1 肘中，客户只是一个 一般进程，可以从其它进程解锁，而w i n d o w 8 不是真正意义上的多任务，它 是当一个任务主动释放c p u 时，其它任务才能使用，因此w i n d o w s 下的同步 阻塞方式引起的死锁更严重。一般情况下，应用最好用异步非阻塞方式开发， 要用同步阻塞方式时必须谨慎编程。 由于h l t e l 处理器的字节顺序和h e m e t 的不同，因此字节顺序是使用 w 玳s o c k 开发必须考虑的问题。在使用w n 峪o c k 函数之前，球地址和端口 都必须转化成网络字节顺序，w 矾s o c k 提供了h t o n s 0 和n t o h s 0 进行字节互 相转换，以免应用自己处理，影响应用的移植性。 由于w i n d o w s 环境和u 】q x 的不同，w i n s o c k 和b s d s o c k e t 有一些 不同，例如w 矾s o c k 的s o c k c t 0 返回的描述字是s o c k e t 类型，s o c k e t 类型实 哈尔滨工业大学工学硕士学位论文 质是l h l s i 印e d 类型；而b s du 】q 中s o c k e t o 返回的是非负整数，因此两者处 理s o c k e t ( ) 的返回时不同【1 9 1 ，如下例： b s d 风格 s = s o c k e t ( ) ； i f ( s 1 ) 产o r s o + ( e r r o rp r o c e s s i n g ) w 酣s o c k 风格 s = s o c k e t ( ) ； i f ( s _ = i n l 刀d - s o c k e t ) ( e r r o rp r o c e s s i n 酣 由此可见w n s o c k 中有效的s o c k e t 描述字是0 d 小，a u ds o c k e t _ 1 。 另外，为了考虑w 酣3 2 以上版本的多线程结构，w i n s o c k 不希望使用 c r r e m 姗，而是在每次调用函数后，用w s a g e t l 踮t e 玎。哟检测函数失败的原 因。还有一点是i ，肘中s o c k e t 作为操作系统的基本部分被支持，s o c k e t 描述 字与文件旬柄逻辑上一致：在w s o c k 中，套接口作为w 证d o w s 的附加软 件实现，w 矾s o c k 中只能用s e n d 0 代替w r i t e 0 ，r e c e i v e ( ) 代替r e a d ( ) 、 c l o s e s o c k e t ( ) 代替c l o s e o 。实现w n s o c k 协议的厂家很多，实现细节也略有 不同，如最大的套接口描述字数目。 3 3 本章小结 本章讨论了s o c k c ta p i ( 套接口a p i ) 开发技术、原型b s d i 脚x 4 3 的 s o c k e t 机制和在w i n d o w s 环境下s o c k e ta p i 接口的特性，介绍了客户机及服 务器的通信模型，为s 口监控平台的开发奠定了理论基础。 堕玺堡三些奎耋三兰堡圭兰堡兰兰 第4 章自动化测试系统设计 4 1 系统基本要求 在通讯产品或其它智能化的精密电子产品中，测试在整个研发的过程所占 的分量越来越重。纵观目前测试工作中的“手工作坊式”的水平，测试工具的 开发迫在眉捷。因此，如何能够建立一套系统的测试方法和平台是我们研究的 重要课题。 目前，国内外市场上有不少软件测试和软件配置管理工具的商用软件，但 大多都是用于嵌入式软件白盒测试。对系统级的黑盒测试一般需专门定制，因 而难以应用已有的经验数据。而本s d h 系统测试对象是多个单板组成的分布 式嵌入系统。本系统的设计目标是集测试流程控制和测试管理为一体的系统： 系统可将制定测试大纲、测试计划，编写测试用例、实施测试直至产生测试报 告的过程全部纳入数据库系统，以便对测试过程、被测项目进行追踪管理；系 统可同时针对多个测试对象进行独立测试，可按照指定的测试脚本进行自动测 试，并可按照指定格式生成测试文档：随着系统的不断应用，数据库中保存的 大量经验数据可重复利用于后续的项目中。 4 1 1 功能分析 针对s d h 系统测试的特点和要求，将来的完接的测试管理系统包括下列 核心功能： ( 1 ) 测试数据库管理系统对测试过程的相关文档和数据进行统的管理。 ( 2 ) 测试过程控制对测试的具体执行进行逻辑和时序控制，完成测试用例 的自动执行过程和结果反馈。 ( 3 ) 目标机状态监控系统通过对对分布式嵌入系统即网元的s 口总线进行 监控，截获n c p 与各单板的通讯信息，来判断单板所处的状态。 ( 4 ) 前端机通过对各类前端机硬件设备的支持和封装，实现系统与多种待 测设备的通信，从而提高系统的通用性f 1 6 】。 ( 5 1 测试数据后期处理对测试的结果进行分析生成并且自动生成相应的报 表和相应文档。 ( 6 ) 测试信息管理为测试人员和开发人员及管理人员提供交互的平台，有 哈尔滨工业大学工学硕士学位论文 效处理测试中发现的各类问题。 4 1 2 用l 语言描述需求 根据系统的功能分析，可以得到系统基本的用例视图，如图4 1 所示， u m l 表示系统的用例视图，用通用的语言描述系统的主要角色和核心功能， 目前，u m l 已经成为软件工程的通用语言，尤其是在需求分析阶段应用得更 加广泛，对于u m l 和系统u m l 建模的详细叙述可以参考相应的文献资料 【12 l 。 系统用例的简要说明 测 对象的测试结果，“捕获测试结果”用饲捕获被测对象的执行状态和测试结 果，并反馈显示给测试人员。 f 8 ) 评估测试结果测试人员使用“评估测试结果”用例来确定要评估的对 象和评估标准，“评估测试结果”用例对测试结果进行分析比较，获取被测对 嗡镣= 滨；上面：= 天每掌早晕南 鏊磊嘉薹冀蠢撵蕊嘤煅馐墓翼； 萎：f ；堇茉鐾要霎鬟蘩雾蟊蘑羹 囊 皇堡釜三些奎兰三耋鎏圭耋堡篓耋 4 2 _ 2r a t i o n a lr o b o t 简介 r 0 b o t 是一种面向对象的自动化测试工具，它提供了灵活的和可扩展的脚 本语言s q ab a s i c 2 7 】。能够开发用于功能测试的g u i 脚本、用于性能测试的 v u 以及、，b 脚本，并自动回放。执行结束后可自动把结果导入t e s t m 姐a g e r 。 4 2 3c l e a rq u e s t 简介 c l e a 哟u e s t 是一个故障管理平台。它提供基于活动的变更和缺陷跟踪，以 灵活的工作流程管理所有类型的变更要求，包括缺陷、改进、问题和文档变 更。能方便地定制缺陷和变更请求的字段、流程、用户界面、查询、图表和报 告。 由于这部分不是本人的研究范畴，在下文中不再展开讨论。 4 2 4 监控平台 监控平台包括s d h 测试仪控制平台、单板监控平台、s 口监控平台。由 于前两者不是由本人负责，在以下内容中不做详细探讨，只在此简单介绍功 能。 仪表控制平台主要负责仪表的配置，并采集仪表收到的告警及性能。 单板监控平台主要负责监控单板软件提供的信息，包括嵌入式软件的各任 务监控、告警性能监控、内存监控、异常捕获等。 s 口监控平台属于s d h 自动测试中的底层模块，最主要的功能是获取网 管、n c p 和其它单板之间通信报文，来获悉下发给单板的命令并确定单板的反 应及所处状态。这是由本人负责开发的一个模块，通过确定单板状态，来判断 自动测试的结果。这是本文重点研究内容之一，将在下一章重点展开讨论。 4 3 总体方案 由以上的测试平台功能需求分析结果，结合s d h 网元设备的特点以及现 有的测试条件，制定了图4 2 所示的s d h 系统测试平台总体方案。 总体方案一方面实现了自动化测试的目标，同时也是整个测试工作流程的 优化。具体测试的每一个操作阶段都在这个总体方案的设计图上得到反映。 哈尔滨工业大学工学硕士学位论文 ( 1 ) e l c m c n tl nar o s ev i s u a lm o d e l ； ( 2 ) r e q u i r e l c n t si i lar e q u i s i t e p r 0p r o j e c t ； ( 3 ) v 甜u e si nam i c r o s o f te x c e l 此外，t e s 订a i l a g e r 还支持其它自定义的测试输入类型，如一个m i c r o s o f p r o j e c t 中的任务，也可以定义c + + 工程文件作为测试输入。 因为与现在的工作流程有些出入，此部分在本系统中暂未使用，所以不作 深究。 图5 一lt e s 仃n a 腑g e r 主窗口 f i g 5 1m a i nw i l l d o wo f t e 啦n a m g e r s t l n gw 0 r 姗o w 图5 - 2t e 啦l a g e r 工作流程图 f i g 5 - 2f l o wc l l a r to f l b s t i i l 雅a g e r 5 ，2 2 2 测试计娜当产品发布出来后，测试人员要马上基于它进行测试脚本的 实现，并基于测试计划中的测试目的执行测试用例，对测试结果进行评估报 告。测试计戈0 应在开发周期的前期开始设计，否则不可能设计出有效的执行计 划。 在t e s ta s s e t 区中右键点击t e s tp l a l l ，选中“n e wt e s tp l a i l ”，新建测试计 划。t e s t m a i l a g e r 缺省提供的属性见图5 ，3 。 在测试计划要素中，提供了一般信息、阶段配置信息、外部文档信息、定 制字段和统计信息五个字段。 哈尔滨工业大学工学硕士学位论文 表5 1 用例属性字段 t a b 5 。1f i e l do f t e s tc a s ea t 砸b u t e 、串段填性 字段用途描述字段数据类型字符数所处阶段 字段名、 用例名称用例简述字符型 4 0 创建用例 用例描述测试内容字符型 2 5 5 创建用例 用倒设计测试步骤设计字符型数组测试设计 前置条件 字符型 2 5 5 测试设计 后置条件 字符型 2 5 5 测试设计 通过准则字符型 2 5 5 测试设计 用例脚本 实施用例 测试实施 迭代与配置创建计划 c u s t o m 字段用于统计 测试输入关联测试需求创建用例 附加文档描述图表信息 5 2 3t e s t m a n a g c r 测试实旋和部署 t e s 衄姐a g e r 提供了测试组织的工具s 伍t e ( 测试体) 。t e s t m a i l a g e r 中的测试 体集合了基本上所有的测试元素，如测试资源( c o m p u t e r ，1 l s e r s ) 、测试用例、 测试脚本、容器( s e l e c t o r ) 、事务处理器( 仃a n s a c t o r ) 等，可以认为它是一个实施 层面的概念。它是针对具体的测试任务，挑选相应的测试用例，组织这些用例 之间的相互顺序，并加入一些模拟实际场景的特性点，如延迟、同步点、执行 任务，通过这样的实施过程就完成了测试体的构造。 测试体的组织一般是由测试负责人设计的，在一个自动化测试的测试体 里，可以利用已有的测试用例库，根据各种单板的特性、其版本号和更改内容 进行不同的组合，这样得到的每一个测试体就对就应某一块单板的某一个版本 的测试。 塞玺鎏三些銮耋三竺至圭耋堡鎏兰 5 2 4t e s 垤讧a n a g e r 测试过程执行 t e s t m a i l a g e r 测试过程的执行是由t e s h n a n a g e r 触发r o b o t 执行自动测试脚 本来实现的。具体将在下一小节的r o b o t 部分详述。 5 2 5t e s t m a n a g c r 测试结果评价 5 2 5 1 测试结果t e s t s c 却t 、t e s c c a s e 、t e s t s u i t e 的运行结果都被记录在t e s t l o g 中。在日志中： ( 1 ) 可查看每一次测试通过与否的详细信息； ( 2 ) 过滤日志信息，查看需要的数据； ( 3 ) 查看所有末评估的测试用例结果，这点对评估性能测试用例结果特别有 用，能按实际结果对用例排序，于是复审和更新未评估的用例。 对于未通过的测试用例，可以提交故障到c o 系统中。 5 2 5 2 测试分析t e 8 t m a l l a g e r 所管理的测试流程最后一个环节就是a n a l y s i s 。 这一功能可以测试计划执行覆盖率和测试需求执行覆盖率两种不同覆盖率的分 析。从分析报表中，可以查看哪些用例已经执行，哪些用例未执行，哪些用例 执行成功了，哪些用例执行失败了。事实上，a n a l y s i s 并不是在测试执行完之 后才可以进行的工作，t e s t m a l l a g e r 提供给我们手段在测试活动开始时，就可 以不断地进行评价和分析。 5 2 6t e s t m a n a g e r 测试报告的输出 t e s t m a n a g e f 测试报告的输出功能是由s o d a 模块来实现的。在 t e s t m a n a g e r 的r 印o r t 菜单中提供了s o d a 的接口。s o d a 是w j r d 的宏命令， 通过s o d a 命令可以实现整个开发过程的文档生成与输出。 通过制定s o d a 模板，可以设定报告的格式和内容。常用的s o d a 模板编辑 命令有o p e n ( 打开数据库) 、r 印e a t ( 读取数据库字段) 、d i s p l a y ( 显示数据库 字段) 等。 由此全部实现了t e s t l “a g e r 人机交互的所有内容。 5 3r a t i o n a lr o b o t i t o b o t 是一种面向对象的自动化测试工具，它提供了灵活的和可扩展的脚 本语言s q ab a s i c 。能够开发用于功能测试的g u i 脚本、用于性能测试的w 哈尔滨工业大学工学硕士学位论文 以及v b 脚本，并自动回放。 r o b o t 是自动测试的关键组件，所有的测试进程控制的动作都是由r o b 。t 来实现的。没有r o b o t ，本测试系统就像缺少了灵魂。 5 3 1r o b o t 的作用 ( 1 ) 执行完整的功能测试。记录和回放遍历应用程序的脚本，以及测试在查 证点( v 蒯f i c a t i o np o i n t s ) 处的对象状态； ( 2 ) 执行完整的性能测试。r o b o t 和t e g c m a i l a g e r 协作可以记录和回放脚 本，这些脚本有助于你断定多客户系统在不同负载情况下是否能够按照用户定 义标准运行； ( 3 ) 在s q ab 豁i c ，v b ，v u 环境下创建并编辑脚本。r o b o t 编辑器提供有色 代码命令，并且在强大的集成脚本开发阶段提供键盘帮助； ( 4 ) 测试d e 下v i s u a lb 懿i c ，0 r a c l ef o n n s ，p a w e rb u i l d e r ，h t m l ，丁a v a 开发 的应用程序。甚至可测试用户界面上不可见对象； ( 5 ) 脚本回放阶段收集应用程序诊断信息，r o b o t 同r a t i o n a lp 谢f y q i l a 埘甄 p u r e c o v e r 娘e 集成，可以通过诊断工具回放脚本，在日志中察看结果。 r o b o t 使用面向对象记录技术：记录对象内部名称，而非屏幕坐标。若对 象改变位置或者窗口文本发生变化，r o b o t 仍然可以，找到对象并回放【2 7 】。 5 3 2r o b o t 基本概念 r 。b o t 是自动化测试平台中脚本执行系统，能够自动回放对s d h 网元的绝 大部分操作，在回归测试中往往能大幅度提高测试进度。增强和改进已录制的 测试脚本，需要阅读录制好的脚本代码，并对其进行适当的需改，通过设置参 数为这个脚本输入不同的数据集。 且前r o b o t 对几乎所有流行的应用环境多有良好的支持和工作表现。尤 其是对象h t m l ，j a v a 和n 】玎应用，v i s u a lb 勰i c ，p o w e i b u i l d e r ，d e l p h i ，o r a c l e 表单和m f c 控件( 控件最常用在c 和c + + 的应用中) 有着非常强大的支 持。 r 0 b o t 提供了g u i 和v u 两种脚本的编辑器。这两种脚本都是由可运行文 件和脚本属性集组成的。表5 2 是这两种脚本的比较。 表5 2 和g u i 脚本的异同 t a b 5 - 2c o m p 捌s o nb e 研e e nw a n dg u is c r i p t 内容 g u i 脚本v u 脚本 并发 在一台计算机上同时只能执行一个在一台计算机上同时可以执行多个 性g u i 脚本脚本 包括对g u i 对象的键盘敲击以及鼠 语言 标点击行为，脚本用s q ab a s i c 语言写 包括客户端发送到服务器的要求， 脚本用、阿语言写成 成 测试 通常用于加入用户负载的性能测 领域 用于功能测试和性能测试试，例如；测试不同负载下服务器响应 时间 验证 可以包括验证点，用于比较记录回 不支持验证点 点放时捕获的信息 既可在r d b o t 中执行，也可以作为 执行作为t e s tm a n a g e rs u i t e 的部分执行 t e s tm a m g e rs u n e 的一部分执行 因为本自动测试系统暂时只考虑功能测试，所以w 脚本在此研究的不 多。 5 3 3r o b o t 的使用 5 3 3 1 录制脚本典型的对脚本的录制就是把要下发的动作模拟录制出来，要 清楚每一个生成的脚本语句所代表的动作，这样也是为了便于添加后续生成文 件的代码。r o b o t 可以识别大部分的控件，包括适用的控件：c h e c 姐o x ， g c l l e r i c ，g r o u p b o x ，l a b e l ，p u s l l b u t t o n ，r a d j o b u 仰n ，t 0 0 l b 弘w i n d o w ( c a p _ t i o n ) ， e d i t b o x ，l i s l b o x ，l a b e l ，c o m b o b o x 等。 录制中的模式如图4 7 所示。 图5 7 中画圈的表示正在录制过程中，此时r o b o t 自动记录键盘和鼠标的 动作生成s q a b a s i c 语言的脚本。其中各个语句基本表示标志为： w i n d o ws 神c o n 蛔吐，1 c a 埘仰乩耽仃a n sz x 0 n me 3 0 09 回管系统”，f 川 w m d o ws e t p o s n i o n ，洲，”c 0 0 r d s = 0 o ，1 0 2 4 ，7 6 8 ；s t 曩t l l s = n o 砌订a l g e n 耐c o b i e c tc l i c k ，”c l a s s n o g v i e ，s w n d c l a s s ；c l 晒s h l d e x = 5 “，”c o o r d s 3 5 6 ，1 2 ” 图5 7r 0 b o t 录制过程图形 f i g ，5 - 7m 印o f r o b o tr e cp r o c e 这表示已经打开了一个标题为“网管系统”的窗口，并且窗口处于稳定状 态，接着w i n d o wc l i c k ，”c o o r d s = 3 5 6 ，1 2 ”是记录了鼠标的点击动作，脚本中 无法识别的位置就用当前窗口下的相对坐标表示。只要了解每一个点击动作是 做什么的，我们就可以添加部分代码用来记录具体下发命令的时间和操作了。 5 3 3 2 脚本编辑一个s q a b a s i c 脚本包括如下部分： 初始化： s u b m a i n d i mr e s u ha sh l _ t e g e r 窗口恢复： s t a r t s a v e w i n d o w p o s i t i o n e n d s a v e 瓢嚏n