（通信与信息系统专业论文）中国移动数据业务管理平台（dsmp）仿真测试系统.pdf

中国移动数据业务管理平台 ( d s m p ) 仿真测试系统 摘要 近年来，中国的通信事业迅速发展，带动了通信测试市场的高速 增长。通信测试领域除涉及传统的交换以及各种传输网如光纤、微波 卫星通信系统的测试外，还涉及各种宽窄带通信、计算机网络、广播 电视网、移动通信、无线通信、接入网等领域的设备和网络测试。 随着数字通信和数据通信的发展，无论是数字移动通信测试还是 光通信测试、网络测试，都面临着一些与传统测试有着不同意义的变 化，需要测试的参数越来越多，精度要求越来越高，测试速度越来越 快，频率范围越来越宽。现代通信领域的测试越来越多地应用到了基 于软件的测试解决方案，软件测试是硬件测试之后的新发展方向。在 将来，测试过程软件化程度还将越来越高，向着全自动化、智能化的 方向发展。 论文首先介绍了中国移动通信公司的数据业务管理平台 ( d s m p ) 的基本功能和结构。然后从项目的需求、总体方案设计、 子功能模块设计及具体实现过程和最终的测试结果几个方面对 d s m p 仿真测试系统进行了详细的介绍，其中重点描述了编解码模块 和测试管理模块。此系统结合了中创信测公司成熟的仿真测试系统， 针对中国移动的具体需求，采用面向对象的c + + 语言实现，具有较好 的功能完备性、可扩展性、高可用性以及灵活方便的图形界面。最后， 总结了论文的主要工作，并指出今后进一步需要研究的内容。 关键词：通信测试软件测试数据业务管理平台编解码测试管理 c h i n am o b i l ed i g i t a ls e r v i c em a n a g e m e n t p l a t f o r ms i m u l a t e da n dt e s ts y s t e m a b s t r a c t r e c e n t l y t h ef a s td e v e l o p m e n to fc o m m u n i c a t i o ni n d u s t r yi nc h i n a b r i n ga l o n gt h eh i g hs p e e di n c r e a s eo ft h ec o m m u n i c a t i o nt e s tm a r k e t t h ec o m m u n i c a t i o nt e s tr e a l mc o v e r sn o to n l yt h et c s to ft r a d i t i o n a l s w i t c ha n da l lk i n d so ft r a n s m i s s i o nn e t w o r ks u c ha sf i b e r ，m i c r o w a v e ， s a t e l l i t ec o m m u n i c a t i o n ss y s t e m , b u ta l s ot h ei n s t r u m e n t sa n dn e t w o r k t e s to fv a r i o u so fb r o a d b a n da n dn a r r o w b a n dc o m m u n i c a t i o n ，c o m p u t e r n e t w o r k ，b r o a d c a s ta n dt e l e v i s i o nn e t w o r k ，m o b i l ec o m r n u n i c a t i o n ， w i r e l e s sc o m m u n i c a t i o n ，a c c e s sn e t w o r ka n ds oo n w i t ht h e d e v e l o p m e n t o f d i g j i t a l c o m m u n i c a t i o na n dd a t a c o m m u n i c a t i o n ，t h et e s to fd i g i t a lm o b i l ec o m m u n i c a t i o na sw e l la st h e f i b e rc o m m u n i c a t i o na n dt h en e t w o r kt e s ta r ec o n f r o n t e dw i t hs o m e c h a n g e st h a ta r ed i f i e r e n tf r o mt r a c t t i o n a lt e s t s u c ha st h em o r ea n d m o r et e s tp a r a m e t e r s ，t h em u c hm o r eh i 啦p r e c i s i o n ，t h ef a s t e ra n df a s t e r t e s ts p e e da n dt h em u c hm o r eb r o a df r e q u e n c yr a n g e t h et e s to fm o d e m c o m m u n i c a t i o nr e a l ma p p l i e sm o r ea n dm o r et e s ts o l u t i o nb a s e do n s o f t w a r e ，s ot h es o f t w a r et e s ti san e wd e v e l o p m e n td i r e c t i o na f t e rt h e h a r d w a r et e s t i nt h ef u t u r e ，t h es o f t w a r e - b a s e dm e t h o di nt h et e s tp r o c e s s w i l l g e td e e p e ra n dd e e p e rd e g r e e ，a n dd e v e l o pt o w a r d sc o m p l e t e a u t o i m m u n i z a t i o na n di n t e l l i g e n t a tf i r s tt h ed i s s e r t n i o ns u m m a r i z e st h eb a s i cf u n c t i o na n dn e t w o r k s t r u c t u r eo fd i g i t a ls e r v i c em a n a g e m e n tp l a t f o r mi nc i l i n am o b i l e c o m m u n i c a t i o nc o m p a n y t h e nt h ep r o j e c tr e q u i r e m e n ta n a l y s i s ，t h e w h o l es c h e m e d e s i g n i n g ，t h e s u b f u n c t i o n a lm o d e ld e s i g n i n g ，t h e r e a l i z a t i o np r o c e s sa n dt h ef i n a lt e s tr e s u l tw i l lb ed i s c u s s e d ，d u r i n g w h i c ht h ed s m pe n c o d i n ga n dd e c o d i n gm o d u l ea sw e l la st h et e s t m a n a g e m e n tm o d u l et h a td e s i g n e da n di m p l e m e n t e db y t h ea u t h o rw i l lb e d e s c r i b e di nd e t a i l t h i ss i m u l a t e da n dt e s t s y s t e mi sd e s i g n e do i lt h e b a s i so fi n t s - n g ns i m u l a t e ds y s t e mi nz h o n g c h u a n gt e l e c o mt e s t c o ，l t d ，a d a p t so b j e c t o r i e n t e dt h o u g h ta n di s i m p l e m e n t e db yc + + l a n g u a g e i t h a st h ef e a t u r e so fs e l f - c o n t a i n e d ，e x p a n s i b i l i t y ；h i 曲 r e l i a b i l i t ya n dc o n v e n i e n tg u ii n t e r f a c e a tl a s ts o m es u g g e s t i o n sf o rt h e f u t u r ew o r ka r eg i v e n k e yw o r d s ：c o m m u n i c a t i o nt e s t s o f t w a r et e s t d s m p e n c o d e a n dd e c o d et e s tm a n a g e m e n t 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人虢辫羔缉 日期：丝! ：主兰! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 1 1 项目背景介绍 第一章绪论 因特网应用和移动通信的迅速发展，推动了通信测试仪器向前发展。据统计， 通信测试仪器已占整个电子测量仪器市场的3 0 左右，并已成为电子测量仪器市 场中增长最快的一部分，其中最引人注目的是数据网络测试、无线通信测试和通 信终端测试。而在所有的测试项目中，尤以3 g 技术的测试最为核心。 在中国的电信市场上，3 g 网络虽然尚未开始建设，但是在3 g 概念下，最 先受益的却是测试厂商。在国内展开的3 g 外场测试中，3 g 测试设备已经先于 其他所有3 g 设备得到了应用，并且测试设备已经在国内相关的3 g 测试、研究 机构开始布局。另外据了解，测试厂商对运营商的3 g 测试技术培训工作已经大 规模展开。 随着移动通信技术和i n t e m e t 的迅猛发展，中国移动通信有限公司基于g s m 和g p r s 技术推出了s m s 、w a p 、m m s 等各类移动数据业务，以不断满足终端 用户对数据业务日益增长的需求。同时在3 g 业务中将会出现更多样化的业务类 型，为了管理这些业务的实施和开展，中国移动引入了d s m p ( 数据业务管理平 台) 的概念，它的主要功能是为用户和第三方业务的订购关系管理，它在移动数 据业务管理体系中具有非常重要的位置和作用。d s m p 设备的功能完善程度和性 能会影响到各类业务的订购、退订、使用过程，目前主要覆盖短信、w a p 浏览、 m m s 等业务。 随着各类移动数据业务业务量的不断增长，对移动数据业务的维护提出了更 高的要求，运营商对移动业务设备性能的测试和分析的要求就更加规范和严格 了。因此，中国移动集团研发中心提出了移动数据业务性能测试分析系统的研究 和丌发工作要求，这是对移动数据业务维护工作的加强和提高的重要部分。本论 文主要是在以上背景下主要针对中国移动研究院的d s m p 仿真测试系统开发出 符合相关协议和技术规范要求的测试工具。 1 2 论文作者主要工作 本文作者在硕士研究生期间，主要从事“下一代网络关键技术”和“软件仿 真测试管理系统”的研究和开发工作。中创信测公司的i n t s n g n 仿真平台最 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 初是用于n g n 网络的仿真和测试，作者基于对此平台的研究和学习，主要工作 概括为以下几个方面： 对下一代网络的体系结构和关键技术进行深入研究； 深入学习中国移动数据业务管理平台的网络结构和系统功能，负责项目 的需求分析和竞争对手分析文档编写，项目前期的调研和对客户交流工 作，项目方案的研讨等。 对i n t s - n g n 仿真平台的设计结构和功能特点进行深入研究和学习，并 在此基础上负责d s m p 仿真测试系统编解码模块及测试管理模块的设计 和开发工作，解决了界面系统开发中的中文显示问题。 参与项目后期的系统测试及子模块测试工作。 负责项目的部分文档编写，软件安装程序制作，打包及对客户的系统培 训等工作。 限于篇幅，本文只给出了作者负责设计和开发的子模块，对于其他模块则没 有涉及。此外，作者对于下一代网络的体系结构和关键技术研究对于理解 i n t s - n g n 仿真平台的结构起到了很大的作用，但由于本文和此内容无太大关 联。故没有涉及。 1 3 论文主要内容 本文的主要内容包括中国移动d s m p 网络结构介绍。测试系统需求分析，总 体方案设计，论文作者负责的模块设计及实现和最终系统测试的结果。共分为九 章，具体内容如下： 一、概述( 第二章) 本章主要介绍数据业务管理平台( d s m p ) 的网络结构和系统功能。 二、项目需求分析( 第三章) 本章主要从标准的软件开发过程分析了中国移动d s m p 仿真测试系统项目 的需求。 三、i n t s - n g n 仿真测试平台介绍( 第四章) 本章概述了i n t s n g n 仿真平台的基本结构和技术特点，重点介绍了 i n t s n g n 仿真平台的状态机仿真技术，对于理解整个仿真模块的方案及后续的 开发工作具有重要的作用。 四、测试系统方案设计( 第五章) 本章详细介绍了测试系统的总体软件方案设计及开发思路，重点阐述仿真模 块的方案和技术要点，同时概述了一下监测部分的内容。 五、仿真测试系统编解码模块的设计和实现( 第六章) 2 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 本章详细介绍了编解码模块的设计和实现过程，对重点的类和结构进行了描 述。 六、仿真测试系统测试管理模块的设计和实现( 第七章) 本章详细描述了测试管理模块的设计和实现过程，同时简单介绍了i l o g 开 发环境。 七、系统测试及性能分析( 第八章) 本章从测试环境、测试配置及步骤、测试结果性能分析等几个方面介绍了 d s m p 仿真测试系统的测试过程。 八、结束语( 第九章) 本章总结了论文的主要工作，同时提出了需改进的地方及下一步的研究方 向。 3 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 第二章中国移动d s m p ( 数据业务管理平台) 概述 2 1 数据业务管理平台功能概述 数据业务管理平台是数据业务的管理核心平台，完成数据业务的业务管理和 控制功能。数据业务管理平台主要负责用户管理、业务管理和s p 管理，并对外 提供开放接口并为各个业务网关、s p 提供代计费功能。该平台还应提供数据业 务相关的各种统计、查询功能，例如用户统计、s p 及业务统计、计费统计等。 在所有数据业务的业务流程中，数据业务管理平台参与业务流程的用户鉴 权、s p 鉴权、业务鉴权、计费、用户注册、用户订购关系管理( 服务订购，取消 暂停激活) 、业务查询。 数据业务管理平台应具备维护用户相关数据、s p 相关数据、各类业务的相 关数据的功能。其在网络中的位置和结构如下图2 - 1 所示。 图2 - 1 数据业务管理平台网络结构 2 2 数据业务管理平台基本功能要求 数据业务管理平台主要负责用户管理、业务管理和s p 管理，并对外提供开 4 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 放接口并为各个业务网关、s p 提供代计费功能。该平台应具备的基本管理功能 如下： 用户管理：用户基本信息管理、用户服务信息管理、用户个性化信息管理功 能、用户信用度管理、黑名单管理、测试用户管理、用户鉴权等功能。 s p 管理：s p 申请注册管理、s p 鉴权功能。 业务管理：业务申请开通管理、业务鉴权。 流量及服务质量管理：对接入的s p 及业务的数量、用户的数量、每一个接 口的网元设备的流量进行监视和控制，提供友好的监控界面，并对业务进行 相应的质量保证。 终端管理：对各种终端进行管理。 计费管理：包括计费规则的管理和维护以及信息费的计费、费用监控、以及 向b o s s 系统的话单传送等。 操作维护管理：提供操作维护人员对系统的参数配置、日志查询、监控等功 能。 查询，统计管理：提供数据业务各种相关数据的查询、统计分析功能，并要求 支持灵活的报表功能。 网络管理：业务能力及控制部分的网络实体所具备的拓扑管理、故障管理、 配置管理、性能管理、安全管理等基本操作维护功能，并能向外提供标准的 网管接口，网管系统可以通过s n m p 协议对该平台进行网络管理。 审计、日志管理：对系统中各种事件进行日志记录并支持审计。 安全管理：安全管理完成用户的身份验证、授权、并保证传输过程中数据的 完整性和私有性。 漫游管理：用户在漫游时应提供用户的个性化信息，做到信息跟随。 b o s s 系统接口：完成和b o s s 系统的所有接口功能，完成用户状态信息、用 户注册信息、用户的订购关系、业务统计数据、话单文件的传送。提供一个 实时接口来支持和b o s s 系统的集成。 网管系统接口：对于全国数据业务管理平台，由总部网管进行管理或由 设备所在省网管代管，省数据业务管理平台由省网管进行管理。 其他数据业务管理平台接口：完成和数据业务管理平台的所有接口功能。包 括用户数据的同步、s p 及业务数据的同步、用户订购关系的同步。 数据业务管理平台接口子系统：为所有业务网关和s p 代理或应用平台、各 类p o r t a l 提供用户数据、s p 及业务数据的存取及鉴权功能。 5 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 第三章中国移动d s m p 仿真测试系统需求分析 3 1 概述 根据对现网业务已出现的问题分析( 包括成功率低、时延过大、用户欺诈、 s p 欺诈等) ，部分是由d s m p 设备的功能不完善或性能问题所致。此外，d s m p 是一个发展中的系统，各种功能需求正在不断增加中。因此，要求d s m p 测试 系统性能为d s m p 设备的功能和性能测试提供全面方案，应能够模拟d s m p 周 边相关网元设备，对部分d s m p 设备与其余网元接口及完整业务流程进行仿真 测试。在性能测试时，d s m p 测试系统应能在发送高负载的同时，精确收集业务 流程成功率、时延、t p s ( t r a n s a c t i o np e rs e c o n d ) 等指标，并提取被测设备系 统资源消耗等指标，为正确评价被测d s m p 设备功能和性能提供一个客观依据。 3 2 测试功能要求 要求d s m p 测试系统能够模拟d s m p 周边网元设备，同被测d s m p 设备组 成仿真测试环境，对被测d s m p 设备进行功能和性能的测试。测试中要求d s m p 测试系统能够自动发起和终接测试业务流程，并可根据真实业务流程将涉及各个 设备和接口的协议流程关联起来，进行完整测试流程测试。 3 2 t 要求d s m p 测试系统支持的测试流程 ( 1 1 短信彩信f w a pm o a t 流程： a 1 归属地和接入地相同( 仿真接口：鉴权批价接口) ； b ) 归属地和接入地不同，归属地d s m p 设备和接入地d s m p 设备均为真实 设备，组成被测环境( 仿真接口：鉴权批价接口) ； c ) 归属地和接入地不同，接入地d s m p 设备为被测设备( 仿真接口：鉴权 批价接口，d s m p 消息前转接口) ； ( 2 ) 短信彩信a o m t 流程( 仿真接口：鉴权批价接口) ： ( 3 ) 业务网关订购取消订购操作流程： 曲归属地和接八地相同( 仿真接口：鉴权批价接口；p r o v i s i o n i n g 接口；短 信通知接口) ； b ) 归属地和接八地不同，归属地d s m p 设备和接入地d s m p 设备均为真实 6 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 设备，组成被测环境( 仿真接口：鉴权批价接口ip r o v i s i o n i n g 接口；短 信通知接口) ； ( 4 ) 包月计费流程： a ) 归属地和接入地相同( 仿真接口：包月计费接口) ； b ) 归属地和接入地不同，归属地d s m p 设备和接入地d s m p 设备均为真实 设备，组成被测环境( 仿真接口：包月计费接口) ； ( 5 ) 门户操作： a ) 用户注册( 仿真接口：门户操作接口；用户鉴权接口) ； b ) 订购( 仿真接口：门户操作接口；p r o v i s i o n i n g 接口) ； c ) 退订( 仿真接口：门户操作接口；p r o v i s i o n i n g 接口) ： d ) 订购关系查询( 仿真接口：门户操作接口) ； ( 6 ) 用户状态同步( 仿真接口：用户状态同步接口) 。 以上流程的详细内容见参考文献 4 】。需说明的是，这些流程只是测试系统需 要支持的基本流程，测试时的流程和测试例需要在此基础上进行不同参数配置和 细化。 3 2 2 功能测试要求 功能测试包括： ( 1 ) 正常流程测试：指按照设备规范和接口规范中及一些新增业务需求规定的 业务流程对被测设备功能进行验证； ( 2 ) 异常流程测试：指仿真可能出现的异常流程和状态，对被测设备进行健壮 性和容错性验证。 要求测试的正常业务流程包括3 2 1 节中所有流程。异常流程应在正常流程 的基础上进行不同的参数配置和相应扩展。 3 2 3 性能测试要求 性能测试包括： ( 1 ) 指标测试：指仿真d s m p 周边网元对被测d s m p 设备造成大业务量环境 ( 压力环境) ，统计被测设备在压力环境下的性能指标； ( 2 ) 稳定性测试：指仿真被测设备的压力环境并持续一段时间后，检查被测设 备的稳定程度； ( 3 ) 抗冲击力测试：指仿真迅速变化的负载环境( 冲击环境) ，检查被测设备 的抗冲击性。 性能指标测试需要d s m p 测试系统支持3 , 2 1 节中所有单一业务流程。除单 7 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 一业务流程外，还要求测试系统能够按照预先设置的流量模型( 比例) ，同时发 起混合业务流程测试，对被测d s m p 设各进行现网环境的仿真压力测试。 3 3 接口要求 要求d s m f 测试系统能够根据测试需求，自动完成对d s m p 设备部分完整 业务流程的验证和性能测试。这就要求d s m p 测试系统能够仿真部分d s m p 与 外部网元的接口。这些接口及所使用的协议包括： ( 1 ) 鉴权批价接口：参考点为s g 。该接口为业务网关向d s m p 发起业务鉴权批价 的接口。该接口采用s o a p 协议； ( 2 ) 包月计费接口：参考点为s g 。该接口为d s m p 向业务网关发起包月计费流程 的接口。该接口采用s o a p 协议； ( 3 ) 用户鉴权接口：参考点为s b 。该接口为d s m p 向b o s s 系统发起用户状态查 询鉴权的接口。该接口采用) 0 衄。协议： ( 4 ) 用户状态同步接口：参考点为s b 。该接口为b o s s 向d s m p 发起用户状态同 步的接口。该接口采用x m l 协议； ( 5 ) 短信通知接口+ ：参考点s g 。该接口为d s m p 通过业务网关向用户发送订购 退订短信通知的接口。该接口采用c m p p 协议； ( 6 ) d s m p 消息i j 转接口：参考点为s i m 。该接口为不同d s m p 系统之间进行消 息前转的接口。该接口采用s o a p 协议； ( 7 ) p r o v i s i o n i n g 接口：参考点为m a 。该接口为d s m p 系统向s p 同步订购关系 的接口。该接口采用s o a p 协议； ( 8 ) 门户操作接口集：参考点为p a 。该接口集为p o r t a l 向d s m p 发起用户账户查 询生成及业务查询订购退订等操作的接口。该接口集采用s o a p 协议。 3 4 测试例配置要求 要求测试系统能够提供相应接口和功能，可以较方便地进行测试例的二次开 在每个能够在测试例中，应灵活配置如下参数： 选择一个或多个待测业务流程； 发起业务流程时的数据包中各可变字段的内容； 业务流程中测试系统模拟d s m p 周边网元向被测d s m p 设备响应的数据包 中各可变字段的内容； 业务流程中测试系统模拟d s m p 周边网元的处理时延； 业务流程发起总次数或总时长； 业务负载，即最大并发连接数( 同步方式) 或业务流程发起频次( 异步方式) ； 发 北京邮电火学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 性能测试中业务流程业务负载大小随时间变化的过程； 混合业务流程中不同流程比铡； 对于性能测试或大量不同用户号码测试，必须能够支持数据表输入方式及设 定号段随机产生号码输入方式，而且测试过程中须考虑号码数据的充分散 列。 3 5 测试结果要求 3 5 1 测试数据收集及被测系统数据采集 为了能够验证被测d s m p 设备的功能完整性，并准确统计出被测d s m p 设 备的各种性能指标，要求d s m p 测试系统能够准确收集测试结果，并从被测 d s m p 设备上采集相关数据进行比对和分析。需要收集的测试结果包括： ( 1 ) 流程正确性：业务流程中各个协议流程是否正确； ( 2 ) 结果返回正确性：业务流程中各个步骤及最终返回的结果是否正确； ( 3 ) 时延：业务流程各个步骤中被测d s m p 设备处理时延及全程时延； ( 4 ) t p s ：d s m p 设备能够支持的最大业务负载( 每秒最大同时处理的事务数) 。 需要采集相关正确性数据及性能数据指标的设各包括m i s c k e r n e l 服务器及 数据库服务器。需要采集的数据包括： ( 1 ) c p u 占用率； ( 2 ) 内存占用率； ( 3 ) 提取数据库中相关字段的字段进行正确性比对。 3 5 2 数据分析处理 在功能测试中，需要能够根据收集到的测试数据和被测系统相关数据，并得 到下列结果： 业务流程是否准确； 各阶段被测d s m p 设备响应结果和最终返回结果是否正确： d s m p 数据库中相应数据是否正确： 在性能测试中，需要能够根据收集到的测试数据和被测系统相关数据，得到 下列结果： 测试结果正确率； 被测d s m p 设备中相应数据正确率； 9 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 业务流程全程时延和每阶段被测d s m p 设备处理时延； 被测d s m p 设备支持的t p s 数； 被测设备c p u 占用率； 被测设备内存占用率。 要求能够得到上述指标的均值、方差、极值，绘制各指标随时间变化的曲线 图，并给出业务负载、被测设备c p u 占用率、被测设备内存占用率与其余指标 之间的相关性分析。 3 6 测试管理功能 d s m p 测试系统应包含完整的测试管理功能，包括测试需求与用例管理、测 试管理、测试结果管理与问题管理等方面。 36 1 测试需求与用例管理 在一个测试项目中包含的要素包括测试需求、测试详细需求、测试用例等。 测试需求：一个测试项目中需要测试或验证的主题： 测试详细需求：对于每个测试需求主题进行分析，得到的一些需要详细验证 的条目列表： 测试用例：用来测试或验证测试详细需求的测试过程描述。 测试项目视图中测试需求、测试详细需求、测试用例要求的对应关系如图3 。1 所示。 1 0 型生坐堕型竺墅生笪竺! ! 一 生里兰垫塑塑些堑竺堡兰鱼! 里! 坐! 堕塞塑堇墨堕 崩3 - 1 测试项目视图 测试需求与用例管理要求在一个测试项目中，d s m p 测试系统能够： 记录本测试项目相关的基本信息，包括：项目名称、测试时间、测试地点、 测试方、被测方、被测设备及配合设备、被测软件版本及补丁版本号、测试 环境描述、测试总结等； 定义测试需求； 定义测试详细需求； 定义、配置或重用已有测试用例； 关联并维护测试项目中测试需求、测试详细需求及测试用例之间的关系： 重用本测试项目或其他测试项目中已有的测试需求，测试详细需求，及测试 用例： 重用测试需求时同时重用相关测试详细需求，并维护测试需求与详细需求之 间的关系； 重用测试详细需求时同时重用相关测试用例，并维护测试详细需求与测试用 例之间的关系； 测试执行完成后，根据各测试用例的执行结果反向验证测试需求覆盖率。 3 6 2 测试管理 测试管理指在测试执行过程中涉及的管理需求。包括 北京邮电人学坝上论义 中国移动数据业务管理平台( d s m p ) 仿真测试系统 测试例执行时间安捧和执行顺序的灵活调度； 测试过程实时监控，包括业务负载( 或并发进程数) 、时延、t p s 、被测设备 c p u 占用率、被测设备内存占用率等数据的实时提取和显示： 测试过程中告警处理： 当测试系统的c p u 或内存占用率超过预先设定的域值时，触发测试仪表 性能告警； _ 当测试过程出现异常情况时，触发测试流程异常告警( 可选) ： 测试流程实时控制：在测试过程中，测试人员能够实时暂停、继续、终止正 在进行的测试。 3 6 3 测试结果管理与问题瞥理 数据管理和结果输出方面有如下要求： 测试结果原始数据管理：包括记录、查询、使用、清除等： 结果输出： 以曲线图和表格的形式输出测试结果数据，输出内容可定制： 以文档的形式输出测试报告，报告形式可定制( 可选) ； 问题管理： 测试检测到的问题的记录、查询； _ 能够从测试检测到的问题对应到相应的测试需求，反向验证测试需求覆 盖率： 一测试问题解决情况管理等。 1 2 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 第四章中创i n t s - n g n 仿真测试平台介绍 中创信测公司的仿真测试仪表中的i n t s n g n 仿真测试软件，能够快速模 拟n g n 中的各种协议流程，支持各种协议之间的组合模拟，使用非常灵活、简便。 该软件在国内运营商如中国移动、中国网通、中国联通、中国电信等都进行过 n g n 网络的测试，对设备制造商如华为、中兴、上海贝尔等厂家的设备也都进行 过测试分析，结果证明它的功能和性能是比较完善的，能够提供给客户满意的电 信级服务。 4 1 仿真测试平台简介 中创信测公司的1 n t s 。n g n 仿真测试软件的核心技术之一就是状态机仿真 测试技术，即采用状态机机制来描述协议测试流程，可以准确地表达复杂的协议 逻辑流程结构，并用状态机方式执行仿真测试流程。仿真测试软件的所有功能是 通过中创多年研究完成的仿真测试平台为基础完成实现的。 4 1 1 仿真测试平台概述 中创信测公司仿真测试平台可以通过对不同协议的支持实现协议或业务的 规范一致性测试与性能测试等多种测试的解决方案，主要包括：协议一致性测试； 设备性能测试；呼叫流程测试：业务规范测试等等。它提供图形化的消息和状态 机编辑器与详细的测试分析工具，支持不同的协议工作流程，并且采用服务器与 客户端的方式，支持远端测试。 仿真测试平台是一个实现可以任意编写构造测试呼叫流程，发起大量并发呼 叫完成性能测试的测试平台，并支持远程测试控制方式以及协议无关的仿真测试 功能。 所谓“与协议无关”是指只需要增加某个具体协议的结构描述与协议的编、 解码代码即可实现该协议的仿真测试。“与协议无关”表现为消息编辑与协议无 关，消息模板处理与协议无关，状态机的描述与执行和协议无关。其具体的内容 包括： ( 1 ) 、与协议无关的状态机仿真技术。任何协议只要遵循本产品的协议描述方法 进行协议的编、解码，就可以在状态机上执行该协议的流程。 ( 2 ) 、协议编解码分析与逻辑流程的分析相互独立处理的技术。 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 ( 3 ) 、消息模板处理技术。 ( 4 ) 、与协议无关的消息编辑技术。 4 1 2 仿真测试平台结构 仿真测试平台是一个分布式测试结构的方式，由仿真客户端i n t s c l i o n t 和仿 真执行端i n s t s e r v c r 构成。i n s t c l i e n t 和i n t s s e r v e r 从逻辑上是相互独立的功能部 分，它们之间是通过i p 网络进行通信，可以在一台仪表上运行，也可以在网络 中不同机器上运行。后面一种情况就是分布式测试方式。 i n t s s e r v e r 是仿真测试的执行部分，主要模块包括：测试例执行控制， 状态机实例执行控制，仿真过程执行控制，测试报告生成，实时测试状 态生成，协议c o d e e ，功能模块l i c e n s e 管理，测试用户权限管理等。 其结构如图5 - 1 所示： 1 4 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 图4 - 1i n t s s e r v e r 一仿真测试执行部分结构 i n s t c l i e n t 是仿真测试的客户端部分。它的主要功能包括：状态机、测试 例与相关消息的编辑，测试报告的分析与显示等。仿真测试客户端部分 的结构如下图所示： 图4 2 仿真测试客户端( i n g s c l i e n t ) 部分的结构 4 2 仿真状态机的实现原理 4 2 1 仿真状态机机制 中创信测公司的仿真测试平台用状态机的方法来描述将要进行的协议仿真 流程结构。状态机的基本元素包括：状态、转移、动作。 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 4 2 1 1 、状态机中的基本元素 状态： 通话状 转移：指前一状态和下一状态之间的过渡方式。转移分为条件转移和无条件 篝篓煮票薰藿藉篓蔫誓塞雾耋凳蒜竿鬈誊言蔷鬻衾柔耄件转移是不需任何条件的直接转移到指定的下一个状态。用图标_ 表示转 移。 动作：指在某一状态下可以进行的操作。共有6 种不同方式的动作：发送消 息、计数器清零、拷贝数据、数据查找、建立索引号、输出c d r 。提供动作 后，就具备了类似高级语言编程的变量建立，语句执行等功能。引入状态、 转移、动作3 种基本元素之后，利用它们之间的组合可以实现各种形式的分 支逻辑结构。当测试流程处于某个状态时，在外界不同的事件条件下，可能 转移到不同的状态，这就形成了分支逻辑结构。 引入状态、转移、动作3 种基本元素之后，利用它们之间的组合可以实现各 种形式的分支逻辑结构。当测试流程处于某个状态时，在外界不同的事件条件下， 可能转移到不同的状态，这就形成了分支逻辑结构。 4 2 1 2 状态机的组成 对一个完整的状态机来说，必须存在开始状态国、结束状态和至少一 条转移。开始状态是所有仿真流程的入e l ，即任何流程都将被初始化成开始状态。 结束状态是所有仿真流程的终点。完整性要求从开始状态到结束状态之间至少存 在一个通路。下面图示的是完整的和不完整的状态机示意图。 爨卜叫爵一 完整的状态机 镳1 嗣1 4 2 1 3 状态机执行 ( 1 ) 、协议流程完全自定义 不完整的状态机 1 6 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 利用状态机提供的基本元素，就可以定义协议仿真流程，改变状态机的拓扑 结构，就能实现不同的协议流程。在状态机中，引入了消息模板的机制，各种不 同的协议交互，可以看作是消息的交互，具体的协议消息结构可以用抽象成统一 的消息模板。在状态机中采用了消息模板后。屏蔽各个具体协议，因此，利用状 态机协议流程可以描述任何新增加的协议。除了一般的同种协议的流程之外，还 支持不同协议之间的流程；除了规范规定的标准流程之外，还支持用户自定义的 流程。 ( 2 ) 、执行引擎 在状态机执行之前，它的完整协议流程已经被一个执行引擎所掌握，这些协 议流程包括每个状态所要执行的动作、各个状态之间的顺序关系、相邻状态之间 的转移条件等。执行引擎负责跟踪当前的每个状态，并执行当前所处的状态的动 作，同时，执行引擎还要负责处理状态之间的转移。转移驱动的方式如下： 消息驱动：当收到一个消息时，执行引擎首先要根据消息内容中的索引 字段，查找到合适的状态机实例，然后根据当前实例所处的状态进行转 移判定。 定时驱动：执行引擎会根据定时器的设置，在定时器超时的时候进行转 移判定。 ( 3 ) 、状态机的执行 一个编辑好的状态机，它的协议流程已经确定了，这也正是状态机执行的依 据。状态机从开始状态开始，经过一些中间状态，并根据中间状态的不同选择不 同的执行路径，最终到达结束状态，从而完成一次执行过程。 4 2 2 仿真状态机的结构设计 4 2 2 1 仿真状态机执行的总体结构 如图4 - 3 ，仿真状态机的执行部件主要包括：状态机运行数据、测试例状态 机引擎、呼q 实例执行gl 擎。 1 7 北京邮电大学硕士论文 中国移动数据业务管理平台( d s m p ) 仿真测试系统 图4 - 3 仿真状态机执行的总体结构图 每次仿真测试是以仿真测试例为单位进行的，仿真测试例中包含了一些测试 状态机以及负载描述。每个状态机描述了一类呼叫流程，状态机的一次执行是这 个状态机的一个呼叫实例，一个呼叫实例对应着一个具体的协议仿真流程。每个 状态机可以并发生成多个呼叫实例同时进行多个流程仿真，同一个状态机的不同 实例的各个状态参数可以从数据库或实际测试环境中提取。从而，这些实例虽然 流程相同，但是实际的流程参数可能各不相同。 当要进行仿真测试时，由仿真逻辑控制管理接受客户端下载的测试例，对测 试例进行参数解析，形成状态机执行时需要的数据结构，然后仿真逻辑控制管理 接受客户端测试启动停止命令，并控制测试例状态机的启动停止。 测试例状态机引擎负责状态机运行时刻的数据管理，测试实例的负载控制， 和各个具体协议模块的消息收发传递，消息模板的管理和匹配，测试实例的刨建 和终止回收，等等。 呼叫实例执行引擎负责一个具体的呼叫实例的执行过程，包括这个呼叫实例 的收消息处理、发消息处理、条件的匹配和转移、临时参数的拷贝、定时器的处 理等。 4 2 2 2 测试例状态机引擎结构 1 8 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 图4 - 4 测试例状态机引擎结构图 测试例状态机引擎是控制管理测试例状态机的执行过程，包括：状态机实例 数据，状态机实例的启动控制，测试例负载的控制，状态机消息匹配处理。 启动一个状态机实例时，需要用状态机运行数据初始化它，并记录到状态机 实例数据表中。实例启动后运行的状态记录在状态机实例数据中。 状态机的实例启动控制模块根据测试例负载要求启动主叫和被叫状态机的 实例。主叫和被叫的启动是不同的，主叫是仿真测试程序主动地根据负载要求产 生的，而被叫是由对方发起而启动的。当收到一个被测设备来的消息时，如果是 某个被叫状态机的第一个消息就可以启动一个新的状态机实例。 测试例负载的控制负责检测当前仿真的负载情况，当需要启动个状态机实 例时，计算是否满足负载要求，如果尚未达到负载要求，则允许启动，否则不允 许。 状态机消息匹配处理包括2 个部分：1 ) 状态机消息模板的匹配，当某个具 体协议模块从被测方收到一个消息时，它要找到能够处理该消息的消息模板，当 有匹配的消息模板，它才提交给状态机引擎处理，否则将没有状态机能够处理这 1 9 北京邮电大学硕士论文中国移动数据业务管理平台( d s m p ) 仿真测试系统 个消息；2 ) 状态机消息实例匹配，当有消息提交到状态机引擎时，状态机引擎 需要判定这个消息属于哪个呼叫实例，如果找到这个呼叫实例，就直接提交到该 呼叫实例处理，否则提交到状态机实例启动控制部分，尝试启动新的状态机实例。 一个主叫状态机实例启动过程如下： 1 在仿真程序空闲时刻，检查每个状态机当前的负载是否已达要求，如果 没有到达要求，则要求测试例状态生成管理模块启动该状态机的一个实 例 2 对启动的状态机实例，用状态机运行数据初始化，以便它能独立运行 3 将创建的状态机实例提交到呼叫执行模块处理 一个被叫状态机启动过程如下： 1 当状态机实例启动控制模块收到一个消息模板时，