（计算机软件与理论专业论文）网管接口性能测试方法研究.pdf

网管接口性畿测试方法研究 摘要 随着电信网的进一步发展，网管系统对整个网络的良好运作起到越来越重要 的作用，各大运营商也更加重视对网管系统的建设。网管系统建设的快速发展， 必然对网管接口的测试技术也提出了更高的要求。其测试的内容将不仅仅只是功 能和信息模型的要求，对网管接口的性能也有了更高的指标。因此对网管接口的 性能测试的研究成为电信网管领域新的课题。 本论文首先介绍软件的一些测试理论和方法，进而结合软件性能测试的情况 提出针对网管接口性能测试所涉及的指标，归纳出它们的在电信网管领域中的含 义。本文重点讨论了针对各个指标的测试方法，分析了可行性以及具体的实现。 最后，从实际测试环境的不确定性出发，提出了一些可能存在的问题以及今后需 要改进的意见和建议。 关键字：网管接口，性能测试，指标，信息模型 r e s e a r c ho fp e r f o r m a n c et e s tf o r n e t w o r km a n a g e m 嚣n tl n t 嚣聚釜a c e a b s t r a c t w i t ht h ed e v e l o p m e n to ft e l e c o m m u n i c a t i o nn e t w o r k ，t h en e t w o r km a n a g e m e n t s y s t e mp l a y s t h em o r ea n dm o r ei m p o r t a n tr o l eo f t h ee x c e l l e n t o p e r a t i o n t ot h ew h o l e a r c h i t e c t u r e n o wt h en e t w o r ko p e r a t o r sa t t a c hg r e a ti m p o r t a n c et ot h eg r o w i n go f n e t w o r k m a n a g e m e n ts y s t e m s 。n e t w o r km a n a g e m e n ts y s t e mg r o w i n gq u i c k l y , t e s t i n g t e c h n o l o g yt o n e t w o r km a n a g e m e n ti n t e r f a c e ( n m i ) i sr e q u i r e dt og oa h e a d 。i ti s o r d e r e dn o to n l yt ot e s tf u n c t i o n a lr e q u i r e m e n ta n di n f o r m a t i o nm o d a l ，b u ta l s ot ot e s t p e r f o r m a n c eo fn m i t h u st h ep e r f o r m a n c et e s t t on m ib e c o m e san e wt o p i co f t e l e c o mn e t w o r km a n a g e m e n tr e s e a r c h t h i st h e s i ss t a r t sf r o mb a s i ct h e o r i e sa n dt e s t i n gm e t h o d so fs o f t w a r e t h e ns o m e c r i t e r i o n sa b o u tp e r f o r m a n c et e s to fn m ia r eg i v e no u tc o n c e r n i n ga b o u ts o f t w a r e p e r f o r m a n c et e s t ，a n dt h ed e f i n i t i o n s o f t h ec r i t e r i o n si nt e l e c o mn e t w o r k m a n a g e m e n t r e s e a r c ha r ep r o p o s e d t h i sp a p e rm a i n l yd i s c u s s e st h et e s t i n gm e t h o do fe a c h c r i t e r i o n ，a n da n a l y z e st h ef e a s i b i l i t ya n di m p l e m e n td e t a i l s f i n a l l y , s o m ea d v i c ef o r p e r f e c t i n gt h ep r o j e c t i sb r o u g h tf o r w a r d 。 k e y w o r d ：n m i ，p e r f o r m a n c e t e s t ，c r i t e r i o n ，i n f o r m a t i o nm o d a l 独创性( 或创瓤性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取褥的研究 成果。尽我所知，除了文中特别加以标注和致澍中所罗列的内容以外，论文中不 包含其他人已经发袭或撰写过的磁究成果，也不包含为获得北京邮电大攀或其他 教育税毒冬静学侥或证书磊使弱过豹毒手秘。与我4 同工俸斡闲惑对本研究掰锻酶任 伺贡献均已在论文中作了明确的说明并表示了谢意。 审漆学位论文与资精若有l i 实之处，本入承整甥稳关蠢经。 本a 签名： 嚣裁： 关于论文使用授权的说明 学位论文作者完余了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京郏电大学。学校有权保 整并向蠢家有关部门或辘掏送交论文麓复印 孛鞠磁盘，竞诲学位论文谈鸯阗和氆 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密厨遵守此规定) 保密论文注释：本学位论文桶于保密在年解密后适用本授权书。j # 保密论 文汴释：本学位论文不属于保密瓶围，适用本授权书。 本人签名 导师签名 日期 秘斓 j 0 衷酃 瓿大学硬学僚论文两警接墨性能测试方法研究 1 1 研究背景 第一章前塞 黻蓿网络规模的不断扩大，网络管理静堂簧性目益突出，运营商对设备商在 网管方面也提出了新的要求。设备商不仅要实现对自身设备的管理功能，还必须 通过接口将该功能提供给更高层的网络管理系统。提供给高鼷网管的接口的各方 覆能力，影竣到整个瓣终管理系绫豹臻髓窝瞧畿，已藏为运露裔选择设餐时考悫 的重娶因素。在网管接口测试方面的研究，以定义衡量接口撼供的网管能力的指 标、研究对各指标进行测试的方法为主要内容，为运营商检骏设备的网管接口提 供了有效躲手段，怒运营裹和设餐褒基翦共鲻关注的磺究热点。 1 2 本文的研究内容 当霾熬瓣警接舔渊试主要镑瓣渡口楚信惑模鳖霸葵戆瓣一鎏毪送行溺试，立 足于互连互通基础上的基本管理功能；而本文所研究的主螫怒针对其接豳性能的 测试，在完成基本功能的基础上擞多地考虑网锗接口功能执行的效率以及接口的 健壮性j 荦 l 骞错能力，能够更有力魏保证网络管理在整个电僚鼹的运营中发挥作 其j 。 如何去评价一个网管接口的性能的好坏，从哪几个方面去评价最为合理，至 今还没有一个定论。因此，要进行网管接口的蚀能测试，首先应该建立一套科学 合理豹$ 舞标薅系，凌虢是襄确要测嚣么夔闫嚣。这篓参数煞礁定，需要考纛黻下 几个方面的要求： 代表性 所谓代装燃，也就是此慰象区别于箕蚀对象的特别靛性质。所选的指 标簧能够反酸隧管接口的特征，氇要考惑与应用密切桶关熬需求。 可测性 选取的指标如果不便于测量，或者测试的操作性不够好，则可熊为测 试王搏豢亲受大浚复杂幢靼不确定注，辩低潮试绩暴麓准确度，失去了溅 试的意义。因此性能指标的可测性也是个重要的原则。 可比性 测试指标要能够反映不网网管接口的质量积性能的差别，如紧指标定 褥过蒿或过戴，傻辑有静梭溺接口都鼹够这到或都不熊达至l 该撂拣，翻甭 第1 页 就京邮电大学硕士学位论文 喇管接口性熊测试方法研究 便于比较。 完备性 l | 试臻标体系要熊够全嚣反映阚管接口躲瞧魏特 芷。不煎厂家兹不同 实现，必定各有千秋，在不同的测试点有不同的性能特性，如柴只是考察 其中的某几个，肯定是不恰当的，抛会对最后的评判结果带来不公平性。 最小性 所舂豹溯试帮是有开锖懿，因魏在稳定溅试餮标豹懿後，嚣要尽量避 免不同指标之间的冗余，以便减少测试的工作量，降低测试的花费。 基于以上几个问题的考虑，又从实际功能测试的情况出发，本文主要对网管 攘目的几个瞧戆糖探进行礤究：吞睦量、攥髂时延、接入戆力戳及资源消耗。蓄 先总结出这几个指标的定义，进而探究它们可行的测试方法，希餐能从方法论上 基本解决测试的问题，为今后的实际应用做些参考。 l 。3 国内羚的疆究情凝 目前，国内外对网管接口的性能测试研究得并不多，但是在计算机网络中对 网络楼蔻熬溺试方法载磺究曩经跑较深入。 对于吞吐繁的性能测试，有关于网络眷吐量还有设备吞睦量的测试，文献f s 】 采用自适应估算法对代理服务器的吞吐擞进行了有效的估算，并且通过实际的测 蕊进行对比验证；文献【9 择 i n t e m e t 网络的运行参数之i p 路经的吞吐量进 铥_ 了讨论，提是了对特定 p 鼹经翡罨醺爨透露襟溅款舞法，算法麓擎量翼骞蠡 适应性； 针对时延性能，在当前的计算机网络研究领域中，已经提出了许多关于网络 巾传输爨寸延敬测试方法。文漱玲】中提出了壤据m i m l l 撼疆摸型计舞阚终乎均时 延的方法：文献f 6 】从网络控制系统的蛮际应用出发，在不附加网络闻步时钟和 对时延特征的离线假设下，运用通讯技术中的网络协议对网络时娥进行在线估 计；文献【7 辩基予实时应髑的计算机网络数据传输时延河题进行了研究，著采 瘸软件静方式实瑷了对丽终时延静测试。 而关于接入能力的测试有其特殊性，并不是所有的网络或者系统都会有这个 测试，例如对于无连接的系统就没有这方面的需求，因此对此性能指标的研究还 比较少。 1 4 研究生期间所作的疋作 本太俸为l 京都龟大举潮终与交挟鬣家重点实验蜜鞫络管理磁究中心豹一 篇2 硪 北京邮电大学硕1 ：学位论文 网管接口性能测试方法研究 名研究扛，在学习期问直在从事电信网络管理和网管接口测试的理论研究和测 试工作，主要包括： ( 1 ) 设计并实现网管接门的测试流程以及部门事务管理系统 办公自动化的理念早就提出来了，为了更好的实现对本部门各项事务的管 理，主要是对测试流程的标准化，提出采用内部网站的形式囊括大部分的事务 管理，包括人员管理、文档管理、测试项目予项目管理等，并且采用统一的模 板来规范每一个测试的流程，需要提交的文档等。 此网站已经建成并投入使用，并初显成效，尤其是测试流程的自动化管理 方便了所有的成员更好的明确自己的任务，及时的完成该做的事情。对文档的 管理也有了一个统一的界面，更加规范了文档的入库以及审核工作。 f 2 1 学习期间参加的各种测试活动 3 g 技术已经成熟，各种设备以及网管系统也已经建成，各运营商开展了 各种测试准备使用该技术。因此，这段时间测试任务相对较多，本人参加了中 国移动3 g 网管接口的测试，中国联通c d m a 2 0 0 0 网管接口的测试，并且参加 了信息产业部进行的w c d m a 网管接口的测试工作。 通过这些测试工作，一方面对网管接口的测试技术更加熟悉，另一方面也 学到了很多新的通信技术，对网络管理也有了更深的认识。 本沦文是我在不断的实践中结合理论和需求提出的对网管接口性能指标的 测试方法。从功能性和可行性考虑提出了网管接口的几大指标，并根据在实际测 试中积累起来的经验，提出对几个指标比较可行的测试方法。 1 5 论文结构 本文根据作者在北京邮电大学网络与交换国家重点实验室从事网管接口一 致性测试研究的经验，在借鉴i e t f 相关r f c 的基础上，从理论和实践的角度提 出了对网管接口性能考察的几个指标，并分别分析了各指标的定义以及可行的测 试方法。 第一章前言，主要介绍了本文的背景、研究内容以及国内外在此领域的研究 情况。 第二章介绍了网络管理接口的基本概念，以及进行网管接口性能测试的目的 和现状。 第三章对软件测试的技术和方法做了介绍，并对软件的性能测试做了详细的 分析，包括性能测试的准备条件和工具等。 第四章根据网管接 7 1 性能测试的要求提出了网管接口性能测试中的几个指 标，分析了各自的定义以及进行测试的意义。 第3 页 北嵌邮电夫学硕士学位论文 网管接口性麓测试方法硕究 第五章重点分析了各性能指标的测试方法，以及备方法的可行性和一些实现 的细竹。 第六章总缡全文，努扳了滏铸瓣决熬一些竭题以及些霹l 存焱熬超题。 第4 就 北京邮电大学硕上学位论文 蒯管接【：= l 性自b 测试方法研究 第二章网络管理接口性能测试 2 ，l 网簧接盈定义 嘲终管理接翻是据镑理毒翻代理涎个实体之阆懿软件接日，如图2 1 蜃示： 受管理的开放系统 m 理开鼗系统l 管蒹侄”m 0 管理考 | ( 警 代 疆 焱送通稚 一 本地系统环境 图2 1 网络管理接饼以及操作 其中， 瑾可以蹩设备代疆或鼹簪代理。设备弋瑾楚最瘫豢载被管霹络设备 的抽象；网管代理则作为管理前与低一层的被管系统的中问者，一方磷管理低一 层静被管系统，另一方褥又接受上藩管理者沟管簿。管惩者可以逶遥设备代理， 也可以通过低层的网管代理对网络设餐进行各种配置操作，可以采集到网络设备 的性能和故障信息，达到对网络设备管理的强的。 网鸶接口测试是搬幽篱理襞来测试代理提供的接口力，一方蕊在管理卷发 出操作指令，代理收到后处理该指令并返回应答的过程中测量代理在各方面的能 力；舞一方懑是考察拨嚣发送j 蓑知的能力，鼯管理嚣定锲定条侔下戆逶躲请漆， 当条件满足的时候，代理应该向管理者发送相应的通知。 2 2 网管接口性熊测试的目的 性能测试主鼹关注l ! l 勺是刚管接口软件在一定的处理压力之下，其处理能力和 执行效率等目标，包括对其数据库系统、操作响应时间的考核。对系统的单功 测试相对 l 较察易，但对整个系统骢性g g 测试鼓晓较豳难。一般在进行性能溅 试时候可以分成两种情况，一类涉及正常负载条件下的性能测量，类属超载测 试，重点溅试潮餐软 孛耱稼懿数据保护凝翻。洼2 测试懿鬻酶懿楚要邋过搭建与 实际使用环境相类似的测试环境，采用测试手段在同一时间内、溅某一段时间内， 向系统发遴预期数量酌处理请求，灏试系统在不同压力情况下的效率状况，以及 系统可以承受的压力情况，然藤做针对性的测试与分析。找到影响系统性能的瓶 颈，并根据该数据评估系统在实际使用环境下的效率情况，作为评价系统往能、 以及判颧怒否霉黉对应爝系统进行扶化处理或结构调整夔摄据，然居对系统资源 第5 员 北i 邮电人学硕十学位论文网管接口性能测试方法研究 进行优化，提高响应时间与吞吐量是压力测试的最终目的。以告警风暴发生时为 例，系统性能测试可以反映在系统在这种情况下的操作响应时间和对数据的保 存、恢复能力。 2 3 网管接口性能测试现状 当前，各运营商对网管接口的开发程度还处于起步阶段，而且在实际的应用 中也没有完全发挥其作用，这必然导致网管接口的测试工作也有所滞后，因此现 在的网管接l 的测试主要是完成功能和信息模型的一致性测试，确保备网管接口 可以投入使用，并且能够正确的完成任务，起到帮助监督、分析和决策的作用。 然而在使用中，各运营商也发现不少的网管接口虽然可以完成指定的功能， 但是效率比较低；还有的在大的突发事件发生的时候会发生无法正常或者无法全 面的反映问题。随即便有了网管接口性能测试的需求，但是由于测试技术也相对 落后，无法准确定量的测试得到各性能指标，因此在确定测试规范的时候，在提 测试具体要求的时候往往比较的笼统，给定一个范围，大致能够得出结论是通过 还是未通过。例如：测试实时告警发生到网管接口收到告警的延迟时间，要求应 有较小的时延( 建议小于1 0 秒) 。这样，只要小于1 0 秒的都将作为通过，而不 能合理的评价不同网管接口的优劣。另外，由于没有相应的测试技术作保障，测 量时延的方法也非常落后，只能根据测试人员的“感觉”来判断实时告警何时发 生，网管接口又在何时收到告警信息，并且最后判断是否符合给定的要求，这对 各设备制造商的网管开发并不公平，也没有客观实际的反映真正的水平，并且没 有相关的测试纪录可奄，给测试后的审查也带来了很多的不便。 第6 页 北京邮电大学硕士学位论文 嘲管接口性能测试方法研究 第三章软件测试技术介绍 为了检验开发的软件能否褥合规格说明书的要求，测试活动可以采用各静不 同的策略。这些策略的区剐在于它们表明了不同的尚发点、不问的思路以及采用 不阉的手段稠方法。 3 。l 软锋功栽测试技术奔缨 3 ，1 。l 舞i 基方法与魏态方法 原则上讲，我们可以把软馋测试方法分为两大类，即静态方法和动态方法。 静态方法的主要特征是不利用计算机运行被测试的程序，而是采用其他手段 达到检测瓣强戆。毽上述静态方法数褥薤并不意噻麓完全不到鲻诗葵撬 擘为分鸯莲 的工具。 静态分辑跫辩棱浏程_ 芋逡行特性分罄千的鎏方法静总称。这些方法本身器有 自邑的目标和步骤。比如，有的是要收集一些程序信息，以利于查找程序中的各 种欠缺和可疑的程序构造；有的只是从程序中提磁语义的或结枣暂要点，供遴一步 分瓠；或楚以符号代替数值求褥程序的结巢，便于对程胯进行运算授德的检验； 以及对程序进行一些处理，为进一步动态分析做准备等等。 对于势态分援在较臀测试中突竟占据传么遗像，谗多大毒不冠熬怒簿。艨因 在于，人们已经开发出些静态分析系统作为软件测试工具，静态分析被当作一 辩鑫动纯酾代羁检验方法。黯予软 串开发人员来说，静态分轿只是进行动态分橱 的预处理工作。他们认为，静态分析并不是要找出程序中的错误，因为编译系统 已经能够傲到这一点了。实际上，这种看法是片西的，尽管编译系统谶能发现某 些程序错误，但这些远非软l 牛中存在的大部分错误。静态分析的查错功能是编译 程序所不麓代替的。 动态测试与游悫测试不弱，动态测试一般采用“捶毒蹇”豹方式，囱我玛生成 的可执行文件中插入一燧监测代码，用来统计程序运行时的数据。其与静态测试 最天鹣叠；溺就是渤态灞试要求被溺系统实舔运行。 i 翻黪筮潮碉翟辩郧董黼 黑盒测试与白盒测试是很广泛使用的两类测试方法。 黑盒测试( b l a c k b o xt e s t i n g ) s l 称功能渊试、数括驱动测试戡者基于规格说明 的测试( s p e c 壕c a t i o n b a s e dt e s t i n g ) 。溺这枣 方法避章亍测试时，被测程序被当作打 第7 蜒 l 囊邮电大学硕士学擅论文嬲管接嗣性能溯试方法研究 不行的黑盒，因渐无法了解旗内部构造。在完全不考虑程序内部结构和内部特性 的情况下，测试者只知道该程序输入和输出之间的关系，或是程序的功能。他必 须镀靠爱够反躞这一关系露援序功麓麴霰袋援穆说明书考虑确定溅试震攒，彝擦 断溅试结果的证确性。即所依据的只能怒程序的外部特性。因此。黑盒测试是从 用户观点出发的测试。 自盒测试( w h i t e b o xt e s t i n g ) 又称结构测试、逻辑驱动测试或者基予程序的测 试( p r o g r a m b a s e d t e s t i n g ) 。聚雳这- - n 试方法，溺试者霹美看到被测鑫孽滚程疼， 他可以分析程序的内部构造，并且根据葵内部构造设计测试用例。这时测试者可 以完全不顾程序的功能。 这嚣类溅试方法是孰宠全不同豹起点臻发，并且怒薄令完全对立豹出发点， 可以随反映了攀物的两个极端。两类方法各有侧重，在测试的实践中部是有效和 实用的。我们不能指望其中的一个能够完全代替另一个。在进行单元测试时大都 采用自盒测试，嚣在确认测试或系统测试中大都采用黑鑫测试。 良下将分爨分绍这瑟类溅试方法，并终对魄。 一、黑盒测试 如上所述，黑盒测试是一类重要的测试方法，它因根据规格说明设计测试用 孽j ，并不涉及瑕痔戆内罄麴选嚣褥其名。它莛一类转绕豹测试方法，鸯藿严捂甄 定和系统的方式可供参考。但并非采用这类方法在实践中就不存在闯遴了。 一个突出的问题是要弄清楚，所谓程序的功能究煮是哪些? 我们知道，任何 软俘作为一个系统都是有屡次的。在软件的总体功能之下可能存若于个层次的功 熊，丽溺试入爱常常廷看戮低罄的功麓。德翻蟊箍匏个实际闯题燕在耀令屡次 上进行测试。如果仅在高层次上进行测试，就可能忽略些细节。糟是在低层次 p 。展丌测试，又可能忽视各功能之间存在的相互作用和相互依赖的关系。看来， 涎试人是霰要考疼并且兼瑷各个层次静功戆。热莱为测试人员提供懿令不区分 层次的杂乱的绒格说明，那么他的黑盒测试工作必定溪陷入毫无希望的混乱之 中，也就不可能取得良好的测试结果。 黑盒测试麴另一个闯题楚功能生成。软 孛开发总是从把原始拇鼷变换或计算 褫能处理的形式开始酌，接麓还要进章亍一系裂变换，蠢至褥至l 编码麓程_ 孛。在这 一系列变换的过程中，每一步都得到不瑚形式的中间结果。例如，开始要把原 始数据变成表格形式的数据，然后又变成文件上的记录。在此过程中便出现了功 麓。善竟是壤袭，爨嚣是羧入、羧窭。在送入计算爨以嚣又会出现安全爨蜜、疆 令、恢复及出错处理等功能。 如果规格说明书是按高层抽象编写的，那就不会涉殿到许多具体的技术性功 熊，如文件处理、出错处理镣。如果测试爝倒是根据这样熬规格说明褥到约，那 第8 页 北京邮电人学硕士学位论文网管接口性能测试方法研究 么测试便不可能是完全的和充分的。另一种情况，如果规格说明是按低层抽象编 写的，其中必定包含许多技术细节。对于这样的规格说明，用户是非常为难的， 因为他们无法理解其中的一些技术细节，也就无法判断这个规格说明是否反映了 他的真正需求。为了解决这一矛盾，有人建议写出两份规格说明书，一份给用户 用，另一份给测试人员用。但即使这样，问题也并没有真f 解决，因为很难保证 这两份说明书完全一致。 由于这一情况，很长一段时间学术界对黑盒测试抱着不信任的念度。1 9 8 0 年w e h o w d e n 恢复了功能测试的活力，他发表了题为”l i f ec y c l es o f t w a r e v a l i d a t i o n ”的文章。文中指出，近年来软件开发出现了一些比较严谨的设计方法， 在这当中功能测试完全可以发挥作用，或是和其他方法结合起来发挥作用。 从策略上说，重要的是要发展可靠的并且高效的功能测试方法。因为，功能 测试不仅能够找到大多数其他测试方法无法发现的错误，而且一些外购软件、参 数化软件包以及某些生成的软件，由于无法得到源程序，用其他方法进行测试是 完全无能为力的。 这里需要说明的是，正是因为黑盒测试的测试数据是根据规格说明书决定 的，这一方法的主要缺点则是它依赖于规格说明书的正确性。但实际上，我们并 不能保证规格说明书是完全正确的。例如，在规格说明书中规定了多余的功能， 或是漏掉了某螳功能，这对于黑盒测试来说是完全无能为力的。 二、白盒测试 前己说明，白盒测试是根据被测程序的内部结构设计测试用例的一类测试。 有人也称它为透明盒或玻璃盒测试。因为它涉及到的是软件设计的细节。从道理 上将只涉及到被测源程序，但有时也会用到设计信息。按结构测试来理解，它要 求对某些程序的结构特性做到一定程度的覆盖，或说“基于覆盖的测试”。这是 从最早所谓“测试整个程序”的原始概念发展而来的。重视测试覆盖率的度量， 可能减少测试的盲目性，并引导我们朝着提高覆盖率的方向努力，从而找出那些 已被忽视的程序错误。 最为常见的程序结构覆盖是语句覆盖。它要求被测程序的每一可执行语句在 若干次测试中尽可能都检验过。 3 。2 软件性能测试技术介绍 性能测试是对一个应用程序特性的测量。进行性能测试的主要目的是为了论 证系统的功能运行在实时数据库上的时候，在需要处理大量事务时的响应时间是 否在一个合理的范围之内；性能测试的目的就是为了检验系统能否满足事务吞吐 量的要求，同时还需要有合理的响应时间。在执行测试之前，需要准备一些测试 第9 页 北京邮电人学硕十学位论文网管接口性能测试方法研究 的脚本以及用来准备下一步测试的各种必备条件。 3 2 1 性能测试的必备条件 3 2 1 1 稳定的测试系统 个测试系统的软件如果本身不过关，那么要对一个系统进行性能测试肯定 是要失败的。例如测试软件经常性的崩溃，那在重复性测试的时候将很有可能无 法支撑住；测试人员也将无法完成测试记录，或者无法f 常的执行完一个合理的 测试时问段，因为那个时候系统可能已经死掉了。 3 2 1 2 “真实”的测试环境 进行性能测试的测试环境需要是一个理想的产品环境或者是一个接近那种 环境的仿真系统。虽然这样往往很难，但是为了测试结果的真实性，这样的测试 坏境也需要和实际的环境有可比性。即使测试环境和实际的环境有差别，通过系 统模型测试得到的结果也应该能够很有信心的预测实际环境的行为。 3 2 1 3 可控制的测试环境 性能测试人员不仅仅需要稳定的软硬件测试环境，同时也需要能够修改测试 的环境或者软件。自动的测试脚本非常适合软件的钡6 试。但是测试的脚本如果是 针对软件的g u i 设计的话很有可能会很快失效，只要接口进行少量的变化。操 作系统环境和数据库的变化很有可能中断测试的准备还有测试的执行，因此要严 格的控制。 3 2 2 性能测试的工具 性能测试的执行应该是自动完成的，然而在测试的过程中需要一些工具进行 辅助的。下面介绍性能测试工具的主要功能： 冷测试数据库的创建维护 整个测试的过程中需要很多数据，包括测试用例的数据还有测试结果的 数据需要保存，以便于最后进行测试结果的评价以及问题的分析。因此 需要有对测试数据库的创建和维护功能。 夺负载生成工具 在进行性能测试的时候，主要是考察被测对象在一定的负载压力下的工 作情况，而往往在测试的环境中，很难有很大规模的设备存在，因此需 要有专门模拟负载的工具。 夺资源监控 第l o 页 北京邮电大学硕十学位论文 网管接口一肚能测试方法研究 为了能够对测试的对象性能有一个侧面地反映，还需要对其运行所占用 的资源进行监控，因此，此项功能也是需要的。 夺结果的分析和报表 测试的操作过程结束之后，还需要根据测试的情况以及数据进行分析， 得到最后的结果以及生成报表。 3 2 3 性能方面的需求 夺响应时间的需求 当被问及性能方面的需求的时候，用户通常会集中在响应时间这一块。 对于所有的业务来说，单单一个响应时问的需求从用户的角度来说是非 常简单的，但是这是不合理的。一些功能是比较重要的，那么它就需要 很短的响应时间，而其他的不怎么重要的功能，对响应时间的要求也就 没有那么苛刻了。 夺业务量的需求( 负载) 性能需求的第二个方面是负载的情况表，这个表说明的是在某一个特定 的业务情景下，系统所希望的或者能够承受的负载量。业务的情景需要 涵盖各种情况，包括系统支持的所有的业务活动。 夺数据库的需求 数据量捕述的是系统在一定的负载下面执行一段时间后数据库中现有的 数据表记录的条数。典型的应用是当系统使用一年后估计得到相应的数 据量。 3 2 4 性能测试的类型 夺负载测试：负载测试是一种性能测试指数据在超负荷环境中运行，程序 是否能够承担。 夺强度测试：强度测试是一种性能测试，他在系统资源特别低的情况下 软件系统运行情况。 串容量测试：确定系统可处理同时在线的最大用户数。 3 2 5 性能测试的步骤 测试的需求和测试的工具到位之后，要进行详细的测试步骤设计，描述测试 的情境还有负载的生成。 3 2 5 1 测试设计 测试设计阶段需要做： 第1 1 页 北京邮电大学硕士学位论文 网管接口性能测试方法研究 情境设计 性能测试的过程和功能测试的区别很大的一个方面就在此，性能测试需 要一个特殊的情境作为前提，不仅包括负载的大小，还有测试时间的长 短，甚至多少个管理者同时接入都需要在测试前进行设计和规定。 详细的测试执行计划 在情境设计完之后，根据已有的多个情境制定不同的测试计划，包括测 试的目标，测试的步骤，以及测试的数据等等，整个测试计划按照真正 测试的过程来描述，使得最后的测试过程有章可循。 描述测试环境的搭建 整个的性能测试都是在一定的测试环境下进行的，因此测试前需要对测 试的环境进行描述，包括软件和硬件的环境。软件环境主要是指使用的 操作系统，需要安装什么辅助的软件，或者需要打开什么端口等：而硬 件的环境是指需要什么样的硬件平台，或者不同设备之间的连接方式。 脚本的定制和编写 这里的脚本指的是对测试的自动化有帮助的，除了测试工具之外的辅助 代码，可能是告警源的生成器，也可能是负载的模拟器，或者是测试结 果的分析器，等等。 数据生成 真正执行测试时所使用的数据的准备工作，对不同测试目的的测试项生 成不同的测试数据，其中还包括测试的预期结果，主要用来与真正的测 试结果进行对比得到最后的结果。在测试前做好这项工作非常有意义， 可以考虑得比较测试的各个角度，提高测试的准确性，同时可以减少测 试的时间，减少测试的开销。 3 2 5 2 测试执行 测试的执行要按照测试计划中的所有测试类型来进行，所有的测试情境都要 考虑到。虚拟的用户负载要在使用模式基础上模拟，负载的水平要和测试的步骤 种描述的一致。 测试执行阶段产生两个东西： 测试日志 测试日志是对整个测试过程的描述，包括测试的内容，测试的数据，以 及获得的响应等等，这里面不应该加入任何人为操作的内容。 测试的结果 测试的结果是测试人员根据测试的日志以及与测试前准备好的预期结果 第1 2 页 j t 京鄄电大学硕士学位谂文 网暂缓日往髓羲试方法研究 进行对比做出的评判，反映的是测试的实际结果与预期结果之间的关系。 3 2 。5 。3 瞧麓势折擞蠢 性能的分析报告是一个总结性的任务，对每个厂家分别需要有独自的憔能分 韦厅报告，包括对每个测试项的评价，戬及达到预期要求的酉分比。另外还褥要对 小礤厂豢迸芎亍横惫熬 i 较，主要为了突l 鲞不阍鹣厂家各套酌特点，各垂匏强顼。 当然，性能测试不同于功能测试，预期结果比较容易得到，而对于性能的臻求往 往和运费商的要求相关，不同的运营商会从不同的角度，不用的需求来掇睽求， 同一个攘墨在不阉羚运营囊看寒会有不藏豹评傍氇是摄匿豢瓣饔薄。困霓，本文 讨论的性能测试，爨注重于对测试原始记录的讨论，而对于嫩后结果的分析和评 价则很少涉及。 第1 3 页 北京邮电人学硕士学位论文网管接口性能测试方法研究 4 1 吞吐量 第四章网管接口性能指标 4 1 1 吞吐量定义 对于存储转发设备而言，r f c l 2 4 2 将吞吐量定义为：在没有帧丢失的情况 下，设备能够接受的最大速率。一般而言，吞吐量指的是设备仅仅转发其所收到 的数据帧的最大速率，而不对经过的数据帧做任何的改变。 对于网管接口而言，它所转发的数据帧是网元上报的告警信息。根据现在设 备j 。商的实现情况，网管接口一般不会直接转发网元上报的告警，网元的告警格 式与网管接 | 发给上层网管的告警格式不完全一致。网管接口可以理解网元上报 的告警，并取得应有的信息，然后根据上层网管的要求格式来构造新的但是告警 内容致的告警转发给上层网管。 因此网管接口吞吐量的定义与一般的存储转发设备将不同，本文定义为：在 没有帧丢失的情况下，网管接口能够处理并转发的网元告警信息的最大速率。 4 1 2 意义 对于存储转发设备，吞吐量指标允许设备厂商只需报告这一项值就可以在市 场竞争中让客户辩明优劣。因为即使是数据流中的个帧的丢失便可以导致较长 时问的等待，等待更高层协议的时间戳耗尽。这对于了解设备所能支持的最大数 掘速率的确切值是很有帮助的。 当然对于网管接口而言，仅仅参考吞吐量这个指标显然是不够的，然而由于 网管接口起到转发网元上报告警的职责，如果吞吐量低下的话，将直接影响到其 所能转发的告警的数目，继而影响到上层网管对整个网络监视情况的全面性，当 有告警风暴产生的时候，网管接1 5 1 是否能够快速及时的反应整个告警的信息对上 层网络管理人员能否精确定位故障原因以及位置有举足轻重的作用。实时性对于 告警信息来说是最重要的，任何延迟的告警信息或者丢失告警都有可能造成非常 严重的后果。 第1 4 页 托京邸l ； ； 大学硕士学谯论文两蓉接口缝麓溯试方法研究 4 2 操作时延 4 2 1 操作时翘定义 隧镑接口操作时廷蠡冬定义蹩将r f c l 2 4 2 中对时延的描述与网管接秘测试的 实际要求结合起来分衔得到豹，燕掰来衡量代联完成管理者下发的管理籀令的时 问指标。 根掇r f c t 2 4 2 中的描述，对时延的定义主要取决时间间隔的开始点与结束 点。鼹予存糖转获设餐寒谨，当输入犊鳃最嚣一位弱这浚入瀵嚣靖，露润麓疆开 始计算；当输出帧的笫一位在输出端口上可见时，时间间隔计算结束。对于按位 转发设铸来说，当输入帧的第一个位的末尾到达输入端口时，时间间隔开始计算； 当输出簸媲第一个僚熬开始在输出满口上可见蛙，蹲趣闼黼诗弊结束。 奁网管接口涌试过程中，扶管理者的角度来看，可以褥到的是发出一条指令 到收到应答的整个时延，包含了操作请求从管理者传递到代理，代理对指令进行 处理并产生应答，以及应答从代邂返回到管理港的全过程经历的时间。若将时间 闻疆戆开始点和缝豢患势裂穗定为管理砉发窭爨令秘浚强藏蘩豹辩弱点，羯霹褥 到一个管理者一测的度量定义指令时延。 指令时延中操作请求和应答在网络中的传输时延与具体的网络环境有关，不 具有缀繁代理性能憋参考价值，黼矮不应直接作为网管接翻融延性能鲍缴量赘 标。瓣蛰接口对延槛麓应主要考虑代理对上层籀令的处理搿旌费的对闻，包含了 分析指令、执行指令以及产生应簪的整个时间间隔。将该时间间隔定义为网管接 口的时延性能的衡爨指标网管接口的操作时延，其开始点指定为管理糟的指 令渡黥袋嚣一菠至l 达找理夔骧入鹚曩静薅阕熹，结束点攒定为输整鳝莱枣赉的第一 位在代理输出端口上可见的时间点。 4 2 2 纛义 当一个软俘- 牙缴成功之螽，蒺对漂捧兹嘲纛辩闯楚一个企堑还有麓户须菲露 关心的问题，一个功能再强大的软件，如果对用户的操作响应时间比较长的话， 用户怒不大愿意去使用的，更何况是在当前时间就是一切的时代，能用最少的时 凌完戏翳要羲事情怒大家都愿意露到懿蟪最。瓣当翦使爰裴攀广泛的w e b 页访 闽两言，据调查，般人对刷新网页可以忍受的时闯只有1 5 秒，当然这尾面不 仅仅是服务器执行命令的时间，逐有很多时间栈在网络中的传输上了。而我们这 里赝研究憋操作时娥，指的就是阕管接口执行操作所花费的时间，丽不考虑操作 指令在网络中豹接输时延。 第1 5 页 北京邮电人学硕士学位论文网管接口性能测试方法研究 4 3 接入能力 4 3 1 接入能力定义 网管接口提供了一系列的完成管理设备的功能接口给上层网管，上层网管只 要能够接入网络中，通过这些接口就能够达到管理各设备的目的，然而，一般而 言，很有可能出现多个上层网管同时接入的情况，如果网管接口只实现了单个管 理者接入的能力，那么后续的想接入的上层网管将被拒绝。为了考察网管接口在 这方面提供的能力，特定义网管接口的接入能力：网管接口在同一时刻能够接入 的管理者的数目，并且要求对这些管理者的所有请求能够正确处理。 4 3 2 意义 这主要和运营商的需求有较大的联系，如果网管接口可以同时接入多个管理 者，将对整个管理的布局带来很大的灵活性，能够通过多点同时对一个网管接口 进行管理。当然著不是所有的运营商在所有的分局都有这样的需求，如果是一个 小的分局，没有必要同时接入，而只需要完成管理的功能即可，那这个指标所反 映的性能可能就不那么重要。不过，为了可扩展性以及全面的考虑，这个指标都 是非常有意义的。 从定义中可以看出，对于接入能力的测试需要考察两个方面：首先是可以接 入的数目，即可以同时处理来自不同管理者的请求数；其次是对这些请求的处理 结果应该是正确的。从表面上看，似乎这个指标并不能反映多少网管接口的性能， 然而从实现的角度出发，将牵涉到很多技术问题，因为一旦可以多点接入，就意 味着将有可能有多个管理者同时访问同一个接口，这就会带来临界区的合法访问 问题，也就是线程的同步互斥问题，如果没有解决好，将会影响最后结果的正确 性，导致虽然可以多管理者接入，但结果却是错误的后果。 因此，从接入能力这个性能指标的考察比较，就可以体现出网管接口的实现 厂家对上层网管建设要求的满足程度。当然，可以同时接入管理者的数量要求和 最后处理结果的正确性是密不可分的，不能盲目的追求接入数量的增加，更重要 的是在增加的同时确保处理结果的正确，这样才能达到最大的效率。如果不能保 证功能的r 确性，那所谓的接入能力也将不再有意义，因此，定义中的两个方面 都是缺一不可的。 第1 6 硪 北京邮电大学硕士学位论文测管接i = = l 性能测试方法辑究 4 。4 系缆资源潢耗爨 4 4 1 蒹绫瓷源消耗激燃义 任何的软件在运行的时候，必将占用系统的资源，健播c p u 的使用攀以及 逡存鹣使耀搴等等，这，b 个效率瓣熬逡必姆蔽为译徐一令系绞蠛毒接口矬黪载重 要因素，在此将姥强瓣定义为；鼹铃接口在运行孵辑占臻鹣c p u 傻蠲率以及内 存使用举。 4 4 2 意义 基然一令软髂或嚣系统在运稽熬时蒺，掰占j 薅鹣c p u 以及瘤存瓷源并不是 一个直接的对此系统憔能的评价，似煨却从一个侧面很好的反映了这个系统的性 爱戆魏。鲞系统灏运行的硬件繇壤确定款绩穗下，瘸管接a 邀舒对所占焉鹣浚派 越多，熬个环境静效率簸会下蹲，并且可熊影响獭赜应靛对闽、吞吐爨麴农平。 而对这个指标的测试，方面可以时不同厂家的不同的系统进行一个横向的比 较，另外一个彦箍媳可以帮助运鹫滏在最搿缒网的时候考虑熬硬俘环境的黻鼹， 充努囊愆渡系绞涟麓瓣优势，露嚣雩熬 存程懿缺陵。 第1 7 贸 北京邮电人学硕士学位论文网管接口性能测试方法研究 5 1 吞吐量测试 5 1 1 告警源 第五章网管接口性能测试方法 回顾网管接口吞吐量的定义，要测试得到结果，一个很重要的部分就是有一 个稳定的告警源，对这个告警源有两个要求：首先它能够持续稳定地产生非常大 的告警数日，尽可能接近现网中所能达到的最大峰值；另外一点就是可以人为地 控制它的行为，可以按照要求改变产生的告警数目大小。 5 1 2 吞吐量测试实例模型 在进行实际测试的时候，测试系统与厂家的网管接口直接相连，而厂家的网 管则与自己的设备相连。当设备产生告警的时候，上报给自己的网管系统，通过 网管接口的转换生成标准的告警格式然后转发给测试系统。如图5 1 所示： 图5 1 吞吐量测试示意图 由于测试的过程中，如果需要真实的设备产生可以控制的告警数目并不容 易，因此这里告警源将采用独立的模块来实现，而代替了原有的厂家设备。这样 由告警源来模拟产生大量的告警发送给网管接口，而网管接1 3 以为这些告警来自 自己的设备，并处理后进行转发。这样示意图转换成如下所示： 第1 8 页 靶京邮电大学硕扛学位沧文 网管谈口性能测试方法研究 图5 2 模拟吞吐量测试帚意图 s 1 。3 测试豹基本滋攥 在熬个测试的过程中，我们假设告警源与网管接口之间的通道是非常顺畅 的，而由于网管接 ：】霈要处理的时间以及告警的排队时阃，熬个模型成为一个诀 避漫窭熬行为，这撵溺管揍蚕懿凝理麓力藏萄蠢为篱警谣慧转笈蓉珏童装魏蘩舞 在。 测试时，由模拟告警源产生犬鬣告警发往厂家网管系统，经由网管系统处理 之后转发绘测试系统，测试系绞褥记录单位时阙内牧至的最大告警蓉数俸为该网 管接口的吞吐量。由于不同的告警信息将会有不同豹数据墓，并且处理辩闷也将 不同，所以该吞吐量在记录的时候将和告警的内容相关，在横向比较的时候，也 必须要程同一个告警信息的前提f 进行。 亵送行吞睦量溅试豹霹候，一个摄重要毽帮缀鞠显露要求是溺试系绫翡吞睦 量必须大于网管接硼的值，这个要求可以反映到测试系统的软硬件的要求，首先 测试系统的硬件必须过关，尤其题网卡的接收速率必须足够的快；另外测试系统 本身也骞缀赢的要求，必须能够完全处理底层阏终上传豹数撼。任 霹一方程条件 的缺失，都将有可能降低被测接麟的吞睦量，最螽导致测试缩果的错误。 5 。2 操作时延测试 5 2 。1 婀题分析与转纯 由定义可得，对操作时延的测试要求得到它的开始点和结束点，即代理收到 豢令秘遨强应警蛉鼹令爵阗点。熬是，圭于攥l 謦携令并没鸯簧求代理严橇鳃录这 两个时润戳，测试系统又无法直接将一部分代粥移植到接日所在主机去执行此任 第1 9 页 ，| 珠孵电大学预1 ：学位论文嬲管接口性能测试方法研究 务，凼此直接测试操作时娥性是不可行的。 指令时延的定义为测试操作时延指标提供了间接的方法。指令时延定义为管 臻者发出一条攒令至l | 芟到应蛰数整令露殛，包含撰季# 黪筵，只簧将莛孛不翼有参 考性的网络传输时延去除，都可得到最终的衡量指标操作时跫。 由以上分析提出操作时延计算的公式： 操作时延= 指令时甄一 黼络铸竣霹惩憨秘( 毽会请求藉应答懿糖辕霹廷) 其中，指令时延很容易在管理者本蛾得到，于是对麟络传输时延的测试成为 了需要解决的关键问题。 5 2 。2 基于i c m p 魏翔终篱镳瓣蓬豹测试 网络传输时延，是指计算机网络中任意两个节点问传送网络协议娥定的网包 所用的时间。下丽提出一种猩以太网中基于i c m p 实现的对网络传输时延的测试 方法。 5 2 2 1i c m p 简介 i c m p 是i n t e m e t 控制报文协议，经常被认为是i p 层豹一个组成部分，其报 文跫在l p 数嚣搬内部霰传辕瓣。i p 蕾舔长2 e 字繁，辨数据援的凑客为i c m p 撤文的内容。 i c m p 报文的格式如图5 - 3 所示。所肖报文的前4 个字节都是样的，其他 字节羽互不翔鬻。类型字段魏窘1 5 令僮，戳捶述特定类型熬i c m p 缀文，本文 的实际测试用到1 3 和1 4 两个类型值，分剐表示时间戳的请求和响应。 图5 - 3i c m p 报文 i c m p 时闽激请求允许发端系