（计算机软件与理论专业论文）网管系统质量评价技术的研究.pdf

北京邮电人学硕十学位论文网管系统质最评价技术的研究 摘要 随着通信网络的迅速发展，通信网络规模越来越庞大，结构也越来越复杂。为了让一流 技术的网络也能发挥一流的效益，关键在于提高网络的管理、维护水平。网管系统的建殴， l f 是提高网络管理、维护水平的重要手段。目前存在的问题在于，如何评价网管系统的质量， 保证网管建设投资的产山效益。运用系统评价理论，建立一个科学的评估体系，对网管系统 的质量进行综合评估，无疑将对网管系统的建设具有相当的促进作用。 本文分析了软件特别是网络管理软件的质鼍特性，参考软件度量学的思想和模型，建立 起对网络管理系统质量评价的指标体系。并在系统评价理论的基础上，运1 l ja h p ( a n a l y t i c h i e r a r c h yp r o c e s s ，层次分析法) 和模糊综合评价，对网管系统这个在网管领域戍川的人犁 软什系统进行了综合评价。本文提出的评价技术已经在实际的l ：程实践中得到运刚，效果良 好。 关键字：系统评价、软件质量、网络管理、网管系统评价指标、网管系统质鼙评价 i i 北京邮电人学硕士学位论文 网管系统质鼙评价技术的研究 a b s t r a c t a l o n gw i t ht h eq u i c kd e v e l o p m e n to fc o m m u n i c a t i o nn e t w o r k s ，t h e i rs i z eb e c o m em o r ea n d m o r ee n o r m o u sa n dt h e i ra r c h i t e c t u r eb e c o m em o r ea n dm o r ec o m p l e x i no r d e rt ob r i n gb e n e f i t s f r o ma d v a n c e dn e t w o r k s ，i ti s i m p o r t a n tt oi m p r o v et h eg r a d eo fn e t w o r km a n a g e m e n ta n d m a i n t e n a n c e d e v e l o p i n g t h en m s ( n e t w o r k m a n a g e m e n ts y s t e m ) i sg o o dm e t h o d t oa c h i e v et h a t g o a l b u th o wt oi n s u r et h eq u a l i t yo fn m sa n dh o wt oi n s u r et h eb e n e f i t so fs pa r ee x i s t i n g p r o b l e m su s i n gt h et h e o r yo fs y s t e me v a l u a t i o n ，w ec a nb u i l das o u n da r c h i t e c t u r eo f e v a l u a t i o n ， a n dt h e nw ec a ne v a l u a t et h eq u a l i t yo fn m s s y n t h e t i c a l l y ，a l lt h et h i n g s w i l l p r o m o t eo u r d e v e l o p i n gn m s f i r s t ，t h i sp a p e rd i s c u s s e d s o f t w a r e q u a l i t y a n d e s p e c i a l l y t h e q u a l i t y o fn m s ，t h e a r c h i t e c t u r eo f e v a l u a t i o nf a c t o r sw i l lb eb u i l dr e f e r e n c et ot h em o d e lo f s o f t w a r em e t r i c s s e c o n d b a s e do ft h et h e o r yo fs y s t e me v a l u a t i o n ，t h i sp a p e rw i l ls h o wh o wt oe v a l u a t ea na c t u a ln m s ， u s i n gt h em e t h o d s o f a h pa n df u z z yi n t e g r a t e de v a l u a t i o n t h et e c h n i q u e sd i s c u s s e di nt h i sp a p e r w e r eu s e di np r 0 3 e c t sa n dt o k eg o o de f f e c t s k e y w o r d s ：s y s t e me v a l u a t i o n ，s o f t w a r eq u a l i t y , n e t w o r km a n a g e m e n t ， n m se v a l u a t i o nf a c t o r s ，n m se v a l u a t i o n 北京邮电人学硕士学位论文 网管系统质量评价技术的研究 第一章前言 1 1 研究背景 近儿年来，通信网络发展十分迅速、各种新技术得到不断的应用、各种新业务不断地涌 现、各种新设备不断的引入通信网，使得网络规模越来越庞大，通信网结构也越米越复杂。 台：这种多厂商、多设备的环境f ，通信网的运营、维护和管理的开销越来越人。让一流技术 的网络也能发挥一流的效益，网络的管理、维护水平成为关键。而网管系统的建设和应用， 无疑将成为提高网络管理、维护水平的重要手段。 如何保证网管系统的建设质量，保证运营商投资的产出效益，是一个值得研究的问题。 网管系统作为一个的大型软件系统，其质量和整个软件生命周期的每一阶段息息相关。 系统评价技术作为系统l ：程理论的组成部分，已经在社会发展评价、经济效益评估、科 技l ：样评价等多方面得到广泛应用，软件i ：稃领域中的软件度量学( s o f t w a r e m e t r i c s ) 作为 整体l 评价软件质量的学科，对获得高质量的软件具有相当的指导意义。 本文将依据软件质量的概念，运用软件度量学的方法和系统评价技术，研究如何在网管 系统在建设完成后进行综合评价。这种综合评价的意义在于有助于指导进一步的网管系统建 设，定位系统的缺陷和不足，协助完善系统；同时还可以在多个系统间进行横向的比较、衡 髻，成为辅助决策的重要手段。 1 2 研究生期间所作的工作 本人作为北京邮电大学网管研究中心的一名研究生，在学习期间先后从事网管软件的开 发、网管接口的测试、网管功能、性能的测试l 作，具体包括： ( 1 ) 作为开发人员参加了接入网适配器的开发； ( 2 ) 作为测试人员参加了多家厂商的网管接口测试【作； ( 3 ) 研究软件性能测试技术、编写中国联通综合网管性能测试规范； ( 4 ) 作为测试人员参加了中国联通综合网管、七号信令系统两个测试项目。 本论文是我在“中国联通综合网管测试项目”中1 作的总结，介纲了系统评价理论在综 合网管测试项目中的应用，主要是运用科学的模糊评价方法对网管系统进行了定性和定量结 合的评价。 1 3 论文结构 第二章主要介绍了网络管理技术的发展和现在网管领域主要的技术，同时讨论了网管系 统的相关测试技术。 第三章中引入了系统评价的理论，同时介绍和分析了系统评价的一些主要方法，并对这 些方法在网管系统评价领域的可能运用做出初步分析。 第四章着重讨论网络管理系统的质量评价，包括网管系统的质量概念、评价方法的选择， 评价指标体系的确立，各项指标权重的确定，以及最后评价结果的获得。 北京邮电人学硕士学位论文 网管系统质量评价技术的研究 第五章中将叙述网络管理系统质量评价技术在联通综合网管项目中的实际运_ i j 。 最后是结束语和致谢。 幽1 】给出了论文的整体结构图。 图1 1 论文结构图 北京邮电人学硕十学位论文 网管系统质量评价技术的研究 第二章网络管理系统的发展现状 住电信市场竞争越来越激烈的今天，运营商不仅仅需要对通信网络的先期投资建设，更 需要存- 网络建成后不断提高网络运行质量和维护水平。如何保证建设的网络高质量运行、发 挥效益，网络管理系统等网络支撑系统的建设成为达到以上目标的主要手段。本章首先对网 管技术发展、主流网管的实现技术进行介绍，而后关注网管系统建设周期中的重要环节：测 试，这也是网络管理系统建设保证质量的重要手段。 2 1 网络管理概述 2 1 1 网络管理的基本概念 网络管理向网管用户提供一组标准的业务从而对通信网进行初始化、监视和控制。网络 管理订二个基本要素：网络管理环境、网络管理方法和网络管理系统。 网络管理环境指网络管理的对象。 网络管理系统是在网络管理环境中，实现网络管理方法的计算机应用系统。 网络管理应负责对设置各种参数以初始化通信网。通过初始化的网络进入运行阶段。此 阶段，网络管理监视网络中发生的各种情况。并根据网络中这些情况，网管系统进行分析， 再相应动作，从而控制网络。如：当网络出现拥塞时，网管系统负责对流量进行限制。当用 户有连接建立请求时，网管系统应选择最优路由以提高网络的效率。 2 1 2 网络管理的目的 在参考文献1 1 1 中，对网络管理的目的进行了如f 归纳： ( 1 ) 经济性。竹省网络的运营、维护和管理的成本，从而提高网络的运行效益，使网 络运营商和网络最终用户找到各自利益的最佳切合点。 ( 2 ) 可运行性。网络管理应保证网络的止常运行。每一个业务网的开通和正常运行， 都必须有相应的网管系统提供支撑。网管系统对网络的运行进行监视，向网管用户提供良盘， 的视窗。 ( 3 ) 可靠性。网络管理应在不增加网络设备的情况f 提高网络的生存性。当网络某 一部分出现故障时，能在向网管维护人员报告的同时进行可能的保护切换。网管系统间断的 对设备元件进行测试以确保其正常工作。 ( 4 ) 灵活性。网络管理应能向用户灵活的提供新的管理业务，满足不同层次用户的需 求。侄不影u 向网络的其他部分的前提f ，网管系统可提供应付多种动态业务申请的能力，最 人限度的发挥现有网络的优点，提高网络的性能。 ( 5 ) 安全性。网络管理应能阻塞非法接入，并记录、追踪恶意入侵，从而保证网络的 安全。 在通信设备市场日益开放的今天，使得各个电信公司采用同技术水平的设备，建设同 ! ! 型堕坐叁兰堡主堂焦笙奎 堕笪墨竺堕里登堕垫查塑堕窒 技术水平的网络成为可能。因此，先进的网管系统就成为电信运营厂商取得和保持竞争优 势一个主要因素。 2 2 基于0 s i 的t 唧网络管理技术h 3 随着电信网络设备的类型的不断增多，整个电信网日趋复杂。尽管许多网络都有自己的 | 1 【；9 络管理系统，但这些网络管理系统一般都是相互独立的。这些系统使用不同的体系结构， 不同的管理语言和操作接口。还有许多系统早在网络管理标准出台之前就已经存在了，而且 它们往往都是为了管理特定的网络单元，设备及专网而开发的。总而言之，目前的网络管理 体系已经发展为一个复杂的，难以协调的网络管理体系。这种状况导致了许多问题： 新业务的引入，尤其是需要不同网络支持的业务难以提供： 业务质量难以保证： 无法满足业务用户及业务提供者对业务及网络重新配置的需求： 难以适应多厂商环境； 网络管理费_ h 激增； 为了解决以上这些问题，以适应电信网技术的飞速发展和名目繁多的电信新业务的需 要，i t u t 提出了对电信网实行统一的综合维护管理的新手段一电信管理网f t m n l 。t m n 是i t u t 借鉴o s l 中有关系统管理的思想及技术，为管理电信业务而定义的结构化网络体 系结构。它使得网络管理系统与电信网在标准的体结构卜，按照标准的接口和标准的信息格 式交换管理信息，从而实现网络管理功能。图2 1 给出了t m n 与电信网的关系。 图2 1t m n 与电信网的关系 由1 ：t m n 提供了对电信网络和业务的操作，管理，维护和分配功能，满足了来自电信 设备供应商，业务提供者以及最终用户的多方要求。同时，随着标准更加成熟，软件开放商 也开发出一系列的支持t m n 标准的网管平台，简化了使用。因而促进了t m n 在电信网络 管理领域的流行与发展。 t m n 的一个基本原则是管理功能与电信功能的分离，也就是说，t m n 是一个与电信网 分离的网。t m n 与电信网在特定的一些参考点进行管理信息的交换，来控制电信网的操作 剌运行。同时t m n 与电信网又不是截然分离的，t m n 利用电信网的传送通道来传送管理 信息。一般来说，对t m n 的认识可以通过分析它的体系结构来获得，包括功能结构、物理 结构和信息结构三方面，这三个方面从不同的角度描述了t m n 的组成，功能和特性。另外， 北京邮电人学硕十学位论文 网管系统质量评价技术的研究 从t m n 提供业务的角度，有管理功能域的概念。 2 2 1 功能结构 把t m n 的功能划分为功能模块，每一功能模块又是由更小的功能单元来构成的，这是 t m n 功能结构的基本原则。这一原则的目的是简化t m n 的实现，把功能分布在不同的模 块中，功能模块间利州数据通信功能( d c f ) 米传递消息，并由功能参考点来分割，各模块 - ，以独立实现，降低了t m n 的复杂性，提高了软件的重用度。根据i t u t m 3 0 1 x 的建议， t m n 的功能块分为五种，即操作系统功能( o s f ) 、协调功能( m f ) 、网络单元功能( n e f ) 、 o 适配功能( q a f ) 和f 作站功能( w s f ) 。功能参考点分别为q ，f ，x ，g 车“m 。如图2 2 所玎i 。 图2 2t m n 功能结构 o s f 对管理信息进行处理以实现对电信网的监视、协调和控制。w s f 为用户提供接入 到t m n 的手段，其功能包括终端的安全接入和注册、识别、确认输入输出、支持菜单、窗 口和分页等。m f 介t - o s f 与n e f ( 或q a f ) 之间，起协调或中介作用。它按o s f 的要求， 对来门n e f ( 或q a f ) 的信息进行适配、过滤和压缩等处理。q a f 用来连接t m n 实体与 1 rt m n 实体，提供t m n 参考点与非t m n 参考点之间的转换。n e f 表示被管理的功能， 同时也提供管理时所需要的通信和支撑功能。 在t m n 的功能模块间进行消息的传递时，需要用到数据通信功能( d c f ) ，d c f 不属 ? t m n 的功能实体，但它是t m n 交换信息的手段，其主要作用是提供信息传送职能，d c f 可以有选路、转接和互通功能，涉及o s l 参考模型的b u _ 层功能，它由数据通信网( d c n ) 支持。 t m n 功能模块又可细分为功能单元，每一功能模块都是由这些功能单元组合而成的。 功能单元包括：实现t m n 管理业务和管理功能的管理应用功能( m a f ) ，提供安全访问业 务的安全功能( s f ) ，存储目录信息，提供分布式命名系统的目录系统功能( d s f ) ，提供命 名访问的目录访问功能( d a f ) ，实现t m n 信息模型与人机界面消息相互转化的界面支撑 功能( u i s f ) ，提供j ：作站数据访问，操作等功能的：1 作站支撑功能( w s s f ) ，实现不同信 息模犁间转换的信息转换功能( i c f ) 以及完成管理信息传输功能的管理通信功能( m c f ) 北京邮电人学硕十学位论文 网管系统质量评价技术的研究 2 2 2 物理结构 t m n 功能块在物理实体上分布及实现时就构成了t l v t n 物理结构。t m n 物理结构包招 操作系统( o s ) 、网元( n e ) 、i 作站( w s ) 和q 适配器( q a ) 等物理实体。 表21 描述了t m n 功能块在t m n 物理实体上的分布： n e fq a f0 s fw s f n emoo0 q am 0 somo w sm m ：必各功能o ：可选功能 表2 it m n 物理实体与功能块之间的关系 在由t m n 功能结构向物理结构映射的过程中，t m n 功能块之间的参考点映射成t i m n 实体f q 雕j 接口，如q 3 参考点映射成q 3 接口。 2 2 3 信息结构 t m n 的信息结构描述了功能模块问所传送信息的特性，由以下几个方面来描述t m n 的消息结构：管理层次模型，管理信息模型和管理组织模型。 ( 一) 管理层次模型 t m n 把管理功能需求分解为不同的层次，每层相对独立，都有各自的o s f 完成特定的 管理功能，层与层之间由q 参考点分割。在t m n 建设初期可以只完成低层的管理功能，以 厉逐步完善高层管理功能，最终实现管理的综合。t m n 管理分层的概念为最终实现综合管 理提供了一个分步骤的，循序渐进的实现方法。 t m n 的管理层次分为五层，从低到高依次为：网元层( n e l ) ，网元管理层( e m l ) ， 网络管理层( n m l ) ，业务管理层( s m l ) 和事务管理层( b m l ) 。其中网元层属于被管理 层，其他四层属于管理层。 网元管理层对网元进行管理，主要功能包括：( 1 ) 控制和协调一个或多个网元。( 2 ) 与 网络管理层进行信息交互。( 3 ) 维护涉及网元的统计数据、记录和其他有关数据。 网络管理层从全网的角度对管理域内的网络进行管理，包括：( 1 ) 从全网的角度控制平| i 协惆本管理域内的所有网元。( 2 ) 根据向用户提供业务的要求对网络能力进行指配，终1 t 域 修故。( 3 ) 维护网络性能，并与上面的业务管理层进行交互。 业务管理层主要处理有关业务的事项，它较少涉及网络的物理特性，而着重于网络所提 供的逻辑业务功能。主要包括：( 1 ) 为所有业务事项提供与用户的基本联系点。( 2 ) 与业务 提供者、r 面的网络管理层和上面的事务管理层进行交互。( 3 ) 维护与业务有关的统计数据， 处理业务之间的交互。 事务管理层负责网络的高层决策，包括制定计费政策，设定目标任务等，由网络的最高 j 京邮电入学硕士学位论文网管系统质量评价技术的研究 层管理人员进行管理。 ( 一) 管理信息模型 住不同管理层之间或相同层的对等实体之间传送的管理信息是由管理信息模型来描述 的。信息模型的建模是基于面向对象技术的，即把被管理的物理的或逻辑的资源抽象为管理 对象( m a n a g e do b j e c t ，简称m o ) ，管理对象是管理信息模型的基本单位。m o 的描述采_ l j 面向对象的方法，它具有面向对象的方法所具有的特点：抽象、封装与可重用。m o 是从管 理的角度对可管理的实际资源的一种抽象，它米源与实际资源，但又独立下实际资源。它把 资游的具体实现封装起来，只把管理者可管理的方面留在边界，管理者对资源的管理是通过 与m o 的边界交换信息而实现的。 如何把实际被管理的物理的或逻辑的资源抽象为管理对象是t m n 中的一项关键技术， 管理对象由以f 方面所定义： ( 1 ) 在管理边界可见的对象的属性； ( 2 ) 对管理对象施加的操作； ( 3 ) 管理对象对管理操作或其它情况所做出的响应或表现出的行为： ( 4 ) 管理对象发出的通知等。 t m n 中所有管理对象的集合称为管理消息库( m i b ) 。 ( 二) 管理组织模型 管理组织模型川丁| 描述管理任务的分配，它规定了t m n 的结构，以及管理层内或管理 层问的t m n 功能。它主要描述了管理应用进程担任的角色一一或是管理者( m a n a g e r ) 或 是代理者( a g e n t ) ，以及管理者和代理者之间的相互关系。管理者的任务是发送管理命令并 接收代理者发来的通知；代理者的任务是直接管理有关的管理对象，响应管理者发来的管理 命令并向管理者发出通知。 2 2 4 管理功能域 t m n 是一个与电信网相对分离的网。电信网为用户提供电信业务，t m n 则为用户提供 管理业务。t m n 管理业务是根据用户的管理需求而提出的，如话务量管理，用户管理，网 络性能管理等。t m n 管理业务的实现是由一些更小的元素组成的，t m n 管理功能是组成 t m n 管理业务的最小单位。一个t m n 管理功能实际上是管理系统与被管系统之间为管理 逻辑的或物理的电信资源而进行的一系列交互动作。t m n 中所有的管理功能可以划分为5 个管理功能域： ( 1 ) 配置管理 配置管理主要对被管理网络进行识别和控制，包括：对资源的初始化和终结；设置资源 参数：监督和修改资源状态：修改资源配置情况等。 ( 2 ) 故障管理 故障管理主要是对电信网络运行过程中出现的非正常现象进行检测、定位和恢复，主要 功能包括：接收来自网元上报的故障检测通知并进行处理：实施诊断测试；跟踪并校正故障； 维护检查故障曰志等。 ( 3 ) 性能管理 性能管理对被管理的设备状况、网络性能等进行测量和分析，主要功能包括：收集资源 的各种统计数据；根据数据进行分析处理，给出网络性能或设备状态的分析指数；维持并检 北京邮电人学硕士学位论文 网管系统质量评价技术的研究 夼性能数据日忐等。 ( 4 ) 帐务管理 帐务管理对网络业务的使用情况进行统计并根据一定的资费政策给出费用结果，主要功 能包括：收集用户帐务情况；对资源的使用设置计费标准和限制条件；对多种业务的使刚给 山统计费川等。 ( 5 ) 安全管理 安全管理是为了保证t m n 管理业务及被管理资源的安全，主要功能包括：身份验证、 访问控制、安全告警、安全日，占记录等。 2 3 基于c o r b a 的网络管理技术阳1 c o r b a ( c o m m o n o b j e c tr e q u e s tb r o k e r a r c h i t e c t u r e ) 是为了适应快速增长的软硬件产 品之间的互操作而产生的。它是一种面向对象的分布式计算平台，将客户服务器模式作为 基本处理机制，允许分布环境中不同的应_ l = i 程序之间透明地进行互操作。它可以实现由不同 厂商提供的不同对象服务能够屏蔽编程语言、网络和操作系统的差异实现彼此的互操作。 ( 1 ) c o r b a 体系结构 o m g ( o b j e c tm a n a g e m e n tg r o u p ，对象管理组织) 负责c o r b a 标准规范的制订，它 提出了一种对象管理结构( o m a ，o b j e c tm a n a g e m e n ta r c h i t e c t u r e ) ，刚以实现一种高层的 完全分布的计算环境。它所提山的c o r b a 体系结构如图2 3 所示。 ( 1 万一) 广菊画广 j 工西? 了 i i i静态l l 动态构| l l 倒叫r 叫崖l l! 竺 图2 3c o r b a 体系结构 ( 2 ) 2 3 2 基于c o r b a 的网络管理系统结构 对于c o r b a 在电信网络管理领域中的应用，已有许多国际组织、研究机构和学者进行 了j 泛的研究。o m g 在基于c o r b a 的电信网络管理系统白皮书中提出了一个基于c o r b a 的电信网络管理体系结构，作为运行系统的参考模型。模型中的主要成员包括：对象请求代 理、通用对象服务、通用设施和管理设施、应用对象。应用对象是指基于c o r b a 开发的管 理系统实体，包括管理应川程序( 相当丁传统的管理系统) 和被管对象( 相当于传统的被管 系统) 。参考模型如图2 4 所示： 北京邮电人学硕士学位论文网管系统质量评价技术的研究 使用分布的服务 川户接n 井向对等的应用实体 提供麻用服务 通i ；i 】对象 服务 通川设施 磊管理应用程序 l 厂产 ：命名服务 陪理应用功能ii 管理应用功能卜i 徽8 州累 l ：事件服务 ：定位服务 对象请求代理l 符理设施 i 系统管理设施 l被管对象接口l | c n i p f s ils n m p li 私有lf 电信管理设施1 l 策略实例管理者 叫斟l 鐾ii 到被管系统 图2 4 基于c o r b a 的网络管理运行系统的参考模型 2 4 网络管理系统测试和评估 网管系统作为大型软件，按照软件上程的观点，完成开发后的测试和评估1 2 作显得尤其 重要。同时，网管系统作为分布对象系统，对其的测试是测试领域的新挑战，目前尚朱有完 整的测试方法论支持。 本文讨论的网管质量评价，井非讨论网管系统的整个软件生命周期的所有环节，而是将 1 上足丁网管系统建设完毕后的后期验收测试，包括以下三个部分：功能测试、接口测试和非 功能测试。 2 4 1 功能测试 网管系统的功能测试主要目标是验证实际网管系统是否实现了系统设计或者要求达到 的管理功能，包括配置管理、故障管理、性能管理和安全管理之中的具体管理功能。在网管 系统的开发之初，运营商往往通过技术合同与开发商进行了书面约定，因此，在功能测试的 实际进程中，一般可以依据双方合同约定的涵盖功能进行实际测试，测试的手段往往是通过 网管系统的g u ，以正常使用者或者管理员的身份，来验证各项功能是否和事先约定一致。 2 4 2 接口测试”1 在电信网本身的建设过程中，为了保证网络本身的互联互通，电信设备的入网需要依据 标准进行测试，全网设备版本需要统一管理。但是，在以往的网管建设过程中，人们却忽略 r 这一点，这主要体现在网管系统的建设过程中没有经过严格的测试，网管系统运行的质量 无法保证，对全网网管系统的现状没有统一的概念，为网管系统的后续建设带来了凼难。为 7 保证网管系统和设备之间的正常交互，就有必要对通过接1 3 交互的双方进行某种以接口标 准为依据的检验以判断双方对接1 3 的符合程度，只有经过检验并通过认证的网络管理系统和 被管i 殳备，才能入网使用。在网络管理领域，这种检验被称作网管接口测试。 9 北京邮电火学硕士学位论文 网管系统质量评价技术的研究 、网络管理接口测试的基本方法 1 网管接口测试是一致性测试 所谓一致性测试，就是执行系列操作，驱动被测实现，并观察被测实现对确定行为的 响应，根据某一被测实现与其所实现规范的符合程度，得出一致性结论。概括而言，一致 性测试的口标就是要检测被测实现是否满足一致性声明中所阐述的静态和动态一致性要求。 其中，对静态一致性要求的测试通过静态一致性分析( s t a t i cc o n f o r m a n c er e v i e w ) 实现， 对动态致性要求的测试通过测试行为( t e s tc a m p a i g n ) 米进行。上述两方面的测试过科是 一致性测试过程的核心。在测试行为中，应在被测系统之上运行测试集，收集测试结果并生 成测试记录。 2 网管接口测试是黑盒测试 网管接口一致性测试的方法基本上属丁黑盒测试。它不关心被测实现对某项操作的具 体实现方法，只关心被测系统从软件接口上是否满足了该操作的功能要求。从测试条件来说， 网络管理接口的测试不属于软件产品内部的测试，而是第三方对产晶进行的验证，因此不可 能了解软件的具体实现。从测试目标来说，网络管理接口测试通过测试验证被测网管系统的 接r ，实现同网管接口规范之间的一致性，无需限制具体的实现。从测试手段分析，在一定 的模拟或者实际网络环境f ，对被测的网管系统输入必要的测试激励，通过比较被测系统的 响麻0 接口规范所预期的测试结果的异同，判定被测系统在多大程度上与系统实现者所作的 实现一致性声明相一致。 3 网管接口测试基本参考模型 网管接口测试基本参考模型包括测试系统和被测系统两个功能实体。测试系统和被测 系统之间有两个接口相互连接，分别是网管接口和测试协调接口。在被测系统一侧的网管 接口是被测系统本身已经实现的实际接口，而在测试系统一侧的接口是测试系统白备的网管 接口。 一二、网络管理接口测试的基本流程 网管接口的一致性测试包括三个方面的内容，即协议一致性测试、信息模型一致性测试 利管理功能一致性测试。在网管系统实现中，管理功能被映射为对一组管理对象的操作，而 符理对象在完成具体操作时需要底层网管协议和通信协议原语的支持。协议的一致性是所有 一致性的基础，只有底层协议保持一致性，才能实现系统间的“互联”；在通信协议保持一 致性的前提r ，才能进行信息模型的一致性测试；管理信息模型的实现与管理信息模型规范 保持一致性，才能实现“互通”；并且，在信息模型保持一致性的前提f ，方可进行管理功 能的一致性测试；只有当管理功能满足一致性，网管系统间的“互操作”才会实现。 1 协议一致性测试 协议的一致性测试是保证网管系统和被管设备互通的基础，它包括对底层通信协议和 高层网管协议的测试。目前国内外对协议的测试技术的研究起步较早，相关技术已经较为成 熟，如果要进行通信协议的测试，只需购买相应的仪表就可以实现对通信实体间协议软t t 的 一致性测试，例如对基于s n m p 的网管接口进行测试，协议测试中的主要关注内容s n m p 平u d p 均可以通过协议测试进行。同时后续的网管接口信息模型一致性测试和管理功能一 致性测试中，如果测试系统禾i 被测设备之间能够正确交互管理信息，这同时也就证明了通信 办议和网管协议保持了一致性。所以对于网管接口测试来说，并不把协议的一致性测试作为 1 0 j 匕京邮电人学硕士学位论文网管系统质茸评价技术的研究 照点内容，而是在协议保持一致性的前提卜，研究管理信息模型的一致性和管理功能的一致 性测试。 2 信息模型一致性测试 网管接口信息模型一致性测试用于验证被测用户所提供的网管接口，确定是否能以接口 规范规定的正确形式提供管理信息。信息模型一致性测试的测试对象是接口规范的信息模型 中定义的管理对象。管理对象是具体的被管资源的抽象，管理对象之间的关联性反映了被管 改备或资源之间的相互关联及相互依赖的关系。所以管理信息模型的一致性测试其主要内容 订两部分：主要测试单个管理对象的静态一致性测试和测试管理对象之间关系的动态一致性 测试。 网络管理接口静态一致性测试是对单个管理对象的数据结构和可执行操作进行验证， 包括是否支持对象实例的生成、删除及对象实例相关的各种操作，以验证被测系统声明能力 的存在性。网络管理接口动态一致性测试是对管理对象定义中描述的管理对象之间的动态关 系以及复杂行为所进行的测试。 3 管理功能一致性测试 管理功能一致性测试用于验证网管接口所传递的信息能否真正指配网络的运行以及止 确表达网络资源的具体运行情况。管理功能测试的测试过程与信息模型一致性测试类似，但 柏：测试过程中，测试系统必须与具体的物理设备相连。测试系统通过被测系统的管理接口对 设备进行激励( 发送网管协议原语) 使被测系统的管理对象产生相应的反应，然后观察相 、管理对象操作完成后产生的事件报告、对象的状态以及设备的实际运行状况，来检测被测 系统管理接口上管理对象的状态变化是否正确反映了网络资源的实际运行状况，是否与管理 功能测试规范中所描述的预期结果相符合。测试系统和设备同时作为测试观察点进行测试结 果的分析。 2 。4 3 非功能测试 在网络管理系统的测试和评估中，除了网管领域的特定接口测试、网管软件需求的功能 洲试，本文把网管系统作为大型软件系统的软件质量的评测统称为非功能测试。非功能测试 的主要包括对系统的性能测试和对系统结构、文档的静态分析等项目。 性能测试主要关注的是网管软件在一定的处理压力之下，其处理能力和执行效率等目 标，包括对其数据库系统、操作响应时间的考核。对系统的单一功能测试还比较容易，但对 整个系统的性能测试就比较困难。一般在进行性能测试时候可以分成两种情况，类涉及正 常负载条件下的性能测量，一类属超载测试，重点测试网管软件特殊的数据保护机制。性能 洲试的目的就是要通过搭建与实际使用环境相类似的测试环境，采用测试手段在同一时间 内、或某一段时间内，向系统发送预期数晕的处理请求，测试系统在不同压力情况f 的效率 状况，以及系统可以承受的压力情况，然后做针对性的测试与分析。找到影响系统性能的瓶 钡，= f = 根据该数据评估系统在实际使用环境f 的效率情况，作为评价系统性能、以及判断是 否需要对应崩系统进行优化处理或结构调整的依据，然后对系统资源进行优化，提高响庶时 间与吞吐量是压力测试的最终i i 的。以告警风暴发生时为例，系统性能测试可以反映在系统 住这种情况f 的操作响应时间和对数据的保存、恢复能力。 系统结构的分析、系统文档的静态分析等项目需要测试人员对网管软件体系结构具有较 r 的把握，对技术方案的评价等项目主观性也较强，这些都是非功能性测试的难点所在。 北京邮【乜大学硕十学位论文 网管系统质苗评价技术的研究 2 5 本章小结 本章首先概述了网络管理的概念及其目的，接着比较系统地介绍了电信网络管理领域内 的两种主要网管技术：基f - o s l 的t m n 网管技术和基丁c o r b a 的网管技术，然后再论述 ，当前网络管理系统建设中的一个重要环节：系统完成后的测试工作，包括功能测试、接口 测试和非功能测试。 2 北京邮电人学硕士学位论文 网管系统质量评价技术的研究 第三章系统评价理论和方法 系统评价作为对客观事物进行评定，明确其应用价值的处理方法，已经在社会经济发展、 榉技术研究、企业经营管理等各个方面得到了广泛应用。本章将从系统评价的理论着手， 详细介纠相关的概念和思想，以及实际的系统评价的方法和步骤，同时阐述网络管理系统的 评价方法。 3 1 系统评价的概念 所谓评价，一般是指按照明确目标测定对象的属性，并把它变成主观效用( 满足主体要 求的稃度) 的行为，即明确价值的过程。当然，需要指出的是在实际生活中，评价、评估、 评定、评鉴乃至测量等概念的使用比较混乱。它们被当作同义词语使用的情况屡见不鲜。即 使在前方，理论界和实际l j 作者对这些术语的用法也并不规范，在英文中就有e v a l u a t i o n 、 a s s e s s m e n t 、a p p r a i s a l 和m e a s u r e m e n t 等词。所有这些都影响着人们对评价概念的理解以及 方法的准确运用。 由于评价对象涉及的因素较多、复杂程度也较高，因此，若要评价按照严格、精确的方 法进行还有不少困难。目前，主要的还是依靠定性与定量相结合、客观统计资料与主观描述 资料并重的手段，评估这个词反映了这一事实。 系统评价是系统i 程中的一个基本处理方法，也是系统分析中的一个重要环竹。系统i 。 科的基本方法指的是应该把所研究的对象当作系统来分析，对分析结果加以综合后所产生的 就是系统设计，然后再对这个系统进行评价，反复进行，直到能有效地实现预定目的为r 。 如剀31 所示。 图3 1 系统评价的作用 系统评价主是根据预定的系统目的，在系统调查和可行性研究的基础上，主要从技术和 经济等方面，就各种系统设计的方案所能满足需要的程度同消耗和占用的各种资源进行评审 利选择，并选择出技术上先进、经济上合理、实施上可行的最优或满意的方案a 3 2 系统评价的指导思想 任何评价方法都有其评价的目标( 指标) 和内容，而这些目标和内容的提出、问题的确 定义都取决丁决的评价思想原则。评价思想的转变必然导致评价内容和方法的不同；而环境 的演变、社会和科学的发展义对评价思想的确立起着巨大的失去或制约作用。总的米说，评 北京邮电人学硕十学位论文 网管系统质量评价技术的研究 价的指导思想有以卜几类： 、追求单一目标的思想原则 甲期的评价方法大多具有这种思想的痕迹。人们在评价时，只注重系统的某一方面目标 的实现，而忽略其它目标，如对武器系统的早期评价，关键是要求可靠性。 一、经济利茄思想原则 经济利益思想也属于追求单一目标的思想，但因在工程系统评价中的地位特殊，故而作 为类提出。经济利益的思想源远流长，各个历史时期的经济学家和政治家，都对其给予了 极人的关注。理论上认为，人类的劳作是有理性的，发展是主题，而经济义是发展的主要方 而。冈此，人们在评价时，只注重系统的投入与产出，希望以最小的投入取得最大的产出， 这种思想至今仍在i 程项目的决策评价中起到重要作用。 三、综合评价的思想原则 这种思想原则，一是与系统的规模越来越大，涉及范围越来越广，影响愈米愈复杂有关： 一是与人类的生存环境越来越不利有关；二是与科学技术方法、系统方法为评价提供了有力 | ：具有关。人们开始注重对事物，特别是工程系统的全面评价，即从政治、经济、社会、技 术、风险、自然与生态环境，组织币1 个人等多方面复杂系统问题进行综合评价。在评价时， 不仪重视直接的效茄和影响，而且重视间接的影响；不仅重视近期效益，而且注重氏远效豁： 不仅重视定量指标( 如投资、收益等) 的评价，而且重视软指标的评价。 四、规划的思想原则 为了减少盲目性，人们对r 一程建设等决策活动的事先评价越来越重视，不断地寻找能科 学地、全面地、客观地反映决策活动特征的评价指标体系。不仅重视项目自身的经济效益、 技术性能等的评价，而且把项目纳入国民经济火系统中进行规划。 系统评价的思想是利用控制论和系统工程的观点，对系统整体进行评价。 3 3 系统评价的目标和任务 往对某个系统进行评价时，要从明确评价目标开始，通过评价目标来规定评价对象，并 对其功能、特性和效果等属性进行科学地测定。 就r 程项目建设来说，人们创造这类系统的目的是通过改造客观世界来提高人们的物质 文化平精神文化水平，从而提高幸福感。这种提高具体表现在整个系统( 包括物质和精神的) 从一个年谐状态达到一个新的更高的和谐状态。而和谐一是表现在系统内部，二是表现在系 统4 环境之间，系统本身的地位是相对于环境而言的。因此，我们对系统的评价就表现为对 系统对其与环境的和谐状态的评价，亦即通过系统结构的分析与评价，观察其是否形成了动 态平衡的有机整体；通过对系统功能的分析与评价，观察系统是否与外部环境或更高层人系 统达到协调，有利于大系统的发展。 评价的目的是为了决策。系统评价是方案选优和决策的基础，评价的好坏影响着块策的 止确性。所以，评价在决策中负有很重要的任务，一般说来，有以下几方面： 一、系统远行现状的评价 决策机会无外乎源于系统运行出了问题、或面临某种危机、或遇到新的发展机会，系统 运行现状的分析和评价有利于弄清这些问题，以便尽早发现决策机会，确定合适的决策方案。 、方案可能产生的后果和影响的评价 在决策最后拍板之前，必须对各个方案实施后可能产生的后果和影响有一个比较准确的 4 北京邮电人学硕十学位论文 网管系统质量评价技术的研究 把握，这就是预测的任务。但如何评价这些后果及其产生的影响却是评价的任务。通常对同 一后果利影响，不同的人或同一人在不同的时间会得出不同的评价，然而决策的最终做出还 必颁信赖丁这些评价。一般讲来，方案后果和影响的评价涉及三个方面： 1 、后果和影响本身的评价。 2 、后果和影响中各种不确定性的评价。 3 、各方面后果和影响及其不确定性的综合评价。 ：、方案开始实施后的跟踪评价及决策完成后的同顾评价 决策方案开始实施以后，为了及时发现问题，进一步完善、调整和控制，还需经常对实 施过科雨j 结果进行跟踪评价。另外，为了总结经验和深入学习，改进以后的决策，有时还需 在决策实施完毕后进行总结和评价，比如本文研究的对网络管理系统的质量评价，就属丁这 种同顾性质的评价，目标是为了科学评价已经建设好的网络管理系统的成果和效用。 3 4 系统评价的分类 系统的评价可以分阶段进行，特别是对于复杂的大系统的开发，各个重要环h 都要进行 评价| ：作。系统评价可以按以下几下方式分类。 1 、按照评价项目划分：可以分为：目标评价、方案评价、设计评价、计划评价、规- t 0 评价。 2 、按照评价的时间顺序划分： ( 1 ) 事前评价。在着手系统开发之前进行的评价，是为了提高系统成果，而合理决定 汁划的有效方法。 ( 2 ) 中间评价。在开发过程中进行的评价，是在系统研制过程中州来判断是否有必要 变更目标和及时采取对策而进行管理的有效手段。 ( 3 ) 事后评价。在开发完成之后进行的评价，是在定量地掌握已经达到目标的成果同 时，确认目标以外的成果的良好方法。 ( 4 ) 跟踪评价。是用来研究真实波及效果，对整个系统进行评价的一种方法。 上述的四个阶段如图3 2 所示。 3 、按照评价的内容划分 图3 , 2 评价的四个阶段 北京邮电入学硕十学位论文 网管系统质量评价技术的研究 ( 1 ) 技术评价。技术评价是围绕系统功能来进行的，评定系统方案能否实现所需的功 能及实现程度。 ( 2 ) 经济评价。是围绕经济效益进行的，内容主要是以成本为代表的经济可行性分析。 ( 3 ) 社会评价。是针对系统给社会带来的利益或影响而进行的评价。 ( 4 ) 综合评价。是在上述三个方面评价的基础上，对系统方案价值的人小所做的综合 评定。 计划阶段的评价也可以说是一种事前评价，也就是在着手设计之前对研制的系统进行比 较全面的评价，通过这种评价来选定理想的代替方案，制订出切实可行的计划，将对以后的 系统的最优运行起到重要作崩。另外，也可以通过对系统研制的事前评价考虑各种可能导致 系统火败的冈素；指出设想的缺陷，探讨系统的评价及采取的对策。 系统规划是系统工程管理过程中的一个要素，是决定系统大局的必要阶段，因此，对它 的评价必须慎重进行，只有评价得好，才能充分发挥系统工程学的作用。而系统设计是系统 l ：程管理的核心，比系统规划还重要。冈为系统的性能，可否达到设想的目标，在很火程度 上取决丁系统设计。所以对系统设计的评价，主要是评价系统的特性，也就是通过系统的有 效性的评价，考察系统设计适合目标的情况，通过对系统功能和性能的评价，考察系统设计 适合特性的情况，另外还有对系统结构和系统运用的评价等。 3 5 系统评价的步骤 3 5 1 评价原则 为了搞好系统评价，必须遵守下面几条原则： ( 1 ) 要保证