（控制理论与控制工程专业论文）移动综合网管数据提取模式及其实现和稳定性研究.pdf

塑坚三些查堂堡主兰垡丝：! 移动综合网管数据提取模式及其实现和稳定性研究 摘要 移动综合通信网络管理系统的开发要求从整个移动网络中采集 和提取与业务有关的各类数据以向网管应用提供数据支持。本文结 合杭州移动现有网络设备，在已有工作的基础上总结、实现移动电 信网络中的数据提取模式，并对数据的不稳定性因素及其解决方式 进行了研究。鉴于数据源的异质性及其一般性，本课题成果对于一 般数据库、数据仓库等信息系统中的数据采集、提取亦具有普遍的 意义。 i 其中，主要工作和取得的成果包括： f 1 ) 总结了现有数据采集提取模式，并提供了实现方案，对数 据库、数据仓库系统的开发具有参考意义： f 2 ) j d b c 数据复制网关可灵活地同时存取几乎所有不同类型 的关系型数据库中的数据。 ( 3 ) 分析了t e l n e t 、f t p 协议并实现了一f t p 客户端程序，可 嵌入系统中用于自动从远程主机获取数据文件。 ( 4 ) 实现、完善了从文本数据到数据库数据的文本分析语言并 阐述了程序语言的层次体系，对理解简单应用语言的开发 及简单应用协议的开发具一定的意义。 ( 5 ) 对系统、数据库及网络的性能问题进行了深入的分析，通 过对本质、细节的网络编程问题的阐述，给出了网络程序 的性能及稳定性问题的正确处理方式，提供了若干具体的 避免瓶颈，提高性能的措施。 ( 6 ) 通过检测运行进程的状态以进行应用程序的自动维护的思 想，适用于大型、长期运行的程序组。 关键词：网络管理，数据提取，j d b c ，f t p ，文本分析，稳定性 塑坚三些查兰堡圭兰堡堕墨一 d a t ae x t r a c t i o n m o d e s ，i m p l e m e n t a t i o n a n ds t a b i l i t y i ni n t e g r a t e dm o b i l e t e l e c o mn e t w o r k m a n a g e m e n ts y s t e m a b s t r a c t a l lk i n d so fd a t ar e l a t i n gt ot h eo p e r a t i o no ft h ew h o l em o b i l e t e l e c o m m u n i c a t i o nn e t w o r kn e e d t ob ee x t r a c t e di n t od a t a b a s e t o s u p p o r t t h eu p p e rn e t w o r km a n a g e m e n ta p p l i c a t i o ni nt h ed e v e l o p m e n t o fi n t e g r a t e dm o b i l et e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n ts y s t e m t h i sp a p e rs u m m a r i z e da n dr e a l i z e da l l d a t ae x t r a c t i o nm o d e si nt h e n e t w o r ka n ds t u d i e dt h e e x t r a c t i o n s t a b i l i t y b a s e do nt h e p r o j e c t c o n s i d e r i n g t h eh e t e r o g e n e i t ya n du n i v e r s a l i t yo fd a t as o u r c e ，r e s u l t so f t h i sr e s e a r c h a r e u n i v e r s a l l y u s e f u lt od a t ac o l l e c t i o ni nc o m m o n i n f o r m a t i o ns y s t e ml i k ed a t a b a s ea n dd a t aw a r e h o u s ee t c o u t c o m e so ft h i sp a p e ra r ea sf o l l o w s ( 1 ) s u m m a r i z e d t h em o d e so fd a t ae x t r a c t i o na v a i l a b l ea n d p r o v i d e d t h ei m p l e m e n t a t i o no ft h e m ( 2 ) j d b cd a t ar e p l i c a t i o ng a t e w a yc a l lf l e x i b l ya c c e s sa l m o s ta l l k i n d so fr e l a t i o n a ld a t a b a s e sa tt h es a m et i m e ( 3 ) t h et e l n e ta n df t pp r o t o c o la r ea n a l y z e di nt h i sp a p e r a n da n e m b e d d a b l ef t pc l i e n tp r o g r a mw a si m p l e m e n t e dt og e tf i l e s i i i 堂垩型型里堂堂生一 i nr e m o t eh o s ta u t o m a t i c a l l y a n dt h ep r o g r a mc a na l s oa c c e s s d a t a b a s et og e ti n f o r m a t i o n n e e d e ds u c ha sf i l e n a m e se t c ( 4 ) a t e x te x t r a c t i o nl a n g u a g e i s b r o u g h tf o r w a r d ，a n a l y z e d ， d e s i g n e d a n dr e a l i z e da n d t h e t h o u g h t o ft h eh i e r a r c h i c a l a b s t r a c t i n g a n d i m p l e m e n t a t i o n i ns o f t w a r e e n g i n e e r i n g i s i n t r o d u c e d a n dt h i sp r o g r a ml a n g u a g ec a nb ew i d e l yu s e da sa d a t ae x t r a c t i o nt o o li nad a t aw a r e h o u s ep r o j e c tt oe x t r a c t i n g d a t af r o mt e x tf i l et od a t a b a s e ( 5 ) i n d e p t ha n a l y s i s a b o u tp e r f o r m a n c eo fs y s t e m ，d a t a b a s ea n d n e t w o r kh a sb e e ng i v e n b e s i d e s ，i no r d e rt oa v o i db o t t l e n e c k a n d i m p r o v ep e r f o r m a n c e ，p r o p e r h a n d l i n g m e t h o do n p e r f o r m a n c ea n ds t a b i l i t y o fn e t w o r kp r o g r a mh a sa l s ob e e n p r o v i d e da n di m p l e m e n t e dt h r o u g h t h ee x p l a n a t i o no fe s s e n t i a l a n dd e t a i l e dp r o b l e m si nn e t w o r k p r o g r a m m i n g ( 6 ) t h et h o u g h t o fa u t o m a t i cm a i n t e n a n c et h r o u g hc h e c k i n gt h e r u n n i n gp r o c e s s e s i sf i tf o r l a r g e - - s c a l e dl o n g - r u n n i n g a p p l i c a t i o ng r o u p k e yw o r d s ：n e t w o r k m a n a g e m e n t ，d a t ae x t r a c t i o n ，j d b c ，f t p t e x ta n a l y s i s ，s t a b i l i t y i v 塑坚三些查兰塑主兰堡堡苎 一 1 1 研究背景 第一章绪论 11 1 移动通信网现状 1 9 8 7 年底我国开通了第一个9 0 0 m h z t a c s ( t o t a l a c c e s sc o m m u n i c a t i o n s y s t e m ，全向通信系统) 制式移动通信系统，1 9 9 5 年7 p n t g s m ( g l o b a ls y s t e m f o rm o b i l ec o m m t m i c a t i o n ，全球移动通信系统) 体制的数字蜂窝移动通信系统， 1 9 9 8 年开通了c d m a ( c o d e d i v i s i o n m u l t i p l e a c c e s s ，码分多址) 移动通信系统， 中国移动g p r s ( g e n e r a l p a c k e tr a d i os e r v i c e ，通用分组无线业务) 已于1 0 月正式 启动。十几年来我国移动通信运营业几乎以每年翻番的速度迅猛发展。据信息产 业部公布的数据，截止到2 0 0 1 年7 月末，中国共有移动电话用户1 2 0 6 亿，而同 期美国移动用户为i 2 0 i 亿。我国移动通信网已经发展成为世界第一大移动通信 网f 增长速度也是世界第一) 。移动通信业务主要由中国移动和中国联通两家公司 承担，其中中国移动的市场份额约为7 5 ，中国联通的市场份额约为2 5 。中国 已成为世界最大的移动通信市场。 我国9 0 0 m h z 移动电话网包括模拟网和数字网两部分。现有的模拟移动网分为 a 网和b 网，a 网由摩托罗拉公司的设备构成，b 网由爱立信公司的设备构成。使 用e r i c s s o n 移动电话系统的省份采用三级网络结构和自身n o 7 信令系统，已实 现本系统内联网：使用m o t o r o l a 移动电话系统的省份采用网络路由器( n r ) 及数 据复用装置( d m x ) ，亦已实现同一系统内的全国联网。两个厂家的设备已实现全 国范围内的网络互联。移动网上的独立汇接局覆盖了所有的省会城市，交换设备 是西门子公司的e w s d ，而移动网上的独立信令转接点( s t p ) 设备由上海贝尔和华为 公司两家提供“3 。根据国家对无线电频率和码号资源调整的规定，中国移动通信 集团公司已于2 0 0 1 年6 月3 0 目前退出e - t a c s 频率，1 2 月3 1 日前退出全部模拟 网频率，停止模拟网络运行。 g s m 数字网的建设始于1 9 9 4 年l o 月。目前全国3 1 个省( 市) 开通了g s m 系 第1 页共5 8 页 浙江工业大学硕士学位论文 统，用户可以在全国2 0 0 多个地( 市) 、1 0 0 0 多个县及十几个国家和地区范围内 实现自动漫游。北京、广州、上海、西安成功地进行了c d c ) a ( 码分多址) 系统的 试验网建设。中国联通计划于2 0 0 3 年建成5 ，0 0 0 万门容量的大型c d m a 网，可以 容纳3 ，5 0 0 万用户。北京、广州等城市还开始了d c s l 8 0 0 系统的试验”1 。中国移 动的数字移动电话网( 6 $ m ) 上已有多个厂家的多种交换设备和基站设备，这些 g s m 系统中，有些厂家提供了集中式的操作维护中心系统，统一管理移动交换机、 基站控制器和位置寄存器；有些采用分散管理方式，由o m c r 管理设备( 包括b s c 、 t r a u 、b t s ) ，由o m c s 管理交换设备“。 随着信息技术的迅速更新换代，面对新的无线通讯技术的推出，g s m 正在全 球范围内逐渐被g p r s 系统和c d m a 系统所取代。日本更是在十月已经正式将 3 g 付诸实施，并在国内进行了试运行。 中国的两家移动电信服务商在追赶国际先进技术的潮流中也没有落伍。他们 根据自己的优势选择性地发展了c d m a 和g p r s 网络。 c d m a 是c o d e d i v i s i o nm u l t i p l ea c c e s s 的缩写，全称码分多址，最大的优势 是容量大，可以提供相当于模拟系统3 倍1 0 倍的容量，比g s m 节省8 0 的基 站，实现了移动通信系统最关键的扩频技术，再加上它天然的隐蔽性、保密性和 抗干扰性，更能满足市场对移动通信容量和质量越来越高的要求。 g p r s 的英文全称为g e n e r a lp a c k e tr a d i os e r v i c e ，中文含义为“整合封包无线 服务通用分组无线业务”，它是利用“分封交换”的概念所发展出的一套无线传输方 式。g p r s 的最大优势还是速度：目前的g s m 移动通信网的传输速度为9 6 k b p s ， g p r s 已达到1 1 5 k b p s ，是常用5 6 k m o d e m 理想速率的两倍。 1 1 2 移动通信网络管理的现状 移动通信网络管理是对移动通信网络的性能、品质，进行监测和控制的过程。 移动通信网络管理与移动通信网相伴而生，并且随着移动通信网的发展而发展。 各种先进技术，尤其是计算机技术的不断发展进一步推动了移动通信网络管理的 发展和演变。移动通信网络管理发展到目前，经历了一个由人工到自动、由单项 到综合、由单台工作站到网络化的发展过程。 虽然移动通信网络管理发展非常迅速，但是由于长期以来，在移动通信网络 第2 页共5 8 页 塑坚三些查兰堡圭堂垡堡壅 的发展中，尤其是在我国，人们重视硬件设备而忽视软件设备、重视局部而忽视 全部、在网络的设计、规划以及网络运行质量优化等方面重视不够，造成了移动 通信网络管理比移动通信网的发展相对滞后的局面。 随着网络整体规模的不断增加以及新业务的不断出现，网络管理功能变得更 加复杂。当今我国的移动通信网络中使用的设备来自多个厂商，号称七国八制， 使移动通信网成为一个异构型网络。 上述的问题一直困扰着国内的移动通信网络运营部门，使实现对本地网的集 中操作维护与管理成为国内移动通信网络运营部门的当务之急。 当前最典型的网络管理体系结构主要有i n t e m e t s n m p ( s i m p l en e t w o r k m a n a g e m e n t p r o t o c o l简单网络管理协议) 管理体系结构、t m n ( t e l e c o m m u n i c a t i o n sm a n a g e m e n t n e t w o r k ，电信管理网) 管理体系结构和t 1 n a t e l e c o m m u n i c a t i o n si n f o r m a t i o nn e t w o r ka r c h i t e c t u r e ，电信信息网络体系) 体系 结构三种。随着理论研究和实际应用的不断深入，t m n 通过吸收其它两种结构的 某些思想而不断完善，在电信网络管理领域逐渐占据了主导地位。”1 t m n 的核一i i , 思想是一种网管网的概念，它将管理网提供的管理业务与电信网 提供的电信业务分开，相对于被管理的电信网来说属于一种带外管理。t i v i n 通过 对网管接口的引入，将业务网和管理网分开，在保持接口相对稳定的同时，尽量 屏蔽了电信网络技术和网络管理技术的发展对彼此的影响。同时，t m n 通过引入 信息模型管理功能和软件体系结构的重复使用，以及开发方法的重复使用等软件 重用的思想，缩短了网管系统的开发周期，提高了网管软件的质量。 相对于t m n 管理体系结构，t i n a 体系结构将管理业务和电信业务统一考虑， 更像是一种带内管理方式，从理论上来说更容易满足网络管理实时性的要求，特 别适合处理高层网络管理问题。但是，它所要求的计算技术较高，在短时间内还 不可能达到实用化的程度，在没有得到市场认同的情况下，其影响力会逐渐丧失。 i n t e m e t s n m p 管理体系结构在计算机网的网络管理领域取得了巨大成功。根 据计算机网管理信息较少的特点，采用这种带内管理的方式一般不会对网络的性 能带来太大的影响，但是，其轮询机制所固有的缺点限制了被管节点的数目和操 作响应时间，决定了该体系结构不可能用于大型网络的实时管理。 在传统的电信网和i p 网融合趋势曰益明显的今天，在t m n 管理体系结构基 第3 页共5 8 页 塑垩三些查兰堡圭兰竺兰苎一 础上，如何解决信息网的综合管理问题是网络管理体系结构标准化研究的主要内 容。 t m n 是c c i t t i n t e r n a t i o n a lt e l e p h o n ea n dt e l e g r a p hc o n s u l t a t i v ec o m m i t t e e ， 国际电话与电报顾问委员会) ( 现i t u ，i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ， 国际电信同盟) 为适应现代通信网综合、宽带等特点而提出的一种新型的管理电 信网的网络。传统的电信网管理一般都是针对某种电信设备或电信业务，从而使 网络管理系统的适应性受到很大的限制，网络管理系统之间的互联也十分困难， 也很难满足现代电信发展对管理网络功能的要求。现代电信网复杂度的增加以及 对自动化管理的要求迫切需要一种结构化的网络管理方法，以便对不同类型的电 信网络、设备和业务进行有效的管理。 t m n 是一种在逻辑上与电信网相互独立的网络，它是通过几个不同的标准参 考点与电信网进行通信并达到管理电信网的目的。虽然电信网在逻辑上是独立的， 但它可以利用电信网的一部分资源进行通信。例如，在s d h ( s y n c h r o n o u sd i g i t a l h i e r a r c h v ，同步数字系列) 网络中，t m n 的信息可以通过s d h 的嵌入控制信道 ( e c c ) 进行传递。总的来说，电信管理网具有故障管理( f a u l tm a n a g e m e n t ) 、 配置管理( c o n f i g u r a t i o nm a n a g e m e n t ) 、计费管理( a c c o u n t i n gm a n a g e m e n t ) 、性 能管理( p e r f o r m a n c em a n a g e m e n t ) 和安全管理( s e c u r i t ym a n a g e m e n t ) 五个功能。 电信管理网作为一种未来的电信网络管理解决方案，现阶段还处于规范形成 当中。根据我国电信管理网建设的指导思想，中国公众电信网网管系统按照i t u t 的t m n 的概念和方法统一规划和建设，保证网管系统建设的经济性和网络的统 一性、完整性和先进性。管理系统的组织开发，要充分考虑我国电信网络的实际 情况和管理体制，从实际出发，尽快建成各种专业化的网络管理系统，支撑网络 的高效安全运行。在t m n 规范尚不完善的领域，网管系统的组织建设不应停滞 等待，要积极借鉴t m n 的观念和方法，并充分考虑以后向t m n 方式的网络系统 的过渡，按照现有规范尽快实现基本的集中管理系统【2 1 。 1 1 3 移动通信网络管理系统开发中的困难 我国移动通信网络管理系统建设中存在的几个比较突出的问题是： 多厂家设备问题。我国移动通信网的建设是从设备引进开始的。早在1 9 9 3 第4 页共5 8 页 浙江工业大学硕士学位论文 年，我国开始进行g s m 数字移动蜂窝通信系统的测试时，就利用了 e r i c s s o n 、s i m e n s e 、a l c a t e l 、n o r t e l 四家国外通信公司的产品 f9 1 。随着我国移动通信网的不断发展，逐渐形成了“七国八制”的局面， 即我国移动通信网建设中采用的设备大多由来自七个国家的八家电信公 司提供。这八家公司是美国摩托罗拉公司( m o t o r o l a ) 、美国朗讯公 司( l u c e n t ) 、瑞典爱立信公司( e r i c s s o n ) 、芬兰诺基亚公司 ( n o k i a ) 、加拿大北方电信公司( n o t e l ) 、法国阿尔卡特公司 ( a l c a t e l ) 、德国西门子公司( s i m e n s e ) 。在近几年，随着我国通信 产业的发展，以巨龙、大唐、中兴、华为代表的多家国内通信公司d l ：i 入 到移动通信市场的竞争中。由于我国移动通信网的建设，普遍是分批分 阶段进行的，因此在各省市移动通信网中普遍存在着同时使用多家厂商 的软硬件系统的情况。多种制式与多供货商并存的情况加大了维护管理 工作的难度。虽然各厂家都有自己开发的面向本系统的操作维护中心， 但却没有开发向上传送信息的软件和规程；其所采用的管理模式、软件 语言、命令格式和接口规程也不尽相同，即使是同种制式的操作维护中 心或网络管理系统也不能直接沟通。除个别省份外，全国绝大多数省未 建立移动通信全省( 市) 范围的统一网管中心。 移动网的特点：在设备方面，与固定网相比，移动通信网除了交换机网 络外，还有归属位置寄存器( h l r ) 、拜访位置寄存器( v l r ) 、鉴权中 心( a u c ) 及复杂的无线网络设备，包括基站控制器( b s c ) ，变码器 ( t r a u ) 、基站发射机系统( b t s ) 等等。一次通话的完成需要多种设 备的参与和数据交互。在网络发展和完善的过程中，需要经常调整有关 的无线参数设置，如：基站发射功率，接收机灵敏度、天线高度等。【l i 设备和配套软件的不断升级换代造成了移动通信网络管理系统建设的困 难。移动通信技术本身就是一个综合了通信技术、计算机技术等科技最 新发展成就的技术，因而移动通信技术随着通信技术和计算机技术的不 断发展而发展。到目前为止，可以根据移动通信网中用到的主要技术将 移动通信网的发展划分为两个阶段，即模拟蜂窝移动通信阶段、数字蜂 窝移动通信阶段。进入9 0 年代中期以后，随着第三代移动通信技术的产 第5 页共5 8 页 塑垩三些查兰堕主兰堕兰苎一 生和发展，移动通信网的建设又进入了一个新的阶段。正是因为这种迅 速发展的特点，因此在正式投入运营的移动通信网中绝大多数都是由多 种处于不同阶段的移动通信网所组成的。例如，杭州市在工程实施时正 式运营的移动通信网就是由模拟a 网、模拟b 网( 现模拟网已正式结束) 、 数字d 网( g s m ) 阻及c d m a 网组成的，其中c d m a 网是在1 9 9 8 年才 正式投入运营的。组成移动通信网的设备和配套软件不断的升级换代， 使得移动通信网络管理系统面对的是一个由不同阶段、不同通信技术的 多种通信网络所组成的综合移动通信网络系统，也要求移动通信网络管 理系统能够很方便的适应今后发展、变化，这也为移动通信网络管理系 统的设计提出了一个难题。 业务流程的变化和不确定性，造成了移动通信网络管理系统开发的困难。 移动通信是通信领域的“新生儿”，移动通信的迅速发展更是近几年的事。 如何进行移动通信网络的管理，有效地保障移动通信网络的运行效率， 是各地移动通信网管工作人员正在不断探索的问题。移动通信网络管理 的业务流程在不断的变化和发展，同时各项具体的业务处理需求也在不 断的变化。这就要求移动通信网络管理系统能够灵活的配置各项业务处 理服务，形成新的业务流程，同时也能灵活的适应业务处理需求的变化。 同时，计算机技术的迅速发展，给移动通信网络管理系统的开发带来的 挑战，也提供了机遇。移动通信网本身就是通信技术，微电子技术和计 算机技术结合的产物。现代的移动通信网络管理系统更是集通信技术、 信息处理技术和计算机技术的发展成果于体的综合信息系统。移动通 信网的管理要求网络管理系统不仅能够提供设备的故障信息，而且能够 基于对网络性能的检测，提供诸如长期历史数据分析、故障智能诊断、 网络性能优化、网络规划决策支持等功能。不但能够提供各种软硬件系 统的管理、提高网络运行的质量，而且希望能够通过该系统的运行来规 范工作人员的操作、降低运行维护的成本。开发这样的系统涉及大量的 计算机领域的最新技术成果，如数据仓储、数据挖掘、人工智能、分布 式对象等。由于技术的局限，有很多问题利用当前的技术还不能够得到 很好的解决，需要期待着计算机技术今后的发展来解决这些问题。同时， 第6 页共5 8 页 浙江工业大学硕士学位论文 计算机技术本身也具有发展迅速的特点，现在使用的技术到一两年之后 就会成为落后的技术。因此，在开发和建设移动通信网络管理系统的时 候必须考虑到如何适应今后计算机技术的发展，也就是要求移动通信网 络管理系统具有相当的可扩展性和开放性，能够容纳今后计算机技术发 展所带来的变化，这也是移动通信网络管理系统开发中的一个难点。 1 2 课题来源 本课题来自校软件开发环境实验室与北航软件开发环境国家实验室及北航大 用公司的合作项目杭州移动本地网综合网管系统和浙江省其他地市的本地网 综合网管系统。 1 3 选题目的、研究目标、意义 在各类电信网管系统的实现中，无论其依据何种理论、采用何种体系结构、 采用何种技术( 传统的网络管理技术包括q 3 接口，由于存在多厂商很难一致、冗 余程序多、难于灵活升级等一系列缺点，对其发展前途已有所怀疑，而c o r b a 技术克服了上述缺点，已经表明是一种非常有发展前景的技术。c o r b a 适应分 布式网络结构的需要，值得在我国今后发展网络管理技术时参考【4 1 ) 、厂家在何种 层次上提供网管接口，其实现都是在各种相关数据提取的基础上进行的。 同时，移动综合网管系统从网络中分散、独立、异质的网络设备中提取所需 的数据以形成一个逻辑上完整、致、有序的大容量业务数据环境，实现高级的 综合网络管理功能。以从不同网络设备中提取形态各异的原始数据为系统的基础， 其中数据的异质性( 包括各种网络数据库、非数据库文本文件以及实时的文本流 等) 和多种分布对象及其部分数据传输的稳定性差和数据质量差等问题，决定了 系统的底层数据提取模式及其稳定性问题是系统的一个重点和难点。 为解决所遇到的问题，以支持基础的应用，本文拟结合杭州移动现有网络设 备，在前期工程和前人已有工作的基础上总结、实现电信移动网络中的数据提取 模式，并对数据的不稳定性因素及其解决方式进行研究。鉴于数据源的异质性及 其一般性，本课题成果对于一般数据库、数据仓库等信息系统中的数据采集、提 取亦将具有普遍的意义。 第7 页共5 8 页 塑望三些盔兰堡主兰竺! ! 兰 1 4 本文工作及组织 本文将在以下方面对移动网络管理工程进行研究、总结： 1 、总结现有数据采集模式，并提供实现方案，使之在能解决系统中由于多 厂商设备、设备和配套软件的不断升级换代等因素导致的硬件、软件差异 而存在不同数据形态的采集、提取问题的基础之上同时对数据库、数据仓 库系统的开发具有普遍参考意义。 2 、分析f t p 协议和t e l n e t 协议，并( 根据工程要求) 实现一文件传送的f t p 客户端程序。 3 、实现、完善从文本数据到数据库数据的文本分析语言并在理论上对其加 以研究总结，从实用程序设计语言实现的角度，对简单应用语言的开发及 简单应用协议的开发进行简单阐述。 4 、对数据库、系统及网络的性能问题进行深入的分析，通过对本质、细节 的t c p i p 网络及其编程问题的深入了解，对网络的层次结构从理论( 模 型，协议) 、系统管理( 配置，维护) 、程序开发各方面进行理解，掌握网 络程序的性能及稳定性问题的正确处理方式，并总结若干避免瓶颈，提高 性能的经验方法。 其中涉及到的具体编程技术包括以下方面：包括网络通信编程和进程间通信 的c 语言基本编程，根据f t p 协议实现的基本的文件传输编程，激活远程主机程 序并重定向其输出的u n i x 下的自动化程序e x p e c t ，在过程语言中嵌入s q l 语句 以实现文本到数据库的数据提取的o r a c l ep r o + c 编程，在不同数据库间进行数据 复制的j a v aj d b c 数据复制网关程序，进行进程状态检测的u n i x 的s h e l l 编程 等。 本文的内容组织如下： 第一章介绍了本文的研究背景和选题的目的、研究目标、意义及文章内容的 组织等。 第二章介绍移动网络中的数据分布及其提取模式，着重在数据的不同存在形 态方面加以区分和描述，同时描述移动网络网管的层次结构。 第三章实现在第二章中介绍的不同存在形态的数据的提取。包括不同数据库 数据和非数据库数据的提取。包括将数据接收到本机和本机上的所需数据的提取 第8 页共5 8 页 浙江工业大学硕士学位论文 入库两个步骤。其中，对于非数据库数据的提取，为了实现更大的灵活性以提取 不同格式的文本数据，提出了一种文本分析语言以进行文本数据的提取。 第四章详细介绍了文本分析语言的思路与实现，包括文本分析语言的解释器 程序。同时在理论上对其加以考察，从实用程序设计语言实现的角度，对简单应 用语言的开发及简单应用协议的开发进行浅显的阐述。 第五章分析了系统的性能及稳定性因素，对影响系统性能和稳定性的潜在因 素进行了细致的考察和分析。主要从网络程序和文本分析程序两个方面进行分析， 深入研究了u n i x 网络程序的性能和稳定性的一些细节问题，和文本分析程序中 的字符处理速度及其稳定性问题。同时编写运行了一系列的测试程序。 第9 页共5 8 页 塑坚三些查兰堡主兰垡堡皇一 g g - _ 章移动网络中的数据布及其提取模式 2 1 网络的层次结构描述 实现对本地网的集中操作维护与管理的有效的解决方案之一是，根据电信管 理网( t m n ) 建议的逻辑分层框架结构，结合移动通信网的具体实际，将移动综 合网管系统的结构分为三层，即网元层( n e t w o r ke n t i t yl a y e r ) 、子网管理层 f s u b n e t m a n a g e r l a y e r ) 、网络管理层( n e t w o r k m a n a g e r l a y e r ) 。”j ( 1 ) 网元层 这层是设备层，由具体网络单元( n e t w o r ke n t i t y ) 如交换机、信令转接点 ( s t p ) 、传输系统设备等组成。各系统完成对自身的基本管理和控制并向上层传 送各种管理信息，是电信移动网络的硬件基础。 ( 2 ) 子网管理层 实现对一个或多个网元的操作维护管理，即对网元层中各个交换机、传输系 统复用设备等实现远程集中操作维护，完成设备软、硬件的管理。该层的管理定 位在各维护中心。通常是各厂商自己提供的运行维护中一1 2 , 或称子网管理中心。 ( 3 ) 网络管理层 从管理上讲，网络管理属于运维部。从功能上讲，网络管理实现网络组织管 理和优化，是面向网络及其性能、资源等特性的管理。同时为业务管理提供相应 的技术支撑。 将网管业务功能分类并且合理地分配到子网管理层，由子网管理层负责低等 级的、与业务无关的设备管理，网络管理层只负责高等级的、与业务相关的综合 网络管理。图2 1 给出了这种管理方式的层次结构。 第1 0 页共5 8 页 塑兰三些查兰堡主兰篁笙苎 图2 - 1 移动网络的管理层：欠结 对整个移动网络集中统一的操作维护是通过网络管理层、子网管理层、网元 管理层这三个管理层次实现的。网络管理层是管理用户直接面对的管理界面，它 通过多种通信方式与子网管理层进行通信，将子网管理层的数据提取上来并进行 显示。子网管理层由多个子网管理中心组成，管理中心按不同的管理功能，不同 的管理对象而分别设置，在地理位置上分散。实际运营系统中子网管理中心一般 由各电信设备厂商提供，能够实现对自身网络设备的监控与一部分相关的业务管 理功能。网元层中分布着各种类型的网络设备和逻辑单元，它向子网管理层提供 数据接入与通信接口。这种网络管理层次结构的优点在于将复杂的网络管理功能 合理地分配到不同的功能层次，将低层次的设备管理交给子网管理层，网络管理 层只负责面向管理人员、与业务密切相关的综合网络管理，各个管理层次密切合 作，使得对整个网络的管理能够有条不紊地进行。 21 1 厂家提供的子网管理层 实际运营系统中子网管理中心一般由各电信设备厂商提供，能够实现对自身 网络设备的监控与一部分相关的业务管理功能。从电信网络初建之时至今，电信 网管系统的主要用途是实现对网络设备的监控。发展到现在，各电信设备厂商都 第l i 页共5 8 页 塑垩三些查兰堡主! 丝丝苎一 已经有了自己的事务处理型网管系统，如m o t o r o l ao m c ( 心) 、n o k i a o m c 以及e r i c s s o no s s ( 运作支持系统) 等系统，它们的系统直接面对各自的网络 设备，且其数据管理结构都是基于操作型数据的。通常是一个交换机设一套操作 维护中心，由系统供应商提供，只负责到其交换机或基站所涉及的范围，与其他 厂家操作系统的互联性、自身的扩展性和后续可开发性很差，无法从全程全网的 高度发现和解决问题，使网络的优越性无法得到充分发挥，而且在所实现的功能 上以及软件平台方面都存在着种种缺陷。因此，需要对现有的操作维护中心或网 管系统进行技术改造。 2 1 2 本地综合网管( 本工程) 本谚燃瞬各蓍理系统，结合了w e b 技术、g i g 技术和数据仓库技术，针对移 动电信运营维护部门的业务流程，提供了一整套企业网的移动电信运维业务处理 的解决方案，具有强大的运营维护业务管理功能。 忽系统其他方面特性，根据其数据流程可得简化的系统结构图。如图2 2 所示： 以下是图中各处理模块完成功能的简单描述： 数据复制部分将原始电信设备中的数据复制进模拟原始数据库中，因为各操作 维护中心( o m c ) 及主交换中心( m s c ) 、基站控制器( b s c ) 分别存在m o t o r o l a 、 e r i c s s o n 、n o k i a 等不同厂家的交换设备，其运行维护中心的原始数据库管理系统 也各不相同，其中m o t o r o l a 公司采用了i n f o r m i x 公司的o n l i n es e r v e r7 、n o k i a 公司 则选择了o r a c l e 公司的e n t e r p r i s es e w e r7 、e r i c s s o n 公司则采用s y b a s j 数据库管理系 统。将其数据复制到同一类型的数据库中( 采用o r a c l e 数据库管理系统) 以方便 提取，通过电信网管通信协议网关进行数据复制( 根据不同o m c ，可有多台数据 复制设备运行多个数据复制模块及存在多个模拟数据库) 。而对原来的模拟网及旧 的交换部分中的数据则直接从其串口进行采集，同样存入模拟原始数据库中。 数据提取部分则对模拟数据库中的数据进行提取操作，根据上层应用对数据的 不同要求，从模拟数据库中获得所需格式的各网元对象的配置和性能数据。 中央数据库作为上层应用逻辑的数据源，保存经过加工的系统配置和性能数 据。同时，中央数据库对各数据提取机的数据提取事务进行控制。而数据提取机 上的数据提取进程发现本地有新的数据提取事务请求后，根据事务类型启动数据 第1 2 页共5 8 页 塑兰三些盔堂堡主兰垡堡兰 一 一一 复制设备上相应的数据复制进程，将原始电信设备上的数据复制到模拟数据库的 对应数据表中。然后再根据事务类型，启动相应的数据提取模块，将模拟数据库 中的网元的数据提取到数据提取机本地，经过加工处理，最后更新到中央数据库 的相关数据表中。i 3 s l 图2 2 网管系统结构图 2 2 数据及其分布状况、形态、提交方式( 主动被动) 按功能分，本网管系统所涉及的源数据有三类：配置数据、性能数据和告警 数据。即主要包括了电信管理网中的故障管理( f a u l tm a n a g e m e n t ) 、配置管理 ( c o n f i g u r a t i o nm a n a g e m e n t ) 、性能管理( p e r f o r m a n c em a n a g e m e n t ) 等三大管理， 而不涉及计费管理( a c c o u n t i n gm a n a g e m e n t ) 等业务管理功能。【2 1 3 1 1 性能管理 性能管理是对电信设备的性能和网络单元的有效性进行评估，并提出评价报 告的一组功能。包括性能测试、性能分析及性能控制。 2 故障管理 故障管理是对电信网的运行情况异常和设备安装环境异常进行监测、隔离和 校i e 的组功能。包括告警滥测、故障定位、故障修复及测试。 3 配置管理 篱1 3 硬其5 8 厦 濒江工业大学硕士学位论文 配置管理功能包括提供、状态和控制及安装功能。对网络单元的配置，业务 的投入，开停业务等进行管理，对网络的状态进行管理。 远程网元上的源数据从设备的2 m 网管端口( r s 2 3 2 接口) 通过网络路由器 ( n r ) 及数据复用装置( d m x ) 到达本地，然后通过通讯服务器i o l a n ( t c p i p 终端服务器，i o l a n 通常具有a u i b n c r j 4 5 _ - - , e e 网络接口，提供8 或1 6 个 端口，通过i o l a n ，终端可以向p c 一样上网，并注册到网络的不同主机上。此 外，它还可以连接打印机、m o d e m 和p c 机，并可作为异步路由器使用) ，接入 以太局域网，进入综合网管系统所在的子网。 按现存的设备( 网络单元) 类型不同，数据的存在形式和处理模式各不相同， 需要分别对待。与计算机信息处理的发展过程一致，网管数据的存在形态也经历 了直接终端显示、文本文件到数据库信息的过程。由于历史各方面的原因，当前 大最存在的是文本文件信息。如智能网的网管系统则采用了数据库管理系统。尚 未采用数据库进行网络管理或某些设备的信息还未采用数据库管理系统的厂家也 正在对其系统进行改造当中。 在杭州移动的现存网络设备包括阿尔卡特( a l c a t e l ) 交换机( 工程当中其网 管系统从四版升级至七版) 、摩托罗拉( m o t o r o l a ) g s m 智能网网管、西门子 ( s i e m e n s ) o m c 网管、华为( h u a w e i ) o m c 网管、贝尔( b e l l ) h l r ( 基站寄存 器等) 。 此外，诺基亚( n o k i a ) 、爱立信( e r i c s s o n ) 等厂家的网管设备其数据存在与 传送采集形态与上述各模式分别类似，如n o k i a 交换机的文本数据采集与a l c a t e l 交换机类似，只是具体的发送数据传送的指令不同。因此，可以说以上的数据存 在形态与采集提取模式基本概括了所有移动网络管理设备。 阿尔卡特交换机( 包括数字网和模拟网) 上的网管数据以以文本流的方式传 送，由网管线路传至i o l a n 特定端口，本系统接收( 采集) 程序与i o l a n 建立 连接后，通过程序发送交换机操作命令，即可让数据( 报告) 自动上吐。按其数 据格式分割成独立的报告文件以供提取程序进行数据提取。包括所需的性能报告、 配置报告和实时的告警数据。 摩托罗拉无线网管中心( o m c r ) 的数据包括数据库中的性能和配置数据( 本 系统将从其网管数据库中直接提取) 以及在其网管中心监控界面上显示的实时告 第1 4 页共5 8 页 浙江工业大学硕士学位论文 警数据( 采集这一数据需对输出在网管监控界面的数据进行输出重定向至本系统 的数据采集机器，具体采用e x p e c t 程序自动地实现远程运行告警接收程序并对其 输出进行重定向至本机) 。 西门子o m c 网管对传送来的数据进行处理后供自身网管软件使用，在本系 统需对其原始数据进行采集时，可通过其网管中心准备。具体是网管中心的操作 系统采用自动化技术( 采用操作系统的c r o n t a b 工具定期执行) 准备本网管所需的 数据在其特定目录下，以备本系统的数据采集程序进行文件传送( 通过实现f t p 客户端程序接收其特定目录下准备的数据) 。 通过获得华为公司的许可可