（应用数学专业论文）移动网管系统中的数据挖掘方法研究.pdf

查! ! 垄芏塑主堂堡堡查 塑墨 移动网管系统中的数据挖掘方法研究 摘要 数据仓库和数据挖掘是数据库研究、开发和应用最活跃的分支之一，也 是决策支持系统的关键因素。数据仓库是一个支持管理决策过程的、面向主 题的、随时间而变化的数据集合。数据挖掘是采用人工智能的方法对数据库 和数据仓库中的数据进行分析，获取知识的过程。它们的结合能更好地为企 业或有关部门不同范围的决策分析提供有力的依据。 以往的移动通信网管系统，多半是以操作型为主的系统，缺乏综合分析、 辅助决策的能力：并且对其历史积累的海量信息中隐含知识的利用无能为 力。本文通过对数据挖掘算法的研究，结合移动通信网管系统的特点提出将 数据仓库、数据挖掘技术运用到网络管理中。在篇章结构上，本文第一章首 先分析了辽宁移动通信网和网络管理的现状，并介绍了数据仓库、数据挖掘 技术的发展及其现状。第二章给出了辽宁移动通信网管系统的总体体系结 构，并针对其中的数据处理层的设计在第三章中给出了基于数据处理层的数 据仓库系统的设计方案。第四章首先介绍了数据挖掘的常用算法，其次在已 有的挖掘关联规则算法f p g r o w t h 算法的基础上作了改进，给出一种基于聚 合链的改进f p - g r o w t h 算法。 关键词数据仓库数据挖掘网络管理 f p g r o w t h 算法 东北大学硕士学位论文 a b s t r a c t t h er e s e a r c ho nd a t am i n i n gm e t h o di nm o b i l en e t w o r k m a n a g e m e n ts y s t e m a b s 仃a c t d a t aw a r e h o u s ea n dd a t am i n i n ga r et w oo ft h em o s ta c t i v eb r a n c h e so fd a t a b a s e s t u d y i n g ，d e v e l o p i n g ，a p p l i c a t i o na n dt h ek e yf a c t o r so fd s s d a t aw a r e h o u s ei s a d e c i s i o n - s u p p o r t i n g ，s u b j e c t o r i e n t e da n dt i m e d e p e n d i n gd a t as e t d a t am i n i n gi st o a n a j y z ed a t aa n da c q u i r ek n o w l e d g ef r o md a t a b a s ea n dd a t aw a r e h o u s eb yu s i n gt h e m e t h o do fa r t i f i c i a li n t e l l i g e n c e t h eb i n d i n go ft h e mw i l lp r o v i d eas t r o n gb a s i so f d e c i s i o na n a l y i n gf o re n t e r p r i s e sa n dr e l a t e dd e p a r t m e n t s m o s tt r a n s a c t i o n so ft h em o b i l ec o m m u n i c a t i o nn e t w o r km a n a g e m e n ta r e o p e r a t i o n - o r i e n t e ds ot h a t 血e ya r en oa b i l i t yo fs y s t e m i ca n a l y s i s ，d e c i s i o ns u p p o r t , a n d t h eu t i l i z a t i o no fh i d d e nk n o w l e d g ef r o mv a s th i s t o r yi n f o r m a t i o n b ys t u d y i n gd a t a w a r e h o u s et e c h n i q u e sa n dd a t am i l l i n ga l g o r i t h m s ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f t h e m o b i l ec o m m u n i c a t i o nn e t w o r ks y s t e m ，t h i sp a p e rf i r s ti n t r o d u c e st h en e wt e c h n i q u e so f d a t aw a r e h o u s ea n dd a t am i n i n gt ot h en e t w o r ks y s t e m i nc h a p t e ro n e , ia n a l y z et h e r e s e a r c hb a c k g r o u n do f t h em o b i l ec o m m u n i c a t i o nn e t w o r km a n a g e m e n ts y s t e ma n dt h e a c t u a l i t yo fd a t aw a r e h o u s ea n dd a t am i n i n gt e c h e n i q u e s i nc h a p t e rt w o ，ip r e s e n tt h e s y s t e m s t r u c t u r eo ft h em o b i l ec o m m u n i c a t i o nn e t w o r km a n a g e m e n t s y s t e m s u b s e q u e n t l yia d v a n c et h ed e s i g no fd a t aw a r e h o u s es y s t e mb a s e do nd a t ap r o c e s s i n g l a y e r c h a p t e rf o u ri sa b o u td e s i g na n da p p l i c a t i o no f d a t am i n i n ga l g o r i t h mi nn e t w o r k m a n a g e m e n ts y s t e m a c c o r d i n gt of p - g r o w t ha l g o 血h m , o n eo ft h ea s s o c i a t i o nr u l e m i n i n ga l g o r i t h m s ，ip r o p o s ea n e f f i c i e n tf r e q u e n tp a t t e r n m i n i n ga l g o r i t h mb a s e do n a g g r e g a t i v ec h a i n s k e yw o r d sd a t aw a r e h o u s e ，d a t am i n i n g ，n e t w o r km a 】a a g e m e n lf p g r o w t ha l g o r i t h m 东北大学硕士学位论文缩略语 缩略语 b s c b a s es t a t i o nc o n t r o l l e r 基站控制器 b s sb a s es t a t i o ns u b s y s t e m 基站子系统 b t sb a s et r a n s c e i v e rs t a t i o n 基站 c m c o n f i g u r em a n a g e m e n t f m f a u l tm a n a g e m e n t 故障管理 g p r sg e n e r a lp a c k e tr a d i os e r v i c e通用分组无线业务 g s mg l o b a l s y s t e m f o rm o b i l e全球无线通信系统 c o m m u n i e a t i o n h l rh o m el o c a t i o nr e g i s t e r归属位置寄存器 i n i n t e l l i g e n c en e t w o r k 智能网 l m c c l i a o n i n gm o b i l ec o m m u n i c a t i o n 辽宁移动通信公司 c o m m p a n y m d c nm o b i l ed a t ac o m m u n i c a t i o nn e t w o r k 移动数据通信网 m s c m o b i l es w i t c h i n gc e n t e r 移动交换中心 n en e t w o r ke l e m e n t网元 n m cn e t w o r km a n a g e m e n tc e n t e r 网管中心 n s an e t w o r ks e r v i c ea p p l i c a t i o n网络业务应用模型 o m c o p e r a t i o n m a i n t e n a n c ec e n t e r 操作维护中心 o m c - bo m cf o rt h eb a s es t a t i o ns u b s y s t e m基站操作维护中心 o m c go m cf o rg s ns u b s y s t e mg s n 操作维护中心 o m c _ ro m cf o rt h er a d i os u b s y s t e m无线操作维护中心 o m c so m cf o r t h es w i t c h i n gs u b s y s t e m交换操作维护中心 o s i o p e ns y s t e mi n t e r c o n n e c t i o n 开放系统互联 p l m np u b l i cl a n dm o b i l en e t w o r k公共陆地移动网 p mp e r f o r m a n c em a n a g e m e m性能管理 t m nt e l e c o m m u n i c a t i o n m a n a g e m e n t 电信管理网络 n e t w o r k t m s c ll e v e l1t a n d e mm s c一级汇接交换机 t m s c 2 l e v e l2t a n d e mm s c二级汇接交换机 v l r v i s i t i n gl o c a t i o nr e g i s t e r 访问位置寄存器 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成 果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也 不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：闷落 日期：2 0 0 5 工口 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规 定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论 文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关 数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名：导师签名 签字日期签字日期 东北托学硕士学位论丈第一章绪言 1 1 课题研究背景 第一章绪言 十年来，中国已经建立起覆盖全国范围g s m 的移动通信嘲、g p r s 系统、智 能网、短信和其它数据业务也正存大规模的推广。中国移动通信网单就网络规模 而言，到2 0 0 2 年底中国移动通信集团的移动通信网网络容量已达到一亿四千万门， 成为世界第一大网络、世界第一大移动通信公司。但是与世界上先进的移动通信 运营商相比，中国移动在网络管理和设备维护方面仍存在着相当大的差距，管理 和运行维护手段仍很落后，移动网管的建设和应用仍很薄弱；而目前移动通信技 术仍在不断发展，新的技术、新的设备、新的业务不断出现，使得移动通信网的 维护和管理变得r 趋复杂【1 _ 2 】。正如全国形势一样，辽宁移动通信也取得了辉煌的 成绩，建设了综合性智能化的省级移动通信网络综合管理系统。 在系统运行的过程中，我们发现已投入运行的系统存在着以下的不足：( 1 ) 未 将面向客户的主题分析和辅助决策系统与网络管理系统结合起来；( 2 ) 没有充分 利用历史积累的大量客户数据以及其他信息资源，网络化、信息化程度较低，不 能及时适应市场需求的变化，实行相应的市场开发策略。鉴于现行的网络管理系 统侧重于业务处理，对综合分析和辅助决策做得较少的情况，网管部门提出了增 加系统的综合分析、辅助决策和决策支持能力的要求。 二十世纪九十年代初，一项新型的数据集成和处理技术数据仓库开始问世 了。到了九十一年代中期，数据仓库技术已经在美国的一些大企业中获得广泛应用， 已采用数据仓库的企业的投资回报率均在4 0 以上，部分企业高达每年6 0 0 。数 据仓库技术目标就是支持决策，这一点正是网管系统中耍解决的技术难题。因此， 我们采用数据仓库、数据挖掘技术对网管系统做了进一步的开发，这对于国内发 展数据仓库技术、研究新型辅助决策方法具有双重现实意义。 1 2 移动通信网管系统的地位及作用 1 9 9 9 年中国移动g s m 网网管定为二、三级混合结构，即省级g s m 网管和本 地网网管，但随着运营体制改革的深入和新业务的不断引入，同时由于2 0 0 0 年绝 大部分省还未建设移动本地网网管，所阻在进行省级网管二期扩容时，中国移动 集团决定将省级话务网网管系统的架构定为两级结构。同时考虑到智能网、g p r s 系统、短信与g s m 网的关系及管理的需要，将智能网、g p r s 系统、g s m 网纳入 系统、短信与g s m 网的关系及管理的需要将智能网、g p r s 系统、g s m 网纳入 东北大学硕士学位论文 第一章绪言 到统一的平台进行管理。省级移动网络管理系统对应移动通信网的网络组织和分 级原则，负责对全省的移动通信网络进行运行维护管理，并为工程建设管理工作 提供支持。管理范围包括全省的t m s c l 、1 m s c 2 、g s m 端局、m s c 、b s c 和智 能网、g p r s 系统设备。省级移动网络管理系统在移动通信管理网络中所处的位置 如图1 1 所示。 省级移动网络管理系统作为中国移动二级网管体系的重要组成部分，重点负责 对省内二级干线网和省内本地网进行网络层的管理，完成其性能、配置、告警等 管理工作【3 一，5 】。加强对省内通信网络的网络性能、话务流量流向、不同业务的话务 分布模型、不同本地网间的话务分布、网间话务以及网络质量的分析；掌握新业 务加入对网络及其话务量的影响，逐步添加面向用户的业务管理，如省内i n 、w a p 、 i p 用户话务特性、时间特性的管理；逐步实现全网集中配置，即网络、业务配置、 路由设置链路调整，局数据修改，资源调整以及重大故障和告警的监管。 图1 1 省级网管系统在移动通信管理网络的中位置 f i g 1 1t h ep o s i t i o no f t h ep r o v i n c i a ln e t w o r km a n a g e m e n t s y s t e mi nm o b i l ec o m m u n i c a t i o n n e t w o r k 东北大学硕士学位论文 第一章绪言 省级移动网络管理系统是架构在省、市各级移动网络管理人员与移动网络设备 之间的一座桥梁，它从全省的角度对移动网络进行全面的优化处理，集配置、故 障、性能、安全等功能模块于一体，负责对网元进行配置、故障、性能等方面网 络运行维护管理、业务管理及安全管理，同时还负责网管自身的管理及建设，并 且结合网管工作的实际流程进行告警处理、工单处理等事务管理，为进行运行维 护、网络资源管理、网络性能分析、计划建设决策、业务管理等业务的省、市各 级人员提供服务。省级移动网络管理系统充分适应移动网络规模不断扩大，网元 类型持续增加，i n 、g p r s 等新设备、新业务不断增加的特点，系统功能能够不断 扩展、演变，内容丰富，功能强大。既能满足各方面目前的要求，又具有高度的 适应性、灵活性，是一个动态的可扩展的管理平台。既能作为及时准确、全面地 掌握网络状况的工具，又能作为网络性能分析的有力助手，还能作为灵活的操作 控制通信网络的法宝；既能作为建设部门投资决策的参考，又能成为网络资源、 业务管理工作的辅助手段。 省级移动网络管理系统建于省网管中心，通过从各厂家o m c 提取全省网元的 原始数据，进行统一的分析处理，实现对全省多厂家设备组成的移动通信网的网 络层管理。各城市的维护人员及网络管理人员通过远程i n t r a n e t 网接入系统， 了解网络运行情况、设备告警情况等，完成对所属地市网元的管理与维护。在辽 宁移动通信网中，全省共有各厂家o m c 系统1 6 个，分布在省内5 个城市及省中 心，利用辽宁综合业务管理系统项目中建设的m d c n 网，组成了一个覆盖全省的 网管传输网络，实现分布于全省的各个o m c 系统与网管系统之间以及各地市用户 终端与网管系统之间的传输通道。 1 3 数据仓库、数据挖掘技术简介 数据仓库是1 9 9 5 年开始盛行起来的【6 】。数据仓库作为数据库的高端扩展也一 直是一大热点。i b m 所推崇的商业智能( b i ) ，其核心即是数据仓库的功能集成到 数据库中，并建立了数据仓库联盟。o r a c l e 公司也有自己的o r a c l ee x p r e s s 系统和 o l a p 产品用来提供决策支持。s y b a s e 把数据仓库作为主要数据方向之一，其核 心产品s y b a s ei q 备受瞩目，国内的招商银行、国信证券公司都已利用它率先建立 起了数据仓库系统。i n f o r m i x 不久前刚刚推出了i n f o r m i xr e db r i c kw a r e h o u s e 和 m e t ac u b e 。 数据仓库是从多个内容相关、物理和逻辑上都相互独立的信息源中提取的面 向主题的数据信息集合，它具有以下基本特征p j ： 1 ) 数据仓库是面向主题的( s u b j e c t o r i e n t e d ) “主题”是在较高层次上将企业信息系统中的数据综合、归类并进行分析利 用的对象。面向主题的数据组织方式是在较高层次上对分析对象的一个完整的、 东北大学硕士学位论文 第一章绪言 一致的描述，能够完整统一的刻画各个分析对象所涉及企业的各项数据，以及数 据之间的关系。它与传统数据库应用中面向应用相比具有更高的数据抽象级别。 “主题”是企业决策者进行决策所关心的业务的重点方面，“面向主题”是指数据 仓库内数据是按主题进行组织，以支持用户在主题范围内的有效决策。 2 ) 数据仓库是集成的( i n t e 盯a t e d ) 数据仓库的数据是从原有分散的数据库中提取出来的。这些数据是对操作型 数据进行清理和归整的结果，而不是简单的归并和拷贝。数据在进入数据仓库之 前，必然先经过加工和集成。将原始数据结构作一个从面向应用到面向主题的转 变。图1 2 为面向主题的示例。 3 ) 历史化的数据( h i s t o r i c a l ) 历史化表明它可以截取不同时间尺度上的信息，从瞬间到区段直到全体。数 据仓库以时间为基准来管理( 积累、使用并处理) 数据，允许用户回顾并了解公 司的过去和现在。数据一旦装入其中，就很少或根本不更新，本文称为历史信息， 这是有信息的时间性决定的。因此数据仓库内的数据时限( 一般5 1 0 年) 要远 远长于操作型环境( 6 0 9 0 天) ，这是为了适应d s s 进行趋势分析的要求。 4 ) 信息稳定( s t e a d y ) 数据仓库的数据主要是为企业决策分析提供依据。一般情况下并不对数据进 行修改，数据仓库的数据是不同时间数据库数据快照的集合，而不是联机处理的 数据。数据仓库的数据不可更新是相对于o l t p 的操作型数据的频繁变化而言，并 粹昆 人寿 叉鬏 匣 健康。 惹 回 斟。 国 操作性环境 主题 图1 2 面向主题的示例 f 培1 2t h ee x a m p l eo f s u b j e c t - o r i e n t e d 东北大学硕士学位论文 第一章绪言 非是在数据仓库生命周期过程中一直保持不变。当数据仓库中的数据已经超过数 据存储期限时将会把这些数据从数据仓库中清除出去。图1 3 为数据仓库的信息稳 定图。 5 ) 动态数据( d y n a m i c ) 数据仓库的数据必须不断捕捉o l t p 数据库中的数据变化，经统一集成后增加 到数据仓库中形成历史数据；另外数据仓库中的数据超过存储期限后需要删除。 数据仓库内大量的综合数据都与时间有关，这些数据需要随时间变化不断进行重 新综合。 6 ) 用于决策 数据仓库技术是为支持决策而产生的，所以其工作目标是支持决策。数据仓 库为o l a p 和数据挖掘( d a t am i n i n g ) 提供支持环境和对象，最终产生决策。 访问 图1 3 数据仓库的信息稳定 f i g 1 3i n f o r m a t i o ni nd a t aw a r e h o u s ei ss t e a d y 数据挖掘技术是数据仓库技术中一个重要的应用程序，具有相对独立特性。 采用数据挖掘技术，可以为用户的决策分析提供智能的、自动的辅助手段，在零 售业、金融保险业、医疗行业等多个领域都可以有很好的应用。数据挖掘根据k d d 的目标，选取相应算法的参数，分析数据，得到可能形成知识的模式模型8 ，1 0 】。 数据挖掘发现的知识通常是用以下形式表示： 概念( c o n c e p t s ) 规则( r u l e s ) 模式( p a t t e r n s ) 约束( c o n s t r a i n t s ) 可视化( v i s u a l i z a t i o n s ) 根据i b m 的划分方法，按照数据挖掘( d m ) 的功能以及它们可以发现的模式 类型可将d m 的分析方法分为以下四种： 东北大学硕士学位论文 第一章绪言 关联分析( a s s o c i a t i o n s ) 顾名思义，关联分析的目的就是为了挖掘出隐藏在数据间的相互关系。关联分 析发现关联规则，这些规则展示属性一值频繁的在给定数据集中一起出现的条件， 它被广泛的应用于购物篮或事物数据分析。 关联规则( a s s o c i a t i o nr u l e ) 是形如x y ，即“4 1 a 人a m b l a a 玩” 的规则，其中，a i ( i 1 ，燃 ) ，b j ( j l ，挣) ) 是属性一值对。关联规则x j y 解释为“满足x 中条件的数据库元组多半也满足y 中条件”。例如，给定舢l e l e c t r o n i c s ( 所有事务) 关系数据库，一个数据挖掘系统可能发现如下形式的关联规 则： a g e ( x ， 2 0 2 9 ，) a i n c o m e ( x ，“2 0 k 2 9 j p ，) = ，b u y s ( x ，“c op l a y e f ) s u p p o r t = 2 ，c o n f i d e n c e = 6 0 】 其中x 是变量，代表顾客。规则是说，所研究的a l le l e c t r o n i c s 顾客中的2 ( 支 持度) 在2 0 2 9 岁，年收入2 0 k 2 9 k ，并且在a l le l e c l x o n i c s 购买c d 机。这个 年龄和收入组的顾客购买c d 机的可能性有6 0 ( 置信度或可信度) 。 包含一个以上属性或谓词( 即a g e ，i n c o m e 和b u y s ) 的关联规则称为多维关联规 则( m u l t i d i m e n s i o n a la s s o c i a t i o nr u l e ) ，包含单个谓词的关联规则称作单维关联规则 ( s i n g l e - d i m e n s i o n a la s s o c i a t i o nr u l e ) 。 序列模式分析( s e q u e n t i a lp a t t e m s ) 序列模式分析和关联分析相似，其目的也是为了挖掘出数据之间的联系，但 它的侧重点在于分析数据间的前后关系。例如，如果将该分析模式用于股市分析， 则可能发现如下的规模：在5 天的交易日中，如果x 股最多只上涨1 0 ，y 股的 涨幅在l o 至u2 0 之间，那么z 股在下星期上涨概率为6 8 。 分类( c l a s s i f i e r s ) 和预测( p r e d i c t i o n ) 分类分析首先找出描述记录特征的模型( 或函数) ，然后利用它可以分类新的 记录，导出模型是基于对训练数据集( 即其类标记一致的数据对象) 的分析。目 前，已有很多种分类分析模式得到应用，其中的几种典型模式是线性回归模型、 决策树模型、基于规则模型和神经网络模型。分类可以用来预测某些空缺的或不 知道的数据值，而不是类标记，当被预测的值是数值数据时，通常称之为预测。 相关分析( r e l e v a n c ea n a l y s i s ) 需要在分类和预测之前进行，它试图识别对于 分类和预测无用的属性。这些属性应当排除。 聚类分析( c l u s t e r i n g ) 与分类和预测不同，聚类分析数据对象，而不考虑己知的类标记。一般情况 下，训练数据中不提供类标记，因为不知道从何开始。聚类，可以用来产生这种 标记。对象根据最大化类内的相似性、最小化类间的相似性的原则进行聚类或分 组。即形成对象的簇( 聚类) ，使得在一个簇中的对象具有很高的相似性，而与其 6 一 东北大学硕士学位论文 第一章绪言 它簇中的对象很不相似。实际上，分类分析法和聚类分析法是互逆的过程，许多 在分类分析中适用的算法同样适用于聚类分析法。 东北大学硕士学位论文 g _ - 章移动网管系统的总体结构介绍 第二章移动网管系统的总体结构介绍 系统的总体结构分为数据采集层、数据处理层、数据应用层三层体系结构。数 据采集层负责采集各设备厂家原始数据，通过解析处理后装载到各设备厂家自己 的原始数据库中；数据处理层负责将各设备厂家原始数据通过过滤、抽取、提炼、 整合、汇总等处理后形成统一格式的数据装载到归一化数据库中，以达到对原始 数据进行统一对比分析；数据应用层主要实现对归一化数据做性能分析、生成报 表、网格优化等在线事物分析( o l a p ) 和配置、告警数据呈现等。 图2 1辽宁移动综合网管系统体系结构 f i g 2 1t h ef r a m e w o r ko fl i a o n i n gm o b i l ei n t e g r a t i o nn e t w o r km a n a g e m e n ts y s t e m 一8 一 东北大学硕士学位论文 第二章移动网管系统的总体结构介绍 系统总体架构图见图2 1 所示。 在系统总体结构的研究与设计中，遵循了以下的原则： ( 1 ) 采用多层c l i e n t s e r v e r 网络体系结构 不同层之间采用通用的基于t c p i p 的开放的网络通信协议，如数据采集层与数 据处理层之间采用统一的接口方式，前台客户端表现逻辑与服务器端业务逻辑 之间采用t c p i p ，w e b 方式与服务器之间采用h t t p 方式。 ( 2 ) 采用t m n 思想中多层次多粒度的软件复用技术 在系统实现的各个层面上以不同的重用粒度实现软件的复用，从而保证系统的 可靠性，提高管理应用的质量、缩短开发进度，更好地支持可持续性发展。 ( 3 ) 采用统一的遵循t m n 的管理信息模型 进入系统的不同类型的数据最终都以统一的g d m o 标准信息模型进行管理。 ( 4 ) 遵循t m n 的管理功能模型 按照t m n 的管理功能划分，将网管系统的应用层从功能上分为性能管理、配置 管理、告警管理、安全管理、业务管理、系统自身管理几大功能模块。 2 1 移动网管系统软件总体结构 我们对移动网管系统软件的总体结构的研究参照了中国移动集团公司省级话 务网网管系统中对软件结构的要求，同时也遵从了系统的总体结构。经过研究我 们认为，网管系统软件从功能结构上也分为数据采集层、数据处理层和数据应用 层三层结构，通过这三层结构完成对网络运行状况的获取以及对网络设备的操纵 和控制1 1 】。图2 2 为系统软件总体结构。 2 1 1 数据采集层结构 数据采集层利用不同的接口将辽宁省内六个厂家七种不同类型设备的性能数 据、配置数据、告警数据接入网管系统原始数据库。在目前各厂家的接口并未完 全统一的情况下，每种数据格式设置一个独立的接口模块，接口模块之间为相互 独立的关系，与上层的处理层之间采用统一的数据接口。这样使得将来增加接口 数量、改变单个接口结构非常方便，升级和扩容非常平滑。同时为用户提供图形 界面，设置采集时间、周期、及手工控制功能。 数据采集层与数据处理层采用统一的标准接口，不同类型的数据采集服务都 通过这一接口将数据传递到数据处理层；利用不同网络协议采集来的不同类型的 数据共用统一的文本解析模块对数据格式进行解析。 一9 东北大学硕士学位论文 第二章移动网管系统的总体结构介绍 移动网管系统软件体系结构 系统接 碴块 。0 赚( 系统开衄接口为其它系统接 服务) i 一 | 藩统的业务逻辑 j r s 2 3 2 i 围匦i ；围圈| | 阿 阿i卜习 h c i 网i 圈li 网 0 厅两 r 绉。l 啦 b a ：安全管理：自身管理：其它管理 i 圈围 ；围困li 围困 c h 0 _ i 唧h l 。 t l 困l ；圈扭* * i b 胁生 i h d o - s 6 u i t p a b f f ： 接 口 r 厂磊裂t i o c ， t p 数据归一化型 s s 】 l 。一+ 。一 慷l 唑叫 e 其它k = p 】蕊p 【8 ，h s e l r 、i = 砸r 一。 。1 甄丽一7 图2 2 系统软件总体结构 f i g 2 2 t h es t r u c t u r eo f s y s t e ms o f e w a r e 通过用户界面，用户可控制数据采集形式和设置各种采集参数，而且当设备 升级时通过修改数据解析规则达到系统平滑升级的目的。通过各个通用接口模块 不仅使得管理网与被管理网络之间网络通信协议的多样性、复杂性完全被隔绝， 而且使管理网与被管理网之间的复杂的数据类型也被初步统一了。 2 1 2 数据处理层结构 数据处理层的主要任务是将各厂家不同格式的数据内容转换为统一的格式， 并将其保存在归一化数据库中。数据库接入模块、数据存储与管理控制模块是处 理层的可重用公共组件。数据库接入模块作为应用层与处理层的接口同样适用于 原始数据库和归一化数据库，用户可以直接利用应用层的应用服务获取信息，也 东北大学硕士学位论文 第二章移动网管系统的总体结构介绍 可以直接利用数据接入模块提供的通用数据库接口方式直接访问数据库获取普通 应用中所无法得到的信息。 处理层的主要任务是将各厂家不同的数据内容转换为统一的格式，并将其保 存在归一化数据库中。因为每次设备版本升级的时候，数据内容与格式都有很大 的改变，所以要求处理层能够动态地容纳这种变化。我们的对策是采用一种标准 的解释语言x m l 进行数据转化，这样在数据映射关系发生变化时，用户可以通过 修改x m l 文件解析规则来完成这些任务。 处理层还为用户提供了改变归一化规则( 映射关系) 的应用服务，设置原始数 据和归一化数据备份、删除、恢复的时间表参数的应用服务。 2 1 3 数据应用层结构 应用层从层次结构上可以分为服务方的业务逻辑层和客户方( 或为 w e b s e r v e r ) 的表现逻辑层。系统的业务逻辑包括：性能管理应用模块、配置 管理应用模块、故障管理应用模块、安全管理应用模块等管理应用功能模块。这 些功能模块是基于一些基本公共组件构建的。公共组件包括：日志管理基本单元、 区域管理基本单元、事件前向鉴别器( e f d ) 基本单元、告警管理基本单元、注册 管理基本单元等。 表现逻辑层由各种可视化应用系统组件构成，每个组件可以实现一个单独的可 视化业务功能，系统应用可以通过这些业务功能灵活搭建，实现界面个性化设置， 系统应用灵活组装。系统提供以基本视图单元的方式建立起来的可以提供业务的 虚拟网络( 即基本业务平台) ，操作者可以以此方便地构造新的应用。 2 2 移动网管系统硬件总体结构 辽宁移动网管综合管理系统要为全省的各级网络维护与网络管理人员提供服 务，同时给移动集团总公司的网管系统提供接入方式。下图2 , 3 是移动网管系统硬 件结构图。 东北大学硕士学位论文 第二章移动网管系统的总体结构介绍 图2 , 3 网管系统硬件结构图 f i g 2 3t h es t r u c t u r eo f s y s t e mh a r d w a r e 一1 2 东北大学硕士学位论文 第三章移动网管系统中的数据仓库技术 第三章移动网管系统中的数据仓库技术 3 1 数据仓库技术理论 3 1 1 构建数据仓库的相关概念 自从数据仓库概念出现以来，不同的学者从不同的角度为数据仓库下了不同 的定义。现在，业内普遍认同的数据仓库的定义是w h i n m o n 博士于2 0 世纪9 0 年代初给出的。“数据仓库【1 2 】：通常是一个面向主题的、集成的、随时间变化的、 但信息本身相对稳定的数据集合，用于对管理决策过程的支持”。w h i n m o n 认为， 数据仓库是2 0 世纪9 0 年代信息技术体系结构中的一个重要组成部分，是数据库 产业发展的重点。构建数据仓库涉及到的概念有： 主题： 在设计数据仓库系统中，要先确定分析的主题，对选定的每一个主题域，经 由概念模型设计、逻辑模型设计、物理模型设计最后实施生成。主题是指在较高 层次上对分析对象的数据的一个完整的、一致的描述，能完整统一地刻画各个分 析对象所涉及的各项数据，以及数据之间的联系，某个部门的主题与企业的主题 之间可能存在也可能不存在关联。 数据集市： 实例化视图是为特殊需要专门设计的数据库表，按分析的需要，从不同的细 节数据表和汇总数据表中抽取数据，重新组合而成的某一类分析所使用的数据视 图。有时为提高分析速度，将视图实例化成表，它是在主题内部生成的，若是跨 主题生成的实例化视图就称为数据集市。 数据仓库的系统结构： 根据开发模式的不同可以分为“自顶向下”模式的系统结构；“自底向上”模 式的系统结构；“平行开发”模式的系统结构。 数据仓库的拓扑结构： 有集中式企业级数据仓库、独立型部门级数据集市、分布式数据仓库、数据 仓库与数据集市混合型。 1 3 东北大学硕士学位论文 第三章移动网管系统中的数据仓库技术 3 1 2 数据仓库的数据组织 数据仓库的数据组织方式有： 虚拟存储方式： 虚拟存储方式是虚拟数据仓库的数据组织形式。没有专门的数据仓库数据存 储，数据仓库中的数据仍然在源数据库中，只是根据用户的多维需求及形成的多 维视图，临时在源数据库中找出所需要的数据，完成多维分析。这种组织方式较 简单、花费少、使用灵活，但同时它也存在一个致命的缺点，即只有当源数据库 的数据组织比较规范、没有数据不完备及冗余，同时又比较接近多维数据模型时， 虚拟数据仓库的多维语义层才容易定义。而一般数据库的组织关系都比较复杂， 数据库中的数据又存在许多冗余和冲突的地方，在实际中这种方式很难建立起有 效的决策服务数据支持。 基于关系表的存储方式： 基于关系表的存储方式是将数据仓库的数据存储在关系型数据库的表结构 中，在元数据的管理下完成数据仓库的功能，这种组织方式在建库时有两个主要 过程用以完成数据的抽取。首先要提供一种图形化的点击操作界面，使分析员能 对源数据库的内容进行选择，定义多维数据模型，然后再编制程序把数据库中的 数据抽取到数据仓库中。这种方式的主要问题是在多维数据模型定义好后，从数 据库中抽取数据往往需要编制独立、复杂的程序，因此通用性差、很难维护。 多维数据组织： 用于分析的数据是从关系数据或关系数据仓库中抽取出来，存放到多维数据 仓库的超立方结构中。其中，一些维被称为“稠密维”( d e n s e d i m e n s i o n s ) ，这些 维构成了数据存储的“多维体”，其他的维被称为“稀疏维”( s p a r s ed i m e n s i o n s ) 。 多维体是以多维数组方式记录各测量数具体值的，相应各维有一定记录维及维内 层次的元数据结构，这种数据存储形式最主要的特点是：大大减少了以维为基本 框架的存储空间，针对多维数据组织的操作算法，极大地提高了多维分析操作的 效率。而o l a p 的数据组织是独立于数据仓库的一种技术概念，其基本思想是： 企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观 察企业的状态、了解企业的变化。o l a p 系统与数据源的数据存储相分离，只要提 供足够的分析数据就可以完成o l a p 分析，当o l a p 作为独立的使用方式时，其 数据组织与数据仓库的组织方式相同。当o l a p 与数据仓库相结合时，o l a p 的 数据来源于数据仓库，数据仓库中存储的大量数据是根据多维方式组织的，是 o l a p 最适合的数据组织方式。 1 4 东北大学硕士学位论文 第三章移动网管系统中的数据仓库技术 3 1 3 数据仓库的设计 数据仓库的数据模型设计主要是确定维、维层次、度量、建立数据仓库的维 模式、多维模型，它的实现形式有星型模式、雪片模式、混合模式和星座模式。 为便于更好地理解，有必要先确定下述概念含义【”】： 事实( f a c t ) ： 事实是指定决策过程中，决策者所感兴趣的概念。对应于企业中动态发生的 事件，如销售额，产品产量等。 维( d i m e n s i o n ) ： 维是指人们观察数据的特定角度。在多维分析中，数据是按维来表示的，例 如产品、时间、地域和顾客。维决定在决策过程中事实实例可能的聚合方式，维 可以对应离散属性，也可以是连续属性。 维层次( d i m e n s i o nh i e r a r c h y ) ： 维层次是指每个维还可以存在细节程度不同的多个描述方面，称这多个描述 方面为维的层次，维通常按层次组织，如，省、地区、国家；月、季度、年，它 可决定分析的粒度。 维成员： 维的一个取值称为该维的一个维成员，如果一个维是多层次的，那么该维的 维成员是在不同维层次的取值的组合，如“某年某月”等。 星型模型： “星型模型”可用来表示多维概念模型，“事实表”对于每一维都有一张“维 表”，“事实表”中的每条元组都包含有指向各个“维表”的外键和一些相应的测 量数据，“维表”中记录的是有关这一维的属性。事实表中的每一元组包含一些指 针( 是外键，主键在其他表中) ，每个指针指向一张维表，这就构成了数据库的多 维联系，相应每条元组中多维外键限定数字测量值，在每张维表中除包含每一维 的主键外，还有说明该维的一些其他属性字段，维表记录了维的层次关系。在数 据仓库模型中执行查询的分析过程，需要花大量时间在相关各表中寻找数据。而 星形模型使数据仓库的复杂查询可以直接通过各维的层次比较、上钻( r o l lu p ) 、 下钻( d r i l ld o w n ) 等操作完成。在数据仓库中除了“维表”和“事实表”的数据 外，它还应当包含一些已预处理的综合数据，这种数据组织方式在数据冗余、多 维操作速度慢的特点。这种方式事实表有较多的行( 记录) ，维表有较少的行，一 个大事实表和一个或多个小的维表的连接会较快返回结果，因而查询效率较高， 但是它不能清楚地描述属性的维层次。维表的结构是非规范化的， 比较适合浏览 各个维，是主流方案。 雪花模型： 1 5 东北大学硕士学位论文 第三章移动网管系统中的数据仓库技术 “雪花模型”是对星型模型的扩展，它对星型模型的维表进步层次化，原 有的各维表可能被扩展为小的事实表，形成一些局部的“层次”区域。它的优点 是：通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。雪花 模型增加了用户必须处理的表数量，增加了某些查询的复杂性。这种方式可以使 系统进一步专业化，但降低了系统的通用程度。前端工具仍然要用户在雪花的逻 辑概念模式上操作，然后将用户的操作转换为具体的物理模式，从而完成对数据 的二维或三维查询。数据仓库的概念模型经常应用多维数据模型，它们是依赖于 一组“维”的、这些维提供了测量值的上下文关系。例如销售量与城市、产品名 称和销售的时间有关，这些相关的维唯一决定了销售量这个测量值。因此，多维 概念模型的另一个特点是对一维或多维所做的集合运算，例如