（计算机应用技术专业论文）数据仓库技术在环境动力监控系统中的应用.pdf

北京邮电大学硝士研究缴论文数据仓库技术在环蟪动力监控系统中的鹰用 摘要 数据仓库技术作为- - f - 迅速发展的计算机技术，对于异椅数据的重新组织和 大规横数据的综合分据等闼题具蠢毫质囊效的处理能力，利用它来殡决以t m n ( 电 信管瓒网) 为代表的电信网络管理系统中存在的一些兴似问题是十分具膏可行髋 熬一耱方式。 本论文荫先从璎论角度对数据仓库技术在t m n 嬲管系统中的成用进行了探 讨。文章获t m n 屑篱系统角度分剐分析了数据仓库在t m n 体系结构中的德置、数 据仓摩技术在t m n 鸷理功熊中的威用范嗣和t m n 网管系统中的数据仓库系统的开 发方法等问聪，目盼在于通过此种研究为数据仓库技术在环境动力监控系统中的 应用撼供指嚣+ 论文的第二部分着重介绍了在由本研究室所设计开发的环境动力监控系统 “电信掰环麓动力熊中管躞( c e m ) 系统”中设计和实糯数据仓库予系统( d w s s ) 的过程，包括需求分析、系统设计、数据仓库和用户界面设计和实现等内容，对 数据仓库在网管系统中的威用形式进行了一次实际的探索。文章的最后对d w s s 避一步的发展方囱滋行了搽讨。 关键诃；t m n ，数据仓库，环境动力监控，o l a p i 【 匕柬邮电大学碰i ：研究生论文数据仓库技术在环境动力监控系统中的应用 a b s t r a c t a se c o m p u t e rt e c h n o l o g y w i t h r a p i dp r o g r e s s ，d a t a w a r e h o u s e t e c h n o f o g yh a s t h ec a p a b i l i t yt ou n i f yf o r e i g nc o n s t r u c t i o nd a t aa n d a n a l y z el a r g e s c a l ed a t ae f f i c i e n t l y i t i s p o s s i b l e t or e s o l v es u c h p r o b l e m s i nt e l e c o m m u n i c a t i o nn e t w o r k m a n a g e m e n ts y s t e m s ，t h e r e p r e s e n t a t i o no fw h i c hi st m n ( t e l e c o m m u n i c a t i o nm a n a g e m e n tn e t w o r k ) ， b y i t i nt h ef i r s tp a r to ft h ea r t i c l e ，t h ea p p l i c a t i o no fd a t aw a r e h o u s e i nt m ni sd i s c u s s e di na c a d e m i c m e t h o d ，i n c l u d i n ga r c h i t e c t u r e s ， m a n a g e m e n tf u n c t i o n sa n dt h ed e v e l o p m e n tm e t h o d o l o g y i nt h es e c o n d p a r t ，t h e d a t aw a r e h o u s es u b s y s t e m ( d w s s ) i n c e n t r a li z e de n v i r o n m e n ta n dp o w e rm a n a g e m e n ts y s t e m “，w h i c hi sd e v e l o p e d b y o u rr e s e a r c hl a b o r a t o r y ，i si n t r o d u c e d t h ed e t a i l e dd e s i g n a n d d e v e l o p m e n tp r o c e s so f d w s sc a nb ef o u n do u th e r e a tt h ee n do f t h i sp a r t ， t h e r ei sap r e d i c t i o no fd w s s k e yw o r d s ：t m n ，d a t aw a r e h o u s e ，o l a p i j j 北京邮电大学硕士研究生论文数据仓库技术在环境动力监控系统中的应用 第一章绪论 课题研究的背景 电信网络管理的目标是要最大限度地利用电信网络资源提高网络的运行质 量和效率，向用户提供良好的通信服务。网管系统是一个复杂的系统涉及电信 技术和计算机技术等各个领域的内容。目前电信网管将走综合技术路线，t m n 作 为当前的一种主要网管技术，为综合网管的建设提供了很好的思路。因此，在 t m n 中综合运用各领域的先进技术，已成为发展t m n 功能的重要方式。 数据仓库技术是近几年来出现的、发展迅速的一种技术，它可以充分利用数 据仓库中已存储的信息、帮助决策者进行决策。它对多系统之间数据的清理整合 能力、对大量历史数据的汇总分析能力和进一步的决策支持能力、以及它为分析 型处理提供的高效率，使它在具有数据库结构的大型计算机系统中成为了不可或 缺的一部分。 将数据仓库应用到电信网络管理系统中，可以为解决综合网管中一些难题一 一如各网管系统数据的集成问题、支持面向业务和事务的综合决策能力问题等一 一提供强有力的手段，同时，它也具有改善数据库性能、同时提高事务型数据处 理和分析型数据处理效率的作用。在逐步提高网络管理系统的综合性，进一步扩 展其业务管理层和事务管理层应用的今天，数据仓库技术的引入已经成为了网络 管理技术发展的一个必然趋势。因此，对此课题的研究具有广泛的应用价值。 二 课题研究的目的与任务 数据仓库技术在网络管理系统中具有良好的应用前景，本课题研究的目的是 结合数据仓库技术理论和以t m n 为代表的网管理论，将数据仓库技术运用到本研 究室自主研发的网管系统中，扩展网管系统的现有功能，形成实用的数据仓库系 统。具体来说，一方面，在理论上寻找数据仓库技术与网络管理技术的结合点， 在功能上、结构上和实现方法上寻找使两者融合的渠道，以便为建立实际的网管 中的数据仓库系统提供理论基础。另一方面，基于上述理论( 尽管可能还不够完 善) ，在由本研究室自主开发的网管系统“电信网环境动力集中管理( c e m ) 系 统”中开发含有数据仓库子系统的第二期产品，以数据仓库技术为思路发展c e m 系统。 j 匕京邮电大学硕士研究生论文数据仓库技术在环境动力_ 1 1 2 【控系统中的应用 三 论文简介 本文以理论与实际相结合的方式对数据仓库技术在基于t m n 的网管系统中 的应用进行了深入的探讨。第二章到和第三章从理论角度分析了在电信管理网 ( t m n ) 中应用数据仓库技术的范围、方法和前景等内容。第四章，介绍了一个 自主开发的数据仓库系统“电信网环境动力集中管理系统”( 简称c e m 系统) 中的数据仓库子系统的设计和实现过程。 在进行应用研究之前，有必要先对数据仓库理论有所了解。本文第二章首先 对数据仓库技术进行了概括性介绍，并重点指出其适用于网管系统的特性。 现代网管技术以t y i n 为代表，本文第三章以t m n 网管系统的特征为序，对数 据仓库在t m n 网管系统中的应用进行了理论方面的探讨，包括数据仓库与t m n 体 系结构的结合方式、数据仓库在t i t a n 管理功能中的应用范围和t m n 网管系统中的 数据仓库系统的开发方法等内容。最后对此应用进行了前景展望。 第四章对由本研究室研发的“电信网环境动力集中管理( c e m ) 系统”中的 数据仓库子系统( d w $ s ) 的设计和实现过程进行了介绍。文章首先对c f 3 d 系统( 第 一期) 进行了简单介绍，并指出在该系统第二期中加入数据仓库系统的必要性， 然后从软件工程方法学角度对d w s s 的分析、设计和实现过程进行了详细说明。 四课题阶段主要完成的工作 1 承担的研发工作 箨参与电信网环境动力集中管理系统( e 矾系统) 的整体方案设计 4 负责c e m 系统的功能设计 。负责c e m 系统( 第一期) 管理界面及数据库系统的设计和开发 负责c 跚系统( 第期) 管理界面开发小组工作 誊负责c e m 系统( 第一期) 管理界面及数据库部分在监控中心的工程 安装和现场调测 负责数据仓库子系统的需求分析和功能设计 。负责c e m 系统( 第二期) 数据库及数据仓库系统在s q ls e r v e r2 0 0 0 数据库管理系统中的设计和开发 4 负责c e m 系统( 第二期) 统计报表模块和配置管理模块的开发 北京邮电大学硕士研究生论文教据仓库技术在环境动力监控系统中的应用 2 课题理论研究 对在t m n 网管系统中的数据仓库的应用进行理论方面的分析，主要方面有 数据仓库技术在t m n 体系结构中的应用 数据仓库技术在t m n 管理功能中的应用 t m n 网管系统中的数据仓库系统的开发方法 4 数据仓库技术在t m n 网管系统中的应用前景 在此期问学习的相关理论和技术基础 ot m n 理论、规范和网管系统有关标准 。数据仓库及相关技术理论 4 软件工程理论 4 多厂家网管系统 4 数据库及数据仓库开发、s q ls e r v e r2 0 0 0 数据库系统的应用 0d e l p h i 6 0 开发工具 j 匕京邮电大学硕士研究生 电文数据仓库技术在环境动力监控系统中的应用 第二章数据仓库技术 数据仓库技术是近几年来出现的、发展迅速的一种技术，它可以充分利用数 据仓库中已存储的信息、帮助决策者进行决策。由于此种功能，数据仓库技术已 被广泛应用与各种大型信息系统中。同时，正在向综合方向发展的网管系统也有 对大规模异构数据的处理需求，因此，在网管系统中应用数据仓库技术正是网管 技术发展的必然趋势。本章在对数据仓库理论进行概括性介绍的同时，也针对数 据仓库技术中符合网管系统需求的功能和特点进行特别分析。 第一节数据仓库概念 数据仓库产业及其基本信息处理技术己发展了许多年。早期人们认为，具 有各种查询和报表功能的产品数据库系统可以提供一个单位所需的所有决策支 持。八十年代后期，人们逐渐认识到数据是无限的，而信息是有限的。由于数据 的离散性，产品信息系统几乎没有任何用处，更不用说进行决策分析。近几年， 具有聚集和概括等新特征的数据仓库技术出现以后，就使人们可以及时掌握商业 趋势和客户趋势，提供决策分析支持。简而言之，数据仓库的基本目的是要了解 过去和计划未来。 就数据仓库的结构来说，它是一种体系结构，而不是一种产品。我们无法购 买现成的数据仓库，必须构造它，数据仓库的构造是一种系统集成任务。 数据仓库的定义 目前数据仓库的定义是不统一的。公认的数据仓库之父w h i n m o n 将其定 义为；“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变化 的、持久的数据集合。” 数据仓库还有其他几种定义，如：它是一种体系结构；它是一种语义一致 的数据仓储( 独立的且不影响已在运作的实用系统) ，以满足不同的数据存取、 文档报告的需求；它是一个不断发展的过程，把多个异质的原始数据融合在一起 用以支持结构式即席查询、分析报告和决策支持。 4 北京邮电大学酬士研究生论文数据仓库技术在环境动力监控系统中的应用 以上是数据仓库的各种定义，它们都反映了数据仓库的一些特征。但是， 有一点是一致的，即数据仓库技术是一个企业决策支持解决系统的必不可少的部 分。 二 数据仓库的特点 从本质上讲，数据仓库是一个使用其自身数据库管理系统的数据库应用。 该数据库系统从其他支持业务日常运作的数据库系统中获取数据。但是，数据仓 库有别于运作中的数据库，后者以多种方式支持联机事务处理( o l t p ) ，而数据 仓库具有如下特征： 弗血向主题 从业务决策者使用数据的方式考虑面向事务系统的使用非常不便。这是 因为决策者们首先感兴趣的是业务主题的行为，但为了了解人员主题的全部信 息，决策者不得不访问位于不同应用程序中的多个表，这就使问题变得复杂化。 数据仓库将这些主题数据集中于一个地方，在该结构中，有关某特定主题的全部 数据均位于同一个表中，这样决策者便可以在数据仓库中的一个位置检索到包含 在某一主题中的所有数据。数据仓库极大的方便了数据分析的过程，也简化了通 过主题与行动的关联来确定行为的这过程。 薅集成 数据面向类型的差异导致了对数据集成的需要。但数据仓库的作用不仅是把 数据集中起来，在某种意义上，数据仓库的数据源于操作环境，操作数据是数据 仓库的基础。集成过程则使这些数据变为单一的内聚环境的过程。在该环境中业 务决策者无法看到数据源。集成过程由两部分组成，即数据转换和数据净化。 数据净化即从输入流中去除错误的过程，它是集成过程的一部分，也是数据 仓库中数据处理的最重要的一个步骤。有一个好的净化过程不仅能提供数据仓库 中的数据质量，而且能够提高操作环境重的数据质量。在数据净化过程中，提取 日志将记载所发现的错误。数据管理员则通过查阅此记录来确定错误源。有时， 数据管理员均要报告给负责操作数据质量的相关方。而另一些错误则是由元数据 的问题所致。可以把数据净化比作数据管理员工作的产物，它是数据仓库的主要 成员。数据管理员必须预先采取措旌以杜绝错误数据的产生。虽然没有人能够保 证构造出成功的数据仓库，但拥有低劣的数据净化过程和沉闷的数据管理员的数 据仓库注定是要失败的。 北京f i * 电大学碰i 研宄，上沧文 数据仓库技术在环境动力监控系统中的应用 数据转换过程即指接收来自不同运作系统的输入流井将其转换成统一格式 的过程。在各应用程序中保持数据一致的操作环境是十分罕见的，尤其应用各种 系统的异构环境中，更是鲜有数据的一致性。数据转换正是用于解决上述问题的。 一l 稳定性 面向事务处理的数据库中的数据是不稳定的，而在数据仓库中，数据一旦写 入仓库就不会再有变化了。 实质上，数据仓库的稳定性所创建的是一个虚拟只读数据库系统。任何数据 库都不会是只读的，有时数据必须存储数据库中。数据仓库在数据存储方面是分 批进行的，提取过程为数据库添加新记录，但系统中已存在的记录不会被改动。 面向事务系统所面临的挑战之一是，在多个用户对同一记录进行读写操作时将会 导致该记录被锁定，而由于数据仓库中的数据是只读的，所以不存在这个问题。 数据库引擎本身也得益于数据仓库的稳定性，尽管使用适当的备份步骤对中 央存储库十分重要，数据库仍可以取消许多用于恢复的后台处理过程。 出随时间变化 数据的稳定性给数据仓库增加了一个新的维，即时间。如果在某一特定时刻 提取运作系统中的所有数据，该运作系统则将创建关于组织情况的瞬态图。事实 上数据仓库正是这样做的。对应于特定的时间间隔，数据仓库中有操作环境的瞬 态图。这些存储在数据仓库中的瞬态图构成了一组镜头中的一幅幅画面，将其连 续播放就会产生动画效果。对于瞬态图而言，时间并不是一个变量，而是静止不 变的：对于动画而言时间则是不断变化的，动画可以根据观看者的要求按任意方 向以任意速度播放。 数据仓库便类似于上面提到的动画，业务决策者可以在时间场中查看所需的 任意级别的数据。还可以按时间查看数据的模式和趋势。时间成为分析过程的一 个可操作变量。总之，数据仓库是随时间而变化的。 啦管理决策支持 通常的运作系统是一些自动操作过程，因此用户团体一般包括在产品行中。 而数据仓库的用户是业务决策者，他们是组织中的任意个体，并对组织中某部门 的决策负责。 业务决策者具体操作数据的环节十分重要，他们是数据仓库的主要用户。数 据仓库的设计师在构建系统时必须时刻注意到用户团体的差异。对一个系统来 说，具有使业务决策者迅速快捷操作数据的优越特性是十分重要的。同时必须设 j 匕舶卸电太学坝l ? f 丹究生葩文数搬仓库技术在环境动力监控系统中的应用 计适当的用户界面，使业务决策者能够在数据仓库中进行数据的探测研究。在数 据仓库中，业务决策者所面临的挑战不再是如何从系统中检索数据，而是如何更 好的分析理解数据。 三数据仓库的参照结构 数据仓库参照结构把数据仓库的组成部分划分成许多块和层。块主要有数据 源、数据站场、数据仓库、存取与使用。层丰要有数据管理、元数据管理、传输 和基础结构。块与特定的数据仓库相关，而层则表示用于实现块的环境。数据仓 库的参照结构如下图l 所示。 数据仓库结构块、数据站场结构块和数据仓库存取与使用块以及数据管理层 和元数据管理层，都是数据仓库工程项目中新的投资领域。数据源块以及传输和 基础结构层往往是企业的已有投资。参照结构提供了丰富的实现选择，可以使实 现者选择满足其特殊需求的实现成份，忽略结构中不必要的部分。下面对参照结 构中的各个构件作简单的介绍。 图2 1 数据仓库的参照结构 。数据源块 数据源块可以分成以下几类： 1 产品数据：它是指能够保存从运作的应用程序收集到的，并保存在运作数据 库中的信息。这些运作数据库可以是多种技术的，如关系的、非关系的、基 于文件的等等。 2 ，遗留数据：它是脱机或档案数据，它不必支持当前运作的应用程序，但对于 趋势分析具有巨大的历史价值。必须用适当的应用程序将其传八数据仓库。 7 j 匕】；【邮电大学硕士研究生沧文数据仓库技术在环境动力监控系统中的应用 3 内部办公系统：这是数据的来源它并不存储于当前运作的数据库中，也不 用于商业应用程序。如报表、电子表格等。这种数据对于支持跨部门的分析 是很有用的。 4 外部系统：这些数据源不受企业控制、不为企业具有或操作，可以是电子的 形式( 如道琼斯指数) 或非电子的形式( 如报纸) 。 5 数据源元数据：元数据是关于源数据的明确信息它包括从数据源中所抽取 数据的名字、数据内容的定义、创建的日期、数据的来源或源点。 数据仓库结构块 数据仓库结构块主要由以下几部分组成。 1 “求精”部分：负责标准化、净化、过滤与匹配，为所选数据源中抽取数据 的原始信息打上时阎辍。在该部分中，源数据被映射为标准数据名称和定义， 为被抽取数据的时间戳及其来源以及已增加的新域再创建和捕获一些元数 据。 2 “重构工程”部分：负责检验数据是否满足商业用户分析的需求。 3 “数据仓库创建”部分：负责数据建模、概括、聚集等功能。 4 数据站场结构块 数据站场结构块是参照结构的第二个主要块，该块根据数据仓库的内容创建 数据站场。数据站场的构件与数据仓库相似，两者的主要区别在于最终用户的侧 重点。例如：数据站场中的建模部分侧重于满足拥有数据站场的某个部门的需要， 而数据仓库的建模部分用于满足更为广泛的需要。 4 数据仓库的存取和使用模块 数据仓库结构的第三个主要模块由两部分组成：存取与检索、分析与报表。 该块为整个数据仓库的实现提供决算性的和有价值的东西。 1 “存取与检索”部分：它可以越过数据站场直接访问数据仓库，也可直接访 问数据站场。该部分负责把已检索的数据转换成多维视点或存入多维数据库 中用于后期分析。 2 “分析与报表”部分：是组从数据仓库和数据站场获取数据的工具和应用 程序族。这些工具包括报表工具、分析与决策支持工具、业务建模与分析处 理工具、数据发掘工具等。 j 匕柬邮电大学硕士研兜生- 电文数据仓库技术在环境动力监控系统中的应用 。数据管理层 数据管理层主要完成从大量信息中对数据仓库进行抽取、加载、刷新、增加 安全性、归档和恢复等任务。从数据仓库的观点来看，数据管理层主要完成下面 的功能： 1 从所选的数据源中抽取并挑选数据，为进一步求精和重构工程以及存储到数 据仓库中做准备。 2 从新的或当前的数据源中按需求追踪和充实新数据。 3 捕获运作数据源中数据的变化，然后刷新或更新数据仓库。 o 元数据管理层 元数据是数据仓库的重要构件，是数据仓库中的指示图。元数据通常定义 为“关于数据的数据”。在数据库中，元数据是对数据库各个对象的描述；在关 系数据库中，这种描述就是对表、列、数据库、观点和其他对象的定义。元数据 管理层的构成如下图所示： 数据仓库结构是建立在数据定义( 或元数据) 概念上的。元数据渗透到数 据仓库的各种活动中。增加时间戳就需要有与元数据相关的附加的时间信息；增 加来源戳也就创建了新的元数据；概括活动则要求增加新的列来存放概括的信 息。参照结构的“元数据管理”层负责管理数据仓库所使用的元数据，例如，存 储在数据仓库中数据的完整描述等。元数据还为数据仓库中的数据提供了索引。 元数据管理层还存储和管理数据仓库数据站场的逻辑的、物理的数据模 型和模式以及技术和业务的词汇表。大型数据库在多级索引、数据压缩、复合键 和数据版本等方面具有一定的复杂性，对它们的描述和管理也在该层。 o 传输层 数据仓库参照结构的块之间数据的传输任务由结构的传输层所提供的结构 来完成。该层使用了刷新与复制技术、数据传输、传送网络以及中间件等构件， 它也为传输请求提供了安全保障。 o 基础结构层 基础结构层包括以下几个部分： 1 系统管理部分：为系统实现者和商业用户提供诸如执行、管理等功能。 北柬邮电大学硼l ? 研究生论文数据仓库技术在环境动力监控系统中的应用 2 。工程流程管理部分：主要支持处理集成和管理，以协调各种工具、应用 程序和操作有条不紊地执行正确完成对数据仓库和数据站场的抽取、 刷新、复制、聚集与概括以及其他的维护和系统管理任务。 3 存储系统部分：为数据元、数据仓库、数据站场的数据库目录提供了数 据库和文件管理服务器。为“存取与使用”块提供了多维和本地存储。 4 处理系统部分；是主块的基本操作环境。 图2 2 元数据管理结构层成份 四典型数据仓库结构 虽然数据仓库是构造出来的，结构各不相同，但我们可以从该结构中了解 到构造数据仓库的几个关键部分。一个典型的数据仓库结构如下图所示，它包含 四种技术关系数据库，数据仓库管理软件，数据存取工具以及开放式系统平 台。 图2 3 典型数据仓库结构 j 京邮电大学酬i ：研究生埝文数据仓库技术在环境动力监控系统中的廊用 第二节数据仓库的相关技术介绍 数据仓库技术不只包括数据仓库本身，也包括以数据仓库为基础的多种应用 层技术。只有采用了这些应用层技术，数据仓库本身所提供的强大数据处理和存 储能力才能得到实际的体现。在网管系统中应用数据仓库技术的具体体现也正是 这些应用层技术。可以这样说，正是因为有了这些应用层技术，数据仓库技术在 网管系统中的应用才会这么迫切，也才会这么多样化。本节就对这些相关技术逐 一进行介绍。在后续的章节中将会看到这些应用技术在实际的网管数据仓库系统 中的实例。 决策支持系统 决策支持系统( d s s ) 一词始见于2 0 世纪7 0 年代，但时至今日，决策支持 系统仍没有一个学术界公认的定义。它的基本特征可以归纳为： 囊对准上层管理人员经常面临的结构化程度不高、说明不够充分的问题 把模型或分析技术与传统的数据存取技术及检索技术结合起来 0 易于为非计算机专业人员以交互会话的方式使用 。强调对环境及用户决策方法改变的灵活性及适应性 。支持但不是替代高层决策者制定决策 可以把d s s 松散的定义为数据仓库的描述层，这里特别要强调的是“松散”。 在讨论d s s 时所涉及到的不仅仅是对数据仓库中数据的描述。在数据仓库中，d s s 遍及从数据提取扩展到为业务决策者描述该数据的所有过程。把决策支持系统简 单的归类于描述工具就低估了该系统的使用价值。决策支持系统所包含的各种工 具能够满足组织的不同需求。 业务决策者的身份遍布于从部门经理到执行总裁的各个管理层次中，每一个 层次都有各自不同的信息需求。决策者在组织中所处的水平越高，其日常工作所 要求的数据汇总的水平也就越高。d s s 中包括不同类型的工具以满足来自不同水 平的需求。下图显示了d s s 工具的范围。 北京邮电大学硕士研究生论文数据仓库技术在环境动力监控系统中的应用 图2 4d s s 工具的范围 在多数基础级别，要将报表作为某种级别的d s s 。比较而言，报表涉及到数 据的被动使用。d s s 的下一个层次是分析，这是通过o l a p ( o n - - l i n ea n a l y t i c a l p r o c e s s i n g ，联机分析处理) 工具执行的，利用这些工具，业务决策者可以与数 据进行交互。数据采集将这种交互扩充到发现的层次。在数据采集中，要挖掘和 探究数据新的行为。 二报表 虽然一般不将报表列入决策支持系统，但报表的作用很重要。如前所述，决 策者在组织中所处水平越高，其日常工作所要求的数据汇总的水平也就越高。今 天，大多数处于较高层次的管理者的注意力已从与数据相互作用转移到内容完备 的系统。如果组织最初涉足o s s 是基于报表的，那么数据仓库的构造者就必须从 高于简单静态绿色条形图报表的高度，通盘考虑企业的整体情况。目前的企业报 表应简化报表的创建、维护和分布。企业报表工具应尽可能快的为数据查询者提 供其所需的数据，为此，报表工具必须具有以下功能： 1 快速开发：报表工具应具有类似向导的功能，使开发者能够在该工具的 指导下创建报表。报表工具还应允许开发者在开发环境中预览报表。 2 易于维护：能使用户返回刨建报表的向导并以此修改报表。 3 易于分布：报表引擎可将同一报表或报表中的各部分指向不同的媒体。 例如，将某一报表分成3 部分，把其中一部分张贴到w e b 站点另一部 北柬邮电大学硼1 ：研究生论文数据仓库技术在环境动力监控系统中的应用 分通过电子邮件发送给管理者，第三部分则以标准邮件的形式发送给股 票持有人。 4 i n t e r n e t 启用：报表服务器应当能够接收来自基于w e b 和基于非w e b 客 户机的请求。 三联机分析处理( 0 l a p ) 在数据仓库中，存储数据的目的是为了查询、分析和传送。o l a p 是一种分 析处理技术它从现有的数据中生成新的商业信息，这通过大量商业转换和数据 计算来实现。它主要完成的功能有：给出数据仓库中数据的多维的逻辑视图；包 含交互式查询和对数据的分析：提供分析的建模功能；支持功能模型以进行预测、 趋势分析和统计分析等。 o l a p 是数据仓库参照结构中存取和使用模块的重要构件。它存在于存取和 使用模块的子模块中。逻辑上的o l a p 结构由两部分构成：一部分是o l a p 视图， 它是数据的多维逻辑描述，这些数据存储于数据仓库或数据站场，存储方式和存 储位置对商业用户是透明的。另一部分是数据存储技术，它可对数据实际存储方 式和存储位置做选择。 四数据挖掘 数据仓库是一个决策支持系统，而数据发掘是构成决策支持工具的必要构 件。数据挖掘是从大量的数据中抽取出潜在的、不为人知的有用信息、模式和趋 势。数据挖掘的目的是提高市场决策能力；检测异常模式；在过去的经验基础上 预言未来趋势等。 北舶瞎电大学硬士研究生论文 数据仓库技术在环境动力监控系统中的应用 第三章数据仓库技术在t m n 网管系统中 的应用研究 作为现代网管系统的代表，t 州的目标是最大限度的提高网络的运行质量和 效率，向用户提供良好的通信服务。t m n 规范为网管系统的实现提供了良好的开 放式接口和体系结构，但并不限制管理应用软件的选择。与其他先进技术相结合 正是t m n 的发展趋势，数据仓库技术作为近年来数据库技术发展中的新兴领域， 对数据的聚合概括等闯题有很好的处理能力，并且数据仓库和决策支持技术的发 展还具有广阔的前景，因此将数据仓库技术应用于t m n 网管系统是有意义的应 用方向。在具体实施方面，t m n 网管系统中有如下一些方面可以应用到数据仓库 技术： 跨网络类型、跨网管系统的全局性事务管理 4 电信行业及业务发展趋势分析 网络q o s 管理 。告警预处理和专家知识系统 目前在我国，已经投入使用和正在开发的网络管理系统产品中已应用了一些 数据仓库技术，但还没有系统的理论体系。本章的目的就是从理论方面对数据仓 库技术在t 州网管系统中的应用范围、应用方式等进行探讨。 第一节电信管理网( t m n ) t m n 概述 目前，电信网的现状是：新技术、新业务不断涌现；网络结构越来越复杂； 网络中的设备越来越多样，同样的设备由多家厂商提供，设备的更新又使相同设 备具有不同的版本。如何以合理约管理手段维护日益复杂、庞大的电信网从而提 高网络的效率就成为一个迫切需要解决的问题。 现有的网络管理系统一般是具有单一功能的管理系统，如计费系统完成计费 功能、故障管理系统完成故障监测控制等等。各种管理系统的接口、采用的数据 库、所完成的功能都不尽相同。面对复杂的通信网络，管理系统之间存在着如何 4 j 囊姆电大学硎j ：研究生论文 数据仓库技术在环境动力监控系统中的应用 进行互连、互通、互操作的问题；也存在着如何提高质量、提高效率、降低成本 的问题。 网络的现状对网管系统提出了新的需求，要求网管系统能支持新业务的引 入、满足高业务质量的需求、满足业务用户及业务提供者对业务及网络重新配置 的需求、保证服务质量；适应多厂商设备、多电信企业的环境；能全网进行统一 的综合管理，并向未来平滑过渡。 为解决以上问题，以适应电信网技术的飞速发展和名目繁多的电信新业务的 需要，i t u t 提出了对电信网实行统一的综合维护管理的新手段电信管理网 ( t 删) 。t m n 是i t u t 借鉴o s i 中有关系统管理的思想和技术，为管理电信业 务而定义的结构化网络体系结构。它使得网络管理系统与电信网在标准的体系结 构下按照标准的接口和标准的信息格式交换管理信息从而实现网络管理功能。 t m n 的基本原则之一就是使管理功能与电信功能分离。网络管理者可以通过有限 的几个管理节点管理电信网络中分布的电信设备。t m n 与电信网的关系如下图所 示。 国际上对t 洲的研究始于八十年代，有关t m n 的国际标准也从8 0 年代开始 陆续制定。但是，t m n 真正开始步入现实是在近几年，原因是多方面的。首先， t m n 的标准较为复杂，因此支持这些标准的厂商较少；其次，t 州的基础是o s i 管理系统，由于在t 删标准的开发过程中，0 s i 标准也处在不断更新完善的过程 中，因此t 鼢的发展受到一定的阻碍；第三，删n 的复杂性导致实现t f l n 要投入 的费用庞大，使用户望而却步；另外，标准本身的不完善也是原因之一。进入九 十年代以后，o s i 及t m n 的标准更加成熟，软件开发商开发出一系列o s i 工具， 为t m n 的实现提供了良好的支持；同时，复杂庞大的通信网络对t 州提出了迫切 的需求。目前，已经有多家厂商能提供支持t 州的网管开发平台，如s u n 、i b m 、 h p 公司等；越来越多的通信产品生产商可以提供支持t 捌接口的产品，如诺基 亚、西门子、爱立信等公司。 北京衄电大学醐士研究生论文数据仓库技术在环境动力监控系统中的应用 图3 1t m n 与电信网的关系 近几年。我国投入大量资金用于建设全国范围内的移动通信网、d d n 、s d h 、 长途电话网、同步网、a t m 网管系统和综合网管系统。这些网管系统都要求采用 新技术t m n 。 二t m n 的特点 t m n 是一个高度强调标准化的网络。这种标准化体现在t m n 的体系结构和接 口标准上。也许有人会说，如果通过某种技术手段而不是t m n 的标准接口技术， 将现有的某些网管系统互联起来，那么这是不是电信管理网( t m n ) 呢? 从某种 具体的应用需求来看，回答是肯定的但从t 州的标准来看则是否定的。因为非 标准的互联而形成的综合管理系统网络，尽管可以满足一时的管理需求，但却 不能对管理网络将来的发展有任何保证。因为这种网络没有对开发标准的共同认 同，一旦当网上引入新的业务、新的设备。出现新的网管需求时，原有的管理系 统就无法自然平衡地进行衔接和发展，也不能实现与其他管理系统的互联、互操 作。必然要求对网络管理系统进行重新开发，造成各种资源浪费，因此不能称其 为基于t m n 技术的电信管理网。而在基于t 标准的电信管理网中，每一个系统 的设计都遵从开放体系标准，系统的内部功能实现是面向对象的，因此系统软件 具有良好的重用性，可以克服传统管理网络的弊端。 t m n 是一个演进的网络。t m n 的形成与其他电信网的形成有很大的不同，举 个例子，电话程控交换机被开发出来之后，我们只需购买大量的交换机，调通所 有局间电路，在很短的时间内我们就可以建成一个电话交换网。对于t m n 却不是 这样，因为t m n 上的节点机没有一成不变的模式，用于电话网管理的0 s 与用于 传输网管理的o s ，在上层应用软件上太不一样；同样都是电话网的管理系统， 用于话务管理目的与用于集中操作维护目的的也有所不同。因此t m n 的出发点是 建立一个各种网络管理系统互联的网络，管理各种各样的电信网络。包括监视、 调整、减少人工的干预( 除非是非常特殊的情况，如换一块电路板) ；解决接口 的标准化问题；实现管理不同厂家的设备；减少由于新技术的引入对管理系统带 来的根本性的改变，以达到一种逐渐演迸的目的。没有人反对t m n 的这种出发点， 但这种承诺将造成很多的投入，这又是厂家所不愿意接受的。在最近几年，t h i n 有了很大的进展，虽然真正实施的还很少，但这并不意味着t h i n 的失败或者说 t m n 只是一种假设，因为t m n 的原则指出了电信管理需求的本质。由于各种原因， t m n 的许多目标还没有实现，许多标准还有待于完善，实施的手段也会随着技术 的发展而演变。因此建设一个完善的符合标准的电信管理网不是一蹴而就的事。 t m n 只能根据新技术的发展，标准的不断完善，逐步引入。逐步引入就不能停止 j 6 北京邮电大学研f ：研究生论文数据仓库技术在环境动力监控系统中的应用 在那里等待标准的成熟，而是要理解t m n 的定义和原则，理解t m n 接口规范的开 发方法学以此指导各种应用的开发工作。从标准基本成熟的那部分做起，从各 种管理子网入手指导我们的网管开发和建设工作。建设一个t m n ，并不意味着 实现所有的t m n 标准中定义的管理业务或功能，实施一个t m n 是与电信运营公司 的需求密切相关的。一个t m n 可以是由一个单一的电信设备与一个操作系统( o s ) 连接而成的简单模式，也可以是由许多不同的o s s 与多种电信设备互联而成的复 杂网络在具体实施上可以针对某一种电信业务的实际发展需要，及时调整t m n 的应用范围和扩展方向。 三 满足t m n 标准的产品应必备的条件 从硬件上来讲，并不存在t m n 网络专用的产品。实现t m n 的硬件基础大多是 那些通用的计算机( 包括大型机、小型机、服务器、工作站、p c 机) 和实现计 算机与计算机之间、计算机与被管理网元之间互联所必须的通信设施( 包括路由 器、交换型集线器、集线器、调制解调器) 。另外，当被管理网元提供q 3 接口 时，被管理网元的这部分属于t m n 的范畴。 所谓t m n 的设备或产品，应当是在上述硬件集成的环境上实现的、按照某种 管理业务需求而设计豹管理应用系统或网格。若与电话交换设备、传输设备来类 比，t ) , t n 设各很大的特点是它的组成部分不是一成不变的。实施一个具体的管理 网络是根据不同的管理需求以及被管理网元的不同特点来调整硬件和软件的组 成。 尽管目前有关t m n 的标准为实施一个t m n 提供了相当的灵活性，但有些方面 的标准还仍处于继续研究的状态，有的甚至还没有启动研究。在这种情况下，要 想评价一个管理系统或产品是否符合t m n 的标准具有一定的难度。尽管如此，当 一个产品被声称是符合t r l # , , t 的标准时，这些产品就必须具备删所要求的特点。 如何评判有关电信管理系统和电信设备是否符合t 硼标准，主要从两个方面 来考虑。一方面是t 州的顺从原则，另一方面是t 心的一致性要求。t m n 的顺从 要求主要从删的体系结构、原则和功能来衡量一个管理系统。t m n 的一致性要 求则针对删n 各种物理实体之间的接口，从通信协议和信息模型两方面来评价接 口与t m n 标准的一致性。t m n 一致性是可以测试的，而t m n 的顺从要求则只能是 以更抽象的方式来确认、 声称管理系统和产品是t 删顺从的，应该满足如下条件： 1 从功能、信息和物理三方面支持t m n 体系结构 2 能够识别系统在t m n 逻辑分层结构l l a 中的定位 j 7 北京邮电大学碰士研究生论文数据仓库技术在环境动力监控系统中的应用 i t u tm 3 0 1 0 中提供了表单逻辑分层结构的参考模型，如下图所示。t m n 产品应当非常明确的表明它所提供的功能是属于t m n 五个逻辑分层中的哪一层 或多个分层的组合。尽管一个t m n 产品很可能不仅仪提供某一个逻辑分层中的功 能，但这种功能上的逻辑分层应能够充分体现出来，从而提高产品对管理需求变 化的适应性，最大限度的达到互操作。 3 物理实体的配置满足t m n 要能在t m n 的产品中明确区分出o s f 、m f 、w s f 、n e f 、o a f 这些t m n 的功能 组件模块。 4 具有开放接口 5 提供其所支持的被管理域和相关的t m n 管理业务及功能的文档 毫无疑问，每一个电信业务运营者都可能会提出一些适合自己的管理业务流 程上的特别要求t m h 产品应当以t m n 的配置管理、性能管理、故障管理( 维护 管理) 、帐务管理、安全管理这五个功能术语定位自己的管理功能领域。同时应 当提供如数据通信、数据管理、操作控制、安全管理、用户支持等方面的功能， 这些功能可以结合操作系统本身提供的功能来实现。并不限制一个t m n 产品只提 供单一的管理功能域的能力，也不强求该产品必须包含所有的管理功能域，它可 以是多个功能域的集合产物。在有些情况下，考虑到系统效率，可以在一个t m n 产品上或一组紧密结合的产品中提供各种管理功能，但不论如何组合，都应明确 其所提供的t 删管理功能属于哪些管理功能域、 声称管理系统或设备与t m n 接口标准是一致的，必须满足如下条件： 1 接口采用i t u t 确定的t m n 通信协议栈，目前是从q 8 1 1 和q 8 1 2 中选 择连续和有效的协议。 2 通过接口文档，明确与接口所选用的协议相关的国际标准轮廓( i s p s ) ， 必须以p i c s 形式提供标准实施一致性声明，并须提供用于测试的实施协 议附加信息( p i x i t ) ( p r o t o c o li m p l e m e n t a t i o n e x t r ai n f o r m a t i o nf o r t e s t ) 。 3 接口文档中要明确各类接口的类型( x 、q 3 、f ) 4 接口文档要明确接口所支持的系统角色，如c m i p 管理代理者和f t 从的 初始发起者响应者。 5 对于所选用的通信协议栈要采用标准的建模技术。 对于信息模型方面的考虑，t m n 的标准强调利用信息模型对网元进行管理。 虽然目前许多信息模型的标准还在研究制定过程当中，但t m n 的产品设计，应当 北京邮电大学硕士研究生论文数据仓库技术在环境动力舱控系统中的应用 确保在一组标准的信息模型产生后很容易获得支持。这就要求t m n 的产品按i s o 面向对象建模的原则进行实施，从实施的角度考虑，要求厂家在提供t m n 产品的 同时向用户提供非标准的信息模型文档。 6 若以g d m o 进行建模，则应提供如下文档： 定义、存档和注册的管理系统接口支持的所有被管弹对蒙类，提供 标准对象实施一致性声明( i o c s ：m a n a g e do b j e c tc l a s s c o n f o t m e n c es t a t e m e n t ) 和被管理关系的一致性声明 ( m r c s ： m a n a g e dr e l a t i o n s h i pc o n f o r m e n c es t a t e m e n t ) 。 o 提供系统接口支持的被管理对象类的命名分级结构。 第二节数据仓库技术在t m n 体系结构中的应用 t 删的体系结构可以划分为三个基本方面，即功能体系结构、信息体系结构 和物理体系结构。 一 数据仓库与t m n 的功能体系结构 t ) a n 功能体系结构主要是从逻辑上描述t m n 内部的功能分布。其基础是t m n 功能块。功能块之间利用数据通信功能( d c f ) 来传递信息，并由参考点隔开。 数据仓库技术可应用在部分功能块中。 t m n 的基本功能块有五种，即操作系统功能( o s f ) 、协调功能( m f ) 、网 络单元功能( n e f ) 、0 适配功能( o a f ) 和工作站功能( 惦f ) 。 操作系统功能( o s f ) 主要对管理信息进行处理以便支持和或控制不同通 信管理功能的实现。对应t m n 的管理分层又可分为行业管理o s f 、业务管理o s f 、 网络管理o s f 和基本o s f 。o s f 中，面向对象数据仓库可以将管理信息中的数据以 信息模型为结构进行清理和转换，在为用户最终分析提供平台的同时，也保证数 据结构与t m n 网管系统的管理信息库保持一致。 m f 介于o s f 与n e f ( 或q a f ) 之间，起适配器或中介作用。它按o s f 的要求， 对来自n e f ( 或q a f ) 的信息进行适配、过滤和压缩等处理。在m f 中，数据仓库 可以为多种网元信息在这里进行数据的统一、过滤和压缩等处理，使大量异类信 息得以以标准接口的形式接受o s f 的进一步处理。 9 北京衄电大学硕士研究生 瞎文数据仓库技术在环境动力监控系统中的应用 w s f 为管理信息的用户提供一种解释t m n 信息的手段。其功能包括终端的安 全接入和注册、识别和确认输入、格式化和确认输出等。w s f 是t m n 网管系统与 用户之闻的桥梁用户因为各种实际需要要求t m n 网警系统以多种