(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf_第1页
(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf_第2页
(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf_第3页
(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf_第4页
(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf_第5页
已阅读5页,还剩58页未读, 继续免费阅读

(控制理论与控制工程专业论文)数据仓库技术在电信网故障管理中的应用研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

华中科技大学硕士学位论文 摘要 随着通信技术的不断发展,传统的数据库技术已不能满足对各行业海量数据的 处理需求,而数据仓库技术及其数据分析技术的出现,为企业提供了高效的数据处 理能力和良好的数据理解工具,并对科学的决策分析提供了更好的支持。由于电信 企业数据规模的激增和业务种类的复杂,在电信网管系统中应用数据仓库技术成为 了必然的趋势。 本文首先介绍了数据仓库发展历程,通过对电信网故障管理现状的分析,导出 研究的内容和意义。然后介绍了数据仓库技术,包括其概念、特征、体系结构,以 及与传统数据库的差别,随后,简要介绍了两种数据分析技术:联机分析处理( o l a p ) 和数据挖掘( d m ) ,并讨论了两者的区别和联系。在此基础上,通过建立数据仓库 模型,运用数据分析技术分别得出故障定位模型和故障影响率模型,进行实例分析 后得出了对模型系统的评价。最后是对电信领域特点以及数据仓库技术的总结和展 望。 本文运用数据仓库技术和数据分析技术,建立和分析了电信网络故障定位和故障 影响率模型,从而提供了一些保证网络运营质量的新方法和新思路。 关键词:数据仓库o l a p 数据挖掘电信网管 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m m u n i c a t i o nc o n t i n u a l l y , t r a d i t i o n a ld a t a b a s et e c h n o l o g y c a n tm e e tt h er e q u i r e m e n to fd e a l i n gw i t hv a s td a t ai n a l lk i n d so fi n d u s t r i e s n o w , d a t a w a r e h o u s ea n dd a t aa n a l y s i s t e c h n o l o g ya p p e a r , w h i c hh a v eh i g he f f i c i e n c yo fd a t a m a n a g e m e n t a n da n a l y s i s ,a n ds u p p o r th i g h l ys c i e n t i f i cd e c i s i o n b e c a u s ed a t ai s i n c r e a s i n gt e r r i b l ya n dc o m m u n i c a t i o no p e r a t i o n sa r ec o m p l e x ,d a t aw a r e h o u s e t e c h n o l o g yi sn e c e s s a r i l ye x e r t e di nc o m m u n i c a t i o nn e t w o r km a n a g e m e n t t h i se n t i r ea r t i c l ei si n c l u d e ds i xc h a p t e r s f i r s to fa l l ,d a t aw a r e h o u s ed e v e l o p m e n ti s r e c o m m e n d e d b yt h ea n a l y s i so ft e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n t ,t h ea r t i c l e c o g sa n dp u r p o r t sa r em e n t i o n e d i nt h es e c o n dc h a p t e r , d a t aw a r e h o u s ec o n c e p t ,f e a t u r e s a n ds t r u c t u r ea r ea l ld e s c r i b e d ,a n dc o m p a r e dw i t ht r a d i t i o n a ld a t a b a s e i nt h et h i r dc h a p t e r , t w od a t aa n a l y s i st e c h n o l o g i e s ,o l a pa n dd a t am i n i n g , a r ei n t r o d u c e da n dc o m p a r e d t h ef o u r t ha n df i f t hc h a p t e r sa r et h ea p p l i c a t i o no fd a t aw a r e h o u s ei nt e l e c o m m u n i c a t i o n n e t w o r ka c c i d e n tm a n a g e m e n t ,a n da r ei m p o r t a n tp a r t si nt h ea r t i c l e a f t e rt h eb u i l d i n go f d a t aw a r e h o u s ea n du s i n go fd a t a a n a l y s i st e c h n o l o g y , n e t w o r km a l f u n c t i o nl o c a t i n g m o d e la n di n f l u e n c em o d e la r eb u i l t f u r t h e r m o r e ,t w om o d e l sa r e d i s p l a y e da n d e v a l u a t e dw i t hs o m ee x a m p l e s f i n a l l y , t h e r ea r et h es u m m a r i z a t i o no fs o m ef e a t u r e si n t e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n ta n dt h eo u t l o o ko fd a t aw a r e h o u s e i i lt h i sa r t i c l e ,d a t aw a r e h o u s ei se s t a b l i s h e d n e t w o r km a l f u n c t i o nl o c a t i n gm o d e la n d i n f l u e n c er a t em o d e la r eb u i l tb yd a t aa n a l y t i c a lt e c h n o l o g y s ot h e r ea r es o m en e w m e t h o d so fp r e s e r v i n gn e t w o r kq u a l i t y k e yw o r d s :d a t aw a r e h o u s e o l a pd a t am i n i n g t e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n t 独创性声明 本人,h 1 9 坍! 交的学化论史魁我个人n :i 十| | i f i | | i i j j j i i f t j f i l l 究i i 作膨瞅列 帕l j f 究成架。尽我所知除史t i u 绛株i 纠j j ”的山弈外,木论史小也禽f | j 【他 个人戏粜休已终发丧或擐1 j n 研究成嫩。对术殳们研托做i i i i ) i 献n 1 个人f i t 啦f 木 均u 花史1 1 1 叫确府式标例夺人宛令患 ! 旧f 例们泱f i i 绌砒t - 人,f ;= j | i 一似c 仑虹f 1 :打1 5 “寺芬影谚 i im j b ¥ l i 丫j i 谢il 学位论文版权使用授权书 本学位论文作秆完个了解学校f r - j 保霄f 、i ! l ! l l l 。产f 证滁业n 1 煳定1 1 1 1 :乎枝f 权傈研,f :向硼家秆关邴f j 或机构送交 仓史n 勺艇1 1 i 仆, f l n p , ,版允【,ii t s , , 蛆般 例, i l l f 阅。术人授权华i | l 科技人学i ;r 以将小学化沦义戏j | j m 锋复制r 段仪仃川* :编小 学位论文。 保密i z l , 竹;。一年解孵所适j | j 小授权i ;。 木论文属j i 二 不保密团。 ( 清在以l 方框内打“”) 学位论文作者签名:哥号薪。 f 1 i l t 仰丫_ ) 硝i 脯蝴懒:缘:之永 i i 朋:山蚪 i i 中i i 哿ii 华中科技大学硕士学位论文 1 绪论 1 1 数据仓库技术的发展 随着科学技术的飞速发展,计算机系统的功能从数值计算扩展到数据管理距今 已有三十多年了。1 9 6 9 年,e f c o d d 博士发表了著名的关系数据模型论文,从而丌 创了数据管理的一个新时代。近几十年来,大量的新技术、新思路涌现出来,被用 于关系型数据库系统的开发和实现,加上计算机硬件的处理能力呈数量级地递增, 关系数据库最终成为联机事务处理系统的主宰。 在市场经济的激烈竞争中,企业必须把业务经营同市场需求紧密联系起来,在 此基础上做出科学、正确的决策,以求生存【”。然而,单靠拥有联机事务处理已经不 足以获得市场竞争的优势,因为它是而向业务操作设计的,无沦是查渤、统汁,还 是生成报表,其处理方式都是对特定的数据进行简单的数字处理,这些对于企业巾 高层领导是无法完成决策任务的。这种决策需要对大譬的数掘,包括历史业务数据 进行分析后才能得到。 在如今这样激烈的市场竞争环境下,企业界不断提出新的需求,数据仓库技术 应运而生。从信息技术发展趋势的角度看,数据仓库技术是随着数据库、计算机网 络和人工智能等技术的发展【2 1 ,而产生的一项新的信息管理技术,其实质是数据库和 人工智能这两项技术有机结合的重要产物【3 j ,它已成为当今信息管理和知识发现领域 中的一项热门的应用技术。 在过去的几年中,许多公司已经花费数百万美元或者更多,来建立企业范围的 数据仓库。i d c 调查了6 2 家实现了数据仓库的欧美企业,设计的行业很多。在被调 查的企业中,有超过9 0 的企业的r o i ( 投资回报率) 超过了4 0 ,5 0 企业的 r o i 超过了1 6 0 ,2 5 的企业r o i 超过了6 0 0 。数据仓库应用的投资平均为2 2 0 0 万美元,收回投资的平均时间为2 3 年f 4 l o 从这个报告中,我们不难看出,数据仓库 华中科技大学硕士学位论文 技术有着广阔的应用前景。 在数据仓库的发展历程中,可以分为三个应用层次: 信息处理支持查询和基本的统计分析,并使用交叉表、表、图表或图进行报 告。数据仓库信息处理的当前趋势是构造低成本的基于w e b 的存取工具,然后与 w e b 浏览器集成在一起。 分析处理支持基本的o l a p 操作,包括切片与切块、下钻、上卷和旋转。一 般地,它在汇总的和细节的历史数据上操作。与信息处理相比,联机分析处理的 主要优势是它支持数据仓库的多维数据分析。 数据挖掘支持知识发现,包括找出隐藏的模式和关联,构造分析模型,进行 分类和预测,并用可视化工具提供挖掘结果。 数据仓库技术已经成为活跃在各行各业领域中的一项重要技术,必然会在未来的 信息领域中占有特殊的地位。 1 2 电信网络故障管理系统的现状 由于网络规模不断扩大,网络复杂性同益提高,为了提高服务质量,对网络的正 常稳定运行要求越来越高。故障管理作为网管系统中的一个重要部分,起到保障网络 运行质量、提高网络能力的作用,j l := ! 受到电信运营商越来越多的关注。 1 2 1 目前电信网故障管理系统存在的问题 目前,已建成的各个业务网管系统都是基于联机事务处理的传统数据库系统,由 于这些系统缺乏集中存储和管理,所以网管数据被存放于分散的异构环境中,同时这 些独立的系统缺乏标准的接口,存在数据类型不匹配,数据定义不同,数据不一致, 数据冗余等问题,从而形成一个个信息孤岛。具体到网管系统故障管理模块则存在以 下问题: 由于构建于传统数据库上的多个网管系统缺少集中管理,每个系统只能从各自提 供的告警报告数据中分析故障,而无法做到话务异常与告警数据的关联,以及告 华中科技大学硕士学位论文 警数据与告警数据的关联,造成网络故障定位不准确或不可靠。 电信网管传统的事务处理方式不能满足海量数据的分析和理解能力,没有对故障 产生的影响进行分析,从而缺乏有效评估网络运营质量的手段。 1 2 2 应用数据仓库技术解决故障管理问题 针对电信网管的特点和问题。如果将数据进行结构上的重组,按更有利于决策 分析的角度去重新整理和组织,将使系统更加完善、科学。数据仓库技术以其面向主 题、集成式等特点,提供了全面、高效、安全的数据处理和管理能力,能有效的解决 电信故障管理中数据分散、数据冗余等问题;而基于数据仓库的数据分析技术,如联 机分析处理、数据挖掘等,也为故障管理提供了有效的数据分析和理解的多种手段。 因此,在故障管理系统中应用数据仓库技术将成为解决当颇s f a l 题的有效方法。 故障管理通过网管中心及时获得交换机告警和异常话务告警信息,并提供显示、 存储、查询、汇总等功能【5 j a 基于数据仓库的故障管理系统主要可以提供以卜功能: 1 ) 网络状态的监测和网络流量优化 2 ) 网络故障的快速准确定位和故障预测 3 ) 分析故障所产生的影响率 4 ) 故障告警门限设雹和查询等 1 3 本文研究的内容和意义 1 3 1 研究的内容 本文首先描述数据仓库的概念、特征,在与传统数据库比较的基础上,介绍了数 据仓库体系结构,随后对两种主要的数据分析技术进行详细说明,并做出比较。通过 数据仓库技术和数据分析技术在电信网络故障管理系统中的实际应用,本文完成了以 下研究内容: 1 ) 研究网络故障对全网业务的影响分析方法一一通过建立有关网络故障影响率 华中科技大学硕士学位论文 主题的数据仓库,将网络故障进行分类,运用数据分析技术,得出评价故障影响率的 方法; 2 ) 研究网络故障的快速定位模型通过对网络数据的深入分析,建立有关网 络故障定位主题的数据仓库,得出故障定位模型,并用数据分析技术对模型进行验证 和评估。 1 3 2 研究的意义 当前不断激烈的市场竞争,对网络运营质量提出了高稳定、高可靠的质量要求。 电信网管系统作为网络运行维护的重要组成部分,面l | 台i 数据激增、各系统缺乏集中存 储和管理等问题。运用当前流行的数据仓库技术和数据分析技术,不仅可以优化数据 存储、提高分析质量,还可以使电信企业从多方面保障网络运行的稳定性、健壮性和 安全性,提高网络利用率,为企业带来丰厚的回报。本次课题利用长途三期电话网网 管系统数据,建立和分析了网络故障定位模型和影响率分析方法,从而提供了一些保 证网络运营质量的新方法和新思路。 华中科技大学硕士学位论文 2 数据仓库概述 本章主要介绍数据仓库,包含数据仓库的概念和特征,并在与传统数据库进行 比较的基础上,介绍了数据仓库的体系结构。 2 1 数据仓库概念 数据仓库已被多种方式定义,使得很难提出一种通用的定义。宽松地讲,数据 仓库是一个数据库,但它与组织机构的传统操作数据库有很大不同。数据仓库系统 允许将各种应用系统集成在一起,为统一的历史数据分析提供坚实的平台,对信息 处理提供支持。更为严格的定义是:“数据仓库就是一个用以更好地支持企业或组织 的决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集 合”f 6 j o 这个简短而又全面的定义指出了数据仓库的主要特征,将数据仓库与其他数 据存储系统区别开来。 2 2 数据仓库基本特征 1 ) 面向主题的特征( s u b j e c t - o r i e n t e d ) 数据仓库围绕一些主题,如顾客、供销商、产品和销售组织等。所谓主题,是 一个抽象的概念,是在较高层次上将企业信息系统中的数据综合、归类并进行分析 利用的抽射7 1 。面向主题的数据组织方式,就是在较高层次上对分析对象的数据的一 个完整、一致的描述,能完整、统一地刻画各个分析对象所涉及的企业的各项数据, 以及数据之间的关系。数据仓库关注决策者的数据建模与分析,而不是集中于组织 机构的日常操作和事务处理。因此,数据仓库排除对于决策无用的数据,提供特定 主题的简明视图。 2 1 集成的特征( i n t e g r a t e d ) 通常,构造数据仓库会涉及到多个异种数据源。在数据进入数据仓库之前,对 原有的分散的、重复的数据,进行综合、过滤、计算等处理,在数据仓库巾保留对 5 华中科技大学硕士学位论文 系统分析有用的数据。使用数据清理和数据集成技术,从而确保命名约定、编码结 构、属性度量等的一致性。 3 1 不可更新的特征( n o n v o l a t i l e ) 针对应用而言,数据仓库总是物理的分离存放数据;这些数据源于操作环境下 的应用数据。由于这种分离,数据仓库不需要事务处理、恢复和并发控制机制。通 常,它只需要两种数据访问:数据的初始化装入和数据访问,即所涉及的数据操作 主要是查询,而不进行数据更新操作。因此,经过集成进入数据仓库后的数据是极 少更新的1 8 l 。 4 ) 随时间不断变化的特征( t i m e v a r i a n t ) 不断删除旧的数据,综合数据不断地进行重新综合。数据存储从历史的角度提 供信息( 例如过去5 1 0 年) 。数据仓库中的关键结构,隐式或显式地包含时间元素。 2 3 数据仓库与传统数据库 传统的数据库技术是单一的数据资源,即数据库为中心,进行从事事务处理、 批处理到决策分析等各种类型的数据处理工作。这种系统称为联机事务处理( o l t p ) 系统。它们涵盖了一个组织的大部分日常操作,如购买、库存、制造、银行、工资、 注册等。在这些数据库中已经保存了大量的同常业务数据。传统的业务系统一般是 直接建立在这种事务处理环境上的。由于关系数据库在o l t p 应用中获得的巨大成 功,使得人们已不知不觉将它划归到事务处理的范畴中【9 j 。 随着技术的进步,人们试图让计算机担任更多的工作,而数据库技术也一直力 图使自己能胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。后来 人们逐渐认识到,在目前的计算机处理能力上,根本无法实现这种功能,而且,事 物处理和分析处理具有极不相同的性质,直接使用事务处理环境来支持决策是行不 通的。数据仓库系统的出现在数据分析和决策方面为用户或“知识工人”提供了服 务,这种系统可以用不同的格式组织和提供数据,以便满足不同用户形形色色的需 华中科技大学硕士学位论文 求,这种系统称为联机分析系统( o l a p ) 。 o l t p 和o l a p 的主要区别概述如下: 用户和系统的面向对象不同:o l t p 是面向顾客的,用于办事员、客户和信息技 术专业人员的事务和查询处理。o l a p 是面向市场的,用于知识工入( 包括经理、 主管和分析人员) 的数据分析。 数据内容不同:o l t p 系统管理当前数据。通常,这种数据太琐碎,难以用于决 策。o l a p 系统管理大量历史数据,提供汇总和聚积机制,“并在不同的粒度级别 上存储和管理信息。这些特点使得数据能够用于更好的决策。 数据库设计不同:通常,o l t p 系统采用实体一联系( e r ) 模型和面向应用妁 数据库设计。而o l a p 系统通常采用星型或雪花模型和面向主题的数据库设计。 视图不同:o l t p 系统主要关注一个企业或部门内部的当前数据,而不涉及历史 数据或不同组织数据。相比之下,由于组织的变化,o l a p 系统常常跨越数据库 模式的多个版本。o l a p 系统也处理来自不同组织的信息,由多个数据存储集成 的信息。由于数据量很大,o l a p 数据也存放在多个存储介质上。 i t , 访问模式不同:o l t p 系统的访问主要由短的原子事务组成。这种系统需要并行 控制和恢复机制。然而,对o l a f 系统的访问大部分是只读操作( 由于大部分数 据仓库存放历史数据而不是当前数据) ,尽管许多可能是复杂的查询。 表2 - 1o l t p 系统与o l a p 系统的比较1 9 j 1 1 0 l 特性 o i t po l a p 特征操作处理信息处理 面向事务分析 用户办事员、d b a 、数据库专业人员知识一 :人( 如经理、主管、分析员) 功能日常操作k 期信息需求,决镶支持 d b 嫂计基于e r ,面向府晕l ! ,雪花,面向主题 7 华中科技大学硕士学位论文 数据当前的,确保最新历史的,跨时间维护 汇总原始的,高度详细汇总的,统一的 视图详细,一般关系汇总的,多维的 i i 。作单位短的,简单事务复杂卉询 存取读属大多为读 关注数据进入信息输山 操作主关键字上索引,散列大鼍扫描 访问记录数鼍 数十个数百万 用户数数千数百 d b 规模1 0 0 m b 到g b 1 0 0 g b 到t b 优先高性能,高可用性高灵活性,端点用户自治 度悬事务吞吐晕卉询吞刚鼍,响应时间 2 4 数据仓库体系结构 2 4 1 数据仓库体系结构分层 1 ) 数据采集层:将数据进行预处理、收集集中到临时数据存储区,为数据仓库生成 进行数据准备。 2 ) 数据存储层:使用专门的存储平台来保存数据仓库的海量数据。数据仓库中保存 着大量细节数据以及各种粒度的汇总数据。 3 ) 应用分析层:综合使用多种前端分析展示工具,实现对数据仓库中数据的分析和 处理,形成网络优化和决策工作所需要的科学、准确、及时的业务信息和知识。这 些分析应用可细分为多维分析、即席查询和分析报表、数据挖掘等多种应用。 华中科技大学硕士学位论文 应用分析层 守一廿谕岔 数据集市j 数据集市j lli 数据集市i 00 u 口一 j i 仔一一驴一减 业务操作型系统 图2 一l 数据仓库的体系结构1 2 4 2 关键名词解释 1 数据提取( d a t ae x t r a c t i o n ) 数据仓库通常按照分析主题来组织数据,这样我们只需要提取出系统分析必需的 数据。现在的数据仓库产品都提供提取引擎,帮助完成数据提取功能。 2 数据清洗( d a t ac l e a n i n g ) 将错误、不一致的数据在进入数据仓库之前予以更证或删除,以免影响决策支持 系统决策的正确性。 3 数据转化( d a t at r a n s f o r m a t i o n ) 9 华中科技大学硕士学位论文 将不同格式的数据转换成统一的数据格式。 4 数据仓库存储( d a t ar e p o s i t o r y ) 用于存放数据仓库数据和元数据的存储空间。主要有三种方式:多维数据库、关 系型数据库和前两种方式的结合。 5 元数据( m e t ed a t a ) 关于数据的数据。在数据仓库中,它是定义数据仓库对象的数据。元数据的存储 应当包括数据仓库结构的描述、操作元数据、汇总用的算法、关于系统性能的数据等 等1 1 1 i 。 6 数据集市( d a t am a r t ) 面向企业中某个部门( 主题) 而在逻辑上或物理上划分出来的数据仓库中的数据 子集。数据仓库中存放了企业整体信息,而数据集市只存放某个主题需要的信息,其 目的是减少数据处理量,使信息的利用更快捷、灵活。 】0 华中科技大学硕士学位论文 3 数据分析技术 数据仓库技术的出现,使为了满足决策分析的应用需求,而数据仓库本身只提供 优质的数据源,无法完成分析和展现数据的过程,数据分析技术则为最终的决策提供 了具体的分析方法,每种方法都是对数据仓库中隐藏信息进行分析、挖掘的过程。因 此,数据仓库的建立必然要考虑数据分析技术。 概括地讲,数据分析技术是一种能够应用在数据仓库基础上,进行应用分析的数 据方法。主要包括o l a p 、数据挖掘、统计分析、联机挖掘等内容。 3 1 联机分析处理技术( o l a p ) o l a p 是针对特定问题的联机数据访问和分析。通过对信息的多种可能的观察 形式进行快速、稳定一致和交互性的存取。o l a p 委员会对其下地定义是:“o l a p 使分析人员、管理人员或执行人员能够从多角度对从原始数据中转化出柬的、能够 真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取, 从而获得对数据地更深入了解的类软件技术”。 3 1 1o l a p 的特点 1 ) 快速性 用户对o l a p 的快速反应能力有很高的要求。系统应能在5 秒内对用户的大部 分分析要求做出反应。对于大量的数据分析要达到这个速度并不容易,因此就更需 要一些技术上的支持,如专门的数据存储格式、大量的事先运算、特别的硬件设计 等。 2 ) 分析性 o l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。用户可以在o l a p 平台上进行数据分析,也可以连接到其他外部分析工具上,如时间序列分析工具、 成本分配工具、意外报警、数据开采等。 3 ) 多维性 多维性是o l a p 的关键属性。系统必须提供对数据分析的多维视图和分析,包 华中科技大学硕士学位论文 括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的 方法,是o l a f 的灵魂。 4 ) 信息性 不论数据量有多大,也不管数据存储在何处,o l a p 系统应能及时获得信息,并 且管理大容量信息。这里有许多因素需要考虑,如数据的可复制性、可利用的磁盘空 间、o l a p 产品的性能及与数据仓库的结合度等。 3 1 2o l a p 的多维数据概念 1 1 维概念 。 维是o l a p 中的一个非常重要的概念,它是人们观察数据的一些特定角度,是 考虑问题时的一类属性。例如时间维、地理维等,也就是说,从时间的角度、地理 的角度来分析数据。 维还可以分层次的。维的层次是指人们观察数据的某个特定角度,还可以存在 细节程度不同的各个描述方面,例如,时间维可以向下再划分出日期、月份、季度、 年等不同的层次:地理维可以划分为国家、省份、城市等层次。 在o l a p 中,维的一个具体取值称为维的成员。例如具体的一个日期“2 0 0 4 年 3 月2 4 日”就是时间维的一个成员。 2 ) 多维概念 很多的维和变量组合起来,称为“多维数组”。一个多维数组可以表示为:( 维1 。 维2 ,维n ,变量) 。而一个多维数组的某个具体的取值,我们称之为数据单 元( 单元格) 。例如,定义一个多维数组:( 时间,地区,商品种类,收益) ,那么其 具体单元格可为( 2 0 0 4 3 2 4 ,北京,计算机,1 0 0 0 0 0 0 ) 。 3 1 3o l a p 的多种服务器类型 逻辑上讲,o l a p 服务器为商务用户提供来自数据仓库或数据集市的多维数据, 而不必关心数据如何存放和存放在何处。然而,o l a p 服务器的物理结构和实现必须 考虑数据存放问题。其具体实现包括: 华中科技大学硕士学位论文 1 ) m o l a p ( m u l t i d i m e n s i o no l a p ) m o l a p 按照主题定义的o l a p 分析所要的数据,对数据的存放采用多维,生成 的多维立方体已经计算生成了一些汇总值。当用户发出请求时,从多维立方体中取 得数据,而不是从数据仓库中取得数据,这样对用户响应的时间较短。但由于多维 立方体的生成,造成了数据额存放空问增大,而且多维立方体巾不可能存储大量细 节,综合数据较多,所以分析粒度不会太细。复杂的系统及预先建立的通用应用倾 向于使用多立方结构,以使数据结构能更好地得到调整,满足常用的应用需求。 d a t a b a s e r e q u e s t l o a d f r o n t - e n d ,r b 0 1 s e l v c r犀再轫r 1 7 瞄乡= 】iu i l 工= = = = s o l m e t e b a t a r e q u e s t 观 r e q u e s tp r o c e s s i n gr e q u e s t s e ts e t 2 ) r o l a p ( r e l a t i o no l a p ) 图3 1m o l a p 体系结构 r o l a p 以关系型结构进行多维数据的表示和存储,而不生成多维立方体,只是 存储数据模型与数据仓库之间的映射关系( 用事实表来表征度量值和各个维的码值, 用维表来存放维的元数据) ,真正的关系物理的存放在数据仓库中。 在进行多维分析时,r o l a p 服务器根据定义的模型,分析用户的需求,从数据 仓库中取得数据,进行实时分析。数据只存储一次,节省了空问,分析可以达到细 节数据。当分析应用的灵活较大,应以r o l a p 为主。 华中科技大学硕士学位论文 d a t a b a s e r e q u e s t f r o n t e n dt o o l s o l s e r v e r群否刁 7 出乡一 m e t e b a t a r e q u e s t 冱卫 r e q u e s tp r o c e s s i n gr e q u e s t 1 磊一 s e i s e l 网3 2r o l a p 体系结构 表3 1m o l a p 与r o l a p 的比较 r o l a pm o l p 没有大小限制,现有关系数据库技术可沿性能好、响应速度快: _ l j : 专为o l a p 设计; 优 可遥过s o l 实现详细数据与概要数据的 支持高性能的决策支持计算、复杂的跨维计 存储; 算; 点 现有关系数据库对r o l a p 做了很多优 多用户的读写操作、行级的计算 化,大大提高了r o l a p 的速度 一般响应速度较慢;增加系统复杂度增加系统培训与维护费埘; 缺 不支持有关预计算的读写操作;受操作系统文件大小的限制,难以达到t b 级: 点s q l 无法完成部分计算,如无法完成多行需要进行预计算可能导致数据爆炸无法支 的计算,无法完成维之间的计算持维的动态变化,缺乏数据模型访问的标准 3 1h o l a p ( h y p e r c u b eo l a p ) 超立方结构( h y p e r c u b e ) 指用三维或更多维描述一个对象,数据的测量值发生 在维的交叉点上,数据空问的各个部分都有相同的维属十牛。该结构综合了m o l a p 和 1 4 华中科技大学硕士学位论文 r o l a p 技术的优点,但是并不是简单地将前两种技术组合起来1 1 3 l ,h o l a p 得益于 r o l a p 较大的可伸缩性和m o l a p 的快速计算,可应用在多维数据库和面向关系数 据库的o l a p 系统中,其主要特点是简化终端用户的操作。 d a t a b a s c f t o n t e n dt o o i s q l 查询 s e r v e r = | f 司1 一 l i l u i 7 。 o t 一 r e q u e s ts e t l o a di n f o r e q u e s t s o l 商 观 r e q u e s tr e q u e s t s e ts e t 图3 3h o l a p 体系结构 3 1 4o l a p 数据的处理方式 s q l 即使活动的o l a p 数据存储在关系数据库中,采用在关系数据席二完成复杂的多 维计算也不是较好的选择。因为s q l 的单语句并不具备完成多维计算的能力,要获得 哪怕是最普通的多维计算功能也需要多重s q l 。在许多情况下,一些o l a p 工具用 s q l 做一些有限功能的、为多维操纵引擎服务的数据提取与准备的工作,然后将计算 结果作为多维引擎的输入,让多维引擎在客户机或中层服务器上做大部分的计算工 作。s q l 起的是辅助作用,可以放在服务端或用户端。 服务器多维操纵引擎 这种引擎以多维的方式实现对o l a p 数据的操纵,在服务器中进行,非常适合客 户服务器结构的o l a p 应用。因为引擎和数据库放在一起,实现有很大的灵活性, 再加上服务器通常配置有较高的性能,能使引擎有效迅速地处理大量地数据1 1 4 j 。 客户机多维操纵引擎 华中科技大学硕士学位论文 在客户机上进行计算,要求用户具备性能良好的p c 机,以此完成部分或大部分的 多维计算,对增强客户端的灵活性,减轻服务器负载有积极的作用。 3 1 5o l a p 的多维数据分析 o l a p 通常将三维立方体的数据进行切片,显示三维的某一平面。如一个立方体 有时间维、商品维、收入维,其图形很容易在屏幕上显示出来并进行切片。但是要 加上一维,则图形很难想象,也不容易在屏幕上表现出来。要突破三维的障碍,就 必须理解逻辑和物理维的差异。o l a p 的多维分析视图就是突破了物理的三维概念, 一采用了旋转、嵌套、切片、钻取和高维可视化技术,在屏幕上展示多维视图的结构, 使用户直观地理解、分析数据,进行决策支持。 在o l a p 中,一般有以下三种对数据的分析方法: 1 1 切片和切块 切片( s l i c e ) 操作在给定的数据立方体的一个维上进行选择,导致一个子立方 体;切块( d i c e ) 操作通过对两个或多个维执行选择,定义子立方体。在多维数据 结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、产品、 时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。 2 1 钻取( d r i l l ) 下钻是上卷的逆操作,它由不太详细的数据到更详细的数据。下钻可以通过沿维 的概念分层向下或引入新的维来实现。例如,沿时问维t i m e 执行下钻,可以实现由 q u a r t e r 层到更详细的m o n t h 层的数据结果,从而使数据立方体详细地列出每月的情 况,而不是按季度的求和。由于下钻操作对给定数据添加了更多细节,它也可以通 过添加新的维到数据立方体来实现。 3 1 旋转( r o t a t e ) 是一种目视操作,它通过转动数据的视角,提供数据的替代,便于我们从不同 侧面观察数据,从而深入了解数据中所包含的信息。 3 2 数据挖掘技术( d m ) 随着现代科技的迅猛发展,一方面有大量的数据,另一方面却缺乏新的、有意 华中科技大学硕士学位论文 义的、有实用价值的信息和知识1 1 5 j 。虽然已经有了有效的手段采集和存储大规模数 据,但是缺乏有效的分析工具从这些数据中提取有用的信息,数据挖掘的兴起就是 要解决这个问题。 3 2 1 数据挖掘概述 数据挖掘是指从大量数据中发现潜在的、有价值的及未知的关系、模式和趋势 1 1 6 j 。并以易被理解的方式表示出来。通过进行数据挖掘用以发现数据之问的复杂联 系以及这种联系对决策的影响。 在实际应用中,通过使用数据挖掘技术,可以产生巨大的商业机会,比如: 自动趋势预测。数据挖掘能自动在大型数据库里面寻找潜在的预测信息。 动态探测以前未发现的模式。 让现有的软件和硬件更加自动化,可以在升级的或新- 丌发的平台上执行。 3 2 2 数据挖掘系统框架 ) 锣 一 知识库 ,一叫 图3 4 数据挖掘系统框架 如图3 - 4 所示,数据挖掘系统中主要的输入是源于数据仓库的数据、分析员的指 导、以及存储数据挖掘系统知识库中的知识和经验,从数据仓库中选择的数据在知 识发现引擎里处理,引擎提供了大量的抽取算法,以便生成辅助的模式和关系。有 1 7 华中科技大学硕士学位论文 些还要加入知识库中,以便后续发现的抽取和进行评价【1 7 l 【1 8 】【1 9 】。 1 1 数据挖掘系统管理器 控制并管理知识发现过程。分析员的输入和知识库中的信息,用于驱动下面三 个过程:数据选取、抽取算法的选择和使用过程、发现的评价过程。系统管理器帮 助生成发现结果的描述,并将恰当发现结构存于知识库以备下一次发现。 2 ) 知识库和分析员的输入 知识库源于多方面必要信息。分析员可以将元数据输入数据仓库中,来描述数 据仓库的数据结构此外,分析员还要在知识库中输入其他相关数据知识,以便按 一种有效的方式指导信息的发现,减少可能丢失的有用密室和关系,同时,分析员 还要作出权衡,存储新的发现结果,提高知谚 发现的能力。 3 1 数据选择 确定从数据仓库中需要抽取的数据及数据结构。知识库指导数据选择构件,决 定要抽取的数据及抽取方式。 4 ) 知识发现引擎 引擎将知识库中的抽取算法提供给数据选择构件,其目的是要抽取数据元素问的 模式和关系。 5 ) 发现评价 分析员要寻找关键性的数据模式,以用户能了解的方式呈现给用户。用于分析 关键性模式的技术包括统计的重点、覆盖级别的置信度等。 6 ) 发现描述 提供两种必要功能。一种是以发现评价辅助分析员,在知识库中保存关键性的发 现结果以备将来引用和使用;另一种是保持发现与用户的通信。 3 2 3 数据挖掘模型和算法介绍 1 ) 关联分析( a s s o c i a t i o na n a l y s i s ) f 驯 华中科技大学硕士学位论文 关联分析是挖掘数据之问有意义的关联或相关联系,关联分析就是利用关联规则 进行数据挖掘,寻找数据中值的相关性,能够支持发现同一事件中不同项目之间的 关联规则。在数据挖掘研究领域,对于关联分析的研究_ 丌展的比较深入,人们提出 了多种关联规则的挖掘算法,如a p r i o r i 、s t e m 、a i s 、d h p 等。 关联规则通过一些度量值来表达数据间的联系。表达某一特定关联出现的频率 在关联规则中称为支持度;当情况一出现时,发生情况二的概率在关联规则中称为 可信度。关联分析得到的模式需要其它数据验证其正确性,并进行必要的试验,来 保证利用历史数据得到的规律有效的应用于未来的环境。比如,设计超市商品摆放 在货架的位黄,把相关性强的商品摆放在一起,可能会导致这样的情况发生:顾客 非常容易地找到需要的商品,就不会去考虑那些不在购买计划内的商品。所以,在 实旌之前一定要经过充分的分析和试验。 关联规则的优点有:可以产生清晰的结果,并使用规则或者直观的图形来表达; 能支持间接数据挖掘i 可以处理变长的数掘,算法只分析规, j j f l i 现的概牢和可信度, 对于数据类型没有更高的要求。 但是也存在一些缺点,如问题变大时,计算量增加很快;容易忽略稀有数据。 分类和预测 分类就是对一个事件或一组对象进行归类。可以用分类模型分析已有的数据, 还可以用分类模型来预测未来。分类和预测是两类主要的预测问题,预测离散数掘 通常称为分类,预测连续数据通常称为预测。 分类算法通过分析已知的分类信息得到一个预测模型。用于建立模型的分类数 据称为训练集。训练集也可以是通过实验得到的数据,比如从数据库中提取出一个 客户名单列表,向这些客户发送新产品的介绍资料,然后收集对此做出回应的客户 资料,用这些记录建立一个预测模型,预测哪类用户会对新产品感兴趣,最后把这 个模型应用于新产品的推广。 1 9 华中科技大学硕士学位论文 决策树是一种典型的分类算法,可以得到类似在什么条件下会得到f f + 么结果的 规则。比如,建立顾客决策树模型,进行市场细分;找出最有可能对促销宣传感兴 趣的客户群。 沿着决策树从上到下遍历的过程中,在每个节点都会遇到一个问题,对每个节 点上问题的不同条件得到不同的分支子树,最后到达叶子节点。生成决策树的过程 是不断把数据进行切分的过程。常用的决策数算法有i d 3 、c 4 5 和c a r t 等。 决策树的优点是生成容易理解的规则,如果建立一个包含几百个属性的决策树, 虽然看起来很复杂,但每一条从根结点到叶子节点的路径所描述的含义还是可以理 解的;计算量相对来说不大;可以处理连续和种类字段;可以清晰地显示哪些字段 比较重要;擅长处理非数值型数据。 使用决策树算法也要注意其局限性。决策树对连续性的字段比较难预测,适合 于离散型地数据;对有时间顺序的数据需要很多预处理;当类别太多时,错误也会 增高。决策树的明确性可能会误导使用者,因为每个节点对应分割的定义都是明确 不含糊的,但在实际应用中会有问题,比如为什么认为年龄为3 0 岁的用户通信话费 欺诈风险高于3 l 岁的用户。 3 ) 聚类分析 聚类就是在事先不规定分组规则的情况下,通过分析数据库中的记录数据,将 数据分组成多个类或簇,同一个簇中的对象之间具有较高的相似度1 2 2 1 。与分类不同 的是,在进行聚集分析之前不知道要把数据分成几组。也不知道怎么分。因此在聚 类分析之后要有对业务很熟悉的分析师来解释聚类结果的意义。聚类能够帮助市场 分析人员从客户数据库中发现不同的客户群,并用购买模式来描述各个客户群的特 征。 神经网络( a r t i f i c i a ln e u r a ln e t w o r k ,简称a n n ) 是常用的聚集算法,它仿照生 理神经网络结构的非线性预测模型,通过学习进行模式识别。这些年来,神经网络 华中科技大学硕士学位论文 越来越受到人们的关注,因为它为解决复杂而庞大的问题提供了一种相对来说比较 简单的方法。神经网络可以相对容易的解决具有上百个参数的问题。 3 3 d m 与o l 气p 的区别 o l a p 是验证式的工具,告诉用户下一步会怎么样( w h a in e x t ) ,如果采取这 样的措施又会怎么样( w h a ti f ) 。o l a p 分析过程是一个演绎推理的过程,用户首 先建立一个假设,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论