（管理科学与工程专业论文）数据仓库中封闭数据立方体技术研究.pdf

合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学硕士 学位论文质量要求。 答辩委员会签名 揣纠霸些凯乃k 艮 朝：似厶局阿砒否掷爻 协姚徘蛳与) 孜擅 剥矶( 够川 一一一 一 独创性声明 本人声明所里交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得 金目壁王些盔堂 或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名：盘鸟卑 签字日期：易一年乒月乒知日 i 学位论文版权使用授权书 本学位论文作者完全了解金胆王些盍堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 金8 巴王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者执壶4 彳 签字日期：砂一年华月九日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师躲( 够研 签字日期：和i 年y 月1 1 日 电话： 邮编： 一一一一 一 数据仓库中封闭数据立方体技术研究 摘要 如何迅速地从海量的、异构的数据源中获得有用的决策信息在现代企业日 常决策活动中起着至关重要的作用，作为解决这个问题关键的o l a p 技术中最 核心的概念数据立方体的实现已经引起了广泛的关注。为提高o l a p 系统的查 询性能，通常需要预计算并物化数据立方体，然而完全地预计算所有方体必将 导致数据立方体体积的爆炸。因此，如何减少立方体的存储代价、查询时间和 维护( 更新) 时间，以及如何在这几者之间达到较佳的平衡成为了数据立方体研 究的主要方向。 封闭数据立方体是近年来提出的一种重要的数据立方体压缩技术，它通过 对数据立方体中的元组进行封闭性判断，将元组分为封闭元组和非封闭元组。 对任一非封闭元组必定存在一个封闭元组和它具有相同的聚集值，去除数据立 方体中所有的非封闭元组就得到了一个封闭数据立方体。封闭数据立方体在较 好的保留了上卷和下钻语义关系的同时大大的减小了数据立方体的体积，而且 它还可以直接应用于关系系统，使用关系系统中成熟的索引技术。 在全面系统的学习和总结了国内外立方体生成技术的研究成果的基础上， 本文首先对封闭数据立方体的概念进行了重新描述，对它的性质进行了研究， 然后给出一种基于集合的计算封闭数据立方体的新方法，通过对原始数据记录 进行预处理可以有效地降低数据量急剧增加对立方体生成时间的影响，在计算 的过程中利用集合操作来优化封闭性的判断和减少不必要的递归调用，减少了 计算所耗费的时间；同时给出了如何在保持封闭数据立方体的封闭性的基础上 对其进行增量更新的方法。最后通过实验对提出的算法进行了初步验证。 关键词：联机分析处理；数据立方体；封闭数据立方体；集合；预处理 i r e s e a r c ho i lc l o s e dd a t ac u b e t e c h n o l o g yi nd a t aw a r e h o u s e a b s t r a c t h o wt oq u i c k l yg e ti n f o r m a t i o nf r o mm a s sa n dh e t e r o g e n e o u sd a t as o u r c e s p l a y sa ni m p o r t a n tr o l ei nt h ed e c i s i o n - m a k i n gp r o c e d u r eo fm o d e r ne n t e r p r i s e a s am e t h o do fs o l v i n gt h i sp r o b l e m ，d a t ac u b e ，w h i c hi s t h ec o r ec o n c e p to fo l a p , h a sa t t r a c t e dw i d ea t t e n t i o n s t h er e a l i z a t i o no ft h ec o r ec o n c e p t d a t ec u b ei nt h e t e c h n o l o g yo fo l a pw h i c hs e r v e sa st h ek e yo fs o l v i n gt h i sp r o b l e mh a sa r o u s e d w i d ec o n c e r n i no r d e rt o i m p r o v eq u e r yp e r f o r m a n c eo ft h eo l a ps y s t e m ，w e u s u a l l yr e q u i r ep r e c o m p u t i n ga n dm a t e r i a l i z i n gd a t ac u b e h o w e v e r ，p r e e o m p u t i n g a l lt h ec u b e sc o m p l e t i n gi ss u r et oc a u s et h ee x p l o s i o no ft h ed a t ec u b e sv o l u m e t h e r e f o r e ，h o wt od e c r e a s ec u b e ss t o r a g ec o s t 、q u e r yt i m ea n dm a i n t e n a n c e ( u p d a t e ) t i m e ，a sw e l la sh o wt or e a c hb e t t e rb a l a n c ea m o n gt h e s eb e c o m e sd a t ac u b e sm a i n r e s e a r c hd i r e c t i o n c l o s e dd a t ac u b ew h i c hh a sb e e nc o m eu pw i t h r e c e n t l yi s a ni m p o r t a n t c o m p r e s s i o nt e c h n i q u eo fd a t ac u b e t h r o u g hj u d g i n gw h e t h e rt h et u p l e si nd a t e c u b ei sc l o s e do rn o t ，w ec a nd i v i d et u p l e si n t oc l o s e dt u p l e sa n du n c l o s e dt u p l e s f o ra n yu n c l o s e dt u p l e ，t h e r ee x i s t sac l o s e dt u p l ew h i c hh a st h es a m ea g g r e g a t e v a l u e sa su n c l o s e dt u p l e w ec a no b t a i nac l o s e dd a t ac u b eb y r e m o v i n ga l l u n c l o s e dt u p l e sf r o md a t ac u b e c l o s e dd a t ac u b en o to n l yg r e a t l yd e c r e a s ed a t a c u b e sv o l u m e ，a tt h es a m et i m er e s e r v i n gs e m a n t i cr e l a t i o no f r o l lu pa n dd r i l l d o w n ，b u ta l s oc a nb ed i r e c t l yu s e di nr e l a t i o ns y s t e ma n du s et h em a t u r ei n d e x t e c h n i q u ei nr e l a t i o ns y s t e m b a s e do ns t u d y i n ga n ds u m m a r i z i n gt h er e s e a r c ha c h i e v e m e n t so f g e n e r a t i n g t e c h n i q u ea th o m ea n da b r o a d ，t h i sp a p e rf i r s td e s c r i b e sr e n e w a b l yt h ec o n c e p to f d a t ac u b e a n dd i s c u s s e si t sp r o p e r t i e s t h e nan e wm e t h o do f c o m p u t i n gc l o s e dd a t a c u b eb a s e do ns e ti sg i v e n a si sk n o w nt oa l lt h a tt h ea m o u n to fd a t ah a sb e e n g r o w i n ge x p o n e n t i a l l ya f f e c t sc u b e sm a k e - t i m e b u tp r e p r o c e s s i n gt h eo r i g i n a l d a t ar e c o r dc a nd e c r e a s et h i se f f e c te f f e c t i v e l y m a k eu s eo fa s s e m b l eo p e r a t i o n o p t i m i z i n gc l o s e n e s sj u d g m e n ta n dd e c r e a s i n gu n n e c e s s a r yr e c u r s i v ei n v o c a t i o n d u r i n gc o m p u t i n g ，t h et i m et a k e nb yc o m p u t i n gc a nb er e d u c e d a tt h es a m et i m e ， t h em e t h o do fi n c r e m e n t a lu p d a t i n go nt h eb a s i so fk e e p i n gt h ec l o s e n e s so fc l o s e d d a t ac u b e f i n a l l y , t h ea b o v e a l g o r i t h mi sd e m o n s t r a t e dp r e l i m i n a r i l yt h r o u g h e x p e r i m e n t k e y w o r d s ：o l a p ；d a t ec u b e ；c l o s e dd a t ac u b e ；s e t ；p r e p r o c e s s i i 致谢 时光荏苒，岁月如梭。在合肥工业大学两年半的研究生学习期间，周围的 一切都深深的影响了我，使我的各方面有了前所未有的转变。在论文完成之际， 我谨向关心、支持与帮助我的导师、朋友和亲人们表示衷心的感谢! 首先感谢我的导师倪志伟教授，在整个研究生学习期间，他对我学业上严 格要求，生活上关怀备至。在参与课题科研过程中，导师渊博的知识、严谨的 治学态度、敏锐的学术思想、诲人不倦的学者风范都给我留下了深刻的印象， 使我受益终身；在我论文选题、写作到定稿的整个过程中，都得到了倪老师不 断的指导和点拨。今日论文完稿之际，谨向导师表示我最崇高的敬意和最真诚 的谢意。 在学习和论文写作过程中，感谢戴奇波、查春生、周之强、公维峰、姜苗 等同学以及研二的师弟师妹们一直给予我的支持和帮助，特别要感谢倪丽萍师 姐、高雅卓师姐、伍章俊师兄、王超师兄在我论文写作过程中给予的建议和帮 助。几年的相处使我们建立了深厚的友谊，这一切我将难以忘怀。 在论文写作过程中，父母一直鼓励和支持我追求进步、精益求精，给予我 人世间最伟大和无私的爱，他们是我的精神支柱。感谢父母对我教育和支持! 同时感谢审阅我的论文和参加我论文答辩的各位老师，感谢他们在百忙之 中帮助我完成硕士论文的最后一个过程，我荣幸之至! 作者：孟金华 2 0 11 年4 月 目录 第一章绪论l 1 1 课题背景1 1 2 相关研究。1 1 3 研究内容及意义2 1 4 论文组织结构。3 第二章数据仓库和联机分析处理4 2 1 数据仓库4 2 1 1 数据仓库的产生及定义4 2 1 2 数据仓库的特征5 2 i 3 数据仓库的数据模式6 2 1 4 数据仓库架构6 2 1 5 数据仓库技术。7 2 1 6 数据仓库基本概念7 2 2 联机分析处理8 2 2 1o l a p 定义8 2 2 2o l a p 的特点9 2 2 3o l a p 的分类及比较。9 2 2 4o l a p 的多维数据概念和典型操作1 0 2 2 5o l a p 的系统框架2 。1 1 2 3 本章小结1l 第三章数据立方体1 2 3 1 数据立方体概述1 2 3 1 1 数据立方体的形式化描述1 4 3 1 2 数据立方体的计算1 4 3 1 3 数据立方体的存储1 5 3 1 4 数据立方体的查询1 8 3 2 数据立方体的计算1 9 3 2 1 多路数组聚集( m u l t i w a y ) 1 9 3 2 2p i p e s o r t 算法2 0 3 2 3p i p e h a s h 算法2 l 3 2 4o v e r l a p 算法2 2 3 2 5b u c 算法2 2 3 3 数据立方体的更新2 4 3 4 本章小结2 4 i v 第四章封闭立方体的生产算法及增量更新2 5 4 1 封闭数据立方体的基础概念及特性2 5 4 1 1 封闭数据立方体的基础概念2 5 4 1 2 封闭数据立方体的性质2 8 4 2 基于集合运算的封闭立方体生产算法3 0 4 2 1 预处理3 l 4 2 2 对计算过程进行优化3 1 4 2 3 算法描述。3 1 4 3 封闭立方体的增量更新3 3 4 4 实验分析3 4 4 4 1 试验数据集3 4 4 4 2 立方体压缩率3 4 4 4 3 算法性能3 5 4 5 本章小结3 6 第五章总结和展望3 7 5 1 工作总结3 7 5 2 工作展望3 7 参考文献。3 8 攻读硕士学位期间的成果：4 2 v 插图清单 图2 1 数据仓库整体架构6 图2 2 数据仓库逻辑架构7 图2 30 l a p 的系统框架1 1 图3 1 三维数据立方体1 3 图3 2 四维数据立方体1 3 图3 3 方体格( d 1 ，d 2 ，d 3 ，d 4 四个维度组成的数据立方体) 1 3 图3 4 典型的商立方体结构1 7 图3 5侏儒数据立方体结构1 8 图3 - 6 处理树2 0 图3 7 最小生成树和计算计划2 1 图3 8b u c 处理过程图2 3 图4 1 元组数目对存储空间的影响3 5 图4 2 元组数对计算时间的影响3 5 图4 3 维数对计算时间的影响3 6 v i 表格清单 表3 - 1 基本事实表17 表4 1 一个简单的事实表2 6 表4 2 封闭数据立方体2 6 表4 3 普通数据立方体2 7 表4 4 一个简单的事实表3 0 v i i 第一章绪论 1 1 课题背景 面向事务型处理的数据库应用已有许多年，随着时间的推移，各数据库系 统中的数据不断增长，为了能从纷繁复杂、大量沉淀的历史数据环境中探索出 事务的规律和发展趋势，得到有用的分析决策信息，上世纪8 0 年代中期，人们 提出了数据仓库的概念。有“数据仓库之父 之称的wh i m n o n 1 1 将数据仓库 定义为：“数据仓库是一个面向主题的、集成的、不可更新的且随时间不断变 化的数据集合，数据仓库的建立为决策分析提供了更好的支持 。通过数据仓 库与数据挖掘技术相结合的方式来处理企业中每天所产生的大量数据，并从中 提取对企业决策有用的分析结果，则是企业决策管理系统的一个重要发展方向 【2 ，3 】 o 联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，简称o l a p t 4 1 ) 是由有“关系数 据库之父 之称的e f c o d d 在1 9 9 3 年首次提出的，是以多维分析为基础，从 多个角度和侧面对数据进行查询和分析，以帮助人们快速的、准确的获得数据 中隐藏的重要信息，是数据仓库支持决策分析的关键。由于o l a p 处理过程中 有很多查询分析操作要从磁盘读取大量的数据进行复杂的计算，导致了o l a p 工具不能快速的响应用户提交的查询请求。为了解决这个问题，由j i mg r a y 在 1 9 9 6 年首次提出了数据立方体( d a t ac u b e t 5 】) 操作符。在多维数据仓库中，将数 据以数据立方体的形式进行存储，一个n 维数据立方体包含2 n 个子立方体，每 个子立方体都是一个g r o u pb y 操作的结果，它概括了用户可能提出的所有查询 类型。通过采用预计算【6 】和物化选择将查询结果预先计算出来保存到磁盘，以 提高查询的效率。在回答用户查询时，通过查询重写把用户的查询转换为对某 一个实例化视图的查询，以提高查询响应速度。 数据立方体存储数据仓库中的数据，是进行o l a p 分析处理的数据基础， 然而它的实现需要大量的复杂计算和巨大的存储空间，同时当数据源发生变化 时对其进行更新维护也是很困难的。因此如何在保证一定的查询分析效率的同 时，尽可能的提高数据立方体的计算速度和降低数据立方体存储空间一直是人 们研究的重点。 本文结合数据仓库技术的理论知识，根据当前数据立方体的研究现状，对 封闭数据立方体( c l o s e dd a t ac u b e ) 的计算技术进行研究。 1 2 相关研究 数据立方体作为联机分析处理的数据基础，当面对海量的、多属性的数据 时，如何在保证o l a p 操作准确性的基础上，减少数据立方体的存储空间、生 成时间和查询响应时间成为当前研究的热点。目前，这方面的研究包含： ( 1 ) 实例化视图选择方式 h a r i n a r a y a n t7 】和s h u k l ai s 】提出部分物化方体的贪婪算法( g r e e d y ) 及其改进； 严勇和袁晴晴【9 1 在贪婪算法基础上提出s e m i g r e e d y ( s g ) 算法( 是在一定条件 限制下的g r e e d y ) ，具有更大的实用价值；张晓辉和袁愿【l o i 提出两层物化视图 的求解方案，以解决贪婪算法仅能求局部最优的问题；b e y e r 和r a m a k r i s h n a n j 提出的b u c 算法自底向上计算冰山立方体( i c e b e r g c u b e ) ，对不满足冰山条 件的元组进行剪枝操作，以减少数据立方体的元组个数；h c u b i n g 1 2 】利用h 树结构和度量值的转化，s t a r c u b i n g 1 3 , 1 4 】引入共享维的概念利用星型树结构存 储数据，计算具有复杂度量的冰山立方体：m m c u b i n g 1 5 】是一种基于分解格空 间的有效的冰山立方体计算方法。 ( 2 ) 特殊存储结构型立方体 d w a r f c u b e 1 6 】是一种具有相当高压缩率的立方体存储结构，利用一个有向 无环图结构来存储数据，可以同时大量的减少前缀冗余( 大量存在于稠密的数 据立方体中) 和后缀冗余( 大量存在于稀疏的数据立方体中) ；s i s m a n i s 【1 7 1 提 出的层次式d w a r f 和胡孔法i l 副提出的d h c u b e ( d i m e n s i o nh i e r a r c h yc u b e ) 都是 在d w a r fc u b e 中加入维层次信息得到的d w a r f 的扩展结构。 ( 3 ) 语义压缩型立方体 c o n d e n s e dc u b e 1 9 】主要提出了单一基本元组b s t ( b a s es i n g l et u p l e ) 、单一 维s d ( s i n g l ed i m e n s i o n s ) 和单一维集s d s e t ( as e to fs d s ) 等概念，是一种无损 的数据立方体压缩策略；l a k s h m a n a n ，p e i 和h a n 2 0 , 2 1 提出了将数据立方体中的 数据单元划分为若干个不相交的等价类的商立方体( q u o t i e n tc u b e ) 结构来概括 数据立方体的语义并进一步扩展为q c 树结构，x i a n g 和g o n 9 1 2 2 1 在此基础上进 行了近一步的研究给出了下钻立方结构；d e p t h f i r s ts e a r c h 和c l a s s - m e r g e 【z j j 是计算q u o t i e n tc u b e 的典型方法；王珊和李胜恩等【2 4 之6 】基于数据立方体的封 闭性度量，选择封闭的单元进行物化提高了存储和计算立方体的效率；孙延凡 和陈红【2 7 , 2 8 提出f r e ec u b e 通过发掘基本关系表维值之间的蕴含规则去除冗余 数据并在此基础上结合存储和索引结构提出了基于图结构的存储方法g s f c ( g r a p hs t r u c t u r e df r e ec u b e ) ，利用前缀压缩进一步减小f r e ec u b e 体积；文献【2 列 提出了针对高维数据集的计算方法，利用预先计算的外壳片段立方体动态组装 和计算所需要的子立方体单元，减少了存储空间能快速的响应少量维度的查询， 文献【3 0 】在此基础上提出针对基数较小的高维数据集的分片计算思想。 除此之外，还有些近似计算型立方体和p r e f i x c u b e t 3 l j 、 r a n g ec u b e p 引、 s e m i c l o s e dc u b e 33 1 、q u a s i c u b e s t 34 1 、c u b e t r e e 3 5 1 等也都是很有价值的研究成 果。 1 3 研究内容及意义 数据立方体是实现多维数据查询和分析的一种重要手段和关键技术，然而 当对海量的、复杂的数据进行立方体计算和更新维护时，需要耗费大量的时间 2 和存储空间，因此要想数据立方体得到更加广泛的应用就必须要对它的计算和 存储进行优化和压缩。目前很多的学者致力于研究如何在尽量保持元组之间潜 在关系的基础上对数据立方体进行压缩的同时，减少数据立方体的查询相应时 间和更新维护时间。 由于实际中应用的多维数据集大多是稀疏的，而数据立方体中的元组又都 是通过对基本事实表中的数据进行聚集得到的( 立方体中的每个元组都对应着 基本关系表中的一组基本元组集) ，因此数据立方体中存在了各种冗余数据。 去除立方体中的冗余数据，不仅能减小立方体的体积，而且能较好的提高数据 立方体的生成速度。在众多的已有研究成果中，封闭数据立方体技术通过对元 组进行封闭性判断，去除非封闭的元组能很好的去除数据立方体中的冗余数据， 同时可以直接的应用与关系数据库，是一种较优秀的数据立方体实现方法。 本文在对数据仓库技术、o l a p 技术和数据立方体的相关知识进行介绍和 总结的基础上，首先对封闭数据立方体的概念进行重新描述，对它的性质进行 了研究，然后给出一种基于集合的计算封闭冰山立方体的新方法，通过对原始数 据记录进行预处理可以有效地降低数据量急剧增加对立方体生成时间的影响， 在计算的过程中利用集合操作来优化封闭性的判断和减少不必要的递归调用， 减少了计算所耗费的时间；同时给出了如何在保持封闭数据立方体的封闭性的 基础上对其进行增量更新的方法。 1 4 论文组织结构 论文的总体结构如下： 第一章绪论部分。阐述了论文研究的背景和研究意义，分析国内外研究现 状以及本文的章节安排和研究方法。 第二章介绍了数据仓库和联机分析处理( o l a p ) 的相关知识。 第三章介绍数据立方体的技术理论。首先介绍了数据立方体的基本概念， 包括定义及性质，然后介绍了数据立方体的存储、计算和增量更新。 第四章基于集合对封闭数据立方体的概念进行了重新描述，并对封闭数据 立方体的性质进行了研究，给出了新的封闭数据立方体生产算法和封闭数据立 方体更新方法的分析与设计，并用简单的例子进行了阐述。最后对算法的性能 进行了实验验证。 第五章对本文的研究工作进行总结，并对下一步的工作进行了展望 第二章数据仓库和联机分析处理 2 1 数据仓库 2 1 1 数据仓库的产生及定义 自从以单一的数据资源为中心、作为数据库管理手段的传统数据库系统诞 生以来，它就一直被应用于事务处理。随着信息化的发展，数据库系统得到了 越来越多的广泛应用，大量的历史业务数据被积累保存了下来。由于剧烈的市 场竞争使越来越多的企业认识到，想要在竞争中获得生存和发展，能否充分利 用现有业务系统数据，对数据库中保存的当前和历史业务数据从多个角度、视 图进行深层次地挖掘和分析，从大量的、复杂的数据中获取有用信息，为企业 管理层和各级业务层提供快速、准确和方便的决策支持显得至关重要。从上个 世纪7 0 年代起，人们发展出了决策支持系统d s s ( d e c i s i o ns u p p o r ts y s t e m ) ， 它以数据分析和建模定量分析为基础很好的满足了管理决策的要求。数据库系 统也从主要用于事务处理被扩展到用于事务处理、批处理到分析处理等各类型 的信息处理中。然而，由于事务处理和分析处理的不同性质，人们渐渐意识到 使用传统的数据库系统( 即事务处理环境) 来支持决策是不合适的，主要原因 有以下几点： ( 1 ) 操作的性能特性不一样 在传统的数据库系统中，频繁进行的是需要的处理时间比较段的数据存取 操作；然而在分析型处理环境中则不是这样，d s s 系统的一次查询分析操作可 能需要好几个小时才能得到结果，会占用很多的资源。因此在相同的环境中进 行这两个不同处理性能的应用是不合适的。 ( 2 ) 数据源的复杂性和易变性问题 利用d s s 系统进行决策分析时，可以利用的数据越全面、正确，得到的分 析结果才会越准确越可靠。然而由于数据来源不同、数据格式不一致、分散的 事务处理应用等问题导致了很多企业内部的数据都是分散的，不利于直接用于 决策分析。同时不断变化的数据源也增加了想准确的进行决策分析的难度。 ( 3 ) 积累的数据的处理方式不同的问题 一般情况下，事务处理操作所针对的仅仅是当前数据，所以之前的数据一 般都没有被好好的保存，就算被保存了也没有好好的利用。然而决策分析则不 同，它很重视历史数据，需要对历史数据进行仔细的分析，才能得出准确的结 论，明确企业将来的发展方向。在数据的空间和时间两方面，事务处理环境 ( o l t p ) 很难满足d s s 的要求。 ( 4 ) 细节数据的问题 由于大量的细节数据会增加分析所需要的时间和分散分析人员的注意力这 两方面的原因，d s s 一般不会直接对大量的细节数据进行处理，需要先对这些 4 细节数据进行整合。然而事务处理系统( 传统的数据库系统) 并不具备对积累 的大量数据进行综合的功能。 数据仓库技术将按照分析处理的需要，将分析型数据从事务处理环境中分 离出来，提高了决策分析的性能【l 】。上个世纪8 0 年代中期，w h i n m o n 在建 立数据仓库中首次提出了数据仓库的概念。随着对大型数据库系统研究、管 理和维护等方面知识的不断完善，人们在总结和丰富多年企业信息化的经验之 后，对数据仓库进行了更加准确的定义：“数据仓库是在企业管理和决策中面 向主题的、由多数据源集成的、与时间相关的、以读为主的数据集合 。随后 e f c o d d 又提出了一种建立在数据仓库之上的，与联机事务处理( o n l i n e t r a n s a c t i o np r o c e s s i n g ，o l t p ) 相对应的多维查询分析工具联机分析处理 ( o n 1 i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) 。数据仓库和联机分析处理概念的提出， 极大地促进了相关技术的研究与发展。联机分析处理和数据仓库【36 j 的不断发展 也为数据仓库的广泛应用打下了良好的基础。 2 1 2 数据仓库的特征 除了具有传统数据库系统的完整性、共享性和数据独立性之外，数据仓库 还具有如下的特性： ( 1 ) 面向决策主题( s u b j c o t o r i e n t e d ) 相比与面向应用设计的传统数据库系统，数据仓库是面向决策主题设计的， 能更好的适用于各种动态分析。主题是一个将企业中的信息数据在较高的层次 上进行综合、归类和进行分析利用的概括，是用户使用数据仓库进行决策时所 关心的重点方面。主题是和宏观的分析领域相对应的，基于主题而被组织起来 的数据被分为一个个有自己的逻辑内容而又互不相交的领域，比如销售情况、 库存状况、人事状况等。而面向主题是指数据仓库中的信息是针对主题区域， 比如销售、库存等进行数据组织，能更好的适应各种经营环境的变化，更好的 为主题决策提供信息。 ( 2 ) 数据仓库具有集成性( i n t e g r a t e d ) 来自于不同的操作事务数据库的数据在进入数据仓库之前，都要使用一致 的命名规定、度量、物理属性和语义来进行统一，将原始数据由面向应用的转 变成面向主题的，从而满足业务的需求，减少数据之间的冗余信息。因此数据 仓库中的数据都是以一种单一的、能够被分析人员理解的格式进行存储的。 ( 3 ) 数据仓库具有非易失性( n o n v o l a t i l e ) 数据仓库中存储的信息包含当前的数据和历史的数据，对这些数据进行的 大部分操作为查询和插入，而修改，删除等操作则较少执行。每过段时间，都 需要按照一定的标准把当前数据转换成历史数据并对比较久远的、对决策没有 太大意思的历史数据进行清除。因此，可以说数据仓库在一定的时间间隔内是 稳定的，可以采取索引、预计算和数据库的正规化来优化数据仓库的查询性能。 ( 4 ) 数据仓库具有随时间变化性( t i m e v a r i a n t ) 数据仓库中存储的并不仅仅是企业某一时间点或者当前的数据，而是一段 比较长的时间段内的数据，可以对企业的发展状况和未来趋势做出分析和预测。 数据仓库中包含了当前的和历史的数据，而且定期的将当前的数据转化成历史 数据，对没用的、很久以前的数据进行清理，因此可以说数据仓库是随时间变 化的。 2 1 3 数据仓库的数据模式 数据仓库中的数据都是按一定的模式进行组织的，常用的有星型模式【3 7 】 和雪花型模式【3 8 , 3 9 】。 ( 1 ) 星型模式 星型模式是以事实表来存储事实信息，以维表来存储维信息，然后通过事 实表中的外键将事实表和维表连接起来。例如，一般一个销售数据库的星型模 式中可由存储销售记录的销售事实表、存储时间取值范围的时间维表、存储产 品信息的产品维和存储地区信息的地区维等组成。 ( 2 ) 雪花模式 雪花模式是在星型模式的基础上发展出来的，将某些规范化的维中的数据 进一步分解到附近的表中，即按层次结构的形式来表示维表。雪花模式将部分 的维表进行进一步细分和层次化，变为更小的事实表。雪花模式具有可以应付 不同级别用户的查询，通过层次间的联系把源数据向上综合，尽可能地减少存 储数据所需要的空间以及联合分解之后较小的维表来提高查询效率等优点。虽 然雪花模式增加了某些查询的复杂性和涉及的表数量，但是它降低了系统的通 用程度，使系统进一步专业化和实用化。 2 1 4 数据仓库架构 数据仓库的建立是围绕某个分析主题正确的整合与管理异构数据的技术， 其目的在于帮助高效地分析业务经营上的某个问题。 数据仓库的整体架构如图2 1 所示【4 0 】： 数据源 _ 叫整体数据仓库h 部门性数据仓库 - |查询工具 _ - 叫 终端用户 ij i 。j 1 。，。，一【一【，一 图2 1 数据仓库整体架构 完整数据仓库的逻辑架构如图2 2 所示： 6 兰引卜 - _ - - _ h 符售系统r 、 三彰、 豺务系统卜_ 提取 i ，、- 转化 爿詈 、 圣鲁 装载 、 ，t 单系统p 、 兰引i x 、 - _ 一i 立用系统r _ 图2 - 2 数据仓库逻辑架构 啼 报表 一愚 o l a p 吲蹈汹 一 数据挖掘 2 1 5 数据仓库技术 目前数据仓库技术主要可以分为：数据预处理技术、o l a p 技术和数据挖 掘技术这三个方面。 ( 1 ) 数据预处理技术 因为数据仓库是面向集成的，需要对异构的、各种类型的数据进行统一存 储和管理，所以数据在进入数据仓库之前必须先进行预处理操作，具体的操作 包括提取数据、净化数据、进行数据转化、数据的预计算、数据的装载。 ( 2 ) 联机分析处理技术 联机分析处理技术( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) ，是数据仓库系统中 关键的技术，接下来将会进行重点介绍。 ( 3 ) 数据挖掘技术 数据挖掘工具作为数据仓库系统中的另一种重要的分析工具，一般包括数 据集成、挖掘、表述、评价四个步骤，其中当对评价的结果不满意的时候，回 转继续进行挖掘操作。 2 1 6 数据仓库基本概念 ( 1 ) 多维分析 多维分析是指为了使用户能从多个角度和侧面对数据库中的数据进行查询 和分析，以发现隐藏在数据中的有用信息，而对多维数据进行的分析操作，包 括钻取、切片、切块和旋转等 ( 2 ) 数据立方体( d a t ac u b e ) 数据立方体是多维数据模型上的多维视图的集合体，是对某一主题下的所 有视图进行组织的一种数据结构【35 1 。一般而言，一个主题对应一个数据立方体。 在第三章我们将会对数据立方体的概念进行详细的说明。 ( 3 ) 视图( v i e w ) 在数据仓库中，视图被用来存储已经进行过聚集计算的结果数据，是通过 对基本事实表进行查询操作得到的。对视图中的数据进行预先计算并将结果存 储在视图中可以有效的提高查询效率。由于数据仓库中的存储了大量的数据， 因此直接对物化视图( 实际存放数据的视图) 进行存取的效率要明显的高于对 视图进行重新计算。 数据立方体主要有三种实现的策略【3 6 】： 1 ) 全部物化 完全物化是指预先计算整个立方体，将得到的视图全部进行存储。当数据 立方体的视图都是物化视图时虽然能够为快速查询提供支持，但是需要大量的 空间来存储预先计算的聚集值，会导致存储空间的爆炸式增长。因此，当数据 源发生变化时，为保持数据的一致性，将需要很大的代价来对数据立方体进行 维护。特别是数据立方体中含有大量的视图时，情况会变的更加的糟糕。 2 ) 全部不物化 全部不物化是指不进行任何的预先计算，数据立方体中的视图全部是虚视 图( 非物化视图) 。当数据立方体的视图都是虚视图时，虽然能很好的减少存 储空间和维护成本，但是当用户提出查询请求时，不能直接通过查询得到所需 要的数据，需要对虚视图中的数据进行计算，因此用户等待查询结果的时间将 会比较的长，特别是基本事实表中含有大量的记录时，需要的时间将会更长。 鉴于数据仓库的数据量通常很大，因此该策略很少被采用。 3 ) 部分物化 部分物化是指为了达到查询性能和维护性能的平衡，按照一定的规则选择 数据立方体的一个子集进行预先计算。部分物化是存储空间和查询相应时间的 一种折中，现在有很多优秀的算法都是采用的部分物化策略。 2 2 联机分析处理 联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) 是目前发展越来越成熟 的一种建立在数据仓库之上的多维查询和分析工具，保障了数据仓库中存储的 大量数据得以有效的利用。o l a p 技术自从出现以来就一直受到企业管理人员 的一致好评。由于o l a p 技术基于维度的概念层次组织数据，对数据进行聚集 和合并，并应用一些统计技术来实现复杂的、特定的查询，使它具有直观的数 据操作、灵活的分析功能、可视化的结果表达等众多优点，将企业从前台业务 管理( o l t p ) 转向后台的决策分析，为企业各层次的管理人员提供了多角度的便 捷的探察企业数据的手段。 2 2 1o l a p 定义 1 9 9 3 年，有“关系数据库之父”之称的e f c o d d 首先提出了和联机事务 处理( o l t p ) 相对应的概念联机分析处理( o l a p ) 。目前最贴切、最准确的o l a p 定义是：“o l a p ( 联机分析处理) 是使分析人员、管理人员或执行人员能够 从多种角度对从原始数据中转化出来的、能够真正为用户所理解的并真实反映 企业维度性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了 解的一类软件技术 。 2 2 20 l a p 的特点 o l a p 的特点可以用：f a s ta n a l y s i so fs h a r e dm u l t i d i m e n s i o n a l i n f o