（产业经济学专业论文）数据仓库增量维护的体系结构研究.pdf

对外经济贸易大学硕士论文 用d e l t a 表中的内容对数据仓库对象进行增量维护，该方法能够将复杂的维护过 程进行分解，使可控制性和正确性得到进一步的保证。 另外，在数据刷新过程中，数据仓库通常是不可访问的，为了减少数据仓库 对外“不可见”的时间以提高数据仓库的有效性，我们将实视图的维护过程分成 了数据传送和刷新两个阶段。在数据传送阶段，我们只是在后台准备即将应用到 数据仓库对象中的数据，而数据仓库对象对用户仍然是可访问的，因而这个阶段 会做尽可能多的变化数据处理工作以减少刷新阶段的工作量和所需的时间。在数 据刷新阶段，由于与数据仓库对象结构相同的数据已经准备好，因而刷新的效率 会显著提高。 最后，越来越多的不可预测性和激烈的竞争迫使企业迅速识别内外部的变 化，并及时做出适当响应，这就使实时商务智能逐渐受到企业的青睐。而对于一 个可靠的实时商务智能系统，它必须有相应的数据仓库为其提供可靠的用来进行 分析与决策所必需的数据，这就要求数据仓库具有与商务智能系统一致的实时程 度。需要特别说明的是，实时数据仓库并非适用于所有的情况，也并非时滞越短 越理想。这主要取决于两个因素：数据的可获得性和商业运作本身，前者是限制， 可以通过技术来克服，而后者则是实实在在需要考虑的因素，比如实施实时数据 仓库以支持实时商务智能从而做出实时响应，这对特定的商业问题是否有意义， 这其中的获益是否足够补偿付出。本文就在之前工作的基础上提出了( 准) 实时 数据仓库增量维护的体系结构。它考虑了原体系结构中各模块可采取的不同策 略，这些不同策略的组合就构成了多种级别的实时性，分别适用对实时性有不同 要求的数据仓库系统。 关健词：数据仓库，增量维护，体系结构 2 对外经济贸易大学硕士论文 a b s t r a c t w h i l ed a t a b a s em e e t st h en e e df o rs t o r i n gd a t a , e s p e c i a l l yf o rs t o r i n gr o u t i n e b u s i n e s sd a t a , d a t aw a r e h o u s em e e t st h en e e df o ro r g a n i z i n ga n dp r o c e s s i n gt h e s e b u s i n e s sd a t ah e n c er e a p i n gi n f o r m a t i o nf o rd e c i s i o nm a k i n g i nt h ee r aw h e nr a p i d c h a n g e sm a k ei m p o r t a n to f r a p i dr e s p o n s e s ，i n f o r m a t i o nw i t hh i g hq u a l i t yf o rd e c i s i o n m a k i n gc a l l sf o rd a t aw a r e h o u s ew i t hh i g he f f i c i e n c y , w h i c hf u r t h e rd r i v e st h en e e dt o e n h a n c et h em a i n t e n a n c ep r o c e s so f d a t aw a r e h o u s e d a t aw a r e h o u s ec o n t a i n sl a r g em o u n to f i n f o r m a t i o n , o r e nc o l l c t e df r o ma v a r i e t yo f i n d e p e n d e n ts o u r c e s a sc h a n g e sa r ec o l l e c t e df r o md a t as o u r c e s , a l ld a t ai n t h ed a t aw a r e h o u s et h a td e p e n du p o nt h e m m u s th eu p d a t e dt or e f l e c tt h ec h a n g e s s i n c et h e r ea r es om a n ya m o u m so f d a t ai nt h ew a r e h o u s e , i ti su n f e a s i b l et or e l o a d t h ew h o l ed a t aw a r e h o u s ee a c ht i m e s oi ti sn e c e s s a r yt of i n dam e t h o dt h a tc a n e f f i c i e n t l yr e f r e s ht h ed a t aw a r e h o u s e t h a ti st os a y , t h ed a t aw a r e h o u s ei so n l y u p d a t e dw i t ht h ec h a n g e dd a t ac a p t u r e df r o md a t as o u r c e s d e c i s i o ns u p p o r tf u n c t i o n s , s u c ha so n l i n ea n a l y t i c a lp r o c e s s i n g ( o l a p ) a n d d a t am i n i n gi n v o l v ec o m p l e xa g g r e g a t eq u e r i e so v e rl a r g ev o l u m e so f d a t a w a r e h o u s ea p p l i c a t i o n st h e r e f o r eb u i l dac e r t a i nn u m b e ro f m a t e r i a l i z e dv i e w s , w h i c h s t o r er e s u l t sf o rs o m e q u e r i e st h a tw i l lh eu s e df r e q u e n t l yo rw i l lc o s tm u c h t o c a l c u l a t e , t oi n c r e a s et h es y s t e mp e r f o r m a n c e a sm a t e r i a l i z e dv i e w sa r eb a s e do n d a t as o u r c et a b l e s , t h e ya l s on e e dt ob em a i n t a i n e d a n da sp a r to f t h ed a t aw a r e h o u s e m a i n t e n a n c e , m a t e r i a l i z e dv i e wm a i n t e n a n c ei sa l s oi n c r e m e n t a l a l t h o u g hm a t e r i a l i z e dv i e wt a k e st h ei r r e p l a c e a b l ep o s i t i o ni nd a t aw a r e h o u s e , i t c o m p o s e sa no r g a n i s mt o g e t h e rw i t ho t h e ro b j e c t sa n di n t e r a c t i n gm o d u l e so f d a t a w a r e h o u s e , t ；ot h ed i s c u s s i o na b o u td a t aw a r e h o u s em a i n t e n a n c eo a n n o tb er e s t r i c t e d t om a t e r i a l i z e dv i e w s ，i nt h ep a p e r s , w ep r o p o s eaf r a m e w o r kf o rr e f r e s h i n gd a t a w a r e h o u s e si n c r e m e n t a l l y i ti ss h o w nt h a tt h ed a t aw a r e h o u s em a i m e n a n c ep r o c e s si s ac o m p l e xp r o c e s sc o m p r i s i n gs o v e r a lt a s k s , e g ，m o n i t o r i n g ，e x t r a c t i n g , t r a n s f o r m i n g a n di n t e g r a t i n go p e r a t i o n a ld a t a , l o a d i n ga n dr e f r e s h i n gt h ed a t aw a r e h o u s ea n d p r e s e r v i n gh i s t o r i c a ld a t a t h ef r a m e w o r kd e c o m p o s e st h em a i m e n a n c et a s k i n t o m o d u l a n dr e f l e c t st h ei n t e r a c t i o nb e t w e e nt h e m a p r e r e q u i s i t ef o r i n c r e m e n t a lm a i n t e n a n c ei st om o n i t o ra n dc a p t u r et h e c h a n g e dd a t ao f d a t as o u r c e s a c c o r d i n gt od i f f e r e n tt y p e so f d a t as o u r c e s , t h e r ea r e d i f f e r e n tm e t h o d sf o ra c h i e v i n gt h i s i nt h ep a p e r , s o m eo f t h e s em e t h o d sw i l lb e 3 对外经济贸易大学硕士论文 a n a l y z e d , a n dt h em e c h a n i s m t h a ti sa p p l i e di no r a c l e9 iw i l la l s ob ei n t r o d u c e d w h e nt h ed a t aw a r e h o u s ei sr r l a i n t a i n e di nu s u a lw a y , c h a n g e di n f o r m a t i o nw i l l b ed i r e c t l ya p p l i e dt ot h et a b l e sa n dm a t e r i a l i z e dv i e w si nt h ew a r e h o u s e i nt h e p a p e r s , ad e l t a - t a b l em e t h o d i sp r o p o s e d c h a n g e sw i l lb ef i r s te x t r a c t e dt ot h ed e l t a t a b l e s , w h i c ha l s or e c o r dt h eu p d a t i n gm o d e s ( i n s e r t , d e l e t eo ru p d a t e ) o f t h ed a t a , a n d t h e nt h e s ed e l t at a b l e sa t eu t i l i z e dt om a i n t a i nt h ew a r e h o u s e t h r o u g ht h i sm e t h o d ， c o m p l e xm a i n t e n a n c ep r o c e s s e sc a n b ed i v i d e d h e n c e ，c o n t r o l l a b i l i t ya n dc o r r e c t n e s s i sf u r t h e ra s s u r e d t h ed a t aw a r e h o u s ei st y p i c a l l yu n a v a i l a b l et or e a d e r sw h i l eb e i n gm a i n t a i n e d i no r d e r t od e c r e a s et h et i m er e q u i r e df o r 咖l a n c eh e n c ee n h a n c et h ee f f i c i e n c yo f d a t aw a r e h o u s e , w es p l i tt h em a i n t e n a n c ew o r ki n t op r o p a g a t i n ga n dr e f r e s h i n g p r o c e s s e s d u r i n gp r o p a g a t i n gp r o c e s s , w ep r e p a r ed a t aa tt h eb a c ke n dt h a tw i l lb e l a t e ra p p l i e dt ot h eo b j e c t si nd a t aw a r e h o u s e ，a n dt h ew a r e h o u s ei ss t i l la v a i l a b l et o u s e r s s ow es h o u l dd oa sm u c hw o r ka sp o s s i b l ea tt h i ss t a g et od e c r e a s et h et i m e r e q u i r e df o rr e f r e s h i n gp r o c e s s , t h en e x ts t a g e d u r i n gr e f r e s h i n gp r o c e s s ，a st h ed a t a t h a th a st h es a m es t r u c t u r ew i t hc o r r e s p o n d i n go b j e c t si nd a t aw a r e h o u s eh a sa l r e a d y b e e np r e p a r e dw e l l ，t h ep r o c e s sw i l la c h i e v eh i g h e rp e r f o r m a n c ea n dh a sm u c hl e s s e f f e c t so nd a t aw a r e h o u s e t o d a y , a sm o r ea n dm o r eu n p r e d i c t a b i l i t ya n ds e v e r ec o m p e t i t i o nd r i v eb u s i n e s s u n i t e st oq u i c k l yi d e n t i f yc h a n g e sa r i s i n gb o t hi n t e r n a l l ya n de x t e r n a l l ya n dm a k e a p p r o p r i a t er e s p o n s e s ，r e a l - t i m eb u s i n e s si n t e l l i g e n c eg a i n sm o r ef a v o r a n da d e p e n d a b l er e a l - t i m eb is y s t e mc a l l sf o rad a t aw a r e h o u s ew i t ht h es a m e d e p e n d a b i l i t yt h a tw i l lp r o v i d en e c e s s a r yd a t af o ra n a l y z i n ga n dd e c i s i o nm a k i n g , a n d t h i si nt u r nc a l l sf o rt h es a m el e v e lo f r e a lt i m eo f t h ed a t aw a r e h o u s e i ti sn e c e s s a r y t om e n t i o nt h a tr e a l - t i m ed a t aw a r e h o u s ed o s en o tf i ta l lc i r c u m s t a n c e s , a n da l s oi t m a y n o tb et h eb e s tc h o i c et og e tt h es h o r t e s tt i m el a gb e t w e e nt h et a k i n gp l a c eo f d a t a s o u r c ec h a n g e sa n d 触r e f l e c t i o ni nt h ed a t aw a r e h o u s e i tm a i n l yd e p e n d s0 1 1t w o f a c t o r s ：t h ea v a i l a b i l i t yo f d a t aa n dt h eb u s i n e s so p e r a t i o ni t s e l f w h i l et h ef o r m e ri sa r e s t r i c t i o nw h i c h 啪b eo v e r c a m et e c h n i c a l l y , t h el a t t e ri sw h a tr e a l l yn e e d st ob e t a k e ni n t oa e a n n t , e g w h e t h e ri tw i l lm a k es e n s ef o ras p e c i f i cb u s i n e s sp r o b l e mt o i m p l e m e n tr e a l - t i m ed a t aw a r e h o u s es u p p o r t i n gr e a l - t i m eb ia n dm a k i n gr e a l - t i m e r e s p o n s e s , a n dw h e t h e r t h eg a i nf r o mt h i sc a nm a k eu pt h ec o s t t h ep a p e ri n t r o d u c e s n e a r - r e a l t i m ed a t aw a r e h o u s em a i n t e n a n c ef r a m e w o r kb a s e do np r e v i o u se f f o r t s i t c o n s i d e r sd i f f e r e n ts t r a t e g i e st h a tc a nb ea d o p t e db ye a c hm o d u l ei nt h ef o r m e r f r a m e w o r k , a n dt h ec o m b i n a t i o no f t h e mc o n t r i b u t e st os e v e r a ll e v e l so f r e a lt i m e 。 4 对外经济贸易大学硕士论文 w h i c hw i l im e e td i f f e r e n tn e e d so f d a t aw a r e h o u s e so nr e a lt i m e k e y w o r d s ：d a t aw a r e h o u s e , i n c r e m e n t a lm a i n t e n a n c e , f r a m e w o r k 5 对外经济贸易大学硕士论文 第一章前言 数据库满足了人们对数据，特别是业务数据存储的需求；数据仓库满足了人 们合理地组织加工业务数据并由其上升到决策信息的需求；而在快速变化要求迅 速反映的时代。高质量的决策信息要求数据仓库的高度有效性，这就迸一步反映 到对数据仓库维护过程的要求。 1 1 数据仓库增量维护问题的提出 当今社会，越来越多的企业认识到，只有靠充分利用，挖掘其现有数据，才 能实现企业效益最大化。大多数企业并不缺乏数据，而是受阻于数据冗余和不一 致。传统的数据库应用系统是面向业务操作设计的，简化了具体操作人员的劳动 强度，而企业的中高层领导却没有相应的系统。企业需要新的技术来弥补原有数 据系统的不足，需要把已经广泛收集到的数据集成到数据仓库中，以便从业务数 据中提取有用的信息，帮助他们在业务管理和发展上做出及时、正确的判断。 数据仓库技术的出现很好的解决了这个问题。数据仓库的目的是要建立一种 体系化的数据存储环境，将分析决策所需的大量数据从传统的操作环境中分离出 来，使分散的、不一致的操作数据转换成集成的、统一的信息，企业内不同单位 的成员都可以在此单一的环境之下，通过运用其中的数据与信息，发现全新的视 野和新的问题、新的分析及新的想法，进丽发展出制度化的决策系统，并获取更 多经营效益。 数据仓库中包含着从多个数据源抽取上来的信息，当这些数据源中的数据发 生变化时，数据仓库需要被刷新，以反映最新的状态。随着信息的不断增长，市 场需求的快速变化，企业对获得最新信息的要求越来越迫切，这对如何实现数据 仓库的高效维护提出了很大的挑战，有些文献中甚至提出了“实时数据仓库”的 概念。实时数据仓库是两种事物的组合：实时行为和数据仓库。实时行为是一种 即时发生的行为。行为可以是任何事情，如超市中小商品的销售行为。一旦行为 完成，就有关于它的数据。数据仓库捕获有关商业行为的数据，而实时数据仓库 在商业行为发生时就捕获数据。当商业行为完成时，相关数据就已经进入到数据 仓库并且能立即使用。换句话说，实时数据仓库是这样一个系统，只要行为发生、 数据交得可用时，就能从中获得信息1 。 由于所需处理的数据量太大，采用完全重新装载的方法在实践中是不可行 的，因而有必要提出一种增量式刷新的方法，也就是只将数据源中已经发生变化 的数据应用到数据仓库中，丽不是再重新计算一遍。建立在数据仓库上的应用， 1 焦有章，实时数据仓库的定义，中国商业智能网，2 0 0 6 年7 月1 0f i l 对外经济贸易大学硕士论文 如o l a p 分析和数据挖掘等，通常会涉及到大批量数据的检索，如果每次都要重新 计算这些查询，在效率上将会非常低。为了能够提高查询的效率，在数据仓库中 会建立大量的实视图( m a t e r i a l i z e dv i e w s ) ，它能够将数据真正的保存下来，而 不像传统的虚视图( v i r t u a lv i e w s ) 那样，只在数据库中保存了建立视图的s q l 语句，在运行时才会用这些s q l 语句产生所需数据。对数据仓库进行增量维护的 难点之一就在于如何实现对实视图的增量刷新，也就是只利用变化的数据和实视 图中原有的数据来实现对实视图的刷新，因为实视图的刨建过程中会涉及到多个 表的连接和大量数据的扫描，因而采用完全重新计算的方法在效率上是不能满足 要求的。实视图中通常包含着大量的聚集数据，如何对聚集函数进行增量维护是 实现实视图增量维护的关键。 在实际的数据仓库环境中，数据源是独立、自治的，数据源的运行和数据仓 库的维护是两个分离的过程。当某个数据源中的数据被更改时，它可以用某些方 式( 如触发器等) 将变化信息发送给数据仓库，但它并不知道为了实现数据仓库的 维护是否还需要发送其它的信息。当数据仓库接收到更改信息后，如果还需要一 些额外的信息，它会向该数据源再发送查询。但是，在这个查询到达之前，数据 源可能又发生了变化，因而这个查询的结果中将会多出( 如果数据源中有新的数 据插入) 或少掉( 如果有数据被删除) 一部分数据。对于多数据源的情况也是如此， 由于各个数据源彼此独立，相互之间并不了解，它们也不知道有关数据仓库的任 何情况，因而当某个数据源中的信息发生了变化后，它并不知道需要通知其它的 数据源，只能是当数据仓库接收到更改信息后，再向其它的数据源发送查询，在 这个过程中，也会出现数据的异常2 。如何有效的消除这些异常数据，是实现数 据仓库增量式维护的另外一个难点。 此外，数据仓库是实施商务智能的基础，包含企业分析和决策的重要数据。 当前越来越多企业看到实时商务智能对企业生存和发展的关键性。实时的商务智 能呼唤实时的数据仓库维护，而不是以往批量刷新或延时刷新。而数据仓库维护 频率的提高也进一步要求对数据仓库的维护要采用增量式。 传统的数据仓库对企业的战略性的决策进行支持，而现在随着市场的发展， 数据仓库不仅被要求用来提供战略性的决策支持，还需要对企业各业务单元的日 常运作提供战术性的指导，。 1 2 研究现状 现有的对数据仓库的研究大多专注于数据仓库的设计与开发，对它的维护的 深入研究却很少。但数据仓库的设计模式也需要考虑到并且会影响至4 将来的维护 过程，这其中最明显的就是维度表的设计。 2 郭永生，陈伟棋，徐立臻，基于共享数据库的多数据源集成，微机发展，2 0 0 4 年2 月 3 王敬尧，浅谈实时数据仓库，计费盘0 醯世界。2 0 0 6 年1 1 月1 6 日 2 对外经济贸易大学硕士论文 目前关于数据仓库增量式维护的讨论主要集中在实视图的维护算法上。 a g u p t a 等介绍了实视图的概念、为什么使用实视图等问题，给出实视图维 护问题的分类。根据用户视图维护的大量信息、视图维护算法所能处理的更新类 型、描述视图的语言、维护算法针对数据库的实例是全部还是部分进行分类并对 不同的分类给出实视图维护的技术和应用。后来a g u p t a 等又进一步讨论了视图 重新定义后实视图维护的技术和应用。t o kw a n g 等人利用版本号对视图维护给出 一个算法，解决了从数据源的信息在传送的过程中丢失或延迟的情况下，怎样正 确维护视图问题。j o h nw t l e e 等利用两种方法( 附加视图和摘要表技术) 的综 合进行实视图的维护，并应用于金融数据仓库系统中。 对实视图维护问题的种解决方法就是对每次当原始数据发生改变时，在数 据仓库端对实视图频繁的重新计算。这种方法会导致很大的额外存储和维护代 价。而且这种作法有时也是不可能的，因为数据仓库的空间是有限的。因此，近 几年对实视图维护采用增量维护的方法比较多。所谓的视图的增量维护即是当数 据源中的数据发生变化时报告给集成器，集成器计算相应的变化，然后将这些变 化通告给数据仓库4 。在这个方向上，斯坦福大学的研究小组走在最前面。 斯坦福大学的y z h u g e 最先提出一种基于一个数据源的视图维护方法：e c a 方 法( e a g e rc o m p e n s a t i n ga l g o r i t h m ) 。这种方法基于f i f o 模型，针对原始数据的 变化构造“补偿请求”查询原始数据，并将查询结果反映在实视图中。这个算法 通过补偿查询( c o m p e n s a t i n gq u e r i e s ) 解决有冲突的修改异常问题，并假定信息 传到视图的顺序和从数据源发出的顺序相同。后来，y z h u g e 打破了e c a 算法中单 数据源的限制，提出了s t r o b e 算法。该算法基于多数据源环境视图一致性维护。 在这里讨论了数据仓库的三个基本事务( s i n g l eu p d a t et r a n s a c t i o n s 、 s o u r c e - l o c a lt r a n s a c t i o n s 、g l o b a lt r a n s a c t i o n s ) 处理方案。定义了数据仓 库一致性的四个标准。同时对算法作了两个假设：假设数据仓库中的视图由关系 投影、选择和连接操作所定义的；假设所有基本关系的关键字都包含于视图中。 除了对实视图的定义限制外，还要求实视图更新时必须保证信息源是静止的。 对于多数据源的视图维护算法，h g r a w a l 等人提出了s w e e p 算法，和s t r o b e 算法相比，它对视图的定义更灵活，它不要求基本关系的关键字必须保存在视图 中。另外，它不要求视图更新时系统是静止的。这些视图维护技术都需要存取基 本关系以维护实视图。但在数据仓库中，存取基本关系也很难，因为这些关系是 来自分布的、不同数据源的，有时当时不能访闯数据源，有时对数据源的通讯代 价很高。基于这些原因，不通过存取源关系，在数据仓库端就可以维护视图，即 视图的自维护问题成为重要的研究问题。一个简单的方法是将所有数据源数据复 制到数据仓库中，但这样会导致大量的额外存储空问和费用，因此，确定最小量 4 k i y o n g k 氍血h y u n s o 也m y o t m g h o k 缸电f f i c i o n t i n e w m e n t a l v i e w m a i n t e n a n c e i n 肪纽w 皿吐嘲蚪 p r o c 撕o f t h el o c h i 旧僦m i a lc o n f c t 锄c e o n h f o n n a t i o n a n d b 讲岫e m a n a g o m e a t 2 0 0 1 3 对辨经济贸易大学硕士论文 的相关数据存储是数据仓库研究的一个重要方面。a g u p t a 等使用主属性信息决 定视图对于某一类的修改的自维护能力。艮i - l u l l 等通过降低选择条件和目标并 把结果存在数据仓库中来考虑视图的自维护。后来，斯坦福大学的d q u a s s 等给 出算法去选定附加视图，将其存放在数据仓库中维护 s p j ( s e l e c t i o n - p r o j e c t j o i n ) 视图，这些视图和附加视图都是可自维护的，将 关键字和参照完整性约束考虑进去来进一步减少附加视图中元组的数目。这些视 图自维护方法处理的都是单个视图的情况。对于多视图的自维护，w e i f a n gl i a n g 等给出一个算法，利用附加视图和实视图之间的共享信息去得到一个附加视图集 以使附加视图占用的空间最小，同时使附加视图和s p i 视图起是自维护的，同 时考虑了随着数据仓库的发展带来的自维护问题。y z h u g e 等也给出关于多视图 维护的算法，并提出多视图维护的一些关键问题。 在数据仓库维护的应用上，市场上现有的数据仓库产品中只是提供了一种类 似于e t l 的数据集成工具，利用这种工具可以将数据源中的数据抽取出来并集成 到数据仓库里，在此过程中还可以对数据进行清洗和转换，但是这些产品只提供 基于简单规则的表( 通常用于维度表) 更新策略，而没有提供汇总数据的增量式 更新机制。 此外，现有的研究大多都在定时更新或批更新，没有考虑现实对即时数据的 需要，也就是实时维护或准实时维护。 1 3 本研究的主要工作 本研究首先要介绍数据仓库增量维护的背景以及目前的发展现状，接下来提 出本研究的基础数据仓库增量式维护的体系结构( 参见图2 - 1 ) 以及各模块 之间的交互。随后介绍了捕获数据源变化的常用方法，在此基础上，给出其中一 些方法在o r a c l e 数据库中的实现。捕捉到数据源变化之后，本研究将研究如何 将这些来自不同数据源的数据变化转换为符合数据仓库中所定义的公共模式，并 传送、集成，需要的话，将捕获到的变化与数据源中相关的信息作进一步连接， 为加载到数据仓库作准备。成功捕获到数据源的变化并做了加载前的必要处理 后，本研究将研究如何有效地使这些变化在数据仓库中反映出来，即数据仓库的 增量维护。这主要分为对事实表的维护以及对存储聚集数据的实视图的维护。针 对这两个任务，本研究将提出相应的算法，以及在o r a c l e 数据库中的实现。这 其中，实视图的增量维护及其如何体现在数据仓库增量维护体系结构中是关键， 也是本研究的重点。数据仓库中的表或实视图在维护过程中对用户是锁定的，因 而，有必要寻找一种方法来实现数据仓库的高效维护，以减少它对用户不可见的 时间。对数据仓库进行增量式维护的一个难点在于如何实现实视图的快速维护， 因为在实视图的定义中通常会包括一些聚集函数，实现聚集函数的自维护性是一 个复杂的过程。 4 对井经济贸易大学硕士论文 在这之后，本研究将研究历史数据的保存问题，这也是数据仓库维护的重要 任务之一。 最后，本文将探讨准实时数据仓库增量维护所需要考虑的内容以及如何借助 本文提出的体系结构来实现不同层次的实时维护。它将以本研究之前的讨论为基 础，同时又是对之前讨论的升级。 1 4 研究意义和价值 构建和维护一个具体的数据仓库系统包括很多方面的内容，实视图的处理只 是其中一部分。本研究的讨论将不再局限于实视图的维护，而是要提出一个实现 数据仓库增量式维护的体系结构，将对实视图的维护系统化，也就是将其融入到 这个体系结构当中。它将涉及数据仓库运作的整个过程，包括对数据源的监控、 将变化的信息传送和集成到数据仓库、利用捕获到的变化信息对数据仓库进行增 量式维护和历史数据的保存等主要部分。较之传统的数据仓库维护，本文所提出 的增量式维护的体系结构能够有效降低维护过程中对系统资源的占用，节省刷新 时问，从而降低维护过程中的整体成本。 在此基础上，本研究重点要解决实视图刷新问题，并对常用的捕获数据源变 化的方法进行分类和总结。对于传统的增量式维护的方法，数据源的变化信息将 被直接应用到数据仓库中相应的表或实视图上。本研究要提出一种d e l t a 表的方 法，该方法将数据仓库的维护过程分成两个部分：数据源的变化信息先被抽取到 d e l t a 表中，然后再利用d e l t a 表中的数据实现对仓库的增量维护。这样有助于 将复杂的维护过程迸行分解，使可控制性和正确性都迸一步得到了保证。而且， 这两部分工作能并发进行，因而采用该方法并不会带来效率上的损失。在利用 d e l t a 表中的数据对实视图进行维护时，研究要做进一步优化，主要是考虑到了 以下事实：在数据仓库环境中常用的方法是对仓库进行周期性刷新( 例如，在每天 晚上或每个周末进行批量刷新) ，而不是将刷新立即反映到数据仓库中，这样可 以保证在白天( 或工作日) 用户访问到的数据是一致的。在刷新过程中，数据仓库 对用户一般是不可访问的。为了缩短刷新所需的时间，使数据仓库在第二天早晨 能够继续被访问，本研究所要采用的策略是将实视图的维护工作进一步划分为数 据传送( p r o p a g a t e ) 和刷新( r e f r e s h ) 两个阶段。在刷新阶段，数据仓库是不可以 访问的，但在传送阶段，仓库对用户仍然是可见的。因而，在传送阶段会尽量做 好前期的数据准备工作，以节省刷新阶段所需要的时问。而刷新和传送这两个任 务也是数据仓库增量维护体系结构的重要组成部分。 最后，本文在以上研究的基础上讨论的准实时数据仓库增量维护体系结构考 虑了不同级别的实时维护，满足了当今企业对即时有效的信息的需求，为其实时 商务智能提供了坚实可靠的基础，使企业能够及时发现环境和自身的变化并迅速 响应。随着业务量的增大，业务系统由于其及时性等方面的要求，很难满足日益 5 对外经济贸易大学硕士论文 复杂的分析性需求，而数据仓库作为企业业务数据的存储，应发挥其作为信息中 枢的作用，与企业的各部门的流程运作和各业务平台结合起来，不但可以实现对 其他业务平台的信息共享，更可以使企业向实时企业转型，即通过最新的信息， 在关键商务流程中消除管理和实施的延迟，实施快速的响应，实现针对事件的营 销。 1 5 论文框架 本文接下来按照如下方式组织：第二部分提出实现增量式维护的体系结构， 第三部分讨论如何捕获数据源的变化，并以o r a c l e9 i 为例，重点阐述了数据变 化捕获方法的原理。第四部分讨论如何将捕获到的变化数据传送和集成到数据仓 库中。第五部分阐述数据仓库的刷新过程，包括对维度表、事实表的刷新和实视 图的刷新。第六部分讨论了历史数据的保存。第七部分探讨了准实时数据仓库更 新，包括所需要考虑的问题以及如何利用本文的数据仓库增量维护体系结构来实 现。最后一部分对论文进行了总结。 第二章数据仓库增量式维护的体系结构 数据仓库系统不仅包括数据仓库本身，还包括用来构建、访问和维护数据仓 库的组件。实现一个具体的数据仓库是一个复杂的任务，主要包括两个阶段：数 据仓库的配置阶段和运作阶段。在配置阶段，设计者必须要根据用户的需求确定 需要什么样的数据、需要哪些数据源和这些数据源目前的分布情况，还需要确定 数据被抽取、转换和集成的方式，以及在决策分析时数据仓库中的数据如何被访 问。根据数据仓库的配置进行首次数据装载之后，在运作阶段所需要解决的主要 问题便是如何对数据仓库中的数据进行刷新，也就是当数据源中的数据发生变化 之后，如何将这种变化反映到数据仓库中。除了数据的刷新，在运作阶段还包括 对数据仓库中数据的归档，以及对数据仓库的运作进行监控等其它任务。本文将 要提出的体系结构如图2 1 所示。 6 对外经济贸易大学硕士论文 l d a w a s h 。峨j 王 r e f r e s hm a n a g e r h i s t o r ym a n a g e r 陲。司。 i p m p 嘲t e m a g e r f l 竺：! ：! j 一。d t a 。a 妇r e p o s i t o r y j 。w r m t 丁 i n t e g r a t o r 工i 至 w r a p p e rw r a p p e r n 王 m o n i t o rm o n i t o r r 工 屠n o y s p e r a t i 。n 刁 图2 1 数据仓库增量维护的体系结构 资料来源：本研究整理 监控器( m o n i t o r ) 将使用在第三章描述的技术来捕获各个数据源的变化。 w r a p p e r 将对应的m o n i t o r 所捕获的变化数据传送给i n t e g r a t o r ，同时它还负责 对捕获到的数据进行预处理。如对于金额的表示，各个数据源可能采用不同的方 法，在刷新到数据仓库之前就必须将之转换成所采用的统一模式，再如对人名的 表示，在某些数据源中可能将l a s t _ n a m e 和f i r s t _ n a m e 合并在一起作为一个属 性存储，而在数据仓库中则用两个属性分别存储，此时就必须将之拆分开来。另 外，当送往i n t e g r a t o r 的数据需要将捕获到的变化数据和数据源中相关的表连 接才能产生时，这部分工作也将由w r a p p e r 负责。原本可以将这些工作( 包括数 据类型的转换和表的连接等) 交给i n t e g r a t o r 来完成，但考虑到每个数据源都会 有相应的m o n i t o r 和w r a p p e r ，将这部分工作分配给各个w r a p p e r 来完成，会有 7 对外经济贸易大学硕士论文 效的降低i n t e g r a t o r 的复杂度，有利于整个系统的工作负载的平衡。否则， w r a p p e r 仅负责数据的传送，显得功能太过单一，而i n t e g r a t o r 要不断处理各 个数据源送来的信息，工作强度太大，有可能会造成系统的瓶颈。 经过这样的分配之后，现在i n t e g r a t o r 所负责的工作主要是对各个w r a p p e r 送上来的数据进行集成，并将集成后的信息送往相应的d e l t a 表。这里的集成工 作主要是指将各个w r a p p e r 送上来的数据迸行汇总( u n i o na 1 1 ) 。或将某些 w r a p p e r 送上来的数据与相关数据源中的表进行连接同时也包括对数据丢失或数 据冲突等情况的进一步处理。如前所述，数据源是独立、自治的，它们本身并不 知道需要将变化的信息和其它的表进行连接，只能是当w r a p p e r 接收到数据源的 刷新数据后，再向数据源发送查询信息以取得最终所需的数据。i n t e g r a t o r 所 面临的情况也是如此，因为各个数据源彼此独立，相互之问并不了解，它们也不 清楚数据仓库的情况。 d a t aw a r e h o u s er e f r e s h m e n tm a n