（计算机应用技术专业论文）联机分析处理和可视化技术研究.pdf

中文摘要 随着信息化时代的到来，企、l k 纷纷建立起了自己的数据库应用系统，越来 越多的企业认识到正确及时的决策是企业生存和发展的重要环节，面向业务操 作的系统越来越难以满足这种需求，面向分析操作的数据仓库系统应运而生。 满足这种分析的决策支持系统帕陕速成为企业在竞争中取得优势的关键，联机 分析处理和数据挖掘是两个重要的决策支持工具。本文以数据仓库、联机分析 处理和数据挖掘技术为研究背景，从提高数据仓库和o l a p 系统性能的角度出 发，研究了实物化视图技术。以数据的展现为要求，设计与实现了o l a p 多维 分析中的数据的展现，并运用可视化技术设计与实现了数据挖掘中决策树的可 视化。 实物化视图技术是一种常用和有效的提高数据仓库中数据访问速度的技 术，本文综合阐述了实物化视图技术的目的和分类，介绍了能描述数据立方体 视图间依赖关系的依赖格，通过这种依赖格可用静态选择算法进行实物化视图 选择。还介绍了静态实物化视图选择算法中著名的贪心算法，通过分析该算法 复杂度高的原因，综合考虑各种因素，对算法进行了改进，提出了一种新的收 益模型。本文还讨论了视图集的化简技术，通过与实际的查询集相关联，大大 减少视图选择算法中需要计算的视图的个数，降低了算法的复杂度，提高算法 的性能。另外综合运用提到的技术，提出了一种数据仓库系统中实物化视图系 统的框架设计。 复杂的数据立方体在展现上缺乏直观性，尤其当维度超出三维后，数据的 表示就比较困难。本文提出了一种多维数据用二维表格形式展现的方法，将数 据立方体中的维都划分到行维或列维两种维度中去，在二维表格的固定行和固 定列中用树型结构体现维的层次结构和层次关系，在行维和列维交织成的二维 表格中显示相应的度量数据，实现以二维表格反映多维特征，提供数据立方体 的可视化表示，并在此之上进行多维分析操作。此方法并不在程序中保存一个 树型的结构，而是通过对树型固定行对象和树型固定列对象中相邻单元格的层 号和可见属性的计算，设置相应的可见属性，再通过单元格自身的绘制方法来 画出树型结构，这种方法具有复杂度低，运算量小等优点。此外在考虑大数据 量时，查询性能可能产生的问题，采用动态填充技术，在不影响用户观察数据 的情况下大大提高了数据查询速度，使用户能直观、快速的得到数据。 数据挖掘中决策树是一种重要的技术，可以用于分析数据和做出预测。本 文介绍了一种树的画法，通过能反映树结构的二维数组，按从下向上，从左至 右的顺序对树进行遍历，在遍历的过程中进行结点的水平调整，亲兄弟与父结 点间位置的调整，最后画出一棵符合美观要求的树，此算法结构简单、复杂度 低。在此基础上，采用可视化技术中的各种方法，添加能反映决策树中各种信 息的表示，将决策的知识可视化的展现在用户面前，能够很好地帮助用户理解 采掘出来的知识。 关键词：数据仓库，联机分析处理，实物化视图，数据展现，决策树，可视化 a b s t r a c t w i t ht h e c o m i n go fi n f o r m a t i o ne r a ，e n t e r p r i s e sb u i l tt h e i ro w nd a t a b a s e a p p l i c a t i o ns y s t e m s ，m o r ea n dm o r ee n t e r p r i s e sr e a l i z et h a tc o r r e c td e c i s i o n si nt i m e a r ek e y st ot h e i rs u r v i v a la n d d e v e l o p m e n t ，t r a n s a c t i o n o r i e n t e ds y s t e m sa r eg e t t i n g h a r d e rt om e e tt h e s e e x p e c t a t i o n s ，a n a l y s i s o r i e n t e ds y s t e m se m e r g ea st h et i m e s r e q u i r e d e c i s i o ns u p p o r ts y s t e m st h a tm e e ts u c ha n a l y s i sa r er a p i d l y ak e yt o g a i n i n gc o m p e t i t i v ea d v a n t a g ef o rb u s i n e s s o n l i n ea n a l y t i c a lp r o c e s s i n ga n dd a t a m i n i n ga r et w oi m p o r t a n td e c i s i o ns u p p o r tt o o l s o nt h eb a s i so ft e c h n o l o g i e so f d a t aw a r e h o u s e ，o l a pa n dd a t am i n i n g ，t h i sp a p e rr e s e a r c h e st h e t e c h n i q u eo f m a t e r i a l i z e dv i e w sf r o mt h ea n g l eo f i m p r o v i n g t h ep e r f o r m a n c eo fd a t aw a r e h o u s e a n do l a p ，d e s i g n sa n dr e a l i z e sam e t h o do fd a t ae x h i b i t i o no fm u l t i d i m e n s i o n a l a n a l y s i s ，d e s i g n sa n d r e a l i z e st h ev i s u a l i z a t i o no f d e c i s i o nt r e ei nd a t a m i n i n g m a t e r i a l i z e dv i e wi sa ne f f i c i e n ta n dc o m m o nu s e dm e t h o dt o i m p r o v et h e s p e e do fa c c e s s i n g d a t a t h i sp a p e re x p a t i a t e si t s p u r p o s e s a n dc l a s s i f i c a t i o n s ， i n t r o d u c e st h el a t t i c ef r a m e w o r kt h a tc a nd e s c r i b et h ed e p e n d e n tr e l a t i o n sb e t w e e n v i e w si nd a t ac u b e ，s t a t i cs e l e c t i o na l g o r i t h mc a l lw o r ku s i n gt h el a t t i c ef r a m e w o r k w ea l s oi n t r o d u c eaf a m o u ss t a t i cs e l e c t i o na l g o r i t h m 一一g r e e d ya l g o r i t h m t h r o u g h a n a l y z i n g i t sc a u s eo f h i g hc o m p l e x i t y ，c o n s i d e r i n g i n v o l v e df a c t o r s c o m p r e h e n s i v e l y ，w ep r o p o s ean e wp r o f i tm o d e lt oi m p r o v et h ep e r f o r m a n c eo f a l g o r i t h m w e a l s od i s c u s st h e t e c h n i q u e o fv i e w sr e d u c t i o nt h a tc a nr e d u c e d r a m a t i c a l l y t h ev i e w s n u m b e rt h a tn e e d st ob e c o m p u t e ds o a st od e c r e a s e c o m p l e x i t ya n di m p r o v et h ep e r f o r m a n c eo fa l g o r i t h m u s i n g a b o v e m e n t i o n e d t e c h n i q u e s ，w ep r o p o s eaf r a m e w o r kd e s i g no fm a t e r i a l i z e dv i e ws y s t e mi n d a t a w a r e h 0 1 1 s e c o m p l i c a t e d d a t ac u b e sa r ed i f f i c u l tt ob ee x h i b i t e dd i r e c t l ye s p e c i a l l yw h e ni t s n u m b e ro fd i m e n s i o n si s g r e a t e rt h a n t h r e e t h i s p a p e rp r o p o s e s am e t h o do f m u l t i d i m e n s i o n a ld a t a se x h i b i t i o n u s i n g t w o d i m e n s i o n a l g r i d i t d i v i d e st h e i i i d i m e n s i o n so fd a t ac u b e si n t or o wa n dc o l u m nd i m e n s i o n s ，t r e es t r u c t u r e sa r eb u i l t i nf i x e dr o wa n dc o h m mt or e f l e c td i m e n s i o n s h i e r a r c h i e s ，m e a s u r e sa r e d i s p l a y e d i n t h eg r i d ，t h u sm u l t i d i m e n s i o n a lc h a r a c t e r sa r er e f l e c t e di nt w o d i m e n s i o n a lg r i d i t p r o v i d e s d i r e c te x p r e s s i o no f d a t ac u b ea n dm u l t i d i m e n s i o n a la n a l y s i so p e r a t i o n sc a n b ed o n eo ni t t h em e t h o dd o e sn o tk e e pt r e es t r u c t u r e si n a p p l i c a t i o n ，b u ts e t s a c e l l sv i s i b l ep r o p e r t yt h r o u g hc o m p u t i n gn e i g h b o rc e l l s l e v e ln u m b e ra n dv i s i b l e p r o p e r t ya n di n v o k e sc e l l s d r a w i n gm e t h o d t od r a wt r e es t r u c t u r e t h i sm e t h o dh a s t h em e r i t so fl o w c o m p l e x i t y a n ds m a l l c o m p u t i n gq u a n t i t y f m t h e r m o r e ， c o n s i d e r i n gt h ep r o b l e mo fq u e r yp e r f o r m a n c e i nm a s sd a t a ，w ea d o p tt e c h n o l o g yo f d y n a m i cf i l l i n g u n d e rc o n d i t i o no fh a v i n gn oe f f e c t s o no b s e r v a t i o no fd a t a ，i t i m p r o v e s t h es p e e do fd a t a sq u e r ya n de x h i b i t i o n ，a n dm a k e su s a sg e td a t af a s ta n d v i s u a l l y d e c i s i o nt r e ei sa ni m p o r t a n tt e c h n i q u ei nd a t am i n i n g ，c a nb eu s e df o r a n a l y z i n gd a t aa n dw o r k i n go u tp r e d i c t i o n s t i f f sp a p e rp r o p o s e sa na l g o r i t h mo f d r a w i n gt r e e u s i n gt w o d i m e n s i o n a la r r a yt h a t c a nr e f l e c tt h es t r u c t u r eo f t r e e ，i t v i s i t sa l ln o d e sb yt h es e q u e n c ef r o mb o t t o mt ot o p ，f r o ml e f tt or i g h t d u r i n gt h i s v i s i t a t i o n ，i ta r r a n g e s t h eh o r i z o n t a l p o s i t i o n s b e t w e e nb r o t h e r sa n dp o s i t i o n s b e t w e e nc h i l d r e na n dt h e i rp a r e n t ，f i n a l l yd r a w sag o o d l o o k i n gt r e e t h i sa l g o r i t h m h a s s i m p l e s t r u c t u r ea n dl o wc o m p l e x i t y o nt h i sb a s i s ，w eu s ea l l k i n d so f v i s u a l i z a t i o nm e t h o d s ，a d de x p r e s s i o n st h a tr e f l e c ti n f o r m a t i o no fd e c i s i o nt r e e ， r e v e a lt h ek n o w l e d g ev i s u a l l ya n dh e l pt h e u s e r su n d e r s t a n dm i n e dk n o w l e d g e b e t t e r 。 k e y w o r d ：d a t aw a r e h o u s e ，o l a p ，m a t e r i a l i z e dv i e w ，d a t ae x h i b i t i o n ，d e c i s i o n t r e e ，v i s u a l i z a t i o n i v 第章绪论 第一章绪论 1 1 研究的背景及意义 随着信息化时代的到来，企业纷纷建立起了自己的数据库应用系统，由计 算机管理代替手工操作，以此来收集、存贮、管理业务操作数据，改善办公环 境，提高操作人员的工作效率。这类系统主要是传统的数据库应用系统，是面 向业务操作设计的，主要简化了具体操作人员的劳动强度。但在面对越来越激 烈的市场竞争时，企业必须把业务经营同市场需求联系起来，在此基础e 做出 科学、正确的决策，以求生存和发展。越来越多的企业认识到，只有靠充分利 用、发掘其现有数据，才能实现更大的效益。日常的业务应用生成了大量的数 据，这些数据若用于决策支持则会带来显著的附加值。若再加上行为分析报告、 独立的市场调查、评测结果和顾问评估等外来数据时，上述处理过程产生的效 益可进+ 步增强。面向业务操作的系统越来越难以满足这种需求，因此面向分 析操作的数据仓库系统应运而生，它的建立给用户提供了一个统一、一致的分 析决策环境。数据仓库的数据量可从几十g b 到几百t b ，而且还在不断增长， 如此庞大的数据量更有可能淹没其中的有用信息，所以必须为企业提供高效的 决策支持j l ：具，让更多的公司管理者能方便、有效的使用数据仓库这一决策环 境。决策支持工具可以按验证和发现两种方式使用。验证模式中，用户提出一 种假设，然后试图通过存取数据仓库中的数据来证明此假设。这类工具包括查 询一具、报表系统、多维分析工具。在发现模式中，工具试图发现隐藏在数据 中的某种模式，而这种模式用户预先并不知道，数据挖掘( d a t am i n i n g ) 工具 就是发现模式的一个典型代表。在此基础上，为了提高面向分析的操作的性能 发展起了在线联机分析处理( o l a p ) 技术，它目标是提供给用户从多种角度快 速、稳定、交互地存取数据，以便深入观察数据，为决策提供支持；为了发现 隐藏在数掘深层次的对人们有用的模式发展起了数据挖掘( d a t a m i n i n g ) 技术， 数据发掘基于人 ：智能、机器学习、统计学等技术，高度自动化地分析企业收 集的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮 助决策者调整数据策略，减少风险，做出正确的决策。各种有用的信息、结果 第一章绪论 经分析处理或数据挖掘出来后，都要展现最终用户面前，因此数据展现实际卜 是数据仓库的门而，这就需要与各种可视化技术结合，丰富决策支持工具的功 能与性能。 本文以数据仓库、联机分析处理和数据挖掘技术为研究背景，从提高数据 仓库和o l a p 系统性能的角度出发，研究了实物化视图技术。以数据的展现为 要求，设计与实现了o l a p 多维分析中的数据的展现并运用可视化技术设计与 实现了数据挖掘中决策树的可视化。 1 2 数据仓库 目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家 w h i n m o n 在其著作( ( b u i l d i n gt h ed a t aw a r e h o u s e ) ) 一书中给予如下描述：数 据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c to r i e n t e d ) 、集成的 ( i n t e g r a t e ) 、相对稳定的( n o n - v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数 据集合，用于支持管理决策。此定义目前为人们所广泛接受，对于数据仓库的 概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析 型数据处理，它刁i 同于企业现有的操作型数据库；其次，数据仓库是对多个异 构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存 放在数据仓库中的数据一般不再修改。 根据数据仓库概念的含义，数据仓库拥有以下四个特点： ( 1 1 面向主题。操作型数据库的数据组织面向事务处理任务，各个业务 系统之问各自分离，而数据仓库中的数据是按照一定的主题域进行组织。 主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点 方面，一个主题通常与多个操作型信息系统相关。 集成的。面向事务处理的操作型数据库通常与某些特定的应用相 关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在 对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理 得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于 整个企业的一致的全局信息。 ( 3 1 相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要 第章绪论 及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据 操作主要是数据查询，一日某个数据进入数据仓库以后，一般情况下将被 长期保留，也就是数据仓库中般有大量的查洵操作，但修改和删除操作 很少，通常只需要定期的加载、刷新。 ( 4 ) 反映历史变化。操作型数据库主要灭心当前某一个时间段内的数 据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一 时点( o n 开始应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信 息，可以对企业的发展历程和未来趋势做出定量分析和预测。 1 2 1 数据仓库的结构 7 再。 整个数据仓库系统是一个包含四个层次的体系结构 3 1 1 ，具体如图1 1 所 图1 1 数据仓库系统体系结构 数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包 括企业内部信息和外部信息。内部信息包括存放于r d b m s 中的各种业务 处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争 对手的信息等等； ( 2 ) 数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真f 关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统 数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和 技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针 对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行 第一章绪论 组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数 据仓库( 通常称为数据集市) 。 ( 3 ) o l a p 服务器：对分析需要的数据进行有效集成，按多维模型予以 组织，以便进行多角度、多层次的分析，并发现趋势。 ( 4 ) 前端工具：主要包括各种报表工具、查询工具、数据分析工具、数 据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据 分析工具主要针对o l a p 服务器，报表工具、数据挖掘工具主要针对数据 仓库。 1 2 2 数据仓库中的技术 数据仓库包含大量的数据，为了有效的响应各种查询请求需要高效的访问 数据的方法和查询处理技术，以下是数据仓库中常用的一些方法 3 5 】： 1 索引技术 2 实物化视图技术 3 复杂查询转化技术 4 数据的分区与并行处理 5 服务器的结构 6 s q l 语句的扩展 1 2 3 数据仓库的实施 数据仓库是一个解决方案，而不是一个可以买到的产品。不同企业会有不 同的数据仓库，企业人员往往不懂如何利用数据仓库，不能发挥其决策支持的 作用，而数据仓库公司人员又不懂业务，不知道建立哪些决策主题，从数据源 中抽取哪些数据，因此需要双方互相沟通，共同协商开发数据仓库。 开发数据仓库流程包括以下几步： ( 1 1 启动工程建立开发数据仓库工程的目标及制定工程计划。计划包 括数据范围、提供者、技术设备、资源、技能、组员培训、责任、 方式方法、工程跟踪及详细丁：程调度。 ( 2 1 建立技术环境选择实现数据仓库的软硬件资源，包括开发平台、 一4 第一章绪论 d b m s 、网络通信、开发工具、终端访问工具及建立服务水平目标 ( 可用性、装载、维护及查询性能) 等。 ( 3 ) 确定主题进行仓库结构设计凼为数据仓库是面i 目决策支持的，它 具有数据量大但更新不频繁等特点，所以必须对数据仓库进行精心 设计，才能满足数据量快速增加面查询性能并不下降的要求。 ( 4 ) 数据仓库的物理库设计基于用户的需求，着眼于某个主题，玎发 数据仓库中数据的物理存储结构。 f 5 1 数据抽取、精练、分布根据数据仓库的设计，实现从数据源抽取 数据、清理数据、综合数据和装载数据。 ( 6 ) 对数据仓库的o l a p 访问建立数据仓库的目的是要为决策支持服 务，所以需要各种能对数据仓库进行访问分析的工具集，包括优化 查询工具、统计分析工具、c s 工具及数据挖掘工具，通过分析工 具实现决策支持需要。 ( 7 1 数据仓库的管理数据仓库必须象其他系统一样进行管理，使数据 仓库正常运行。 1 3 联机分析处理( o l a p ) 1 3 1 联机分析处理的概念 1 联机分析处理( o l a p ) 2 1 的概念最早是由关系数据库之父e f c o d d 于1 9 9 3 年提出的。当时，c o d d 认为联机事务处理( o l t p ) 已不能满足终端用户 对数据库查询分析的需要，s q l 对大数据库进行的简单查询也不能满足用户分 析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而 查询的结果并不能满足决策者提出的需求。因此c o d d 提出了多维数据库和多 维分析的概念，即o l a p 。后来根据o l a p 产品的实际应用情况和用户对o l a p 产品的需求，人们提出了一种对o l a p 更简单明确的定义，即共享多维信息的 快速分析。它有以下五层含义： ( 1 1 快速( f a s t ) ：意味着对于大部分用户查询请求的反应时间要短； ( 2 1 分析( a n a l y s i s ) ：要求系统能够处理大部分与用户和应用有关的逻辑和 第一章绪论 统计分析，并且使得用户能够很简单的廊用； ( 3 ) 芡享( s h a r e d ) ：要求系统提供足够的安全机制，使多个用户的并发读写 成为可能； ( 4 ) 多维( m u l t i d i m e n s i o n a l ) ：这是o l a p 的最基本要求，要求能够对数据提 供多维视图，能够提供多层的层次机制； ( 5 ) 信息( i n f o r m a t i o n ) 不论数据量有多大，也不管数据存储在何处，0 l a p 系统应能及时获得信息，并且管理大容量信息； 2 o l a p 中的多维概念 6 ( 1 ) 维：是人们观察数据的角度，例如，销售量随时间的推移而产生的变化 情况，这是人们从时间的角度来观察销售量，时间是一个维；若从地理 分布的角度来观察销售量，地理分布也是一个维。 ( 2 ) 维的层次：维存在细节程度不同的多个描述方面，维的多个描述方面称 为维的层次。一个维往往具有多个维层次，例如，时间维有闩、月、季、 年等层次来描述，而市、地区、省、国家等构成地理维的多个层次 ( 3 ) 变量：是指数据的实际含义。变量有型和值，变量的值是数据，变量的 型是描述该数据表示什么。一般情况下，变量总是某个度量指标。例如， 人数、单价、销售量等等。 3 o l a p 中的多维数据结构 多维数据一般都以数据立方体的结构存放，这种结构可应用在多维数据库 和面向关系数据库的o l a p 系统巾。它用三维或更多的维数来描述一个对象， 每个维彼此垂直。数据的测量值发生在维的交叉点上，数据空间的各个部分都 有相同的维属性。如图1 2 所示： 时间 图1 2 数据立方体 笫一章绪论 1 3 2 多维数据分析 o l a p 以多维的方式米组织和显示数据，它的一个重要特点是多维数据分 析，多维分析是指对以多维形式组织起来的数据采取切片、切块、旋转、上卷、 下钻等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观 察数据库中的数据，从而深入地了解包含在数据中的信息、内涵。多维分析方 式迎合了人的思维模式，减少了混淆，降低了出现错误解释的可能性。 ( 1 ) 切片( s 1 i c e ) 与切块( 1 3 jc e ) 切片是指在多维数组的某一维上选定一维成员的动作称为切片，即在 多维数组( 维1 ，维2 ，维f 1 ，变量) 中选一维：维i ，并取其一维成 员( 设为”维成员v i ”) ，所得的多维数组的子集( 维1 ，维成员v i ， 维n ，变量) 称为在维i 上的一个切片，如下图所示。 切块在多维数组的某一维上选定某一区间的维成员的动作称为切块， 即限制多维数组的某一维的取值区间。显然，当这一区间只取一个维成员 时，即得到一个切片 厂。鬲1 j 销售情况i i一 型型塑竺骂怯篡嚣j 选定两个维：产品维和地区维l l 地区维 图1 3 数据立方的切片 ( 2 ) 旋转 旋转即是改变一个报告或页面显示的维方向。例如，旋转可能包含了交 换行和列；或是把某一个行维移到列维中去，或是把页面显示中的个维 和页面外的维进行交换( 令其成为新的行或列中的一个) ，如图1 4 所示。 第章绪沦 时间维 地区_ 北京上海 时问产品销售量 销售量 i 弟卒厦 第一季度 产 口 日口 维 ( a ) 行列交换 时 间 维 地区_北京上海 时间_第一季度第二季度 产品 上 ： ( b ) 某行维换向列维 时问维 ( c ) 旋转以改变页面显示 图1 4 数据立方的旋转 地 区 维 时间维 ( 3 ) 上卷( r o l lu p ) 与下钻( d r i l ld o w n ) 上卷是在某一维上将低层次的细节数据概括到高层次的汇总数据，或 者减少维数；而f 钻则相反，它从汇总数据深入到细节数据进行观察，或 增加新维。这两者都是改变维的层次和变换分析的粒度的操作。 1 3 3o l a p 的实施 由_ 丁o l a p 要对数据进行多维化和预处理的操作，因此它不同于传统的 o l t p 软件的两层客户朋务器结构，而是采用三层的客户服务器结构，将应用 逻辑、图形界面和数据仓库服务器严格区分开，在客户机和服务器之削增加 o l a p 多维分析服务器，提供高效的数据存取，安排后台处理及报表预处理。 目前市场上已有多种以多维数据分析为目标的o l a p 软件工具和工具集，它们 在总体上基本是遵从三层结构的，但在o l a p 服务器端的数据组织方法不同： ( 1 ) 建立专用的多维数据库系统，称之为m o l a p 。( 2 ) 利用现有的关系数据库 技术来模拟多维数据，称之为r o l a p 。( 3 ) 混合运用r o l a p 和m o l a p 的技 术，称之为h o l a p 。它们各有自己的特点。 1 基于关系数据库的o l a p 实现( r e l a t i o n a l0 l a p ) 这种实现以关系数据库为核心，以关系型结构进行多维数据的表示和存储。 r o l a p 将多维数据库的多维结构划分为两类表：一类是事实表，用来存储事实 的度量( m e a s u r e ) 值和各维的码值；另一类是维表，即对每个维至少使用一个表 来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外 关键字联系在一起，形成了“星型模式”，如图1 5 所示。多个星型结构共同组 成了一个主题对于层次复杂的维，为避免冗余数据占用过大的存储空间，可以使 用多个表来描述，这种星型模式的扩展称为“雪花模式”。这种方式完全用二维 关系表示了数据的多维概念。建立“星型模式”后，就可以在关系数据库中模 拟数据的多维查询。 产品表 产品号 产品名称 产品目录 订货表 辽皇墨 订货日期 地区表 地区名称 省别 事实表 产品号 窒皇曼 辽皇：星 盟回拯迟 垫匡鱼趁 产品数量 客户表 盔皇量 客户名称 客户地址 时间表 啦回握返 月 季度 盆 图1 5 星型模型 基于关系数据库的o l a p 的维表和事实表都是用二维关系表的方式存放 第一章绪沦 的，凶而数据的提取需要将维表和事实表做连接操作来完成。由于对每个维表 都需要做一次连接操作，所以多表连接和分组聚集的性能问题就就变得突出了。 必须采取有效的查询优化技术，利用各种技术来提高系统性能。 2 基于多维数据库的o l a p 实现( m u l t i d i m e n s i o n a lo l a p ) 这种实现是以多维数据库为核心的，它以多维方式来组织和存储数据，使 用多维数组存储数据。多维数据库是由许多经压缩的、类似于数组的对象构成， 这种对象通常带有高度压缩索引和指针结构。每个对象由聚集成组的单元块组 成，每个单元块都按类似于多维数组的结构存储，并通过直接计算偏移量来进 行存取。 3 r o l a p 和m o l a p 的结合 总的来说r o l a p 和m o l a p 这两种技术各有优缺点： r o l a p 以关系型数据库为基础的。基于关系进行数据的物理存储，并一 般使用星型模式或者雪花模式对数据进行组织。这种方式的优点是：没有数据 量大小限制。数据存储在关系表中，数据的增加和修改都很方便。 适合高维情况。对于星型结构中的维的数目没有什么限制。 对维内部的层次关系没有特殊限制。 使用经过理论和实践证明的关系代数来实现各种数掘库操作，具有很高 的可靠性。 现有的关系数据库的技术呵以沿用。总之r o l a p 具有很大的灵活性并 且适用范围很广。但是由于r o l a p 使用关系表存储多维数据，最大缺点是没 有针对新数据和应用的特点进行存取优化，性能相对较差。 m o l a p 通常基于多维数据模式，使用多维数组作为其物理存储结构，并在 此基础上进行各种0 l a p 操作和0 l a p 查询处理。这种方式的优点是： 专为o l a p 设计，基于多维存储结构很容易进行多维数据的切割操作。 多维数据以多维数组的形式存储，能够对各种多维数据操作进行存取优 化。 各种0 l a p 操作都具有较高的效率。性能好，速度快。用户提交的各种 o l a p 操作和0 l a p 查询，都可以方便地转化为在多维数据集合j _ 二地各 种多维操作，并能够高效地实现。 第一幸绪论 支持高性能的决策支持计算包括，复杂的跨维训算、多用户的读写操作、 行级的计算等。 m o l a f 方式的主要优点是进行了o l a p 的优化，具有良好的性能。但是 也有缺点，例如：数据维数的增多导致空间膨胀，如何存储；操作有限，不够 灵活，特别是用户无法使用属性的s q l 语句对数据进行检索；以及如何存储内 部的层次信息等。 综合r o l a p 方式和m o l a p 方式各自具有的特点，从联机分析系统作为 一个整体来考虑，可以将r o l a p 技术和m o l a p 技术结合起来构成完整的数 据仓库和联机分析处理解决方案。较低层的数据采用关系数据库存储，较高层 的数据用多维数据库存储。由于o l a p 查询通常会涉及到大量的历史数据，而 又要求较快的响应速度，所以考虑预先生成部分的汇总数据，即采用实物化视 图技术，还需要结合位图索引技术以及查询处理与查询优化技术。多维引擎在 客户机或巾层服务器上做大部分的计算丁作，这样就可以利用r a m 来存储数 掘，提高响应速度。大部分o l a p 应用在多维服务引擎上完成多维计算，并且 具有良好的性能。因为这种方式可以同时优化引擎和数据库，而服务器一i = ：充分 的内存为有效地计算大量数组提供了保证。所以对于o l a p 的计算建议采用多 维数据模型，使用m o l a p 算法来计算。这种方式具有更好的灵活性。 1 3 4o l a p 与数据挖掘的结合o l a m o l a p ( 联机分析处理) 与d a t am i n i n g ( 数据挖掘) 都是数据仓库的分析工具， 在实际应用中各有侧重。前者是验证型的，后者是挖掘型的。前者建立在多维 视图的基础之上，强调执行效率和对用户命令的及时响应，而且其直接数据源 般是数据仓库。后者建立在各种数据源的基础上，重在发现隐藏在数据深层 次的对人们有用的模式( p a t t e r n s ) ，一般并不过多考虑执行效率和响应速度。它 与前者的不同主要体现在它分析数据的深入和分析过程的自动化。自动化是说， 其分析过程不需要用户的参与，这是它的优点，也正是它的不足，因为在实际 中，用，、，也希望参与到挖掘中来。如只想对数据的某一子集进行挖掘，以及对 不同抽取、集成水平的数据进行挖掘，还有想根据自己的需要动态选择挖掘算 法等等。由此可见，o l a p 与d m 各有所长，如果能将二者结合起来，发展种 第章绪论 建：在o l a p 和数据仓库基础 ：的新的挖掘技术，将更能适应实际的需要。而 o l a m ( o n l i n ea n a l y t i c a l m i n i n g 或o l a pm i n i n 曲，正是这种结合的产物。 发展o l a m 的原始驱动力有以下几点： ( 1 ) d a t am i n i n g 工具需要的数据是一些经过净化、集成处理的数据，通常 这种处理过程也是昂贵的；丽d w ( d a t a w a r e h o u s e ，数据仓库) 作为o l a p 的数据 源，存储的就是这样的数据。它能为o l a p 提供数据，当然也可以为d m 提供数 据。 ( 2 ) d w 是一项崭新的技术，很多人在研究它。围绕着它有许多工具或是体 系结构。而d m 作为数据分析工具的一种，不是孤立的，也必然要与其他的工具 发生联系。因此，考虑到如何最大限度地利用这些现成的工具，也是o l a m 发 展之初所关心的问题。 ( 3 ) 成功的数据挖掘需要对数据进行钻探性( e x p l o r a t o r y ) 分析，比如，挖掘所 需的数据可能只是一部分、一定范围的数据。因此，对多维数据模型的切片、切 块、f 铺等操作，同样可以应用于d m 的过程中。也就是说，可以将d m 建立在 多维模型( 或说超级立方体) 的基础之上。 ( 4 ) 用户的参与对d m 的重要性，动态地提出挖掘要求、选择挖掘算法。故 可以将o l a p 的c l i e n t s e r v e r 结构应用于d m 中来。 o l a m 的功能特征 建立在庞大数据库或数据仓库基础上的o l a m 在实现过程中面临的最大 挑战是执行效率的提高和对用户请求的快速响应。目前还没有o l a m 的产品出 现，对o l a m 所应具备的特征也众说纷纭。但是，针对o l a m 的发展驱动力 和基本结构，以下几点是必要的： ( 1 1o l a m 建立在多维数据库和o l a p 的基础之上，因此应能方便地对任 何一部分数据或不同抽象级别的数据进行挖掘。这是借助o l a p 对超级立方体 进行切片、切块、f 钻等操作来实现的。另外，如果需要，o l a m 还可以直接 访问存储在底层数据库里的数据。总之，借助于o l a p 的支持，o l a m 能对任 何它想要的数据进行挖掘。 f 2 1 用户对挖掘算法具有动态选择的权力，在传统的关系数据库应用中， 对同个主题，任何不同的查询过程所得到结果是相同的。而数据挖掘则不然， 第一章绪论 对同一个问题，运用不同的挖掘算法，得出的结果可能大相径庭。凼此很有必要 给予用户以动态选择挖掘算法的权力。此外，有的用户针对自己的问题，可能 有一套他自己独特的挖掘算法，也希望嵌入到o l a m 中，因此，o l a m 应该 具有一个通用的接口，以便与其他工具或算法相衔接。 ( 3 ) o l a m 建立在多维数据视图的基础之上，因此，基于超立方体的挖掘算 法是其核心所在。超立方体计算与传统挖掘算法的结合使得数据挖掘有了极大 的灵活性和交互性。这里所说的立方体计算方法一般指切片、切块、下钻、旋 转等操作；而挖掘算法则是指关联、分类、聚类等基于关系型或事务型的挖掘 算法。根据立方体计算和数据挖掘所进行的次序的不同组合可以有以下一些模 式： 先进行立方体计算、后进行数据挖掘。在进行数据挖掘以前，先对多维 数据进行一定的立方体计算，以选择合适的数据范围和恰当的抽象级别； 先对多维数据作数据挖掘，然后再利用立方体计算算法对挖掘出来的 结果做进一步的深入分析； 立方体计算与数据挖掘同时进行，在挖掘的过程中，可以根据需要对数 据视图做相应的多维操作。这也意味着同一个挖掘算法可以应用于多维数 据视图的不同部分； 回溯特性，o l a m 的挖掘过程是对多维数据视图的一个不断深入的过 程。在实际中，用户很有可能因为算法的复杂性而在超立方体中“迷失方 向”。因此o l a m 的挖掘算法应能给用户退回上次操作初始状态这样的回 溯功能。 f 4 ) 与o l a p 类似，o l a m 也采用c l i e n t s e r v e r 体系结构，这使得它具有 较高的执行效率和较快的响应速度。但由于一般挖掘算法都复杂而且耗时因 此在执行效率与挖掘的准确性两者之间应该协调好。一般情况下，o l a m 与 用户频繁而且高速地交互，选择合适的挖掘算法和数据空间。一旦这两点确定， 在特定数据空间上再执行用户选定的复杂而缓慢的挖掘算法，以保证最终结 果的正确性。 除了以上四点外，o l a m 还应具有灵活的可视化工具和良好的扩展性。 o l a m 是一个复杂的结构，它在实际应用中要与多个模块或工具交互作用。例 如，一个o l a m 系统可能与一个统计软件包相结合；或者系统本身功能扩展， 使之适合于地理数据、文本数据或者商业数据的挖掘。凼此，o l a m 接e 1 的标 准化、通用化就显得尤为重要。 o l