（计算机应用技术专业论文）企业信息资源整合与查询优化.pdf

华中科技大学硕士学位论文 摘要 随着企业信息化酌发展，一个企业往往有很多种异构信息系统在同时使用， 形成一些“信息孤岛”，在很大程度上限制了信息系统在企业运作中的作用a 例如， 在“信息孤岛”下，企业信息数据存储不集中，经常出现数据的不一致性和不真 实性，给企业的正常运作造成很大的危害。“信息孤岛”不仅割断了正常的企业业 务流程，同时也妨碍了对数据的有效分析和挖掘。所以企业资源的整合非常重要。 系统集成是企业信息整合的关键，而异构数据集成又是企业资源整合的核心。 异构数据集成的核心组件包括数据读写组件、数据转换与加密组件和通信组件， 这些组件可以重用。针对3 种不同类型的数据源，总结出了3 种不同的接口方案。 使用消息方式作为通信组件的通信方式来进行数据集成，可以把数据集中在 数据仓库罩，同时以访问非结构化的l o t u s 文档数据库作了实现说明。使用消息 传输机制来集成异构数据系统属于松散耦合性集成，不会影响被集成的子系统内 部的商务逻辑的正常运行。 在构造数据仓库时，有几种数据立方的存储方式可供选择，其中星型模式在 关系数据库里占有优势。星型模式虽然没有雪花模型规范，在数据库里存储了一 定的冗余信息，但是它减少了查询时的连接运算，提高了查询效率。关系数据库 在技术成熟度以及各方面的适应性上较之多维型数据立方占有优势。 把企业的信息资源整合起来按一定的格式存储在数据仓库后，就能在上面进 行各种数据查询分析，从而得到对企业管理有用的信息，供企业管理者作决策时 参考。联机分析处理系统分析的对象是数据立方，这些查询往往需要对上亿条记 录进行扫描、连接、聚集计算，而用户要求提交的查询能够在可接受的时间内得 到响应，一种提高数据立方查询效率的方法是把数据小方和最近查询的元组按一 定的规律存放在内存里，在一定程度上解决了i o ( i n p u t o u t p u t ) 瓶颈问题，提高了 查询效率。 关键词：信息资源整合，系统集成，数据仓库，查询优化 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ep r o g r e s so f e n t e r p r i s ei n f o r m a t i o n m a n a g e m e n tt e c h n o l o g y ，i t w i l lc a u s e ”i n f o r m a t i o ni s l a n d s ”t h a tt h e r ea r es o m a n yi n f o r m a t i o ns y s t e m sw i t h d i f f e r e n t s t r u c t u r ei no n ee n t e r p r i s ea tt h es a m et i m e ，s ot o al a r g ee x t e n tt h ee f f e c to f i n f o r m a t i o ns y s t e mw i l lb eh a m p e r e di ne n t e r p r i s em a n a g e m e n t f o rt h ee n t e r p r i s e d a t a s t o r a g e i s s e p a r a t e ，i n c o n s i s t e n t a n du n t r u e ，i tw i l lb eh a r m f u lt ot h e d a i l y e n t e r p r i s eo p e r a t i o n 。1 i n f o r m a t i o n i s l a n d s ”w i l l s e p a r a t e t h en o r m a l e n t e r p r i s e o p e r a t i o nf l o w ；o n t h eo t h e rh a n dd a t a a n a l y s i s a n dd a t am i n i n gc a n tb ed o n e e f f e c t i v e l yi nt h i sc a s e t h e r e f o r e i t s v e r yi m p o r t a n t t oi n t e g r a t ee n t e r p r i s er e s o u r c e s i n t e g r a t e ds y s t e m i st h ek e yt o e n t e r p r i s ei n f o r m a t i o ni n t e g r a t i o n ；m e a n w h i l e i n t e g r a t e dh e t e r o g e n e o u s d a t as o u r c ei st h ek e r n e l 。t h ec o r eo ft h e i n t e g r a t e d h e t e r o g e n e o u sd a t ac o n s i s t so fd a t aa c c e s sc o m p o n e n t ，d a t at r a n s i t i o na n de n c r y p t i o n c o m p o n e n t ，c o m m u n i c a t i o nc o m p o n e n t ，w h i c h c a nb er e u s e d t h r e ed i f f e r e n t i n t e r f a c e s c h e m e sw i l lb ep r o p o s e dt of i tt h et h r e ed i f f e r e n tt y p eo fd a t as o u r c e a m e s s a g em e t h o d ，a sa c o m m u n i c a t i o nm e t h o di nc o m m u n i c a t i o n c o m p o n e n t ，i s p r o p o s e d t oi n t e g r a t ed a t aa n dr e a s s e m b l et h e mi nd a t aw a r e h o u s ea s y n c h r o n o u s l ya n d p r o m p t l y ，m a dt h e nt oa c c e s sn o n s t r u c t u r el o t u sf i l e s ，a sa ue x a m p l e ，i sg i v e n i tw i l l n o th a v ea n de f f e c to nt h en o r m a lb u s i n e s sl o g i co p e r a t i o ni ni n t e g r a t i o ns u b - s y s t e m ， t h a tm e s s a g et r a n s m i s s i o nm e c h a n i s mi su s e dt oi n t e g r a t eh e t e r o g e n e o u sd a t as y s t e m ， w h i c h b e l o n g sl o s s - c o u p l i n gi n t e g r a t i o n a f t e ra n a l y z i n gs e v e r a ld a t ac u b es t o r a g em e t h o d s ，d a t ac u b ew i l lb es a v e dt o r e l a t i o nd a t ab a s ei ns t a r m o d e lw h i l ec o n s t r u c t i n gd a t aw a r e h o u s e t h o u g hs t a r - m o d e l i sn o ta sn o r m a t i v ea s s n o w f l a k e - m o d e l ，i th a ss o m er e d u n d a n ti n f o r m a t i o ni ni t s d a t a b a s e h o w e v e ri th a sh i g h e rq u e r ye f f i c i e n c yb yr e d u c i n gq u e r yj o i n o p e r a t i o n r e l a t i o nd a t a b a s eh a sm o r ea d v a n t a g ei nt e c h n o l o g ym a t u r i t ya n d a d a p t i v ec a p a b i l i t y t h a nm u l t i d i m e n s i o n a ld a t ac u b e ， e n t e r p r i s ei n f o r m a t i o nr e s o u r c e sa r ef o r m e dt os a v ei nd a t aw a r e h o u s e ，s ok i n d s o fd a t a q u e r y a n d m i n i n g c a nb e d o n e ，a n dt h e nt h e v a l i di n f o r m a t i o nc a nb e 华中科技大学硕士学位论文 c o m m i t t e dt om a n a g e ri no r d e rt oh e l pt h e mm a k ed e c i s i o n d a t ac u b ei st h eo b j e c to f o n - l i n ea n a l y t i c a lp r o c e s s i n g t h e r ea r eb i l l i o n sr e c o r d st ob es c a n n e d ，l i n k e da n d c o n v e r g ec o u n t i n gi nd a t aq u e r y , h o w e v e r ，r e s p o n s et i m es h o u l db ea ss h o r ta sp o s s i b l e a na p p r o a c ho f i m p r o v i n gd a t aq u e r yi sg i v e nt od e a lw i t ht h i sp r o b l e mb yp u t t i n g d a t ac u b ea n dr e c e n tq u e r yt om e m o r y t h ea p p r o a c hc a ns o l v et h ep r o b l e mo fi o b o t t l e n e c ka n di m p r o v et h e q u e r ye f f i c i e n c yt os o m ee x t e n t k e yw o r d si n f o r m a t i o nr e s o u r c ei n t e g r a t i o n ，s y s t e mi n t e g r a t i o n ，d a t aw a r e h o u s e q u e r yo p t i m i z a t i o n 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知。除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：方茂佯 日期：2 口0 妒年f 月g 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口 本论文属于 不保密 ( 请在以上方框内打“”) 学位论文作者签名： 同期：年月日 年解密后适用本授权书。 一厂 m 孙影 名一事 签少笼 导期 b h j 华中科技大学硕士学位论文 1 1课题背景 1 绪论 信息化带动企业现代化是时代的要求。在美国、日本，9 0 以上的企业实现 了信息化管理。在我国，有15 0 0 家大型企业，有10 0 0 万家中小型企业，还有许 多行政事业单位和学术团体，信息化的市场巨大，意义非凡。特别是中小型企业 的信息化建设刚刚起步，是未来信息化产业最重要的市场。 时代在召唤着优秀企业信息化管理系统，湖北泰信软件产业有限公司承接了 科技部科技型中小型企业技术创新项目：中小型制造企业资源计划管理系统( 基 金编号0 c 2 6 2 1 4 2 1 1 0 5 7 ) ，本文的研究属于该项目的一部分，主要研究异构数据系 统的查询和优化。 11 ，1 “信息孤岛”的出现使企业对系统集成的需求越来越强 伴随i n t e r n e t 的飞速发展、计算机应用技术逐渐普及并走向深入，越来越多 的企业丌始建立基于i n t r a n e t 的应用系统，以规范管理、节约成本，提高企业的 业务运作效率，增强企业的竞争力。 然而企业内原有的一些应用系统仍然在发挥其各自的作用，由于那些系统是 在不同时期实施的，在软硬件环境的适应上有很大的区别，导致各子系统的数据 是动态的、异构的a 多数情况下，这些系统已形成了一个个巨大的信息孤岛，有 限的信息共享、缺少数据交换、信息不一致和不真实成为整个企业信息系统的严 重缺陷。在“信息孤岛”的限制下，电子商务和决策支持这两个信息时代最重要 的企业应用不可能有效地实现。 重新开发新的方案显然是不现实的，中小型企业更注重节约成本。因此，在 不重新设计已有的数据库和应用系统的前提下，建立一个集成数据管理平台是解 决信息孤岛的最佳选择。 华中科技大学硕士学位论文 1 1 2 对集成数据的有效查询分析有利于企业的健康运行 建立集成数据管理平台的一个主要目的是充分利用整合了的企业信息资源 ( 数据) ，并对其进行有效地分析研究，融便在激烈的市场竞争中，供企业的管理 者在做出决策时参考。对企业数据进行分析和挖掘，可以帮助管理者正确把握企 业的整体形势和发展趋势，以便做出对企业发展有利的正确决策。所以众多企业 对数据分析的需求越来越迫切，也越来越复杂。 按概率的理论，数据查询分析的数据量越大，得出的结论越真实。一般复杂 的查询分析往往需要对上亿条记录进行扫描、连接、聚集计算，而用户要求提交 的查询能够在可接受的时间内得到响应，所以查询的优化很重要。联机分析处理 系统( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) 是当前最流行的数据查询分析系统。 11 3 联机分析处理系统的基本处理单位与查询优化的研究对象数据立方 为了满足企业对数据分析的需求，各数据库厂商都推出了联机分析处理系统。 在o l a p 应用中，用户需要从多个不同角度观察和分析感兴趣的数据，这就要求 o l a p 系统为用户提供数据的多维视图。于是，j i mg r a y 提出了一种多维概念模 型一一数据立方肛j 。数据立方( d a t ac u b e ，简称c u b e ) 算子c u b eb y 是传统的 g r o u pb y 算予的多维扩展，用于计算c u b eb y 子旬中各属性的所有可能组合 所对应的g r o u pb y 。一个g r o u pb y 也被称作一个数据小方【3 j 。数据立方将数 据仓库中的数据组织成逻辑多维形式，可以直观地支持通用的切片切块( 选择和 投影操作) 、上卷( 增加聚集的粒度) 、下钻( 减小聚集粒度) 和旋转( 改变数据 多维视图的观察角度) 等o l a p 操作。 数据立方在不同类型的o l a p 系统中有不同的实现模式。o l a p 按照存储方 式可分为r o l a p 和m o l a p 。在m o l a p 中，数据以多维数组形式存储，可以直 接支持数据立方的多维概念模型。在r o l a p 中，数据以关系表的形式存储在 r d b m s 中，一般通过星型模式来支持数据立方的多维概念模型。星型模式中包 含两类表：一类是事实表，用来组织度量值以及各个维的码值，事实表往往很大， 数据立方就是由此表通过c u b eb y 算子计算得到；另一类是维表，分布在事实 表的周围，用以组织在观察，分析度量信息时所使用的维信息，相对于事实表来 2 华中科技大学硕士学位论文 说，维表显得比较小。事实表通过外键与维表中的主键联系在一起。为了加快 o l a p 查询，一般预先部分或完全计算并实化数据立方，因此，r o l a p 中除了维 表和事实表，还包含预先计算好的较粗粒度的数据小方。 数掘立方满足了o l a p 系统多维视图的需求。因此，数据立方概念一提出， 就引起了学术界的广泛关注。学术界在数据立方的有关计算、索引存储、实化视 图、查询处理及优化等方面进行了大量的研究工作，其研究成果很快在o l a p 系 统中使用，并与上钻( r o l l u p ) 算子【4j 一起作为s q l 。9 2 ( 结构化查询语言，s t r u c t u r e d q u e r yl a n g u a g e ) 标准在o l a p 方面的扩展，现在已_ 兀j ：式被s q l 一9 9 标准采用。所 以现行的0 l a p 系统无不把数据立方作为其构建的基础。 1 2 国内外有关研究的现状及动态 1 ，2 1 系统集成 系统集成的目标是企业信息资源的分布式共享。随着企业信息化建设的发展， “信息孤岛”的增加，系统集成越来越重要。国内外关于系统集成的研究分布在 集成理论、分布式技术、w e b 下的数据统一描述以及异构数据集成系统的查询性 能等等方面。 文献f 5 ，6 】建立了系统集成方法学的领域描述框架，提出了系统集成理论、技 术与方法体系的学科内容以及划分思想，探讨了系统集成的研究范畴、研究对象、 学科联系和发展方向：重点阐述了系统集成的概念、原理和总体方法以及集成与 并行工程、重构工程和协同学等相关学科原理之间的关系以及其作用机制。 如何实现分布的、多个异构数据间的共享与集成是系统集成领域中的重要课 题和研究方向之一【。异构数据源的集成和分布式对象技术密切相关，公共对象 请求代理框架( c o m m o no b j e c tr e q u e s tb r o k e ra r c h i t e c t u r e ，c o r b a ) 作为当今计 算机界令人关注的中间件规范，基于c o r b a 的异构数据源集成方案也很多 卜吲。 基于可扩展标志语言( e x t e n s i b l em a r k u pl a n g u a g e ，x m l ) 的w 曲s e r v i c e 是 近几年兴起的一种分布式集成标准，基于w e bs e r v i c e 的n e t 平台提供了完善的 系统集成环境。文献 1 4 1 讨论了基于n e t 平台的系统集成方法。x m l 具有半结 3 华中科技大学硕士学位论文 构化数据的描述能力，在系统集成上有广泛应用。 分布式系统集成有基于浏览器服务器( b r o w s e r s e r v e r , ，b s ) 模式的，也有 基于客户端，服务器( c l i e n t j s e r v e r ，c j s ) 模式的。文献 1 7 1 9 提出了一些基于w e b 的b s 模式的分布式异构数据集成方案。w e b 数据库的集成设计 20 1 ，主要任务是 对数据库的全局逻辑结构进行设计。在数据的物理层之上广泛建立视图层和信息 的索引层，以求达到最小的数据耦合度。这样服务器便能够快捷、准确地对用户提 出的数据要求进行解释和执行。 异构数掘集成系统的查询性能是一个很重要的研究领域。文献【2 】 研究了关 j r c s 模式下的数掘集成系统的查询性能。文献 2 2 7 研究了通用异构数据源集成 系统的查询分解和优化。为了提高查询效率，文献f 2 3 1 提出在多维数据库上集成 异构数据，多维数据库在数据存储，检索以及综合上有着关系数据库不可比拟的 优势。 系统集成在开发企业信息系统中有非常大的指导作用。文献 2 4 设计了一种 事务构件模型，提出了一种基于此模型的企业资源计划( e n t e r p r i s er e s o u r c ep 1 a n ， e r p ) 系统集成方法，这种方法支持跨平台、跨语言的软件构件的集成，可以复用已 存在的软件系统或软件构件。文献 2 5 研究信息系统的集成管理策略，即如何对 网络、计算机系统、数据库、应用系统等多个层次进行集成的管理。 目前已经研制出来的异构数据集成系统有很多，其中有代表性的三个系统是： ( 1 ) l o r e l o r e c l i g k , t w e i g b to b j e c tr e p o s i t o r y ) 是美国s t a n f o r d 大学设计的一个专门用于 管理半结构化信息的数据库管理信息系统，可以对半结构化数据和x m l 数据进 行存储和管理。l o r e 包含标准数据库的一些特性，如：多用户支持、日志和恢复 功能以及查询和更新语言。同时l o r e 也提供了其他些操作数据库的工具。 ( 2 ) o z o n e o z o n e 是美国s t a n f o r d 大学设计的一个集成模型，该模型对面向对象数据库 的o d m g 模型进行了扩展，可以对结构化和半结构化数据进行集成。o z o n e 系统 特别适合处理杂合性数据，尤其是广泛应用于w 曲上的数据。 ( 3 ) v e r s a t i l e v e r s a t i l e 是由东南大学丌发的一个基于c o r b a 的可扩展的异构数据源集成 系统原型。浚模型在i o n a 公司的o r b i x 产品上，对s q ls e r v e r 、v e r s a n t 、文件 4 华中科技大学硕士学位论文 系统、超文本数据进行包装和集成( 2 “。该系统不仅能集成上述数据源，而且能集 成随时插入的新数据源中的数据。 在e 述的三种模型中，l o r e 系统是存储x m l 数据的一个专门数据库系统， 它是异构数据集成系统代表性的例子。该系统的体系结构设计、查询处理和优化 方式为后来的异构数据集成系统提供了很好的借鉴。通过对l o r e 系统的分析可深 入了解异构数据集成系统。 1 2 2 联机分析处理系统的查询优化 进行数据集成的重要原因是要进行数据的分析和挖掘。联机分析处理是进行 数据分析的重要工具，数据立方( 多维数据集) 是o l a p 系统操作的基本单位。 目前，数据立方查询优化技术主要有如下2 类：第一类是针对数据立方查询一般 都需要复杂的实时聚集计算，利用实化视图来响应查询，从而避免实时聚集计算； 第二类是针对星型查询的查询处理特点而进行的物理优化和逻辑优化。 ( 1 ) 利用实化视图响应查询 为了加快数据立方查询的响应速度，大多数o l a p 系统预先计算全部或部分 数据小方，并存储在磁盘上，在响应用户查询时，o l a p 首先在实化视图池中查 找，如果存在一个实化视图能够以较小代价( 直接或通过计算) 回答查询，则利 用视图响应查询。实化视图池中的实化视图是预先聚集计算好的各种粒度的视图 ( 般有查询级、数据小方级和块级【2 6 】) 。因此，用实化视图来响应查询避免或 减少实时聚集计算，大大提高响应速度。 但是，实化视图需要巨大的额外存储空间，特别是当数据立方很大时。为了 平衡查询性能与存储空间代价，一些视图选择算法被提出：h a r i n a r a y a n 等人提 出b p u s ( 一种多项式贪心算法) ，它以单位空间效益作为选择根据，试图让所选 视图取得最大效益。b p u s 在假设查询等概率的情况下几乎提供了接近最优配置 的解决方法，但是它的计算太复杂，因此s h u k l a 等人在不考虑索引的线性代价模 型下提出是一种又简单又快速的视图选择算法p b s 2 7 1 ，且其计算结果几乎接近 b p u s 。g u p t a 、s a n j a ya g r a w a l 等人分别提出了视图和索引的选择算法，该算法 考虑数据立方中存在索引的情况下的视图和索引的自动选择问题。 另外，针对怎样利用实化视图来响应查询，美国国际商用机器公司 5 华中科技大学硕士学位论文 f i n t e r n a t i o n a lb u s i n e s sm a c h i n e s ，i b m ) a l m a d e n 研究中心的c h i n g t i e nh o 等人提 出的利用p r e f i x s u m sc u b e 来优化范围查询的s u m 和m a x 计算问题。p r a s a d d e s h p a n d e 等人就怎样利用基于语义c h u n k 的实化视图来快速响应查询问题做了 深入的研究 2 8 】。 ( 2 ) 物理优化和逻辑优化 数掘立方查询的两个重要特点是事实表与多个维表之问的外键与主键的等值 连接和按照维上不同层次进行不同粒度的分组聚集计算。数据立方查询处理的物 理优化就是对多表星型连接操作( s t a rj o i n ) 和分组操作( g r o u pb y ) 的具体实 现算法的优化：逻辑优化主要就是对星型连接操作( j o i n ) 、分组操作( g r o u pb y ) 的运算次序进行的优化。 在数据立方查询处理中的物理优化，就是对j o i n 操作和g r o u pb y 操作根据 存取路径、数据的存储分布、存储数据的聚簇等信息来选择具体的实现算法。 o n e i l 和o r a e f e 提出了一种的星型连接算法，它需要每个维上都有索引，且还要 有从各维记录i d 到事实表记录i d 的映射索引。w i n i n g e r 针对星型模式的特点， 提出一种高效的连接算法p u s h d o w nh a s h j o i n 2 9 1 ，它根据事实表的外键上有没有 索引来选择t h ei n d e xp u s h - d o w n 和b i t v e c t o rp u s h d o w n 。以上两者都是在事实表 上没有多维索引的情况下选择和连接操作的混合操作。对于纯粹的事实表与维表 之间的外键与主键的等值连接操作，国内的蒋旭东在假设星型模式中的维表都很 小且远远小于事实表得前提下，也提出了一种直观但很有效的多表连接算法。 对于逻辑优化，传统的r d b m s 都有一套比较完善的数学理论和通用启发式 优化算法口”。另外，还有一些具有针对性的优化算法，如y l e v y 等人提出了 m o v e a r o u n d 操作符，它主要针对含有多个查询块的查询，m o v e a r o u n d 可以移 动查询块【3 ”。后来w e i p e n g 和l a r s o n 就决策支持应用中的聚集计算查询问题提出 了优化策略e a g e r a g g r e g a t i o na n d l a z y a g g r e g a t i o n i 强】，它是在查询树中上下移动 g r o u pb y 操作符，把g r o u pb y 操作放在某些j o i n 操作之前，这样可以减少j o i n 操作中的元组数目。但是，上述两者都还只是基于传统的r d b m s ，并不适合星 型模式的数据立方查询。t p l o 和e t p l o 都是先将数据立方查询表达分解成几个 局部查询表达，然后对每个局部查询表达选择最优执行计划，最后合并这些局部 最优执行计划就得到整个的查询的最优执行计划；g g a 则不同于前两个算法，由 于虽然选择的是局部最优执行计划，但合并后并非整个查询的最优执行计划，所 6 华中科技大学硕士学位论文 以g g a 从整个奄询表达出发，一次就选择整个查询的最优执行计划。 最近，k a r a y a n n i d i s 等对于基于层次聚簇的事实表的查询处理过程提出了一 种预分组变换( p r e g r o u p i n g ) 的优化方案口。p r e g r o u p i n g 利用层次代理键( h s k ) 与维表层次属性的函数映射关系在不进行任何 o i n 操作前进行最大限度的g r o u p 操作，以极大的同时减少进行j o i n 操作的元组数目和g r o u pb y 操作的元组大小 ( 在这种方案中还可以根据情况除去不必要的j o i n 操作) 。它与以前的移动j o i n 操作符的算法有所不同：以前的移动j o i n 操作符不会改变连接条件，而 p r e g r o u p i n g 需要改变连接条件。但在有些情况下，额外增加的g r o u pb y 操作， 会使p r e g r o u p i n g 的代价超过不进行p r e g r o u p i n g 的代价。于是t s o i s 等人又提出 基于代价的p r e g r o u p i n g 优化，它使用一种代价模型来分别估算使用与不使用 p r e g r o u p i n g 变换的代价大小，让优化器从中选择一个较好的方案 3 4 】。 ( 3 ) 多维聚集查询处理 对于多维聚集查询处理的实现过程，现行的o l a p 系统一般分如下三个步骤。 多维区间生成：根据查询条件中指定的维表上的限制查询维表，生成维 表主键值的多维区间。为了减小多维区间生成的代价，一般的做法是在维表上建 立索引 3 5 1 ，如b + t r e e 索引等。 数据立方查询处理：根据多维区间来查询数据立方，得到结果集3 6 】。其 实现过程可以描述为：首先确定查询所在的数据小方，如果该小方已经被预先计 算，则直接对该小方进行查询；否则在已被预先计算的小方( 包括最细粒度的小 方) 中找出能够响应该查询的较细粒度小方，然后重新生该小方上的多维区间， 再根据这一新的多维区间查询较细粒度小方，最后经过星型查询处理即时聚集计 算得到结果。 星型查询处理；先是将结果集与各维表进行连接，然后进行分组聚集计 算。经过数据立方查询处理后，得到的结果集中只含各维的码值，用户并不知道 这些码值的含义。因此，数据立方查询处理后的结果集还要与各维表连接得到码 值的描述信息，如果是通过较细粒度小方间接查询的，与维表连接后还应按照用 户要求进行即时分组聚集计算，这个过程也称为星型查询处理。其中，结果集与 各维表的连接是中心表( 结果集) 与周边表( 维表) 之间的外键与主键的等值连 接，也称为星型连接p ”。 7 华中科技大学硕士学位论文 1 3 本课题的主要研究的工作 企业信息系统数据集成与查询优化是科技部科技型中小企业技术创新基金项 目“中小型制造企业资源计划管理系统”的一个子项目，其主要研究目标是解决 企业内已有异构信息系统的集成以及集成数据的查询优化技术。 数据集成是系统集成的核心内容，也是进行数据分析的基础；数据分析需要 查询大量的数据，相关的查询优化很重要。本文的主要工作是研究数据集成的接 口以及在集成后的数据上进行查询优化的相关技术。 相关主要研究内容包括： ( 1 ) 分析企业信息系统存在信息孤岛的现状，认识企业资源整合的重要意义。 ( 2 ) 分析异构集成系统的特征以及功能需求，结合实践，对系统集成常用的 几种接口方案和异构系统集成模型进行详细地论述。 ( 3 ) 分析异构系统接口方案，并对基于消息总线的数据集成模型作了实现。 ( 4 ) 在分析数据立方的实现方案，采用了基于星型模式的关系型实现方案。 ( 5 ) 基于内存数据立方的查询处理以及优化，包括内存数据结构与索引，相 关的查询过程的描述。 最后对本文所作的工作进行了总结，并对文中潜在的问题作了深入的分析， 指出了下一步研究的内容和方向。 8 华中科技大学硕士学位论文 2 1概述 2 企业信息资源整合 随蓿企业信息化建设的发展，企业实施信息化一般都是分步实施的即在不 同的时期实施不同的系统。由于信息技术的发展一同干罩，不同时期实施的系统 所采用的软硬件环境一般不会相同，导致这些系统基本上是异构的和互相独立的。 随着时间的积累，一个企业可能在同时使用几十种不同的信息系统形成一个个巨 大的信息孤岛。这种状况对企业的管理有很大的危害，把企业的信息资源整合起 来是非常重要的。 2 2 企业信息管理系统的发展 企业信息化的发展大致上是从物料需求计划( m a t e r i a lr e q u i r e m e n tp l a n n i n g ， m r p ) 发展到制造资源计划( m a n u f a c t u r i n gr e s o u r c ep l a n n i n g ，m r p ) ，再发展到 企业资源计划( e n t e r p r i s e r e s o u r c e sp l a n n i n g ，e r p ) 。 ( 1 ) 早期的物料需求计划管理系统( m a t e r i a lr e q u i r ep l a n n i n g ，m r p ) 阶段 2 0 世纪6 0 年代，早期的m r p 是基于物料库存计划管理的生产管理系统。 m r p 系统的目标是：围绕所要生产的产品，应当在正确的时间、正确的地点、按 照规定的数量得到真正需要的物料；通过按照各种物料真正需要的时间来确定订 货与生产日期，以避免造成库存积压。 ( 2 1 闭环的m r p 阶段 2 0 世纪7 0 年代，m r p 经过发展形成了闭环的m r p 生产计划与控制系统。 m r p 基本原理是，将企业产品中的各种物料分为独立物料和相关物料，并按时间 段确定不同时期的物料需求：基于产品结构的物料需求组织生产，根据产品完工 f = | 期和，“品结构规定生产计划；从而解决库存物料订货与组织生产问题。m r p 以 物料为中心的组织生产模式体现了为顾客服务、按需定产的宗旨，计划统且可 行，并且借助计算机系统实现了对生产的闭环控制。 ( 3 ) 制造资源计划管理系统( m a n u f a c t u r er e s o u r c ep l a n n i n g ，m r ei i ) 阶段 9 华中科技大学硕士学位论文 2 0 世纪7 0 年代术和3 0 年代初，物料需求计划m r p 经过发展和扩充逐步形 成了制造资源计划m r pi i 的生产管理方式。在m r pi i 中，包括人工、物料、 设备、能源、市场、资金、技术、空间、时间等制造资源都被考虑进来。m r p i i 的基本思想是：基于企业经营目标制定生产计划，围绕物判转化组织制造资源， 实现按需要按时进行生产。m r pi i 主要环节涉及：经营规划、销售与运作计划、 主生产计划、物料清单与物料需求计划、能力需求计划、车间作业管理、物料管 理( 库存管理与采购管理) 、产品成本管理、财务管理等。从一定意义上讲，m r p i i 系统实现了物流、信息流与资金流在企业管理方面的集成。由于m r pi i 系统能 为企业生产经营提供一个完整而详尽的计划，可使企业内各部门的活动协调一致， 形成一个整体，它能提高企业的整体效率和效益。 ( 4 ) e r p 阶段 世纪9 0 年代以来，m r p i i 经过进步发展完善，形成了企业资源计划e r p 系统。与m r p i i 相比，e r p 除了加强m r p i i 的各种功能之外，更加面向全球市 场，功能更为强大，所管理的企业资源更多，支持混合式生产方式，管理覆盖面 更宽，并涉及了企业供应链管理，从企业全局角度进行经营与生产计划，是制造 企业的综合的集成经营系统。e r p 所采用的计算机技术也更加先进，形成了集成 化的企业管理软件系统。 f 5 ) 未来的企业信息系统 e r p 与客户关系管理( c u s t o m e r r e l a t i o n s h i pm a n a g e m e n t ，c r m ) 的进 步整合：e r p 将更加面向市场和面向顾客，通过基于知识的市场预铡、订单处理 与生产调度、基于约束调度功能等进一步提高企业在全球化市场环境下更强的优 化能力：并进一步与客户关系管理c r m 结合，实现市场、销售、服务的一体化， 使c r m 的前台客户服务与e r p 后台处理过程集成，提供客户个性化服务，使企 业具有更好的顾客满意度。 e r p 与电子商务、供应链管理系统( s u p p l yc h a i n m a n a g e m e n t ，s c m ) 、 协同商务的进一步整合：e r p 将面向协同商务( c o l l a b o r a t i v ec o m m e r c e ) ，支持 企业与贸易共同体的业务伙伴、客户之间的协作，支持数字化的业务交互过程： e r p 供应链管理功能将进一步加强，并通过电子商务进行企业供需协作，如汽车 行业要求e r p 的销售和采购模块支持用电子商务或电子数据交换( e l e c t r o n i cd a t a i n t e r c h a n g e ，e d i ) 实现客户或供应商之间的电子订货和销售开单过程；e r p 将支 1 0 华中科技大学硕士学位论文 持企业面向全球化市场环境，建立供应商、制造商与分销商间基于价值链共享的 新伙伴荚系，并使企、【k 在协同商务中做到过程优化、计划准确、管理协调。 1 t 7 。执行系统( m a n u f a c t u r ee x e c u t i v es y s t e m ，m e s ) 和e r p 的整合。 m e s 将实时的把生产线上的数据传送给e r p 系统，使e r p 系统克服数据延迟的 现象。 随着计算机技术的发展和企业管理理念的发展，企业信息系统的功能越来越 强大、完善，一些个性化以及专业化的信息系统越来越多。在企业信息化系统的 发展中，一个企业可能会在不同的阶段实施不同的管理系统，所以同一个企业可 能在同时使用不同阶段的信息系统。 2 3 企业信息资源现状 近些年来，我国信息化建设取得了长足的进步，无论行业还是企业，都从信 息技术的应用中感受着“种种好处”。互联网技术的出现，使我们得以把分散的、 孤立的信息串联起来，形成一个能够触及世界各地的供应链，广泛地从事商品与 服务的电子化交易，不仅大大扩展了交易的范围，而且有效地缩短了交易时间， 降低交易成本。信息技术在提高企业生产力方面，起着无可比拟的作用。但同时， 信息化建设过程中潜在的一些问题也开始渐渐显露出来。 “信息孤岛”是信息化建设过程中最严重的问题之一。据m e t a g r o u p 的统计， 一家典型的大型企业平均拥有4 9 个应用系统。企业信息化管理和应用已从c l m s 、 m p r 向着e r p 、s c m 、c r m 、商务智能、决策支持、电子商务等方向发展，让 人感觉到“规模化”和“高度集成”特点越来越显著。 “信息孤岛”从在技术上带来的不良影响大致可以分为以下几个方面： ( 1 ) 数据的致性无法保证。由于信息定义与采集过程以及采集的时间彼此 独立，企业的同一数据可能在不同的应用中不一致，这将给企业正常运作带来无 穷的后患。 ( 2 ) 信息及时共享、反馈难。信息不能及时充分共享的矛盾突出，集团中“信 息孤岛”林立。如销售部门不能及时掌握可用库存信息，不能及时了解销售订单处 理情况，不能及时知道产品价格变化情况；仓储部门则不能及时掌握市场销售情 况、可用库存情况，无法确定合理的安全库存量；同时集团总部也不能及时了解 华中科技大学硕士学位论文 下属机构生产经营情况，不能实时监控集团资金流转状况，无法形成科学的决策。 信息的共享、反馈难，集团就无法适应当今快速多变、全球化竞争的市场环境， 集团的生存和发展将面临极大的挑战。 f 3 1 企业数据中存在很大的冗余、大量的垃圾信息。这是因为同一数据可能 被不同的系统多次存储，冗余的垃圾信息将消耗掉大量的有效硬件资源，同时降 低系统的运作效率。 f 4 ) 相同信息需要多次重复输入。对信息的多次采集不仅仅是额外的劳动， 同时会导致数据失真。 2 4 企业信息资源整合的意义 信息化的高级应用是实现电子商务和进行决策支持。解决“信息孤岛”对电 子商务、决策支持的实现很有意义，如果不解决“信息孤岛问题”，它们都将是空 中楼阁。 ( 1 )“信息孤岛”使电子商务成为妄想，信息资源整合使电子商务成为可能。 电子商务要求与供应商、合作伙伴，当然还包括与客户之间具有更高程度的 系统集成、协调和协作。这些团体都各自具有它们特定的需求、专门技术，以及 计算技术。将企业核心应用和新的i n t e r n e t 解决方案结合在一起还不能说完成了 电子商务的构建，必须使这些系统能够协调地工作才行。如当用户通过i n t e m e t 订购一个产品时，该产品需要被包装发运，用户需要付款，产品库存信息需要进行 修改更新，原材料或新的备件需要被及时订购。这一电子商务过程的实现，是新 的基于w e b 的系统和现有的在企业中运行的后台应用系统之间的集成结果。