（计算机应用技术专业论文）基于eⅡ的信息管理系统架构研究与开发.pdf

摘要 摘要 在政府向“柔性家长制”转换以及企业向“弱利他主义 转变的趋势下，政府和企 业在数据管理与服务方面正面临着很多挑战。首先，政府、企业部门需要建立一个统一 的数据视图，以便决策支持和对外服务。同时，也需要快速实施异构应用集成，统一管 理数据，达成全局信息的可视化，实现政府、企业部门的跨省信息集成和跨应用整合。 然而，大部分信息系统面临的现实是：数据分散在多个不同系统中；没有统一的数据模 型；没有一个应用可以完整反映所有数据；不同应用数据存取服务无法共享、重复开发。 而e i i ( 企业信息集成) 正是解决以上问题的好方法。 e l i 是最具代表的数据孤岛间的数据交互、集成的解决途径之一，而i p e d o 公司的 e l i 产品在国际、国内都是处于比较领先的地位。本文在研究i p e d o 系统架构及相关知 识的基础上，对其“双引擎 机制进行改进，研究了更多基于i p e d o 产品的优化方法， 并加以实现。首先本文从查询的编译时间和执行时间两方面考虑，对x q u e r y 引擎进行 优化调整，提出了一种基于重写x q u e r y 查询，综合利用i n d e x 等的优化方法来提高 x q u e r y 引擎的查询效率；其次考虑到i o 和c p u 时间，以及如何降低i o 次数等问题， 本文又从优化通讯代价、减少传输数据量方面对s q l 引擎进行优化改进。基于e i i 的信 息管理集成系统的复杂环境决定了查询处理能力是体现该系统性能的关键指标之一。具 体的查询语句应根据具体的环境采用具体的查询优化策略，但是每个查询语句又不失一 般性。合理的查询处理结构设计再加上查询语句的优化技术，会大大提高e i i 系统的性 能。 本文通过一个具体的案例：池州供电公司信息资源整合系统的设计、开发过程的介 绍，说明了e i i 在企业管理中的具体应用，并介绍了本人在系统丌发、维护过程中所作 的相关工作。池州供电公司经过多年的建设，已经建立了各种较为完备的管理应用系统， 但是系统数据的共享性差，缺乏统一的数据采集中心和统一的营销管理与分析决策应用 平台，无法满足日益精确、有效的数据信息获取需求。因此最好的做法是在原有的应用 系统基础上，通过信息应用集成与数据集成手段，建立既相互独立又能实现数据共享、 有效协同工作的企业综合信息平台，最大限度利用各专业信息系统多年积累的数据，将 这些数据转换成为企业创造价值的信息。针对池州供电公司企业的信息化建设现状和发 展趋势，我们提出了池州供电公司信息资源整合系统( 企业信息门户，e i p ) 全面解决 方案，旨在协助池州供电公司在信息化建设领域进行技术架构的深层次调整，同时也解 决了信息化过程中的信息孤岛问题。 最后，对本文的工作进行了总结，并指出了以后的研究方向。 关键词：e i i ，信息集成系统，异构，查询优化，s q l 引擎，x m l ，x q u e r y 引擎 a b s t r a c t a b s t r a c t i nt h et r e n do ft h ec h a n g eo ft h eg o v e r n m e n tw h i c hc o n v e at o ”f l e x i b i l i t yp a t e r n a l i s m ” a n dt h et r a n s f o r m a t i o no fe n t e r p r i s e sw h i c hc o n v e r tt o ”w e a ka l t r u i s m ”t h eg o v e r n m e n ta n d e n t e r p r i s e sa r ef a c i n gm a n yc h a l l e n g e si nt h ed a t am a n a g e m e n ta n ds e r v i c e s f i r s t ，t h e g o v e r n m e n ta n dt h eb u s i n e s ss e c t o rn e e dt oc r e a t eau n i f i e dv i e wo fd a t at os u p p o r t d e c i s i o n - m a k i n ga n de x t e m a ls e r v i c e s a tt h es a m et i m e t h e yn e e dr a p i di m p l e m e n t a t i o no f h e t e r o g e n e o u sa p p l i c a t i o n i n t e g r a t i o na n du n i f i e dm a n a g e m e n to fd a t a t o g e tg l o b a l i n f o r m a t i o nv i s u a l i z a t i o na n dt h e i n t e r - p r o v i n c i a li n f o r m a t i o ni n t e g r a t i o na n dc r o s s a p p l i c a t i o ni n t e g r a t i o no ft h eg o v e r n m e n ta n dt h eb u s i n e s ss e c t o r h o w e v e r , m o s to ft h e i n f o r m a t i o ns y s t e mi sf a c i n gt h er e a l i t y ：d a t as c a t t e r e di nan u m b e ro fd i f f e r e n ts y s t e m si nt h e a b s e n c eo fau n i f i e dd a t am o d e l ：a na p p l i c a t i o nc a nn o tc o m p l e t er e s p o n s et oa l lt h ed a t a ；t h e a c c e s ss e r v i c eo fd i f f e r e n ta p p l i c a t i o n sc a nn o ts h a r ed a t aa n dr e p e a td e v e l o p m e n t t h ee i i ( e n t e r p r i s ei n f o r m a t i o ni n t e g r a t i o n ) i sag o o dw a y t os o l v et h ea b o v ep r o b l e m e l ii so n eo ft h em o s tr e p r e s e n t a t i v es o l u t i o n so ft h ed a t ae x c h a n g ea n dd a t ai n t e g r a t i o n b e t w e e nt h ed a t ai s l a n d ，a n di p e d o se i ip r o d u c t sa r ei nar e l a t i v e l yl e a d i n gp o s i t i o ni nt h e i n t e r n a t i o n a la n dd o m e s t i c b a s e do nt h es t u d yo ft h es y s t e ma r c h i t e c t u r eo f i p e d oa n dr e l a t e d k n o w l e d g e ，t h i sa r t i c l ef o c u so nt h ei m p r o v e m e n to fi t s ”t w i ne n g i n e s ”m e c h a n i s ma n dt h e m o r eo p t i m i z a t i o nm e t h o d ss u i t e dt ot h ei p e d op r o d u c t s ，a n da c h i e v et h e m f o rt h ef i r s tt i m e t h i sp a p e ri m p l e m e n tt h eo p t i m i z a t i o no fx q u e r ye n g i n ei nt h er e s p e c t so ft h ec o m p i l e da n d i m p l e m e n t a t i o nt i m e ，p r o p o s ea l lo p t i m i z a t i o nm e t h o dw h i c hb a s e so nr e w r i t i n gx q u e r ya n d u s i n gi n d e xa n ds oo nt oi m p r o v et h ee f f i c i e n c yo fx q u e r ye n g i n e a l s o ，t a k i n gt h ei 0a n d c p ut i m ea n dr e d u c i n gt h ei on u m b e ro fi s s u e si n t oa c c o u n t ，t h i sp a p e ri m p l e m e n tt h e o p t i m i z a t i o no fs q le n g i n ei nt h ec o m m u n i c a t i o n sc o s t sa n dr e d u c i n gt h et r a n s m i s s i o no f d a t a t h ec o m p l e xe n v i r o n m e n to fe i i b a s e di n t e g r a t e di n f o r m a t i o nm a n a g e m e n ts y s t e m d e t e r m i n e st h a tt h ec a p a c i t yo fi n q u i r yh a n d l i n gi sak e yi n d i c a t o ro fs y s t e mp e r f o r m a n c e s p e c i f i cq u e r ys h o u l db eu s e ds p e c i f i co p t i m i z a t i o ns t r a t e g i e so nt h es p e c i f i ce n v i r o n m e n t ， b u te a c hq u e r ya l s oh a sg e n e r a l i t y r e a s o n a b l ee n q u i r i e sd e a lw i t hs t r u c t u r a ld e s i g nc o u p l e d w i t ht h eq u e r yo p t i m i z a t i o nt e c h n o l o g y , w i l lg r e a t l ye n h a n c et h ep e r f o r m a n c eo fe i i t h r o u g ht h ei n t r o d u c t i o no fas p e c i f i cc a s e ：c h i z h o up o w e rc o m p a n y si n f o r m a t i o n r e s o u r c e si n t e g r a t i o ns y s t e m ，i ti n t r o d u c e st h ee l i s s p e c i f i ca p p l i c a t i o n s i nb u s i n e s s m a n a g e m e n t a n dt h e w o r kw h i e ht h ea u t h o rm a d ei nt h es y s t e md e v e l o p m e n ta n d m a i n t e n a n c e a f t e ry e a r so fc o n s t r u c t i o n , c h i z h o up o w e r sc o m p a n yh a se s t a b l i s h e da r e l a t i v e l yc o m p l e t em a n a g e m e n to fv a r i o u sa p p l i c a t i o n s ，b u tt h ed a t a s h a r i n gs y s t e mi sp o o r a n d1 a c ko fu n i f i e dd a t ac o l l e c t i o nc e n t r ea n dau n i f i e dm a r k e t i n gm a n a g e m e n ta n da n a l y s i so f t h ed e c i s i o n - m a k i n ga p p l i c a t i o np l a t f o r m ，u n a b l et om e e tt h en e e d so fi n c r e a s i n g l ya c c u r a t e a n de f f e c f i v ea c c e s st od a t aa n di n f o r m a t i o n t h e r e f o r et h eb e s ta p p r o a c hi so nt h eb a s i so ft h e o r i g i n a la p p l i c a t i o ns y s t e m ，t h r o u g ht h em e t h o do fa p p l i c a t i o ni n t e g r a t i o na n dd a t ai n t e g r a t i o n ， t oe s t a b l i s ht h ee n t e r p r i s ec o m p r e h e n s i v ei n f o r n l a t i o np l a t f o r mw h i c hi sn o to n l yi n d e p e n d e n t b u ta l s od a t as h a r i n ga n de f f e c t i v ec o o r d i n a t i o n t h ei n f o r m a t i o np l a t f o f i nc a nh a v et h e m a x i m u mu t i l i z a t i o no ft h ep r o f e s s i o n a li n f o r m a t i o nd a t aa c c u m u l a t e do v e rt h ey e a r sa n d n a b s t r a c t t r a n s f o r i l lt h e s ed a t at ov a l u e c r e a t i n gb u s i n e s si n f o r m a t i o n a c c o r d i n gt ot h es t a t u sq u oo ft h e i n f o r m a t i o nb u i l d i n ga n dd e v e l o p m e n tt r e n do fc h i z h o up o w e rc o m p a n y , w eh a v ep r o p o s e da c o m p r e h e n s i v es o l u t i o no fc h i z h o up o w e rc o m p a n y si n f o r m a t i o nr e s o u r c e si n t e g r a t i o n s y s t e m ( e n t e r p r i s ei n f o r m a t i o np o r t a l ，e i p ) t oh e l pc h i z h o up o w e rc o m p a n yt oh a v ea d e e p l e v e la d j u s t m e n to fc o n s t r u c t i o nt e c h n i c a ls t r u c t u r ei nt h ei n f o r m a t i o nf i e l d b u ta l s o s o l v et h ei s s u e so fi n f o r m a t i o ni s o l a t e di s l a n d sti nt h ep r o c e s so fi n f o r m a t i o n i z e f i n a l l y , t h ep a p e rs u m m a r i z e st h ew o r ka n dp o i n t so u tt h ed i r e c t i o nf o rf u t u r er e s e a r c h k e y w o r d s ：e i i ，i n f o r m a t i o ni n t e g r a t i o ns y s t e m ，h e t e r o g e n e o u s ，q u e r yo p t i m i z a t i o n , s q le n g i n e ，x m l ，x q u e r ye n g i n e i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签 名：瑰 日 期：趔墨：2 ：z 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名：鹱鏖 导师签名：乏纠丛粗一日 期： 丝湿：基：篓 第一章绪论 第一章绪论 1 1 课题研究背景和意义 信息技术的诞生和应用，给企业带来一系列令人惊讶的变化，同时，也有一些“弊 端”正迅速展露出来，一个重要的问题就是由于企业的传统结构是按照职能来组织 各个部门，各个部门分别担负相关的职能，分别使用不同的应用信息系统来协助他们完 成规定的职能，导致众多关键的信息被封闭在相互独立的系统中，形成一个个所谓的“信 息孤岛”。为了使这些孤立的数据能够更好地实现资源共享，迫切地需要建立一个公共 的集成环境，对用户提供一个统一的、透明的访问界面，这作为一个企业需求被提了出 来，信息集成的研究因此而起 1 , 2 1 。因此基于e l l 的信息管理系统架构的研究与开发就 应运而生【3 】。 e l i ( 企业信息集成) 就是将企业不同的信息资源的数据和业务事件有机整合、衔接 起来，实现跨越系统边界的融合集成。与其他常见的集成方案相比，企业应用集成( e a i ) 在应用层进行集成，把信息从一个套装应用软件转移到另一个套装应用软件【4 1 ；门户软 件则是在表示层进行集成，通过集成的网络界面，为用户提供综合信息。这两种方案均 缺乏从多个后端数据源( 包括套装应用软件) 采集信息，然后提供给多个潜在用户界面 的功能。e l i ( 企业信息集成) 的目的不是替换现有的异构平台、数据库、应用软件以及 服务器，而是将他们从数据层面开始逐级有机地集成在一起，把信息本身集合成统一视 图，解决“信息孤岛”以及信息交互的障碍问题【5 l 。通过信息集成不仅可以达到系统之 间通信规范化目的，重要的是使信息在不同应用之间的交互得到支持，并且通过对集成 信息的整理挖掘可以使企业级的应用系统得以发展起来，以适应未来信息系统的纵向和 横向拓展眇7 l 。 e l i 与硬件设施无关而能使数据集成，从而获得越来越多的关注。换言之，e l i 增加 了综合报表能力，使其对现有系统的冲击减到最小。在下述情况下e l i 使数据集成的需 求变得有意义： 1 特殊情况下，连接结构化数据( 如数据在数据仓库) 与非结构化数据，利用了 e l i 将数据保留在原地的优点，可以大大提高整体的存储要求。 2 当需要数据变化立即反馈到数据视图时( 不断变化资料的副本并不够) 。 3 当数据转换相对较少或者不需要数据转换，只是将数据抽取到一起，这对综合 查询是最大的挑战。 4 e l i 查询性能相对较差是可接受的( 与具有明显优势的拥有所有数据的本地查询 相比) 。 5 有些业务和管理报表的数据并非完全集成在一个地方时。 6 绩效管理整合软件具有多层商务智能系统，允许公司看到企业层次的绩效管理 ( 通过商务智能系统层次) ，使用l o b 量规来计算企业k p i ( 主要绩效指标) 江南人学硕十学位论文 e i i 正在不断改变，其中的一些劣势和缺陷会随着时间不断减少，正处于逐步进化 的过程【引。 1 2 国内外的研究现状 1 2 1 信息集成系统架构的研究现状 信息集成系统是为了满足用户对信息的需求而建立的系统，信息集成系统的研究已 经经历了二十多年的发展，研究者提出了很多信息集成体系结构。这些体系结构可以分 成以下三种类型【9 。1 7 】： 1 ) 联邦信息集成系统 1 9 8 5 年，d e n n i sh e i m b i g n e 等提出了联邦信息集成系统，该系统是将运行在不同服 务器上的多个独立数据源统一到一个逻辑上单一的集成系统中，这些服务器之间无共享 资源，通过l a n 连接起来，其体系结构如图1 1 所示。这种结构比较简单，集成系统 有统一的数据模式，数据被水平地划分到不同的服务器上，不用考虑不同数据源之间数 据的转化和统一。但是，它存在以下问题：首先，无论是d b a 还是应用丌发人员都必 须严格区分本地数据和远程数据；其次，构建这样一个系统需要很长的开发周期，需要 有高性能的主机设备，系统实现代价较高；再次，集成系统的扩展和维护代价较大，且 不同集成系统之间无法实现共享；最后，当系统规模较大时，系统性能会下降。因此， 随着信息资源的不断增长，联邦信息集成系统的应用受到一定的限制。 图1 - 1 联邦信息集成体系结构 f i g 1 1s y s t e ms t r u c t u r eo ff e d e r a t i o ni n f o r m a t i o ni n t e g r a t i o n 2 ) 基于数据仓库的信息集成系统 数据仓库的概念是d e v l i n 和m u r p h y 于1 9 8 8 年首次提出的，1 9 9 3 年w i l l i a m h i n m o n 系统地阐述了数据仓库的思想、理论。数据仓库是一个面向主题的、集成的、随时间变 化的、非易失性的数据集合，数据仓库体系结构如图1 2 所示。来自不同数据源中的数 据经过抽取、转换、清洗等操作加载到数据仓库中，终端用户使用o l a p 或数据挖掘工 具对数据仓库中的数据进行分析处理，获取自己想要的信息，主要用于为企业各级管理 人员从业务系统中获取决策支持提供服务。基于数据仓库的信息集成系统数据高度集 中，能够对企业决策所需求的大量信息进行有效处理。但是，该体系结构也存在不足： 方面由于网络环境下w e b 数据源中数据是不断变化的，而用户使用的是数据仓库中 2 第一章绪论 的数据，数据源中数据的变化在数据仓库中不能实时体现出来，要想尽可能为用户提供 准确、实时的信息，就需要不断地维护和更新数据仓库，使得数据仓库的数据更新和系 统维护的代价过大，该方法的实用性受到了挑战：另一方面，目前基于数据仓库的信息 集成系统在表达半结构化数据方面的能力不足，限制了该体系结构的应用范围。 图1 - 2 数据仓厍的体系结构 f i g 1 2s y s t e ms t r u c t u r eo fd a t aw a r e 3 1 基于中介器包装器的信息集成系统 基于中介器包装器的信息集成体系结构如图1 3 所示，该体系结构中数据不是存放 在中间层，而是依然保存在数据源中，当用户发出查询请求时，由中介器对查询进行分 析，确定与该查询相关的数据源，并将查询分解为对相关数据源的子查询，由各数据源 的包装器将子查询转换成对相应数据源的查询语言，由各数据源本地的查询执行引擎执 行相应的子查询，各包装器将相应的执行结果抽取出来，中介器将从各数据源返回的查 询结果进行合并得到最终查询结果返回给用户。该体系结构对用户完全透明，用户可以 不必了解每个数据源的模式，由中介器进行查询分解，包装器进行模式转换。同时由于 用户使用的数据是保存在数据源中的数据，因此数据源中数据的变化可以在用户的查询 结果中实时体现出来。该体系结构要解决的主要问题是模式映射和查询优化。 一方面，由于在目前这种异构、分布、动态、开放的环境下数据源的数量可能成千 上万，而数据源之间千差万别，中介器必须了解每个数据源的特性，中介器所提供的模 式是一个统一的模式，而各数据源的模式各不相同，因此，要建立各数据源与中介器之 间的模式映射。另一方面，对一个查询，当相关的数据源确定以后，需要进行查询转换， 并在每个相关数据源的本地执行具体的查询操作，为了提高整个系统的性能，查询优化 是必须要考虑的问题。该系统解决了数据的实时性问题和数据源的异构性问题，在一定 程度上弥补联邦信息集成系统和基于数据仓库的方法的不足，但是也存在不足：是由 于数据保存在数据源中，查询必须要通过网络到数据源所在处进行，所以不能满足对响 江南人学硕士学位论文 应时间要求比较高的需求；二是该体系结构主要满足信息查询的需求，不能满足决策的 需求。 图1 3 基于中介器包装器的信息集成体系结构 f i g 1 3s y s t e ms t r u c t u r eo fi n f o r m a t i o ni n t e g r a t i o nb a s e do i lm e d i a t o r w r a p p e r 信息集成系统是一项复杂的任务，下面就上述的信息集成系统中遇到的主要问题对 其各自的研究现状分别进行介绍 i s - 2 0 】： 1 ) 语义联系 语义联系是信息集成系统中用户查询和下层数据源数据建立联系的唯一桥梁。使用 最多的语义联系方式是采用映射，其终极目的就是获得一个正确的、满足应用要求的映 射。映射可以简单分为两种情况：一对一映射和一对多或多对多映射，目前的研究大多 还是简单映射【2 1 。2 3 1 。找到映射后需要在全局模式中给予描述，主要有全局视图方式 ( g l o b a l a s v i e w ，g a v ) 和本地视图方式( l o c a l a s 。v i e w ，l a v ) 还有采用描述逻辑 ( d e s c r i p t i o nl o g i c s ，将全局模式和下层数据源作为描述逻辑的模型或术语，全局模式只 是其模型的一部分，是该模型提供给用户的一个界面，查询重写可以利用描述逻辑中提 供的某些算法来实现) ；以及采用计划操作( p l a n n i n go p e r a t o r s ) ，下层数据源被描述成一 些计划操作的集合，查询重写就是安排这些计划操作的顺序。目前对于映射性质的研究， 主要是基于有明确定义的模式之间的映射，对于在集成应用系统中存在音乐、拓片、电 影等无具体的模式定义的情况仍然需要进一步研究。 2 ) 查询重写 查询重写是利用语义联系，将建立在全局模式上的查询用( 且仅用) 下层数据源的资 源描述来重新表述。查询重写算法主要有三种【2 4 拙】： i b u c k e ta l g o r i t h m 算法主要的想法是先单独考虑每个子目标，确定哪些视图和子目 标相关，从而达到显著减少重写个数的目的。算法分为两个阶段，第一阶段确定b u c k e t 中的视图：第二阶段根据b u c k e t 中的视图写出查询重写表达式。 i i i n v e r s e r u l e sa l g o r i t h m 。算法思想是构建一个由反转视图定义后形成特殊规则的 集。反转规则是将l a v 的描述方式变换成g a v 的描述方式，查询可以按照反转规则直 接展开，返回的是最大包含重写。 4 第一章绪论 i i i m i n i c o na l g o r i t h m 。算法的关键思想是考虑查询中的每个变量如何与视图中的变 量相互作用，因此该算法在第二阶段需要考虑的视图组合显著减少【2 吵3 0 1 。 3 ) 查询优化和查询执行 优化方法可分为本地执行方案和分布式( 多节点) 执行方案两类，这两类又可细分为 适应性优化策略和非适应性优化策略。在非适应性方案中主要是采用传统优化思想提高 执行计划的并行性，如以尽量实现输入x m l 数据流的p i p e l i n e 处理，在接收x m l 数据 流的同时实现查询变量和x m l 文档中对应元素的绑定目标，或尽可能快地获取第一批 满足查询的结果，将查询重写形式中的子目标进行动态有效性排序，最先执行有效性最 高的子目标等。适应性优化方案是指随着环境变化而作出相应调整，是目前研究得最多 的，也应该是最有前途的方案。近来研究者们已经将优化的目光放在网络分布式执行方 面了，查询优化是提高信息集成系统查询效率的有效手段【3 卜3 4 】。 1 2 2 现有的信息数据集成方案 信息集成自被提出以来就引起了国内外众多科研人员的关注，已成为当前数据库领 域中的重要研究方向。很多研究项目是针对信息集成问题而开展的，如t s i m m i s 【3 5 、 i n f o r m a t i o nm a n i f o l d t 3 6 1 、g a r l i c t 3 7 】等系统都对不同的信息源提供了一种统一的集成存取。 现有的信息数据集成方案有许多。早期使用自定义接口方式，开发针对某种需求的 工具，这种开发可复用性差，创建和维护的成本很高。后来使用数据仓库技术，实现数 据的集成。但数据仓库同样不宜于维护，成本高。据估算，数据仓库每年的维护成本高 达1 0 0 万美元。当企业应用集成( e a i ) 推出的时候，确实解决了很多问题，它采用适 配器体系结构支持面向流程的集成( 即应用编排) ，但是同样维护成本很高，数据并非 实时，用于查询的数据范围很窄，仅限于预先设计好的归档数据，同时项目丌发的周期 较长。而关系数据库的集成虽然支持对多个r d b m s 表的s q l 查询支持可查询视图， 但不能自动集成非关系型数据。比如来自网络服务和打包应用的数据等。因此，需要一 种方便灵活的、可以按需设计和获取数据的集成方式。e l i 便应运而生。它在底层的数 据层将分散的数据按需融合为一个整体，配置灵活降低了维护成本【3 引。 为了更有效的集成，众多厂商纷纷推出自己的e i i 产品，如b e a 在2 0 0 2 年1 1 月借 助x q u e r y 的优势，推出了l i q u i dd a t af o rw e b l o g i c 的数据集成产品。倍多科技也推 出了自己的e i i 产品i p e d o 。此外还有许多同类的产品相继面世。它们实现的方式的共 同点是，都采用了x m l 以及x q u e r y 的相关技术进行多元数据的融合。 b e a 的l i q u i dd a t a 使用x q u e r y 访问x m l v i e w ，统一数据接e l ，简化集成的复杂 度。它提供了对来自异种数据源的数据的实时访问和集中，并增强了前台应用的可见度。 这里的“实时”是指在数据访问时使用可获得的最新信息。l i q u i dd a t a 与数据仓库不同， 它通过直接集成和访问企业各种运营系统中的数据来提供对企业当前状态的访问。而数 据仓库存储的是特定企业数据预先集成的拷贝，这些数据通常是几天或几周以前的。 l i q u i dd a t a 把重心放在数据的可见度或者集成的读取访问上。b e a 的w e b l o g i c i n t e g r a t i o n 为需要更新支持的应用补充了l i q u i dd a t a 。它的目标是那些通常需要同时快 速访问一个或几个商业实体集成视图的前台应用，我们对客户全面的观点就是一个经典 江南大学硕士学位论文 的前台应用。l i q u i dd a t a 采用了一个x m l 数据集成方案，从而区别于过去的e i i 方案， 它结合了e a i 以及关系数据集成方案的很多优点，并且摈弃了它们的弱点。l i q u i dd a t a 提供了基于标准的企业数据的x m l 视图这些企业数据源要么以虚拟x m l 文档的 形式予以表现出来，要么以一个采用x m l 参数并生成x m l 结果的函数集的形式表现 出来【3 9 1 。 i p e d o 则利用近乎x m lh u b 的设计，对多种数据源进行统一的访问。i p e d o 通过x m l 和w 曲s e r v i c e 标准技术，联系横贯整个企业的异构系统、应用、数据源等，完成在企 业内部的e r p 、c r m 、s c m 、数据库、数据仓库以及其它重要的内部系统之间无缝地 共享和交换信息的需要，实现对企业原有各种应用系统的集成和统一管理。i p e d ox i p 提出独特的虚拟数据层对整合的数据视图进行标准化访问，对大量分布式数据源进行无 缝集成，并调整各项数据，高效传递到企业的关键应用系统中，即时响应各种需求，帮 助客户在现有的技术投资中获得更多的利润回报。 1 3 本文的主要贡献 本文主要依托于i p e d o 产品，在该信息集成产品的基础上对s q l 引擎和x q u e r y 引 擎进行优化改进，以完成一个覆盖面广、准确性高、性能好的信息管理系统架构。主要 的研究、实践工作如下： 第一，较详细的介绍了e i i 技术的发展现状，关键技术，以及全面介绍了i p e d o 的 e i i 智能平台的系统结构、系统功能及原理，通过较为详尽的介绍，以及对先进技术的 研究，完成了对l p e d o 信息集成系统的改进和应用。 第二，本文在研究i p e d o 的系统架构及相关知识的基础上，对其“双引擎机制进 行改进，研究了更多基于i p e d o 产品的优化方法，并加以实现。首先本文从查询的编译 时间和执行时间两方面考虑，对x q u e r y 引擎进行优化调整，提出了一种基于重写 x q u e r y 查询，综合利用i n d e x 等的优化方法，来提高x q u e r y 引擎的查询效率。我们主 要集中在减少冗余查询的执行，对x q u e r y 中最常见的表达式形式f l w r 的各个子句进 行了较全面的优化处理；其次考虑到i o 和c p u 时间，以及如何降低i o 次数等问题， 本文又从优化通讯代价、减少传输数据量方面对s q l 引擎进行优化改进。旨在采用更 为合理的策略和语法，准确、高效地完成系统任务，更大地提高系统性能 第三，针对池州供电公司的企业信息系统数据的共享性差，缺乏统一的数据采集中 心和统一的营销管理与分析决策应用平台化的建设现状以及日益精确、有效的数据信息 获取的需求，我们提出了池州供电公司信息资源整合系统( 企业信息门户，e i p ) 全面 解决方案，通过信息应用集成与数据集成手段，建立既相互独立又能实现数据共享、有 效协同工作的企业综合信息平台，最大限度利用各专业信息系统多年积累的数据，将这 些数据转换成为企业创造价值的信息，旨在协助池州供电公司在信息化建设领域进行技 术架构的深层次调整，同时也解决了信息化过程中的信息孤岛问题。本文借此说明了 e l i 在企业管理中的具体应用，并介绍了本人在系统开发、维护过程中所作的工作。 1 4 论文的组织结构 论文的各章节内容如下： 6 第一章绪论 第章是绪论，概述了课题研究的相关背景、意义，引出了本文将要研究的主要问 题，并回顾了企业信息集成系统架构的进展及目前的研究状况以及现有的信息集成方 案。 第二章是e i i 技术概述，包括企业信息集成的逻辑框架、查询处理，并且对i p e d o 智能平台的功能、架构进行了详细的分析并介绍了i p e d o 信息集成、管理、发布系统的 结构及功能。 第三章是e i i 中“双核心引擎机制的优化设计，主要是在i p e d o 原有的引擎机制 的基础上，分别对x q u e r y 引擎以及s q l 引擎进行优化，以达到提高效率、减少内存使 用量的效果。 第四章介绍了本人在i p e d o 期间所参与的项目之一：池州供电公司知识协同平台的 数据库维护以及查询优化。针对池州供电公司特定的系统环境以及数据存储的方式等对 池州供电公司知识协同平台系统进行维护和优化，以达到提高查询速度，增强系统性能 的目的。 第五章是总结，并介绍了下一步的工作。 7 第二章e i i 相_ 关技术介绍 第二章e l i 相关技术介绍 2 1e h 概述 企业信息集成( e n t e r p r i s ei n f o r m a t i o ni n t e g r a t i o n ，简称e i i ) 技术是近年来企业信息 管理决策中出现的一项新技术，与之前金融、企业领域中广泛应用的企业应用集成 ( e n t e r p r i s ea p p l i c a t i o ni n t e g r a t i o n ，简称e a i ) 、数据仓库技术( d a t aw a r e h o u s e ，简称d w ) 有直接的关系，在实现方式上与e a i 、d w 有很大的不同，在应用领域上是对e a i 、d w 一种补充 4 0 - 4 1 】。 e i i 是指将多个分布式的数据源进行集成，创建统一的数据表现层，并对外提供标 准的访问接口，即所谓的数据联邦。e i i 对外部应用提供的是单一虚拟视图，而屏蔽了 后端可能存在的不同应用系统的数据，这些数据可以是结构化的，也可以是半结构化、 非结构化的，既可以是来源于基于o l a p 应用的数据仓库系统，或是基于o l t p 应用的 实时处理系统，也可以是x m l 文件或文本文件等等。如下图所示： 图2 - 1e i i 系统框架示意图 f i g 2 1f r a m w o r ks c h e m a t i co fe i i 当今企业身处信息密集的环境下，对于数据集成的需求同益增长。的确，众多的应 用系统，如c r m 、e r p 、信息门户网站以及商务智能解决方案等在加速企业发展步伐 的同时，信息孤岛也随之形成。e i i ( 企业信息集成) 成为解决问题的关键。 企业的信息可能在不同的地方，以不同的语义、格式存储，访问方法各异，因之对 信息的检索也变得极为复杂。e i i 面向分散的数据源和系统，提供方便的信息统一管理 发布、实时抽取数据，将信息需求者屏蔽于所有这些复杂性之外。提供的集成、转化、 应用接口，辅助快速应用开发，为企业的内外部信息提供更好的访问，进而促进更快、 更好的商务决策制定【4 2 1 。 e i i 经常与另外两项集成技术e a i ( 企业应用集成) 和e t l ( 数据抽取、传输、装入) 关 联在一起，概念常常被混淆。e a i 是对分布式应用的集成，主要解决应用之间的消息传 递、流程组合定制等问题，可能涉及对现有应用系统进行改造；而e i i 是对各应用系统 信息数据的集成，不涉及对现有应用的集成，不会对现有应用进行改动。e t l 是数据仓 库领域的一项技术，是将与分析主题相关的信息从不同的数据源抽取、传输、清洗、转 第二章e l i 相关技术介绍 换、汇总、装入到面向不同分析主题的数据仓库的过程；而e l i 并不涉及现有数据信息 的迁移，也不会额外增加类似于数据仓库或数据集市的数据集【4 3 铂】。 e l i 将分散的信息整合为统一的视图提供给用户，为用户提供了新的信息查询分析 视角，在进行信息查询分析时提供了除构建数据仓库( 包括数据集市o d s 系统) 以外的 新选择。e l i 技术的出现在很大程度上弥补了数据仓库技术在信息集成方面的不足，可 简单概括为以下两个方面：一是数据仓库技术一般用于非实时分析系统中，对信息实时 查询访问的需求无法满足，而e l i 技术恰好可以弥补这一缺陷；二是使用e l i 技术进行 信息集成与使用数据仓库技术相比，时间短、成本低、风险小。 2 2 企业信息集成的逻辑框架 异构信息源集成的首要任务就是要为集成系统设计一个公共的逻辑框架，以对全局 模式和来自不同信息源的各种数据进行形式化描述，从而便于统一处理。逻辑上，信息 集成系统的特性是由全局模式和一系列源模式来描述的。不同的信息源中包