（管理科学与工程专业论文）基于web+service的异构数据集成中间件的研究与应用.pdf

中文摘要 摘要 随着i n t e r n e t 的飞速发展，企业陆续建立了具有不同功能的信息管理系统。这 些系统各自独立运行，形成信息孤岛，企业迫切需要对其中大量的异构数据，进 行统一的处理。建立异构数据集成系统是解决这些问题行之有效的办法，因此， 异构数据集成系统的研究、设计与构建己经成为当前业界以及学术界研究的热点。 对异构数据集成的研究从上个世纪七十年代发展至今，已经出现了许多种集 成方法。其中，将w e bs e r v i c e 应用于异构数据集成凭借w e bs e r v i c e 自身的诸多 优点得到了人们越来越多的关注。本文正是从某物流企业在信息化过程中造成数 据异构的根源出发，利用w e bs e r v i c e 和中间件技术成功地建立了一个异构数据集 成中间件，实现了对关系型异构数据库的集成，并在一定程度上减少了集成成本 和难度。最后将该中间件应用于实际项目，对新添加系统数据库的实际集成，取 得了良好的集成效果和集成性能。 本论文主要研究内容包括：在研究以往异构数据集成原理、方法的基础上， 并从项目数据集成的实际需求出发，确定将w e bs e r v i c e 与中间件技术相结合的数 据集成方法；研究中间件运行所在系统的整体框架，在传统的三层架构中添加中 间件层；然后对中间件进行重点分析设计，并选择合适的开发工具，完成对该中 间件的实现；最后将本文开发的基于w e bs e r v i c e 的异构数据集成中间件应用于实 际物流耸也项目的数据集成中。在完成对该物流企业新开发系统的数据库集成后， 量 验证本列研究的异构数据集成中间件能够有效解决平台和应用异构。 关键词：异构数据库；异构数据集成；中间件；w e bs e r v i c e 英文摘要 r e s e a r c ha n da p p l i c a t i o no fh e t e r o g e n e o u sd a t ai n t e g r a t i o n m i d d l e w a r eb a s e do nw e bs e r v i c e a b s t r a c t a l o n gw i t hr a p i dd e v e l o p m e n to ft h ei n t e r n e t ，m a n yi n f o r m a t i o nm a n a g e m e n t s y s t e m so fd i f f e r e n tf u n c t i o n sh a v eb e e ne s t a b l i s h e di ne n t e r p r i s e s t h e s es y s t e m s u s u a l l yw o r k e dr e s p e c t i v e l ya n di n d e p e n d e n t l yw h i c hw e r ec a l l e d i n f o r m a t i o ni s o l a t e d i s l a n d s ，s oe n t e r p r i s e sn e e dt oi n t e g r a t et h e s eh e t e r o g e n e o u sd a t ai nh e t e r o g e n e o u s e x i s t i n gs y s t e m s ，a n dp r o c e s st h e mt o g e t h e r ，i n o r d e rt o s u p p o r tt h ee n t e r p r i s e s d e c i s i o n s d e v e l o p i n gah e t e r o g e n e o u sd a t ai n t e g r a t i o ns y s t e mi sav a l i dw a yt or e s o l v e t h e s ep r o b l e m s ；t h e r e f o r e ，t h er e s e a r c h ，d e s i g na n dd e v e l o p m e n to fi n t e g r a t i o ns y s t e m o fh e t e r o g e n e o u sd a t ah a v eb e e nt h ec o n c e n t r a t e dr e s e a r c hp o i n to fc u r r e n ti n d u s t r ya n d a c a d e m i cf i e l d s t h er e s e a r c ho nt h ei n t e g r a t i o no fh e t e r o g e n e o u sd a t ah a s d e v e l o p e ds i n c et h e7 0 s i nt h el a s tc e n t u r y ，m a n yh e t e r o g e n e o u si n t e g r a t i o ns o l u t i o n sh a sb e e nu s e d t h eu s i n g o fw e bs e r v i c ei nt h ei n t e g r a t i o nw h i c hp e o p l ep a ym o r ea t t e n t i o nt oi se x c e l l e n t c o m p a r e dt oo t h e rm e t h o d sf o r t h et e c h n i cm e r i t so fw e bs e r v i c e t h i sp a p e ru s e sw e b s e r v i c ea n dt h em i d d l e w a r et e c h n i q u et o d e v e l o pa ni n t e g r a t e d m i d d l e w a r eo f h e t e r o g e n e o u sd a t a i nt h ea c t u a la p p l i c a t i o n ，t h i sm i d d l e w a r eh a sa c c o m p l i s h e dt h ej o b o ft h eh e t e r o g e n e o u sr e l a t i o n sd a t a b a s e s i n t e g r a t i o n b yt h i sw a y ，t h ec o s ta n dt h e d i f f i c u l t yi nt h ei n t e g r a t i o np r o c e s sc a ng r e a t l yr e d u c e i nt h i st h e s i s ，1w i l ls t u d ya sf o l l o w e d ：i nt h ep r e v i o u ss t u d yh e t e r o g e n e o u sd a t a i n t e g r a t i o np r i n c i p l e s ，m e t h o d so nt h eb a s i so fd a t ai n t e g r a t i o np r o j e c t sa n df r o mt h e a c t u a ln e e d s ，w ei d e n t i f yc o m b i n i n gw e bs e r v i c ea n dm i d d l e w a r et e c h n o l o g yd a t a i n t e g r a t i o nm e t h o d s ；t h e nw ew i l lr e s e a r c ht h ef r a m e w o r ko ft h es y s t e mi nw h i c ht h i s m i d d l e w a r er u n n i n gi n ，t h et r a d i t i o n a lt h r e e - t i e rs y s t e mo fa d d i n gm i d d l e w a r el a y e ra n d t h e nt of o c u so nt h e a n a l y s i sa n dd e s i g nm i d d l e w a r e ，a n ds e l e c tt h ea p p r o p r i a t e d e v e l o p m e n tt o o l s ，t oc o m p l e t et h er e a l i z a t i o no ft h em i d d l e w a r e ；f i n a lp a p e rw i l lb e d e v e l o p e db a s e do nt h ew e bs e r v i c eh e t e r o g e n e o u sd a t ai n t e g r a t i o nm i d d l e w a r ea p p l i e d 英文摘要 t ot h ea c t u a ll o g i s t i c se n t e r p r i s e si nt h ed a t ai n t e g r a t i o np r o j e c t u p o nc o m p l e t i o no ft h e n e w l o g i s t i c se n t e r p r i s ed a t a b a s ed e v e l o p m e n ts y s t e mi n t e g r a t i o n ，t h es t u d yp r o v e dt h a t t h i sh e t e r o g e n e o u sd a t ai n t e g r a t i o nm i d d l e w a r ec a ne f f e c t i v e l ys o l v et h eh e t e r o g e n e o u s p l a t f o r m sa n da p p l i c a t i o n s k e y w o r d ：h e t e r o g e n e o u sd a t a b a s e s ；h e t e r o g e n e o u sd a t ai n t e g r a t i o n ；w e b s e r v i c e ；m i d d l e w a r e 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文= = 基王堕坠墨曼盟i 盟的显掏数据篡盛虫阊鲑数班究皇应用：。 除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体 已经公开发表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：掬、f 圣j 2 护年勺月，午日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于：保密口 不保密盯( 请在以上方框内打“ ) 讪司磊新躲 日期：迂d ，6 1 年4 月心日 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 第1 章绪论 1 1 研究背景 当今世界，是一个信息的世界。管理和利用好各方面的信息，是在日益激烈 的市场竞争中处于优势地位的关键。 随着市场竞争的愈演愈烈，企业信息化的要求越来越迫切，也越来越高，其 中一个很重要的方面就是对企业已有数据的管理和利用：但是，企业在信息化建 设过程中，由于计算机技术和网络技术的不断发展，许多用于管理企业数据的信 息系统在不同时期分别被建立。随之而来的问题是企业多年来分散开发或引进的 信息系统，互相之间不能信息共享，业务不能舒畅执行和有效控制，形成了许多“信 息孤岛”，既影响了现有系统的继续运行，也影响了新系统的实施【l 】。企业内部各 个信息系统的数据带有明显的分布性、自制性和异构性( 平台、应用、数据格式、 语义异构) 。然而许多情况下，企业已经不满足于系统仅仅能提供局部业务环节的 业务数据，而是越来越需要实现分布在网络不同位置上的多个业务之间的信息共 享，以提高企业的运作效率，因此，为了保证对企业内部信息进行共享、维护和 管理，必需寻找一种对分布数据进行统一操作的方法。 异构数据集成系统为企业解决多平台、多应用、多结构、多语义数据的集成 问题提供了一条解决途径。通过这样一个集成系统，可以把企业内部的各种相关 数据资源进行整合，为企业的决策提供支持。因此，异构数据集成系统受到越来 越多人的重视，这一方面的研究已经成为又一热点。 而当前企业数据资源中，各种异构的关系型数据库又构成了异构数据源的主 体。本论文正是针对这种情况，研究开发基于w e bs e r v i c e 的异构数据集成中间件， 并利用此中间件解决项目中对各个远端数据库的集成问题。使用该中间件可以方 便地构建具有更广泛的通用性、更良好的适应性、更强的扩展性的异构数据集成 系统。 1 2 国内外研究现状 在孤立的数据组织方式下，数据资源为某个特定的应用系统而组织，数据被 第1 章绪论 各个应用系统所独享，数据与数据之间彼此隔离，互不匹配，互不共享，这些数 据资源无法直接集成。为了实现对各个应用系统数据的统一操作，异构数据集成 系统诞生了。 数据集成技术的研究始于上世纪七十年代中期，至今已有三十多年了【2 j 。从一 开始的多数据库集成发展到现在的异构数据源集成，数据集成的范围和作用都在 不断扩大。a m i tps h e t h 提出数据集成的发展可大约分为三个阶段来看： 7 0 年代8 0 年代中期：出现的主要技术有多数据库系统和联邦数据库系统， 重点在于使有着不同软硬件设备的计算机系统进行互连和通信，解决了一定程度 上的语法和结构异构，实现了地理分布、数据模式等的透明性，主要的产品有 u n i s q l m ( u n i s q l ) ，m e r m a i n ，d a t a j o i n e r ( i b m ) ，o m n i c o n n e c t ( s y b a s e ) 。川。 8 0 年代中期胡o 年代中期：随着网络的出现、i n t e m e t 的发展以及多种类型的 数据的形成( 包括结构化数据库、半结构化数据、数字多媒体等) ，出现了一些支持 多种类型的异构数据集成的技术，如m e t a d a t a ，m e d i a t o r 、中间件等，主要的系统 有t s i m m i s ，g a r l i c ，s i m s ，h e r m e s ，i n f o s l e u t h 等【4 5 j 。 9 0 年代中期现在：各种网络技术不断发展，尤其是w e bs e r v i c e 技术的日趋 成熟，w e bs e r v i c e 技术是用于跨平台集成的一系列概念里最新的概念1 6 】。利用此 技术使得异构数据集成更加容易，具有更好的跨平台性。 构建异构数据集成系统是一个十分复杂的过程，且涉及到众多知识领域。在 异构分布的数据环境中，如何共享、维护、操作数据源，很多计算机厂商都给出 了自己的解决方案，虽然其技术相似，但缺乏一致的、通用的方法【7 j 。对异构数据 集成系统中数据异构性的解决，集成系统的扩展性等方面的问题都没有明确的、 公认的最佳解决方案。 1 3 研究意义 本论文的研究成果对于降低异构数据集成难度和成本具有实际意义。对于基 于w e bs e r v i c e 的异构数据集成中间件的研究、设计与实现，可以缩短集成系统的 开发周期，降低系统的开发成本，提高系统的可靠性和利用率，为各部门、机构 和企业内部的数据共享提供有力的支持。 2 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 针对异构数据集成系统中要解决的各种异构问题，设计了通过在原系统架构 中添加中间件的方法，较好的解决了原有信息系统集成困难及系统可扩展性差的 问题。无论是对企业内部现有系统的统一规划，还是对企业未来业务的发展，它 都是快速、可靠的信息化支持工具。对它的研究具有如下意义： ( 1 ) 对解决平台异构性的意义 数据的平台异构、应用异构问题可以通过w e bs e r v i c e 结合x m l 技术很好地 得到解决。通过在传统的三层或是两层应用架构中添加异构数据集成中间件层， 应用程序实现对远端源数据库的访问和操作，这样就解决了各个数据库由于所运 行的操作系统的异构问题。 ( 2 ) 对提高异构数据集成系统扩展性的意义 w e bs e r v i c e 技术的运用，使源数据库的灵活修改成为可能。当源数据库发生 变化时，只需调用该数据库发布的相关同步核心w e bs e r v i c e s ，而无须人工对应用 程序进行维护；当有新的源数据库需要被集成时，我们要做的仅仅也是存储该数 据库的核心w e bs e r v i c e s 位置信息。这样就大大减少了工作量，提高了异构数据 集成系统的可扩展性。 1 4 主要工作 本文主要研究异构数据集成系统的构建方法，侧重于如何方便、快速的建立 一个更稳定、更具可扩展性的异构数据集成中间件i 并将其应用于对原有系统的 各个异构数据库与新系统数据库的集成，以保证整个异构数据集成系统的可扩展 性。在阅读大量文献资料的基础上，结合国内外相关研究成果，提出了基于w e b s e r v i c e 的异构数据库集成中间件的集成方法。利用中间件良好的扩展性，利用w e b s e r v i c e 顺畅的互操作，实现对新旧信息系统中各个关系型异构数据库的集成。研 究主要围绕以下几点展开： ( 1 ) 异构数据集成过程需要解决的问题 ( 3 ) 整体架构及基于w e bs e r v i c l 的异构数据集成中间件的分析设计 ( 4 ) 基于w e bs e r v i c e 的异构数据集成中间件的实现 ( 5 ) 利用该中间件实现对新开发信息系统的数据集成 第2 章异构数据集成研究 第2 章异构数据集成研究 2 1 异构数据的特点 + 异构数据是一个含义丰富的概念，造成数据异构的原因也多种多样5 1 。 但总体上来说，异构数据一般都具有以下三个主要特点，即分布性、自主性 和异构性8 1 。 ( 1 ) 分布性：各异构数据源是分布在不同位置的各种数据库操作系统 ( d b m s ) ，这些异构数据源之间通过通讯网络建立连接，独立保存数据。而这些 数据的保存方式没有严格的逻辑要求。 ( 2 ) 自主性：构成异构数据系统的各数据源具有各自的自主性，主要体现在它 们拥有与其他数据源交互的权利，包括加入、退出、通讯和提供服务等。它们有 权接受外来的服务请求，也有权拒绝请求。但是，这些权利与承诺的系统义务之 间，必须有一个有机结合。 ( 3 ) 异构性：各数据源的异构性主要体现在以下这些方面： 系统异构 数据源所依赖的应用系统、数据库管理系统乃至操作系统之间的不同构成了 系统异构。 模式异构 模式异构主要指数据源在存储模式上的不同。一般的存储模式包括关系模式、 对象模式和文件嵌套模式等几种，其中最为常见的为关系模式，如o r a c l e 和s q l s e r v e r 。但值得注意的，即使是同一类型的存储模式，它们的模式结构也可能存在 着差异，例如前面提到的两种数据库所采用的数据类型就不是完全一致。 完整性异构 异构数据源集成的目的是为用户和应用程序提供同一的访问支持。为了满足 各种应用处理数据的需要，集成后的数据必须保证一定的完整性，包括数据完整 性和约束完整性两方面。数据完整性是指完整提取数据本身，一般说来，这点 比较容易达到。约束完整性中约束是指数据与数据之间的关联关系，是唯一表征 4 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 数据间逻辑的特征。保证约束的完整性是良好的数据交换的前提，可以简化数据 处理过程，提高效率。 语义异构 与d b m s 的异构不同，语义的异构是由于数据库的使用人员对数据的定义、 作用以及描述的理解造成的。因此语义的异构又包括了命名的异构和数据存储种 类的异构。前者主要指的是由于不同的应用需求，对相同的现实实体及其属性采 用不同的命名方法；而后者则是指相同或相似的现实数据存在表达的多样性，而 表现在这些相同或相似数据的存储方式可能是不同的，例如存储类型、范围以及 精度等。因此，在一个数据库中可以采用整型表达的数据，很可能在另外一个数 据库中采用字符串表示【9 】。 本文研究的数据集成的对象主要是异构数据类型为系统和应用异构的关系型 数据库。如何针对当前异构数据的实际特点，开发出一种切实高效的方法，我们 必须对主流的异构数据集成方法做一下了解，这也是本章下- i j , 节的主要工作。 2 2 异构数据集成方法介绍 针对以上所述的异构数据源的这些特点，对异构数据源的集成可以通过转换 和标准化来实现。在异构数据集成过程中要解决平台和网络的透明性、数据模型 的转换、模式转换和集成、分布式事务管理等问题。数据集成技术经历了三十多 年的研究和发展，数据集成的范围和作用都在不断扩大，出现的技术主要有虚拟 视图法、数据仓库法、基于x m l w e bs e r v i c e 集成方法以及将本体应用于异构数 据集成的方法，其中利用虚拟视图法集成数据源主要又包含了有两种体系结构， 一种是联邦数据库系统，另一种是m e d i a t i o n 系统，下面就对这几种方法作一下简 单介绍。 ( 1 ) 联邦数据库系统 联邦数据库系统( f e d r a t e dd a t a b a s es y s t e m ，f d b s ) t w j 是多数据库系统的一种特 殊形式，它是多个分布式数据库系统的集合。联邦数据库系统中的每个数据库的 操作是独立于其它数据库和联邦的。之所以叫“半自治”是因为联邦中的所有数 据库都添加了彼此访问的接口。联邦数据库系统分紧藕合f d b s 和松藕合f d b s 5 第2 章异构数据集成研究 两种【1 1 】。 紧藕合f d b s 有一个或几个统一的模式，这些模式可通过模式集成技术半 自动生成，也可通过用户手工构造。要解决逻辑上的异构，就需要领域专家决定 数据库模式间的对应关系。由于模式集成技术不易添加删除联邦数据库集成系统 中的数据库，所以紧藕合f d b s 通常是静态的，且很难升级。 松藕合f d b s 没有统一的模式，但它提供了一些查询数据库的统一语言。 这样f d b s 中的数据库更具有自治性，但必须用户解决所有语义上的异构。由于 松藕合f d b s 没有全局模式，所以，每个数据库都要创建自己的“联邦模式 。 f d b s 中实现互操作最常用的方法是将每个数据库模式分别和其它所有数据 库模式进行映射，如图2 1 所示。这样联邦中需要建立n ( n 1 ) 个模式映射规则，但 当参与联邦的数据库很多( n 值很大) 时，建立映射规则的任务变得不可行了。所以， 联邦数据库集成系统适合于自治数据库的数量比较小的情况，而且希望数据库能 够保持“独立”，允许用户单独查询，数据库间能够彼此联合回答查询的情况。 图2 1 联邦数据库系统结构 f i g 2 1t h es t r u c t u r eo ff e d r a t e dd a t a b a s es y s t e m s 6 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 ( 2 ) 中介( m e d i a t i o n ) 系统 m e d i a t i o n 系统通过提供所有异构数据源的虚拟视图来集成它们，这里的数据 源可以是数据库、遗产系统、w e b 数据源等等。该系统提供给用户一个全局模式( 也 叫m e d i a t e d 模式) ，用户提交的查询是针对该模式的，所以用户不必知道数据源的 位置、模式及访问方法。 m e d i a t i o n 体系结构与紧藕合联邦有如下不同之处： m e d i a t i o n 系统可以集成非数据库数据源。 基于中介器( m e d i a t o r ) t 1 2 0 1 4 1 的系统中的数据源的查询能力可以是受限的，数 据源可以不支持s q l 查询。 m e d i a t i o n 系统中的数据源是完全自治的，这就意味着很容易向系统中添加 删除数据源。 由于m e d i a t i o n 系统中的数据源是自治的，所以对系统中数据源的访问通常 是只读的，而f d b s 支持读写访问。 用户 查 ，下羹 询， 中介系统 心 包装器包装器 图2 2 中介系统体系结构 f i g 2 2t h es t r u c t u r eo ft h em e d i a t i o ns y s t e m 7 第2 章异构数据集成研究 图2 2 所示的是典型的中介系统体系结构。该系统的主要部分是中介器和针对 每个数据源的包装- 器( w r a p p e r ) 。这里中介器的功能是接收针对全局模式生成的查 询，根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询， 再根据数据源描述信息优化查询计划，最后将子查询发送到每个数据源的包装器。 包装器将这些子查询翻译成符合每个数据源模型和模式的查询，并把查询结果返 回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。这 种方式实际上就是我们设计中所使用的中间件模式。 ( 3 ) 数据仓库 。 该方法需要建立一个存储数据的仓库，由e t l ( e x t r a c t ，t r a n s f o r ma n dl o a d ) 工 具定期从数据源过滤数据，然后装载到数据仓库，供用户查询【l5 1 。与虚拟视图法 相对应称这种方法为e a g e r 方法。数据仓库体系结构图2 3 所示。 数据中心多数据库系统 图2 3 数据仓库体系结构 f i g 2 3t h es t r u c t u r eo ft h ed a t aw a r e h o u s e 8 数据分析 提取与集合 数据协调与集成 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 与虚拟视图法相似的是用数据仓库集成异构数据源也需要异构统一的数据视 图，但不同的是e t l 工具过滤得到的数据存储到仓库中。而与传统的数据库不同 的是数据仓库中主要存储的是历史和汇总数据，用于决策支持，主要供分析或执 行等人员使用，而且为避免数据仓库与数据源中数据出现不一致，通常不允许用 户对数据仓库进行更新。 由于数据仓库系统的昂贵的投资费用、项目实施周期长、项目成功率风险大 等原因制约了数据仓库在中、小型企业或数据积累少的企业解决异构数据源整合 和集成需求的应用；有些数据库管理系统自带的数据转换工具，能低成本地解决 异构数据源整合和集成问题，但在具体项目实际应用过程中，也具有一定的局限 性。 数据仓库和前面所述的两种虚拟数据集成方法主要的不同是“e a g e r ”和“l a z y ” 的对抗。如上所述，数据仓库方法需要建立一个存储数据的仓库，定期对数据源 中的所有信息进行预处理，形成符合仓库模式的信息，然后下载数据到数据仓库。 对数据源中信息的预处理及数据仓库的更新主要是通过e t l 工具。这种方法的主 要好处是查询处理性能高，但主要缺点是数据可能不是最新的，如果仓库模式设 计成静态的，当有新数据源加入或已有数据源发生变化时对仓库的修改代价比较 高，而且创建数据仓库比较费时费力，通常需要6 1 8 个月的时吲。 虚拟视图集成方法用于数据仓库不适用或不能解决的情况，例如：用户只需 访问数据源中- d , 部分数据、数据频繁更新、需要实时数据、提供数据方只能处 理有限的查询或全局模式本身经常改变的情况【l7 1 。在完全的虚拟数据集成中，全 局模式是一个逻辑的或虚拟的实体，系统根据数据源相关信息将针对该模式的查 询在系统运行时动态重写成针对每个实际数据源的查询，中介器通过包装器获得 数据，然后整合，返回给用户。在实际的数据集成解决方案中多采用虚拟视图集 成的方法，该方法定义了一个或多个中介模式( m e d i a t i o ns c h e m a ) ，通常指全局模 式。这些模式是用来查询数据，而不是存储数据，数据仍保存在局部数据源中。 当用户向集成系统提交一个查询，系统会将该查询翻译成针对各个数据源的查询 集，然后将结果整合返回给用户。应用这种解决方案得到的查询结果是最新数据。 9 第2 章异构数据集成研究 而且x m l 的出现使得对各种数据信息的标准化描述成为可能，使系统更易于适应 数据源间的不同。 虚拟视图集成优于数据仓库之处是： 它能够集成那些只允许对数据进行有限访问的数据源；支持数据的实时视 图；能够同时描述中介模式的多个版本。 适合集成系统中的数据源数量很大，而且数据源更新频繁，不可预知用户 需要查询什么信息的情况。虽然虚拟视图集成方法要以一定的性能作代价，因为 每次查询都要连接数据源，如果有些数据源实际位置距中介器很远，则可能出现 响应延时，但是创建数据集成系统很快，而且在中介器中增用缓存策略可解决这 一问题，优化系统性能1 8 1 。 ( 4 ) 基于x m l r w e bs e r v i c e 的多数据源集成方法 随着w e b 技术的迅速发展，应用程序处理的数据也逐步多元化，不但要访问 网络中各个数据库服务器上的数据，而且还需要访问分布在网络上的电子邮件、 h t m l 文件、电子表格以及文本文件等非数据库的数据源。w w w 的发展使w e b 上的数据成为最大数据来源，它具有全面、及时、多样化的特点，而且w e b 上的 数据往往是高度自治的，许多半结构化数据不可能按传统数据库中结构化数据来 处理，这是一个新的挑战。 x m l 和w e bs e r v i c e 的出现能很好地解决这一问题，在w e bs e r v i c e 框架- v t l 9 】， 对每个数据源都可以为其创建一个w e bs e r v i c e ，然后使用w s d l 向服务中心注册。 这样集成系统就可以向注册中心发送查找请求并选择合适的数据源，然后通过 s o a p 协议从这些数据源获取数据。这样不仅使数据源之间的互操作变的容易，也 可以很方便地从系统中添加和删除数据源，增加了集成的灵活性。因此，利用w e b s e r v i c e 能克服以上几种方法的缺点，具有完好封装，松散耦合，规范协议，高度 可集成能力等特性，能够实现多数据源的无缝集成。 ( 5 ) 基于本体的数据集成方法 近几年来，人们开始使用本体( o n t o l o g y ) 刚这种表达较强概念语义的工具。 比较著名的项目有：芝加哥大学提出的本体集成框架2 2 1 和美国i l l i n o i s 大学c w e b 1 0 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 p r o j e c t 项目2 3 1 。 2 3 异构数据集成方法在本文中的应用 如上文所述的各种集成方法的特点，并根据项目的实际需求，本文探索对这 些方法进行有机结合，汲取各种集成思想的长处，以期开发出适合实际项目中异 构数据集成的系统。 实际项目的异构数据集成有如下特点： ( 1 ) 集成对象主要包括异构的关系型数据库； ( 2 ) 地理分布也较为分散造成的平台异构； ( 3 ) 需要通过网络对这些数据进行访问，对及时性有较高要求； ( 4 ) 在对原有信息系统数据库完成集成的同时，也要方便集成新系统数据 库，这就要求集成系统具有一定的可扩展性。 针对这些特点，将中介系统的思想和基于x m l w e bs e r v i c e 的数据集成技术 相结合，建立基于w e bs e r v i c e 的异构数据集成中间件系统能够满足当前项目的实 际需求。下一章，先对本异构数据集成中间件系统中需要用到的关键技术做一下 简单介绍。 2 4 本章小结 在本章中，主要做了为开发满足项目需求的异构数据解决方案所必需的技术 理论准备。首先总结了异构数据的特点，然后对异构数据集成的方法进行了较为 深入的研究和比较，最后根据项目中异构数据集成的实际需求，选取了适合的集 成方法。 在本文的研究中，针对某物流公司信息化的实际状况，通过分析课题中造成 数据异构的实际原因，通过对各种集成方法的横向比较，最终选择将w e bs e r v i c e 技术与中介系统相结合的集成方法。 在以后的章节中，按照此技术路线，将具体研究实现此基于w e bs e r v i c e 的异 构数据集成中间件系统的细节，以期完成对异构数据具有广泛的高效的集成能力。 第3 章基于w e bs e r v i c e 的异构数据集成中间件所使用的技术 第3 章基于w e bs e r vic e 的异构数据集成中间件所使用的技术 3 1w e b s e r vic e s 技术 3 1 1w e bs e r v i c e s 的基本概念及体系结构 w 从技术角度来看，w e bs e r v i c e s 可以被认为是一种部署在w e b 上的对象， 因此，具有对象技术所承诺的所有优点；同时，w e bs e r v i c e s 是以x m l 和开放的 w e b 规范技术为基石【矧，因此，具有比任何现有面向对象技术更好的开放性。 从表面上看，w e bs e r v i c e s 就是一个应用程序，它向外界提供一个可被w e b 调用的应用程序接口。也就是说，用户可用编程的方法通过w e b 来调用这个应用 程序。其基本理念是：把软件做成服务，且遵从相应的标准，让不同的系统可以 跨越平台，彼此相互兼容，具有无缝通信和数据共享的能力【2 引。 w e b 服务体系结构是一种面向服务的体系架构，它是基于三种角色( 服务提供 者、服务注册中心和服务请求者) 之间的交互，执行三类基本操作：发布、查找和 绑定，这些角色和操作一起作用于w e b 服务的两个构件：w e b 服务软件模块及其 描述孤5 0 ，5 。 图3 1w e b 服务的体系架构 f i g 3 1t h ea r c h i t e c t u r eo f w e bs e r v i c e s 在典型情况下，服务提供者用来提供可通过w e b 访问的软件模块即w e b 服务 的一个实现。服务提供者定义w e b 服务的服务描述并把它发布到服务请求者或服 1 2 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 务注册中心。服务请求者使用查找操作来从本地或服务注册中心检索服务描述， 然后使用服务描述与服务提供者进行绑定并调用w e b 服务实现或同它交互。服务 提供者和服务请求者角色是逻辑结构，一个w 曲服务既可以是提供者又可以是请 求者。图3 1 简明地表述了w e b 服务的体系架构口7 2 8 1 。 ( 1 ) w e bs e r v i c e s 的角色 服务提供者( s e r v i c ep r o v i d e r ) ：从企业的角度看，这是服务的所有者。从体 系结构的角度看，这是托管访问服务的平台。 服务请求者( s e r v i c er e q u e s t o r ) ：从企业的角度看，这是要求满足特定功能 的企业用户。从体系结构的角度看，这是寻找并调用服务，或启动与服务的交互 的应用程序。 服务注册中心( s e r v i c er e g i s t r y ) ：这是可搜索的服务描述注册中心，服务提 供者在此发布他们的服务描述。在静态绑定开发或动态绑定执行期间，服务请求 者查找服务并获得服务的绑定信息( 在服务描述中) 。对于静态绑定的服务请求者， 服务注册中心是体系结构中的可选角色，因为服务提供者可以把描述直接发送给 服务请求者。同样，服务请求者可以从服务注册中心以外的其它来源得到服务描 述。 ( 2 ) w e bs e r v i c e s 的行为 发布( p u b l i s h ) ：为了使服务可访问，需要发布服务描述以使服务请求者可 以查找它。发布服务描述的位置可以根据应用程序的要求而变化，发布操作使得 有关w e b 服务部件的信息能够被别的计算机或程序所了解，也就是说，“发布 这个操作是w e b 服务描述广泛传播的基础。 查找( f i n d ) ：在查找操作中，服务请求者直接检索服务描述或在服务注册中 心中查询所要求的服务类型。对于服务请求者，可能会在两个不同的生命周期阶 段中牵涉到查找操作：在设计时为了程序开发而检索服务的接口描述，而在运行 时为了调用而检索服务的绑定和位置描述。“查找”操作为计算机或者程序查找 和了解w e b 服务的内容、所在地和连接方法提供手段。 绑定( b i n d ) ：在绑定操作中，服务请求者使用服务描述中的绑定细节来定位、 1 3 第3 章基于w e bs e r v i c e 的异构数据集成中间件所使用的技术 联系和调用服务，从而在运行时调用或启动与服务的交互。“绑定”操作使得w e b 服务部件能够被申请者所用。 ( 3 ) w e bs e r v i c e s 的构件 服务( s e r v i c e ) ：w e b 服务是一个由服务描述来描述的接口，服务描述的实 现就是该服务。服务是一个软件模块，它部署在由服务提供者提供的可以通过网 络访问的平台上。服务存在就是要被服务请求者调用或者同服务请求者交互。当 服务的实现中利用到其它的w e b 服务时，它也可以作为请求者。 服务描述( s e r v i c ed e s c r i p t i o n ) ：服务描述包含服务的接口和实现的细节。其 中包括服务的数据类型、操作、绑定信息和网络位置。还可能包括可以方便服务 请求者发现和利用的分类及其它元数据。服务描述可以被发布给服务请求者或服 务注册中心。 3 1 2w e bs e r v i c e s 的协议堆栈 实现一个完整的w e b 服务体系需要有一系列的协议规范来支撑，w e b 服务的 核心是各种技术标准。经过这几年的迅速发展，人们制定了一系列的开放标准协 议规范，比如x m l ，s o a p ，w s d l ，u d d i 等，这些标准协议就像一个堆栈那样 共存协作，被称为是w e b 服务协议栈( w e bs e r v i c e ss t a c k ) 2 9 1 ，如图3 2 所示。 戮jj ：；：7 i i i ! i i t i ! i ! ：i ；：t o o l s ：i ；i ：蠹荔薹缆：鬻一冀鬻薹囊蠹薹；雾囊雾：穆l a y e r 一缀l 萋篓缓麓： p 唧9 舔鳓攀鼬鳞 w s f ls e r v i c ef l o w 。 s t a t i c - u d d ls e r v i c ed i s c o v e r y c ，) 互墨 j 导 d i r e c t u d d is e w i c ep u b l i c a t i o n 雩 e - 。 g w s d ls e r v i c ed e s c f i 【p t i o n 暑 暑 c ，) 。 o s o a px m l b a s e dm e s s a g i n g暑 至 8 h t t p ，f t p ，s m t p t r a n s p o r t 图3 2 w e b 服务协议栈 f i g 3 2w e bs e r v i c e ss t a c k w e bs e r v i c e s 采用了分层的思想，各层分别实现不同的功能，上面的层建立在 下面几层提供的功能之上。左面的文本表示协议栈的对应层所使用的标准技术， 1 4 基于w e bs e r v i c e 的异构数据集成中间件的研究与应用 右面垂直条部分表示协议栈中每一层必须满足的需求。 ( 1 ) 网络传输层。 网络传输层是w e b 服务协议栈的基础，w e b 服务要被服务请求者调用，就必 须是可以通过网络访问的。h i t p 凭借其普遍性，成为了因特网上w e b 服务使用 的标准网络协议。同时，w e b 服务也支持其它因特网协议，包括s m t p 和f r p 。 ( 2 ) 基于x m l 的消息传递层。 这一层使用的是基于x m l 的消息协议s o a p 。消息层是构筑在更低的传输层 之上的，这意味着s o a p 可以单独使用，也可以与任何传输协议联合使用。所有 的s o a p 消息都支持w e b 服务架构中的发布、绑定、查找等操作。 ( 3 ) 服务描述层。 服务描述为调用w e b 服务提供了具体的方法。使用w s d l 可以描述一组w e b 服务的操作，w s d l 是基于x m l 的服务描述的真正标准，定义了服务交互的接口 和结构。在按照w s d l 进行服务实现之前，我们必须先定义服务接口。 ( 4 ) 服务发布层。 服务提供者可以直接向服务请求者发送w s d l 文档，也可以将描述服务的 w s d l 文档发布到本地注册中心或专用u d d i 注册中心。 ( 5