（计算机软件与理论专业论文）基于主动服务的数据集成平台研究.pdf

河海大学硕士研究生毕业论文 基于主动服务的数据集成平台研究 摘要 随着网络技术和分布式应用的发展和普及，大量的异构数据源应运而生，导 致“信息孤岛”出现。为了更好的利用这些资源，人们迫切需要解决这些异构数 据源的集成问题。 为更有效地利用这些信息，需要从多个分布、异构和自治的数据源中集成数 据，同时还需要保持数据在不同系统上的完整性和一致性。另外，必须向用户隐 藏这些差异，提供给用户一个统一和透明的数据访问接口。研究的重点即在于确 立一种具有普遍意义的、可操作性强的分布异构数据源的集成方法一一基于主动 服务的分布式异构数据集成平台。 针对基于主动服务的分布式异构数据集成平台的设计与实现，本文做了如下 工作： 对传统的数据集成方法进行研究。比较各自的优缺点以及适用范围，选用 w e bs e r v i c e s 作为数据集成方法。并在s o a 框架基础上构建基于主动服务的数 据集成平台。 研究服务生成、描述、发布、注册、查找以及数据组合的关键技术。结合 本体技术解决分布式异构数据集成中的语义异构问题。 研究主动服务的实现方式，定义主动服务的触发条件。 在a x i s 、p r o t d g d 2 0 0 0 、j e n a 和e c l i p s e 基础上构建基于主动服务的数据 集成平台的开发环境。利用本体解决数据异构问题，采用w e b 服务的方式实现 数据集成。有效的验证了基于服务的数据集成方法解决语义异构的可行性。 关键词：数据集成；w e bs e r v i c e ：本体：语义异构；主动服务 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 a b s t r a c t a l o n gw i t h t h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fn e t w o r kt e c h n o l o g ya n d d i s t r i b u t i o na p p l i c a t i o n , al a r g en u m b e ro fh e t e r o g e n e o u sd a t as o u r c ec o m e si n t o b e i n g , w h i c hr e s u l t st o i n f o r m a t i o ni s l a n d i no r d e rt om a k eu s eo ft h e s ei c s o u r c e b e t t e lw cu r g e n t l yn e e dt or e s o l v et h ei n t e g r a t i o np r o b l e mo ft h e s eh e t e r o g e n e o u s d a t as o u r c 碡 i no r d e rt ou t i l i z ei n f o r m a t i o ne f f e c t i v e l y , w cn e e dt oi n t e g r a t ed a t af r o mal o to f d i s t r i b u t i o n , h e t e r o g e n e o u sa n da u t o n o m i cd a t as o u r c e a tt h es a m et i m e , w es t i l l n e e dt ok e e pt h ei n t e g r a l i t ya n dc o n s i s t e n c yo f d a t au n d e rd i f f e r e n ts y s t e m o t h e r w i s e w em u s th i d et h ed i f f e r e n c e , a n dp r o v i d eau u i f o m la n dt r a n s p a r e n td a t aa c c e s s i n t e r f a c e 1 1 圮i m p o r t a n c eo ft h er e s e a r c hi st oe s t a b l i s hak i n do fi n t e g r a t i o nm c t h o d o f h e t e r o g e n e o n sd a t as o u r c e ，w h i c hh a st h eu n i v e r s a lm e a n i n ga n d i so p e r a t e de a s i l y t h a ti st h ep l a t f o r mo fd i s t r i b u t i o nh e t e r o g e n e o u sd a t as o u r c ew h i c hb a s e so nt h e a c t i v es e r v i c e i no r d e rt od e s i g na n dr e a l i z et h ep l a t f o r mo fd i s t r i b u t i o nh e t e r o g e n e o u sd a t as o u r c e w h i c hb a s e so nt h ea c t i v e1 筒v i c e ，ih a dd o n es o m er e s e a r c ha sf o l l o w s ： * d i ds o m er e s e a r c ho nt h et r a d i t i o n a ld a t ai n t e g r a t i o nm e t h o d , c o m p a r e dw i t h t h ea d v a n t a g ea n ds h o r t c o m i n ga n dt h es u i t a b l es p e c t r u mo fe v e r ym e t h o d , a n dc h o s e w 曲s e r v i c e sa st h em e t h o do fd a t ai n t e g r a t i o n c o n s t r u c t e dd a t ai n t e g r a t i o np l a t f o r m b a s e do nt h ea c t i v es e l n i c eo nt h eb a s eo f s o a * d i dr e s e a r c ho nt h ek e yt e c h n o l o g yo fc r e a t i n g ，d e s c r i b i n g , d i s t r i b u t i n g , r e g i s t r a t i o n $ e l v i c ea n dd a t ac o m b i n a t i o n r e s o l v e dt h es e m a n t i ch e t e r o g e n e o u s p r o b l e mi nt h ed i s t r i b u t i o nh e t e r o g e n e o u sd a t ai n t e g r a t i o n , c o m b i n i n gw i t ho n t o l o g y t e c h n o l o g y s t u d i e dt h em e t h o do fi m p l e m e n ta c t i v es e r v i c e ，a n dd e f i n e dt h es p r m g c o n d i t i o no f a c t i v es e r v i c e c o n s t r u c t e dt h ed e v e l o p m e n te n v i r o n m e n to fd a t ai n t e g r a t i n gp l a t f o r m , b a s e d o na c t i v es e r v i c ei nt h eb a s eo f a x i s 、p r o t d g d 2 0 0 0 、j e n aa n de c l i p s e u s e do n t o l o g yt o r e s o l v ed a t a h e t e r o g e n e o u sp r o b l e m a n dm i t i z ew e bs e r v i c et or e a l i z ed a t a i n t e g r a t i o n v a l i d a t e dt h ef e a s i b i l i t yo fs e t t l i n gs e m a n t i ch e t e r o g e n e o u sb a s e d0 1 1d a t a i n t e g r a t i n gs e r v i c em e t h o de f f e c t i v e l y k e yw o r d s ：d a t ai n t e g r a t i o n ；w e bs e r v i c e ；o n t o l o g y ；s e m a n t i ch e t e r o g e n e o u s ； a c t i v es e r v i c e 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ；牲 2 。7 年3 月1 8 日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 论文作者( 签名) ； 雄致一 2 0 0 7 年3 月1 8 日 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 1 1 选题背景 第一章绪论 随着i n t e r n e t 的飞速发展，网络迅速成为一种重要的信息传播和交换的手 段，数据资源的共享成为一个热门话题。如何获取网络上自治、异构、分布的数 据并加以综合利用，即数据集成【i l ，成为一个引起广泛关注的研究领域。 数据集成的概念是把不同来源、格式、特点性质的数据在逻辑上或物理上有 机地集中，实现分布的、异构的、自治的数据共享的主要技术，数据集成一般还 应满足用户数据访问的实时性和安全性等方面的要求 数据集成的核心任务是要将互相关联的分布式异构数据源集成到一起，使用 户能够以透明的方式访问这些数据源，而不用关心数据源的存储位置和存储方 式。 数据集成的数据源：包括结构化的数据，如关系数据库：半结构化数据，如 】【m l 文档；已经存在的文件系统等。 1 2 数据集成的特点 数据集成的特点和难点可以归纳为以下几点嘲伽： ( 1 ) 分布性：当前有很多的计算机都连接在某种类型的网络上( 特别是 i n t e n e t ) ，通过组合这些分布在不同地点的应用程序和数据源，它们就能通过网 络进行通信。 ( 2 ) 自治性：每个数据源都可以独立地被用户或应用程序访问，而不受其它 系统的限制。 s c h e u e r m a n n e t a 嘲提出了不同类型( 等级) 的自治： 1 ) 设计自治；2 ) 通信自治；3 ) 执行自治。 设计自治将导致不同类型的异构，主要有数据异构和系统异构。其中数据异 构是指不同系统中以不同形式组织和解释数据，系统异构是指数据模型的差异。 设计自治使得语义互操作( 不同系统间的信息进行有意义的交互) 变的困难。 通信自治和执行自治为查询处理和优化提出了挑战。 ( 3 ) 异构性：由于技术的原因，存在着很多类型的异构。不同源的集成需要 解决的问题包括不一致的命名习惯、不一致的变量度量、不一致的编码结构、不 一致的数据物理属性等。 异构大致可分为四类：系统、语法、结构和语义叫。 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 其中系统异构包括硬件、操作系统以及服务器等； 语法异构包括不同的语言和数据表示； 结构异构包括不同的数据模型： 语义异构包括用户信息请求的语义和数据源的语义。 1 3 数据集成研究现状 数据集成技术的研究始于七十年代中期，至今已有三十多年了。从一开始的 多数据库集成发展到现在的异构数据源集成，数据集成的范围和作用都在不断扩 大。 a m i tps h e t h 啪提出数据集成的发展可大约分为三个阶段来看： 第一阶段；7 0 年代8 0 年代中期。出现的主要技术有多数据库系统和联邦数 据库系统，重点在于使有着不同软硬件设备豹计算机系统进行互连和通信，解决 了一定程度上的语法和结构异构，实现了地理分布、数据模式等的透明性，主要 的产品有u n i s q l m ( u n i s q l ) ，m e r m a i n ，d a t a l o i n e r ( i b m ) ，o m n i c o n n e c t ( s y b a s e ) 。 第二阶段：8 0 年代中期9 0 年代中期。随着网络的出现、i n t e r n e t 的发展 以及多种类型的数据的形成( 包括结构化数据库、半结构化数据、数字多媒体等) ， 出现了一些支持多种类型的异构数据集成的技术，如m e t a d a t a 、m e d i a t o r 、中间 件等，主要的系统有t s i m m i s ，g a r l i c ，s i m s ，h e r m e s ，i n f o s l e u t h 等。 第三阶段：9 0 年代中期现在。这个阶段比较关注w e b 数据集成过程中的语义 异构的解决问题，更多的运用知识领域的有关技术如本体等借助w e b 服务的相关 技术，实现数据集成。主要有信息的智能集成、数字化图书馆等。 综合这三个发展阶段，中间出现的一系列技术可以分为如下三类：模式集成、 数据复制方法和基于服务的集成方法。 1 3 1 模式集成 1 3 1 1 模式集成概述 模式集成嗍是人们最早采用的数据集成方法伽。其基本思想是，在构建集 成系统时将各数据源的数据视图集成为全局模式，使用户能够按照全局模式透明 地访问各数据源的数据“。全局模式描述了数据源共享数据的结构、语义及操作 等。用户直接在全局模式的基础上提交请求，由数据集成系统处理这些请求，转 换成各个数据源在本地数据视图基础上能够执行的请求。模式集成方法的特点是 直接为用户提供透明的数据访问方法。 2 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 模式集成要解决两个基本问题“”；全局模式和数据源之间的映射规约；构造 全局模式基础上用户查询的方法。 全局模式和数据源之间的映射规约有三种方法可以实现“”：全局视图法 ( g l o b a l a s v i e w ，简称g a v ) 、局部视图法( l o c a l a s - v i e w ，简称l a v ) 以及全局 一局部视图法( ( g l o b a l l o c a l - a s - v i e w ，简称g l a v ) 。g a y 方法将全局模式定 义为数据源模式上的视图，它建立在数据源数据视图的基础之上，由一系列元素 组成，每个元素对应一个数据源，表示相应数据源的数据结构和操作。l a v 方法 将数据源模式定义为全局模式上的视图。它需要先构造全局模式，全局模式按照 一定的推理规则得出数据源的数据视图。g l a v 是对l a y 方法的扩充，按照一定的 分类方法把按照l v 方法建立的单个数据视图组建为一个适于某类查询的视图。 1 3 1 2 模式集成代表方法 典型的模式集成方法有：联邦数据库系统、m e d i a t e d 系统、移动a g e n t s 技术 和基于本体的技术。 ( 1 ) 联邦数据库系统 联邦数据库系统( f e d r a t e dd a t a b a s es y s t e m ，f d b s ) 是由参与联邦的半自治 的数据库系统组成，目的是实现数据库系统间部分数据的共享伽。联邦中的每 个数据库的操作是独立于其它数据库和联邦的。之所以叫“半自治”是因为联邦 中的所有数据库都添加了彼此访问的接口。 联邦数据库系统分紧藕合f d b s 和松藕合f d b s 两种。 紧藕合f d b s 有一个或几个统一的模式，这些模式可通过模式集成技术半自 动生成，也可通过用户手工构造。这种方法解决了数据源间异构性的问题对于 逻辑上的异构，就需要领域专家决定数据库模式间的对应关系。这种方法集成度 较高，用户参与少。缺点是构建一个全局数据模式的算法复杂，扩展性差，所以 紧藕合f d b s 通常是静态的，且很难升级。 松藕合f d b s 没有统一的模式，但它提供了一些查询数据库的统一语言。这种 方法对数据的集成度不高，但其数据源的自治性强、动态性能好，集成系统不需 要维护一个全局模式，但用户必须解决所有语义上的异构。 f d b s 中实现互操作最常用的方法是将每个数据库模式分别和其它所有数据 库模式进行映射，这样联邦中需要建立n ( n 一1 ) 个模式映射规则，但当参与联邦 的数据库很多( n 值很大) 时，建立映射规则的任务变得不可行了。所以，联邦数 据库集成系统适合于自治数据库的数量比较小的情况，而且希望数据库能够保持 “独立”，允许用户单独查询，数据库问能够彼此联合回答查询的情况。对于网 络上越来越丰富的数据源，f d b s 显然不是一个很好的解决方案。 ( 2 ) m e d i a t e d 系统 3 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 此集成方法是另一种典型的模式集成方法，它同样使用全局数据模式。 g w i e d e r h o l d 最早给出了基于中间件的集成方法的构架1 。 典型的基于m e d i a t e d 的数据集成系统( 如图1 1 ) 主要由中介器( m e d i a t o r ) 和针对每个数据源的包装器( w r a p p e r ) 组成“”。其中每个数据源对应一个包 装器，中间件通过包装器和各个数据源交互。用户在全局数据模式的基础上向中 间件发出查询请求。中间件处理用户请求，将其转换成各个数据源能够处理的子 查询请求，并对此过程进行优化，以提高查询处理的并发性，减少响应时间。包 装器对特定数据源进行了封装，将其数据模型转换为系统所采用的通用模型，并 提供一致的访问机制。中间件将各个子查询请求发送给包装器，由包装器和其封 装的数据源交互，执行子查询请求，并将结果返回给中间件。 m e d i a t i o n 体系结构与紧藕合联邦有如下不同之处： ( i ) m e d i a t e d 系统可以集成非数据库数据源，而联邦数据库只能处理数据源 数据。 ( 2 ) 基于中介器( m e d i a t o r ) 的系统中的数据源的查询能力可以是受限的，数 据源可以不支持s q l 查询，联邦数据库只支持结构化查询语言s q l 。 ( 3 ) m e d i a t i o n 系统中的数据源是完全自治的，这就意味着很容易向系统中添 加删除数据源，而联邦数据库是。半自治的”。 ( 4 ) 由于m e d i a t e d 系统中的数据源是自治的，所以对系统中数据源的访问通 常是只读的，而f d b s 支持读写访问。 随着中间件技术的发展，m e d i a t e d 系统基于中间件实现，这就是基于中间件 的分布式集成系统“”。基于中间件的分布式集成系统用分布式的对象模型，诸如， 4 河海大学硕士研究生毕业论文 基于主动服务的数据集成平台研究 微软的分布式组件对象模型( d c 0 m ) t ” 1 8 1c o r b a “”或s u n 的r m i 洲来构建信息集成 系统。”。这种方法有效地避免了联邦数据库系统带来的开发代价大，代码难以重 用的问题，利用网络计算环境可以有效的实现复杂的大规模的信息集成。但是， d c 伽，c o r b a 或肼i 要求服务客户端与系统提供的服务本身之间必须进行紧密耦 合，即要求一个同类基本结构。 中间件所应遵循的一些原则离实际还有很大距离。多数流行的中间件服务使 用专有的a p i 和专有的协议，使得应用建立于单一厂家的产品，不同厂家之间很 难实现互操作。有些中间件服务只提供某些平台的实现，从而限制了应用在异构 系统之间的移植。由于技术的更新往往需要重写以前的应用，应用开发者在这些 中间件服务之上建立自己的应用还要承担相当大的风险。尽管中间件服务提高了 分布计算的抽象化程度，但应用开发者还需面临许多艰难的设计选择，例如，开 发者还需要决定分布应用在c l i e n t 方和s e r v e r 方的功能分配。通常将表示服务放 在c l i e n t 端以方便使用、请示、表述和回显，将数据服务放在s e r v e r 端以方便 逻辑分析和数据库操作。但是在一些特定应用场合，其应用功能分配并不是很容 易确定的。 ( 3 ) 基于移动a g e n t 的数据集成技术 2 0 世纪9 0 年代初，g e n e r a lm a g i c 公司第一次提出了移动a g e n t 的概念，即一 个能在异构环境中自主地从一台主机迁移到另一台主机，并可与其它a g e n t s 或资 源交互的软件实体。移动a g e n t 是代码、数据以及执行语句的软件包，它可以在 执行过程中有目的地、自治地在网络中移动，利用与分布资源的局部交互而完成 分布任务的软件实体。移动a g e n t s 系统一般包含移动a g e n t s 和移动a g e n t s 服务设 施。 商品化的数据库中，一些公司也适时推出自己的移动数据库。其中最著名的 是o r a c l e 公司支持移动计算机访问数据库的产品m o b i l ea g e n t 。移动a g e n t 将传统的客户服务器结构扩展到了客户a g e n t 服务器结构，来支持用户对信息 的高效、安全的访问。这种客户a g e n t 服务器结构是一个三层的无连接结构， 客户机与服务器之间的通信全部交给a g e n t 完成：a g e n t 位于固定网络中，可以与 服务器位于同一台主机上。当客户机需要启动一个事务时，它向一个a g e n t 发送 消息，然后由该a g e n t 代表客户机完成所需的事务处理，并将结果回送给客户机。 因此，客户机与服务器没有直接的通信连接。而且，客户机与a g e n t 之间的连接 是面向消息的，- - 旦a g e n t 接到客户请求，客户机就不必继续保持连接了。于是， 即使客户机此后中断了与a g e n t 的无线连接，a g e n t 也将继续执行任务，并在客户 机重新连接时将处理结果发回给客户机。 a g e n t 的研究现状：目前，a g e n t 在网络管理中的应用还处于研究阶段，离大 规模的商业应用还有一定的距离。研究成果大致可以分为：a g e n t 理论的研究和 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 a g e n t 在网络管理中的应用研究。目前市场上a g e n t 平台有i b m 公司的a g l e t 、 r e c u r s i o n 公司的v o y a g e r 、美国d a r t m o u t h 大学d a g e n t 和i k v + + 公司g r a s s h o p e r 等。但它们在安全性，互操作性，标准化等方面还存在不足，有待于迸一步研究。 a g e n t 优点：( i ) 可以避免网络连接不稳定带来的通信不正常。( 2 ) 降低 信息的传输和交换的延迟。( 3 ) 提高网络的利用率和降低通信中断的概率。( 4 ) 可以实现数据的定制嘲。 a g e n t 存在的不足：a g e n t 解决了主动服务的一些问题，但是m a t ( m o b i l e a g e n tt e c h n o l o g y ) 遭受批评的一个主要原因是系统的运行效率不高。文献 2 2 】 从不同方面分析了影响移动a g e n t 系统( 姒s ，m o b i l ea g e n ts y s t e m ) 运行效率 的主要原因，一致认为通信效率是影响m r s 运行效率的一个重要因素。 ( 4 ) 基于本体的集成技术 本体最早是一个哲学上的概念，从哲学的范畴来说，本体是客观存在的一个 系统的解释或说明，关心的是客观现实的抽象本质。最著名并被引用得最为广泛 的本体定义是由g r u b e r 提出的“本体是概念模型的明确的规范说明”。 一个本体为特定领域的实体给出名字和描述，使用谓词来表示这些实体之间 的关系。它为表示和交流领域的知识给出了一个词汇库，并给出了一系列包含着 词汇库里的术语的关系。因此，可将本体用于数据集成任务，因为它具有描述数 据源语义和解决异构的潜力。 利用本体来解决语义异构问题的方法是形式化地指定每个系统术语的含义、 度量单位信息、取值范围以及字段类型信息并给出明确的分类信息。由于本体通 过对概念的严格定义和概念之间的关系来确定概念精确含义，表示共同认可的、 可共享的知识，因此它可以消除语义的二义性。用户只需通过选择本体与数据源 中的字段信息建立起转换关系。就可以方便地解决语义异构的问题。如果系统应 用领域中已经存在多个本体，这就需要建立本体库之间的等价关系。通过本体的 推理功能，建立本体之间的映射关系，实现本体之间的复用。 本体集成技术研究现状：现有的基于本体的集成方法中，本体都是用作数据 源语义的明确描述。但如何使用本体进行数据源集成有着几种不同的方法。它们 分别是：单本体方法、多本体方法、混合方法。其中基于单个本体的集成看起 来是最简单的方法，因为它可以被其它的方法模拟。 单本体方法；单个本体的方法也称为集中方法，使用一个全局本体为确定语 义提供一个共享的词汇库。所有的数据源都与这个全局本体关联。使用这种类型 本体集成方法的一个显著例子是s i m s 。应用程序领域的s i m s 模型包括一个分等级 的术语知识库，其中用端点表示对象、行为和状态。必须描述系统中的每个数据 源的独立模型，将每个源的对象与全局领域模型关联。关联关系声明了源对象的 语义并帮助找到语义上相对应的对象。单本体方法架构图如图i 2 所示： 6 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 图1 2 单本体方法架构图 f 培1 2t h e a r c h i t e c t u r eo f s i n g l eo n t o l o g y a p p r o a c h 可应用萃个本体方法解决的集成问题是：所有需要集成的数据源都提供了几 乎相同的领域视图。但是如果有一个数据源有不同的领域视图，例如提供了不同 的粒度，那么要找到最小的本体将是个十分困难的任务。而有着相似产品目录的 数据源则比较容易集成。这个缺点导致了多本体方法的出现和发展。采用单本体 方法进行数据集成的模式类似于1 3 1 1 节提到的g a v 方法，在集成过程中使用一 个统一的全局模式。 多本体方法：多本体方法也称为分散方法，每个数据源都由各自的本体进行 描述。数据源的语义是由不同的本体进行描述的，可以比较容易地增加移除数 据源，但异构本体的比较会导致很多的同义词、同形异义词等问题，因为本体都 使用各自的词汇库。 否否否 图1 3 多本体方法架构图 f i g 1 3 t h e a r c h i t e c t m e o f m l d 卸l e o n t o l o g y a p p r o a c h 表面上看来，多本体方法的优点是不需要一个公共的最小全局本体。开发每 个源本体都不需要考虑其它的数据源或这些数据源的本体，也就是不需要一个统 一所有源的公共本体。这种本体结构可以使数据源的改交对集成过程的影响减少 很多，例如修改一个数据源或增加删除数据源时，不需要考虑对其它数据源的影 响。但事实上，缺乏公共词汇库使得比较不同的源本体变得很困难。为解决这个 问题，可提供一个定义内部本体映射的附加表示形式。内部本体映射从语义上标 7 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 识了不同源本体间术语的对应关系( 例如，哪些术语在语义上是相等的或相似 的) 。但映射也必须考虑本体上的不同视图，例如本体概念的不同聚集程度和粒 度。而且当本体数量众多时，要形成两两本体之间的内部映射关系将是个十分庞 大的任务，同时可能存在许多的语义异构问题，所以实际上是很难定义内部本体 映射的。 混合本体方法：为解决单本体或多本体方法的缺点，开发了混合方法。与多 本体方法相似，每个源的语义都由它们各自的本体描述。但为了使每个源本体与 其它源本体具有可比性，这些源本体都是基于一个全局共享词汇库建立的。共享 词汇库包含了领域的基本术语( 原语) 。为了建立源本体的复杂术语，可以通过一 些操作符来结合这些原语。因为源本体的每个术语都是基于原语，术语就变得比 多本体方法中的术语容易比较。一般情况下，共享的词汇库也是本体。 图i a 多本体方法架构图 f 唔1 4t h e a r e ) a i t e c t e r eo f h y b i r do n t o l o g y a p p r o a c h 在混合方法中，关键是如何描述局部本体( 例如，源本体中的术语是如何被 共享词汇库中的原语描述的) 。在c o i n 中，信息的本地描述，即所谓的上下文就 是简单的一个属性值矢量。上下文中的术语来自公共共享词汇库。在b u s t e r 中， 共享词汇库是一个( 通用的) 本体，它包含了所有可能的精炼( r e f i n e m e n t ) 。例 如，通用本体定义了概念的属性值范围。源本体是通用本体的一个精炼( 或是其 中的一部分) ，例如限制一些属性的值范围。由于源本体仅使用通用本体的词汇 库，所以它们之间是具有可比性的。 混合方法的优点综合了单本体方法和多本体方法的优点，它可以容易地增加 新源，不需要修改共享词汇库，同时也支持本体的获取和进化。共享词汇库的使 用使得源本体具有可比性，并避免了多本体方法的缺点。混合方法的缺点是已存 本体的复用不容易，而必须由抓取( s c r a t c h ) 开始重新建立，因为所有的源本体 都必须指向共享词汇库。采用混合方法进行数据集成的模式类似于1 3 1 1 节提 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 到的g l a v 方法，每个数据源都对应一个局部模式，这些局部模式都与中介模式有 映射关系。 采用本体进行数据集成的方法咖渊有许多的优点： 首先，本体提供了一个丰富的、预定义的词汇库，可作为与数据源的稳定的 概念接口，并且独立于数据模式。 第二，本体表示的知识足够支持所有相关信息源的转换。 第三，本体支持一致的管理和非一致数据的识别等。 采用本体方法很好地解决了语义异构问题。它可以对数据源的语义作出明确 的描述。但是如何合理地构建全局本体和局部本体，给研究者提出了严峻的挑战。 1 3 2 数据复制方法 1 3 2 1 数据复制方法概述 数据复制方法。1 将各个数据源的数据复制到与其相关的其它数据源上，并维 护数据源整体上的数据一致性、提高信息共享利用的效率。数据复制可以是整个 数据源的复制，也可以是仅对变化数据的传播与复制。数据复制方法可以减少用 户使用数据集成系统时对异构数据源的数据访问量，从而提高数据集成系统的性 能。 数据复制方法可以从数据传输方式和数据复制触发方式两个方面来划分。 数据传输方式是指数据在发布数据的源数据源和订阅数据的目的数据源间 的传输形式，可分为数据推送和数据拉取数据推送是指源数据源主动将数据推 送到目的数据源上。而数据拉取则是目的数据源主动向源数据源发出数据请求， 从源数据源获取数据到本地。在有些情况下，数据发布端传送到数据订阅端的数 据并不直接存储到目的数据源中，需要经过数据订阅端的本地化处理，这时通常 采用缓存来协调数据发布端和数据订阅端的异步。在数据推送的方式下，数据缓 存要构建在数据订阅端；而在数据拉取的方式下，数据缓存则要构建在数据发布 端。 数据复制触发方式是指集成系统调用数据复制的方式。集成系统通常预先定 义了一些事件，这些事件可以包括：对数据发布端引起的数据变化的某个操作、 数据发布端数据缓存累积到一定批量、用户对某个数据源发送访问请求、具有一 定间隔的时间点等。当这些事件被触发时执行相应的数据复制。因此，数据复制 触发方式按事件定义的不同可以分为：数据变化触发、批量触发、客户调用触发、 定时触发等。 9 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 1 3 2 2 数据复制代表方法 典型的数据复制方法是数据仓库技术。 数据仓库的经典概念由w h i n m o n 于1 9 9 2 年在建立数据仓库一文中最早 提出：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、 持久的数据集合”。 该方法需要建立一个存储数据的仓库，由e t l ( e x t r a c t ，t r a n s f o r ma n dl o a d ) 工具定期从数据源过滤数据，然后装载到数据仓库，供用户查询。 与模式集成方法相似的是用数据仓库集成异构数据源也需要异构统一的数 据视图，但不同的是e t l t 具过滤得到的数据存储到仓库中。而与传统的数据库 不同的是数据仓库中主要存储的是历史和汇总数据，用于决策支持，主要供分析 或执行等人员使用，而且为避免数据仓库与数据源中数据出现不一致，通常不允 许用户对数据仓库进行更新。 由于数据仓库系统叫的昂贵的投资费用、项目实施周期长、项目成功率风险 大等原因制约了数据仓库在中、小型企业或数据积累少的企业解决异构数据源整 合和集成需求的应用；有些数据库管理系统自带的数据转换工具，能低成本地解 决异构数据源整合和集成问题，但在具体项目实际应用过程中，也具有一定的局 限性。 模式集成方法优于数据仓库之处是： ( 1 ) 它能够集成那些只允许对数据进行有限访问的数据源；支持数据的实时 视图；能够同时描述中介模式的多个版本。 ( 2 ) 适合集成系统中的数据源数量很大，而且数据源更新频繁，不可预知用 户需要查询什么信息的情况。虽然虚拟视图集成方法要以一定的性能作代价，因 为每次查询都要连接数据源，如果有些数据源实际位置距中介器很远，则可能出 现响应延时；但是创建数据集成系统很快，而且在中介器中增用缓存策略可解决 这一问题，优化系统性能。 1 3 3 基于服务的集成方法 1 3 3 1 基于服务的集成方法概述 基于服务的集成方法在w e bs e r v i c e s 的框架下，使用一组w e b 服务协议( 如 s o a p ，u d d i ，w s d l 等) ，对每个数据源都为其创建一个w e b 服务或者一个服务集， 然后使用w s d l 描述服务，并扃 u d d i 注册中心注册服务。每个w e b 服务向外界暴露 出一个能够通过w e b 进行调用的a p i 。用户无需知道服务的内部是如何实现的。当 要构建一个新的集成应用时，集成端首先向注册中心发送查找请求，收集并选择 1 0 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 与请求相匹配的数据服务，通过调用服务获取数据。 基于服务的集成方法由于采用s o a p 协议，s o a p 协议使用x m l 进行数据传输， 因此具有很好的跨平台性和松散耦合性。同时s o a p 采用h t t p 协议，并非私有的协 议，能够更加安全的穿越防火墙。因此基于服务的集成方法具有完好的封装性、 松散耦合。规范协议高度可集成能力等特性。 1 3 3 2 基于服务的集成方法简介 典型的基于服务的集成技术是w e bs e r v i c e 技术。 伴随着w e bs e r v i c e 技术的发展、x m l 技术的日趋成熟以及本体技术的应 用，数据集成出现了新的方式一即采用w e b 服务的数据集成方式。 w e b s e r v i c e 是一个接口，它描述了一组可以通过s o a p 消息进行访问的操作。 w e bs e r v i c e 使用被称为服务描述的、格式正规的x m l 文档进行描述。服务描述涵 盖了和服务进行交互所需的所有细节，包括消息格式、传输协议和位置。所谓“接 口”，就是说w e bs e r v i c e 隐藏了服务的实现细节，使得它具有硬件、软件平台和 编程语言的无关性。这也使得基于w e bs e r v i c e 的应用天生具有松散耦合、基于 组件和跨平台实现的特性。w e bs e r v i c e 是一种新型的网络应用程序，具有自包 含( s e l f c o n t a i n e d ) 、自描述( s e l f d e s c r i b i n g ) 以及模块化的特点，它可以通 过网络发布、查找和调用。 w e bs e r v i c e 体系的优点：( 1 ) 协议的通用性：w e bs e r v i c e 利用标准的 i n t e r n e t 协议( 如m 陌p 、s m t p 等) ，解决的是面向w e b 的分布式计算：( 2 ) 安全 的平台、语言独立性；( 3 ) 完好的封装性；( 4 ) 松散耦合性；( 6 ) 高度可集 成能力；( 6 ) 软件和数据重用；( 7 ) 它是一个具有不同粒度的软件组件，客户 不需要知道它是如何实现的，知道如何使用它就可以。 w e bs e r v i c e 的研究现状：目前，微软n e t 和s u n 公司的j 2 e e 两大类型的w e b 应用服务器均支持w e bs e r v i c e s l “! 。微软提出了一种全局) 曲也w e bs e r v i c e s 体系 结构g x a ( g l o b a tx 地bs e r v i c e sa r c h i t e c t u r e ) ，该结构包括一系列规范如 w s i n s p e c t i o n ，w s l i c e n s e ，w s r e f e r r a l ，w s r o u t i n g 。w s s e c u r i t y 等。为 适应该体系结构，微软提供了一个创建、部署和运行x m lw e bs e r v i c e s 的应用平 台，称为n e t 框架( n e tf r a m e w o r k ) 。此外，微软还提供了一个以用户为中心的 w e bs e r v i c e 体系结构和一系列x 虬w e bs e r v i c e s ，统称为n e tm ys e r v i c e s 。s u n 公司的j 2 e e 真正支持w e bs e r v i c e s 却相对较晚，在j z g g1 4 规范中将w e b s e r v i c e 作为一种标准服务定义，并扩展了e j b 2 0 规范，提供j a x r p c ，j a x b ， j a x p ，j a x r 等一系列j a v aa p i 。许多j 2 e e 应用服务器厂商对w e bs e r v i c e 的支持非 常活跃。如i b m 开发了w e bs e r v i c e s 激活框架w s i f ( w e bs e r v i c e s i n v o c a t i o n f r a m e w o r k ) ；b e a 发布了w e b l o g i cw o r k s h o p ，使得开发人员非常轻松地使用可视 河海大学硕士研究生毕业论文基于主动服务的数据集成平台研究 化控件开发w e bs e r v i c e s ( 文献 4 2 详细地介绍了其他j 2 e e 应用服务器对w e b s e r v i c e 的支持情况) 。 w e bs e r v i c e 解决的问题：现有的i n t e r n e t 是一个多元化的计算环境，是由 各种不同的实现技术、平台和操作系统共同结合而成的，对于d c 0 m ，c o r b a 等技术， 由于它们自身的原因，难以穿透防火墙进行相互之间集成。因此要使这些不同技 术提供的服务组成一个网网相连的集成环境，就必须要有一个统一的标准来集成 彼此的服务。w e bs e r v i c e 技术就是在这种情况下产生的。 w e bs e r v i c e s 可以执行任何功能，从简单的请求到复杂的业务过程。一旦w e b s e r v i c e s 被部署，其他的应用程序或是w e bs e r v i c e s 就能够发现并且调用这个部 署的服务。w e bs e r v i c e s 是松耦合的，而且能够动态地定位其它在i n t e r n e t 上提 供服务的组件，并且与它们交互。基于w e bs e r v i c e s 的信息集成系统在w e b s e r v i c e s 的框架下，使用一组w e bs e r v i c e s 协议( s o a p t 矧、w s d l 2 6 1 、u d d i t r 7 1 、x m l f m 嗍) ，构建信息集成系统0 0 3 。为每个数据源创建一个w e