（计算机应用技术专业论文）基于网格的异构数据集成中间件的研究与实现.pdf

摘要 异构数据集成是数据库领域的经典问题，随着x m l 和w e b s e r v i c e s 技术的兴起，再次成为了该领域研究的一个热点。同时，网 格技术是近年来兴起的一种重要的网络信息技术。在网格环境下研 究异构数据集成的中间件是非常有意义的。 首先，论文从异构数据集成的重要性和迫切性出发，阐述了目 前用于异构数据集成的各种方法和技术，分析了它们的优点和存在 的局限性，结合网格中间件技术，重点介绍了网格环境下异构数据 集成方法和基于网格的异构数据集成中间件。 然后，对目前比较流行的网格环境下的异构数据集成中间件 o g s a d a i 进行了研究，分析了它的体系结构和模块框架，在借鉴 其强大功能的基础上，提出了几点值得改善的地方。主要包括数据 库连接效率不高、分布式查询功能不足、没有消除x m l 数据库与关 系数据库之间语义异构。针对o g s a d a i 的局限性设计了一种改进 的网格数据集成中间件e x p d a i 。在e x p d a i 中加入了数据库连接 池以提高数据库的访问效率；设计了一组分布式查询模块以改善 o g s a - d a l 分布式查询功能的不足；设计了一个虚拟数据库来为分 布式查询提供支持；另外还设计了一个屏蔽x m l 数据库与关系数据 库语义异构的模块。 最后，在网格平台下实现并测试了e x p d a i 中间件的异构数据 集成与访问功能。通过测试表明，在e x p d a i 中加入数据库连接池、 分布式查询模块和虚拟数据库可以改善o g s a d a i 在数据库连接效 率和分布式查询功能上的局限性，验证了e x p d a i 的可行性。 关键词网格，异构数据集成，虚拟数据库，o g s a d a i a bs t r a c t h e t e r o g e n e o u sd a t ai n t e g r a t i o ni s av e r yc l a s s i cq u e s t i o ni nt h e d a t a b a s ef i e l d w i t ht h ed e v e l o p m e n to ft h ex a 缸a n dw e bs e r v i c e s t e c h n o l o g y , h e t e r o g e n e o u s d a t a i n t e g r a t i o n b e c o m e st h er e s e a r c h h o t s p o ta g a i n i nr e c e n ty e a r s ，g r i db e c o m e sa ni m p o r t a n ti n f o r m a t i o n t e c h n o l o g y i nt h ew o r l d s oi ti so fs i g n i f i c a n tt h a tr e s e a r c h h e t e r o g e n e o u sd a t ai n t e g r a t i o nm i d d l e w a r ei n 西d e n v i r o n m e n t f i r s t l y , t h e t h e s i sb e g i n sw i t ht h e s i g n i f i c a n to fh e t e r o g e n e o u s d a t a b a s ei n t e g r a t i o n ，d i s c u s s e st h em e t h o d sa n dt e c h n o l o g i e si nd e t a i l w h i c ha r eu s e di nh e t e r o g e n e o u sd a t a b a s ei n t e g r a t i o nr e s e a r c hf i e l d r e c e n t l y r e f e r r i n gt or e l a t e dg r i dt e c h n o l o g y , a n a l y z e st h e i rf e a t u r ea n d w e a k n e s s t h e n ， a f t e r r e s e a r c h i n g 0 g s a d a lw h i c hi sa p r e v a l e n t h e t e r o g e n e o u sd a t a b a s ei n t e g r a t i o nm i d d l e w a r ei n 面de n v i r o n m e n t ，t h e t h e s i sd e s c r i b e ss o m ef e a t u r ea n dl i m i t ，f o re x a m p l e ，t h ee f f e c t i o no f d a t a b a s ec o n n e c t i o ni sn o tv e r yf a s ta n dt h ed i s t i l b u t e dq u e r yi sn o tv e r y g o o d o nt h eb a s i so fd e e p l yr e s e a r c ha n da n a l y s i so ft h ea r c h i t e c t u r e a n di n n e ri m p l e m e n t a t i o np r o c e s so fo g s a - d a i ，t h et h e s i sp r o p o s e sa n e wa r c h i t e c t u r ew h i c he x t e n d sa n dp e r f e c t si t so r i g i n a lf u n c t i o n s n a m e de x p d a i t h ee x p d a ia d dad a t a b a s ec o n n e c t i o np o o lt o i m p r o v et h ee f f e c t i o no fd a t a b a s ec o n n e c t i o n a n dt h ee x p d a id e s i g n a d i s t r i b u t e dq u e r ym o d u l ea n dav i r t u a l d a t a b a s et o i m p r o v e o g s a d m sd i s t r i b u t e dq u e r ya b i l i t y f i n a l l y , t h et h e s i sd e m o n s t r a t e st h ei m p l e m e n t a t i o np r o c e s sa n dt e s t p r o c e s so ft h ek e ym o d e lo fe ) p d a i t h er e s u l to ft h et e s ti n d i c a t et h a t d a t a b a s ec o n n e c t i o np o o l i sh e l p f u lt oi m p r o v et h ee r i e c t i o no fd a t a b a s e c o n n e c t i o n a n dt h ed i s t r i b u t e dq u e r ym o d u l ea n dv i r t u a ld a t a b a s ei s h e l p f u lt oi m p r o v et h ea b i l i t yo fd i s t r i b u t e dq u e r y k e y w o r d sg r i d ，h e t e r o g e n e o u sd a t ai n t e g r a t i o n ，v i r t u a ld a t a b a s e ， o g s a d a i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均己在论文中作了明确的说明。 作者签名：兰! ! 童! | ：垫日期：趔年月旦日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：垒；塑! 导师签名弛日期：丛年月上日 硕士学位论文第一章绪论 1 1 研究背景 第一章绪论 现在，越来越多的商业和科学应用增加了对分布式资源的访问。人们已经 将网格【1 4 】技术引入到这一领域以更加有效地共享异构分布式环境中的各种资 源。基于网格的异构数据集成中间件的研究是在网格技术和数据库技术快速发 展的前提下提出的，众多科研机构在网格和数据库领域做了许多的研究工作。 论文从网格的产生、网格中间件、数据库管理三个方面来阐述基于网格的异构 数据库集成中间件的研究背景。 1 1 1 网格的产生 网格一词译自英文单词“g r i d ，它的目标是把整个因特网整合成一台巨大 的超级计算机，实现计算机各种资源的全面共享。如何充分利用网络中的现有 软硬件资源，发挥网络资源的潜能是目前一个重要课题，研究人员提出许多解 决方案，例如并行计算技术【5 - 6 、集群技术【7 埘、分布式计算技术 9 - 1 0 】等，但是这 些技术都只能帮助人们使用一定范围或是一个管理域内的计算资源。 随着因特网技术的成熟和推广使用，人们产生了把因特网上的计算资源集 成起来使用的想法。期望能利用已有的因特网设施建立一种新型的基础设施， 把世界上的各种计算资源集成在一起，为世界范围的用户提供使用这些资源的 良好接口，这种新的基础设施就是网格。网格是一种分布式系统，具有分布式 系统所共有的特点，如资源共享、协同工作等。除了分布式系统所共有的特点 之外，网格还有区别于传统分布式系统的以下特点0 1 - 1 2 ： ( 1 ) 协调分布的资源。网格中的资源属于不同机构或不同管理域，网格集 成和协调存在于不同控制域内的资源和用户，并处理协调分布资源时的安全、 政策、付费和成员资格等问题。拥有集中控制主机的系统不能成为网格，因为 控制主机拥有完整的系统状态信息、用户信息、对独立组件有完全的控制能力。 - ( 2 ) 通用开放标准。非集中控制，非平凡服务质量，这是i a nf o s t e r 最近提 出的网格检验标准。网格是基于国际的开放技术标准，这跟以前很多行业、部 门或者公司推出的软件产品不一样。 ( 3 ) 动态可扩展功能。网格可以提供动态的服务，能够适应变化。同时网 格并非限制性的，它实现了高度的可扩展性。 硕十学位论文 第一章绪论 目前，最流行的一个网格平台就是g l o b u s t l 3 】。g l o b u s 是一种用于构建网格的 项目，它具有开放的体系结构和开放的标准。g l o b u st o o l k i t 是在研究g l o b u s 平台 过程开发出来的一个工具包，它具有较为统一的国际标准，有利于整合现有资源， 也易于维护和升级换代。大多数网格项目都是采用基于g l o b u s t o o l k i t 所提供的协 议及服务建设，g l o b u s 对资源管理、安全、信息服务及数据管理等网格技术的关 键理论进行了研究并提供了基本的机制和接口。 1 1 2 网格中间件 中间件通过把一些有共性的特征、模式、技术、解决方案抽取出来，形成一 个运行平台、开发平台或维护平台。将分布于各异构平台上的资源粘合在一起， 协同地完成各种事务。 随着网格技术的兴起和快速发展，对网格中间件的研究也越来越多。网格 中间件是网格关键技术之一。研究的目的是为用户提供具有统一编程接口的组 件，支持复杂应用问题的求解和广域网上各类资源的共享。设计网格中间件要 具备资源动态监测、屏蔽节点异构、优化资源选择和无边协同计算等功能。网 格中间件通常需包括资源监测组件、计算服务组件、网格安全组件、容错服务 组件、信息服务组件和应用调度组件。 由于网格中间件的以上特性，网格中间件也被广泛应用在网格数据集成领 域，大量的国内外网格研究人员在这个领域做了大量的工作，也取得了显著的成 就。其中由苏格兰e p c c 和英格兰的i b mh u r s l e y 合作开发的一个网格数据集成中 间件o g s a d a i 1 4 】最为流行。o g s a d a i 的目标是为网格环境下的异构数据访问 和集成提供统一的服务接口。o g s a - d a i 把各种异构的数据资源视为逻辑上的单 一资源，并且对这些异构数据资源进行集成。 1 1 3 数据管理存在的问题 海量数据的产生和分布是互联网发展的必然结果，而大规模数据资源的开 放共享和协同管理则是网络时代所产生必然需求。特别是对于科学数据和大型 企业这种需求更为迫切。然而目前的技术手段不能很好的适应这种信息资源飞 速增长的趋势，现有的海量科学数据应用存在着以下问题【1 5 j ： ( 1 ) 封闭性。大部分科学数据都以封闭的状态存在，不论从管理层面还是 技术层面都缺乏有效的机制支持其对社会提供开放的数据服务。 ( 2 ) 信息孤岛。由于大部分科学数据都由不同部门、研究组织或大学独立 开发，缺乏统一的整合与集成方式，因而形成一个个彼此分离的“信息孤岛 。 2 硕士学位论文第一章绪论 ( 3 ) 缺乏规范和标准。大部分科学数据的建设都没有相应的国际或国家标 准做指导，从而造成了科学数据的深度异构性。 ( 4 ) 海量大规模。科学数据不断增长，现有的数据管理平台无法支持大数 据量的有效管理，如多备份、动态镜像、实时控制等。 这些问题严重阻碍了科学数据的有效共享，因此如何应用现代信息技术动 态整合集成跨区域、跨平台的数据资源，实现网格环境下分布异构数据的集成 与访问是亟待解决的课题。 1 2 研究现状及意义 目前，已经出现了一些异构数据集成的方法，但总的来说，并不能完全实 现数据透明访问、跨平台多模式的集成，数据源也不能动态部署【幡1 8 l 。已提出 的集成异构数据的方法有：多数据库语言系统【1 蛇1 1 、模式集成系统【2 2 之3 1 、联邦 数据库系统 2 4 1 3 0 1 、基于x m l 的数据集成【2 5 】 3 1 1 等。多数据库语言系统只是提供 了统一的多数据库操作语言和公共接口以访问成员数据库，各成员数据库还是 高度自治的，并不能解决语义异构和实现透明访问【2 6 2 8 】。模式集成系统需要定 义和维护一个全局模式【2 9 】以解决语义和结构等方面的异构冲突，这样的全局模 式构成和维护是很复杂的，而且局部模式的更改或加入通常也会破坏全局模式。 联邦数据库系统是多个异构成员数据库形成的松散耦合，虽不采用全局模式， 但仍要求使用一个系统映射字典来存储各成员与联邦之间的模式映射信息。基 于x m l 的数据集成框架就是利用x m l 作为中间媒介进行异构数据库集成的方 案。该框架使用x q u e r y 或x p a t h 作为查询语言，向用户应用提供统一的数据 视图和查询接口。屏蔽底层数据库的位置信息和平台差异，实现了异构数据库 的无缝连接。 网格环境下的异构数据集成的方法主要有两种，一种是利用网格平台支持 系统化的身份鉴别和授权、资源发现、数据传输、进程创建和调度、跨异构平 台、动态绑定等特点，构造一个安全可靠、完全符合网格特性的高性能网格数 据库访问管理系统；另一种是对现有数据库系统进行整合，提供一个中间件将 数据库系统包装成为网格服务，通过这些网格服务，用户可以访问网格环境下 的数据库资源。 有关网格环境下的数据库研究和实践还处于起步阶段。主要的研究工作都 是在o g s a d a i 的基础上进行展开的。o g s a d a i 能无缝地实现数据库与网格 的集成，包括关系数据库和x m l 数据库等；o g s a w e b d b 3 3 】基于o g s a d a i 提供访问与集成w r e b 数据库能力；o g s a d q p 0 4 】基于o g s a - d a i 提供面向并 硕士学位论文 第一章绪论 行处理的分布式查询处理机制；p o l a r 木【3 5 】是支持特定领域的科学网格，它也是 基于o g s a 体系结构的，并且预知数据资源：c o d i m s g 3 6 1 是中间件查询系统， 主要基于吞吐率动态协调查询处理节点；m y g r i d 3 7 】是英国es c i e n c e 核心项目 的代表，为生命科学研究提供了一套中间件软件，它是基于o g s a d a i 开发组 开发的o g s a d q p 来实现数据库的访问和集成；g d i s l 3 8 j 采用o g s a - d q p 、 o g s a - d a i 和g l o b u st o o l k i t 中间件，并且基于服务框架实现x m l 数据集成。 p o q s e c 3 9 】透明地实现科学数据查询和数据分析，其数据包装为原始数据格式， 而不是s q l 数据库数据格式，但提供类似s q l 的查询处理机制；p a l a d i n l 4 u j 基于图匹配引擎实现数据集成。d a r t g r i d t 4 l 】是针对中医药应用构建的数据库网 格环境，实现数据库的服务化访问和数据的分布查询，主要工作在语义层； s d g 4 2 】是面向科研数据处理而构建的数据网格，其基于j d b c 实现与数据库的 连接，并提供统一的访问接口实现异构数据集成。 由于目前已有数据库集成方法还不是非常完善，它们还存在着一些有待改 善的地方，所以在网格环境下来搭建异构数据库集成的中间件平台是非常有意 义的。它不仅可以解决组织内部的数据集成，还可以弥补一些已有数据集成方 法中的不足，为数据集成提供了一条新的思路。 1 3 论文的主要工作与组织结构 论文主要研究基于网格的异构数据库集成中间件的设计与实现，以 o g s a d a i 中间件为基础，设计并实现了一种改进的基于网格的异构数据库集 成中间件e x p d a i 。 1 3 1 论文的主要工作 论文的工作主要有以下几点： ( 1 ) 通过深入研究和分析o g s a d a i 体系结构和模块框架，得出了 o g s a d a i 在数据库连接效率、分布式查询、x m l 数据库与关系数据库语义异 构消除方面的局限性。 ( 2 ) 在借鉴o g s a d a i 强大功能的基础上，针对其存在局限性设计并实现 了一种改进的网格数据集成中间件e x p - d a i 。 ( 3 ) 在e x p d a i 中加入了一个数据库连接池，以提高数据库集成中间件的 数据库连接效率；设计并实现了一组分布式查询模块和一个虚拟数据库，来更 好的现实对网格中异构数据库的分布式查询；利用异构数据库集成的实现技术 来构造高级的数据库查询服务，屏蔽s q l 语言x p a t h 4 3 或x q u e r y 4 4 语言之 4 硕士学位论文第一章绪论 间的异构性。 ( 4 ) 利用局域网内配置的多个数据库和相关软件对e x p d a i 进行测试，以 验证设计的可行性、正确性和优越性。 1 3 2 论文的组织结构 论文由以下几章构成： 第一章绪论，详细介绍基于网格的异构数据库集成中间件的研究背景、研 究意义和论文的主要工作。 第二章基于网格的数据集成中间件，介绍了网格环境下的数据集成中间件 的总体框架并具体分析了o g s a - d a i 的体系结构。 第三章一种改进的网格数据集成中间件e x p - d a i ，以o g s a d a i 为基础， 提出了一种改进的网格数据集成中间件e x p d a i 。e x p d a i 在借鉴o g s a d a i 强大功能的基础上，针对o g s a d a i 在数据库连接效率、分布式查询等方面的 局限性提出了解决方案。 第四章e x p d a i 的实现，描述了e x p d a i 中间件的重要模块的实现过程 主要包括数据库连接池的实现，分布式查询模块的实现，虚拟数据库的实现。 第五章e x p d a i 的测试，主要测试了分布式查询界面、虚拟数据库生成、 查询任务分解、查询执行、数据库连接池性能。并且对测试结果进行了分析， 验证了e x p d a i 中间件的可行性。 第六章结论与展望，总结了作者在课题上的研究工作，并提出了下一步研 究所要完成的任务。 硕士学位论文 第二章基于网格的数据集成中间件 第二章基于网格的数据集成中间件 中间件位于应用软件与系统基础软件之间，起到屏蔽底层复杂性的作用，通 过把一些有共性的特征、模式、技术、解决方案抽取出来，形成一个运行平台、 开发平台或维护平台，将分布于异构平台上的各种资源粘合在一起，协同地完成 各种事务。中间件方式也被广泛应用在网格数据集成领域，大量的国内外网格研 究人员在这个领域做了大量的工作，取得了显著的成就。其中由苏格兰e p c c 和 英格兰的i b mh u r s l e y 合作开发的一个网格数据库集成中间件o g s a d a i 最为流 行。 2 1 网格中间件基本管理模块 网格中间件按照其内部各基本组件的功能类型，可以划分为若干个功能模 块如图2 1 所示。 图2 - 1 网格中间件基本管理模块 ( 1 ) 信息管理模块。管理网格自身的信息和用户信息，为网格中的活动提 供依据。 ( 2 ) 资源管理模块。提供资源发现机制，解决跨管理域环境下相似资源在 管理和配置时产生的异构问题，达到网格上资源共享的根本目的。 ( 3 ) 作业管理模块。支持用户在计算资源上运行自己的代码，对用户提交 的作业实施作业的调度、迁移、任务分解等工作。 6 硕士学位论文第二章基于网格的数据集成中间件 ( 4 ) 数据管理模块。发布、高速传输、复制或重建网格中的海量数据，达到 网格数据全面共享，彻底消除“信息孤岛。 ( 5 ) 公共管理模块。负责网格的记账、监控、用户管理，保证网格系统的 健壮性、可用性及持久性，是网格运行不可缺少的组成部分。 ( 6 ) 界面管理模块。负责给网格应用提供开发环境或开发工具，使应用开 发者能使用工具编写网格化的应用程序，并在网格上部署和运行他们的应用软 件。 ( 7 ) 通信与安全管理模块。负责网格实体间安全、可靠的交互，属于网格 系统的基础模块。 网格中间件的这些基本组成模块在保持相对独立性和功能完整性的同时， 要通过相互间的信息交互，协同工作，完成资源请求者的任务。在o g s a 框架 的指导下，这些功能模块都抽象为网格服务，构成模块化的服务包模型，可作 为多种应用领域的通用基础工具。服务之间通过标准的接口定义语义和标准的 接口描述互相调用，交换信息，提供与临时服务有关的服务发现、动态服务创 建、服务生命周期管理、消息订阅、通知发送等功能，并在网格安全服务模块 的作用下，为用户提供请求服务。 2 2 网格数据集成中间件o g s a d a i o g s a o d a i 即开放网格服务架构数据存取和集成( o p e ng r i ds e r v i c e s a r c h i t e c t u r e d a t aa c c e s sa n di n t e g r a t i o n ) 是一种用于数据库集成的网格中间件， 使得现有数据资源如关系数据库和x m l 数据库能够集成到网格环境中的架构。 它符合现有的网格标准，并在g l o b u st o o l k i t 上进行开发，支持d b 2 、o r a c l e 、 m y s q l 、s q ls e r v e r 等关系型数据库和x i n d i c e 等x m l 数据库甚至是存储在普 通文件中的数据。 2 2 1o g s a d a i 中的几个重要术语 为了更好的描述o g s a d a i 的体系结构和工作原理，先介绍o g s a d a i 中 的几个重要术语： ( 1 ) 数据资源 d a t ar e s o u r c e ( d r ) ，在o g s a d a i 中任何一个数据源都是以数据资源的形式 发布到网格平台上的。目前o g s a - d a l 支持六种关系数据库系统、两种本地x m l 数据库系统、文件系统以及索引文件。其目标是更加通用，任何一种数据实体都 可以作为数据资源。 7 硕士学位论文第二章基于网格的数据集成中间件 ( 2 ) 数据服务 d a t as e r v i c e ( d s ) 为访问、查询或者更新d s 的客户端提供了一个入1 2 点。d s 提供了面向文档的接口， 该接1 2 接收由客户端发来i 拘p e r f o r md o c u m e n t s 命令， 并返回r e s p o n s ed o c u m e n t s 给客户端。d s 开放0 个或多个d s r ，提供了许多操作， 这些操作提供了从获取服务的信息到由d s 开放的d s r 的访问。 ( 3 ) 数据服务资源 d a t as e r v i c er e s o u r c e ( d s r ) 完成o g s a d a i 中间件的主要功能，接收从d s 来 的p e r f o r md o c u m e n t s 语句，解析并验证这些语句，执行和数据相关的活动并且发 送r e s p o n s ed o c u m e n t s 语句给d s 。 ( 4 ) 数据资源访问器d a t ar e s o u r c ea c c e s s ( d r a ) d a t ar e s o u r c ea c c e s s ( d r a ) 是d s r 用来管理访问特定d r 的。d r a 是可扩展 的，因此用户可以开发自己的d r a 来访问o g s a d a i 不支持的d r 。 ( 5 ) a c t i v i t y 活动 a c t i v i t y 活动是工作的基本单元，是d s r 完成的重要操作，包括数据资源控 制、数据转换和数据传送操作。例如s q l 查询，x s l t 转换和g r i d f t p 数据传送。 客户端通过发送描述a c t i v i t y l 拘p e r f o r md o c u m e n t s 命令和d s r 相互作用。 ( 6 ) s e s s i o n s 会话 s e s s i o n s 会话是在数据服务资源中通过多种请求存储状态的对象。 ( 7 ) 执行文档 p e r f o r md o c u m e n t s 执行文档是客户端用来指示d s r 需要完成哪些a c t i v i t y 的 一个x m l 文档。这些a c t i v i t y 可能包括数据资源查询、更新、数据转换或者数据 传送操作等。简单的执行文档可能指定简单的数据库查询活动，而复杂的执行文 档则可能通过管道将若干活动连接到一起。 ( 8 ) 响应文档 r e s p o n s ed o c u m e n t s 响应文档描述了执行文档的执行状态，以及由客户端数 据服务资源对执行文档进行处理之后得到的结果。 2 2 2o g s a d a i 的体系结构 o g s a d a i 的设计目标是提供一种简便的方法，在网格环境中实现数据的 访问和集成。o g s a d a i 运行在w e bs e r v i c e s 的容器中，o g s a - d a i 提供了将 现有数据资源，如关系数据库和x m l 数据库集成到网格环境中的基本架构。 其体系结构【4 卅见图2 2 。 8 硕士学位论文第二章基于网格的数据集成中间件 客户层 f 表示层 1 l - 业务逻辑层 厂 数据层 一 l 客户端应用程序 王 客户端工具 w s r f 客户端存根 w s i 客户端存根 尊 数据服务 w s r f 数据服务w s i 数据服务 、 il 弋夕 o g s a - d a i 核心 数据服务资源a数据服务资源b数据服务资源c 上上上上上土 b 库 x m l 数据库l 数据文件 一一 ， 图2 - 2o g s a d a i 体系结构 从图中可以看出o g s a d a i 的体系结构中包括了四层，即数据层、业务逻 辑层、表示层和客户端层。每层都是由组件构成，层与层之间通过接口进行数 据通信。 ( 1 ) 数据层 数据层中包括各种数据资源，这些数据资源可以通过o g s a d a i 发布到网 格中，为数据集成提供最终的数据支撑。 ( 2 ) 数据层与业务逻辑层之间的接口 此接口可以完成数据层与业务逻辑层之间数据双向通信，这个接口是由数 据资源访问器来实现的。业务逻辑层中的每一个数据服务资源都有一个数据资 源访问器，通过这个数据资源访问器来控制对底层数据资源的访问。如图2 3 所示。 9 硕士学位论文 第二章基于网格的数据集成中间件 图2 - 3 通过数据资源访问器访问底层数据资源 o g s a d a i 中包括三种数据资源访问器，分别是为关系型数据库、x m l 数 据库和文件系统而设计的。在o g s a d a i 中数据资源访问器组件是可以扩展的， 用户可以另外开发其它的数据资源访问器来支持其它的数据资源。 ( 3 ) 业务逻辑层 这层包括了o g s a d a i 的核心功能。在这一层中包括多个数据服务资源组 件，它的核心框架如图2 4 所示， 钞7 7 输出、 l圈 盏 区窜 进程块： 图2 4o g s a d a i 业务逻辑层核心框架 数据服务资源组件的主要功能包括运行用户提交的执行文档、生成响应文 档、数据资源访问、数据传输、会话管理、属性管理，是o g s a d a i 中间件中 非常重要的一个组件。如图2 4 所示，用户提交的执行文档经过o g s a d a i 引 擎和o g s a d a i 上下文，被分配到各个具体的数据服务资源组件执行，数据服 1 0 硕士学位论文第二章基于网格的数据集成中间件 务资源组件通过a c t i v i t y 活动来完成执行文档中描述的各种操作。 ( 4 ) 业务逻辑层与表示层之间的接口 此接口用来完成业务逻辑层与表示层之间数据通信，另外可以用来对 o g s a - d a i 中业务逻辑层的功能进行扩展。 ( 5 ) 表示层 表示层主要是通过w e bs e r v i c e 的方式将数据服务资源发布到网格中。在 o g s a - d a i 中，这层有两种实现方案，一种是用w s r f f 4 5 】体系框架来实现的， 另一种是用w s l l 4 5 体系框架来实现。在论文中主要研究的是适应w s r f 体系框 架的部分。 ( 6 ) 客户端层 客户端能通过相应的数据服务与数据服务资源进行交互。如果客户端应用 程序要与w s r f 数据服务进行交互，必须满足w s r f 的标准，同样地，如果客 户端要和w s i 数据服务进行交互时，必须满足w s i 的标准。 o g s a d a i 体系框架中的各层之间的通信与交互是面向文档接口的。客户 端不直接和业务逻辑层中的数据服务资源进行交互，而是先提交一份执行文档 给表示层数据服务。数据服务再把执行文档传递给相应的数据服务资源。数据 服务资源解析客户端的执行文档格式和执行文档中描述的操作。数据服务资源 在执行完文档中描述的操作之后将执行的结果存放到一个响应文档中，并把这 个响应文档传给表示层的数据服务，数据服务再把响应文档返回给客户端。具 体过程如图2 5 所示。 执行文档广执行文档s q l 查询 客户端 ii 数据服务ii 数据服务资源ll 数据资源 响应文档ii响应文档 图2 - 5o g s a - d a i 面向文档的交互过程 结果集 当数据服务资源接收到多个执行文档的请求时，数据服务资源会根据先到 先服务的策略先处理最先到达的请求，同时将后面接收到的请求存放到一个队 列中等待处理，这个队列的大小可以在数据服务发布的时候设定。 2 2 3o g s a d a i 集成中间件的局限性 集成中间件o g s a d a i 具有与网格环境直接相融合的特点，同时它又能够集 成各种类型的异构数据库系统，因而o g s a d a i 是在网格环境下构建异构数据集 硕士学位论文第二章基于网格的数据集成中间件 成系统的很好选择。然而，o g s a d a i 正处于不断研究和发展中，它还不是很成 熟，有很多地方需要改进和提高。论文通过对o g s a d a i 体系结构的分析得出以 下几点需要改进的地方： ( 1 ) 数据库连接性能差 由于o g s a d a i 中间件每次调用一个d s 连接数据库的时候是采用直接连接 的方法，使用完毕后就直接断开数据库的连接。这种直接连接数据库的方法系统 响应时间长，效率低，给服务器和系统网格的性能带来很大的影响。 ( 2 ) 分布查询功能不足 o g s a d a i 中间件提供了单独访问关系数据库、x m l 数据库和结构化数据文 件的接口，但没有真正实现对异构数据源的数据集成。o g s a d a i 中间件只是将 各种异构数据源以网格资源的形式发布到网格上，它必须借助另一个网格分布查 询处理器o g s a d q p 来实现对网格中多个异构数据源的分布式访问，但是现在 o g s a d q p 的功能也不是非常完善的，它现在只支持关系数据库之间的分布式 查询。 ( 3 ) 没有很好地屏蔽语义异构性 因为关系数据库使用的s q l 语句进行操作，而x m l 数据库使用x p a t h 或 x q u e r y 语句进行操作，所以在数据库操作语言上存在异构性，在o g s a d a i 没有 很好的解决这个语义异构性问题，只是将关系数据库和x m l 数据库的集成进行 单独的处理，没有完全实现异构数据库的集成。 2 3 网格数据集成中间件的相关技术 在网格数据集成中间件的设计过程中用到了x m l 技术、w | e bs e r v i c e s h 7 。4 9 l 技术。在网格数据集成中间件中各个模块之间的交互都是以x m l 文档来进行 的，中间件中的外部调动接口和各模块之间的通讯接口是通过w e bs e r v i c e s 来 实现的。 2 - 3 1x m l x m l 是专门为w e b 应用而设计的s g m l ( s t a n d a r dg e n e r a l i z e dm a r k u p l a n g u a g e ) l 拘- - 个优化子集。x m l 是一种元描述语言，使用者可按需要创建新 的标记，x m l 的可扩展性就在于此。x m l 具有下列特性： ( 1 ) 可扩展性。x m l 是设计标记语言的元语言，而不是一个固定标记集特 定的标记语言，用户可以自由的定义自己的标记以适合特定的应用。 ( 2 ) 灵活性。x m l 提供一种结构化的数据表示形式，使得用户可以非常容 1 2 硕士学位论文 第二章基于网格的数据集成中间件 易表达已经存在的数据结构，比如应用于关系数据库的表结构。 ( 3 ) 自描述性。x m l 文档通常包含一个文档类型声明，便于计算机对其进 行处理。 x m l 文档中的数据可以被任何能够对x m l 数据进行解析的应用所提取、 分析和处理，并以所需格式显示。x m l 表示数据的方式真正做到了独立于应用 系统，并且这些数据能重用。随着x m l 标准化和x m l 开放工具的发展，用 x m l 作为跨平台的数据交换的标准格式已经显得越来越重要。 由于x m l 的良好特性，在网格数据集成中间件中不同服务之间传递的信 息都是用x m l 文档描述的。因为x m l 的自描述性，可以在消息之中插入一些 特定的信息告诉对方用何种方法处理，这大大提高了服务自动处理的能力，而 无需手动干预。 2 3 2w e bs e r v i c e s w e bs e r v i c e s 是一种分布式计算技术，是在i n t e m e t 或i n t r a n e t 上使用标准 的x m l 语言和信息格式的全新的技术架构，主要包括w e bs e r v i c e s 描述语言、 用户服务的发布和集成规范、服务调用的简单对象访问协议。其体系结构如图 2 - 6 所示，由角色和操作组成。这些角色和操作一起作用于w e bs e r v i c e s 构件、 w e bs e r v i c e 软件模块及其描述。 图2 - 6w e bs e r v i c e s 体系结构 1 w 曲s e r v i c e s 体系中的三种角色 角色主要包括服务提供者( s e r v i c ep r o v i d e r ) 、服务请求者( s e r v i c e r e q u e s t o r ) 、服务注册中一c , , ( s e r v i c er e g i s t r y ) 。 ( 1 ) 服务提供者( s e r v i c ep r o v i d e r ) 。从商务角度看，它是指服务的所有者； 从体系结构上看，它是指提供服务的平台。 ( 2 ) 服务请求者( s e r v i c er e q u e s t o r ) 。从商务角度看，它是指需要请求特定 硕士学位论文 第二章基于网格的数据集成中间件 功能的用户；从体系结构上看，它是查找和调用服务的客户端应用程序。 ( 3 ) 服务代理( s e r v i c eb r o k e r ) 。它是指用来存储服务描述信息的服务，服务 请求方在这里查找服务并且获取服务的绑定信息。 2 w r e bs e r v i c e s 体系中的三种操作 操作主要包括发布( p u b l i s h ) 、查找( f i n d ) 、绑定( b i n d ) 、服务( s e r v i c e ) 、服务 描述( s e r v i c ed e s c r i p t i o n ) 。 ( 1 ) 发布( p u b l i s h ) 。服务提供者需要首先对服务进行一定描述并发布到注册 服务器上。在发布操作中，服务提供者需要通过注册服务器的身份验证后才能 对服务描述信息进行发布和修改。 ( 2 ) 查找( f i n d ) 。服务请求方根据注册服务器提供的规范接口发出查询请 求，以获取服务所需的相关信息。在查找操作中，一般包含两种查找模式，一 种是浏览模式，即服务请求方可以根据通用的分类标准来浏览或者通过一些关 键字来搜索，并逐步缩小查找的范围，直到找到满足需要的服务，查找结果是 一系列服务的集合；另一种是直接获取模式，即通过惟一的关键字直接得到特 定服务的描述信息，其查找结果是惟一的。 ( 3 ) 绑定( b i n d ) 。服务请求方通过分析从注册服务器中得到的服务绑定信 息，包括服务的访问路径、服务调用的参数、返回结果、传输协议、安全要求 等，对自己的系统进行相应配置，调用服务提供者所提供的服务。 2 4 小结 本章首先描述了网格中间件的总体框架和设计思路，然后详细阐述了网格 环境下数据集成中间件o g s a d a i 的功能与体系结构，通过对o g s a d a i 体 系结构的分析，指出了o g s a d a i 中间件中存在几点需要改进的地方，包括数 据库连接性能不高、分布式查询功能不足、没有屏蔽关系型数据库操作语言s q l 与x m l 数据库操作语言x p a t h 或x q u e r y 之间的异构性。在下面的章节中，将 对这些需要改进的地方进行详细的分析，找出解决方法。 1 4 硕士学位论文 第三章一种改进的网格数据集成中间件e x p d a i 第三章一种改进的网格数据集成中间件e x p d a i o g s a - d a i 是网格环境下的异构数据集成中间件，它的异构数据集成功能已 经非常强大，支持d b 2 、o r a c l e 、m y s q l 、s q ls e r v e r 等关系型数据库和n d i c e 等x m l 数据库甚至是存储在普通文件中的数据。但是o g s a - d a i 还处于研究和 发展阶段，还有一些需要改进和扩展的地方。论文经过对o g s a d a i 的体系结 构的分析，得出o g s a - d a i 的数据库连接效率不是很高、分布式查询功能不足、 没有对x m l 数据库和关系数据库的语义异构进行处理等局限性。本章将针对 o g s a - d a i 需要改进的地方，提出解决方案；在o g s a d a i 的基础上，设计一 种改进的网格数据集成中间件e x p d a i 。 3 1 一种改进的网格数据集成中间件e x p d a i e x p d a i 是一种改进的网格数据集成中间件，它主要对o g s a d a i 中存在 的一些局限性提出了解决方案，并且在o g s a d a i 的基础上，设计了相应的模 块来改进和扩展o g s a d a i 的功能。