（计算机应用技术专业论文）网格数据库访问与集成的研究与实现.pdf

广东工业大学硕士毕业论文 摘要 “网络就是计算机”，这是网格的核心观念。网格是继传统互联网、w e b 之后的 第三个大浪潮，可以称之为第三代互联网应用。网格计算实际上是构筑在i n t e r n e t 上的一组新兴技术，其目标是在动态变化的广域分布的异构虚拟组织间实现协同 资源共享，多领域的科学和工程的问题求解。科学计算领域和商业应用领域中的数 据呈现爆炸式增长，未来的科学计算和商业应用亦将以数据为中心，而且网格本身 也使用很多结构化的数据来实现其运行和管理。网格数据库技术则成为解决复杂海 量数据的访问和管理的一种有效的重要的技术，并最终将成为网格上的一种重要资 源，提供数据管理服务。 网格数据库集成是目前网格数据库管理的研究热点。网格数据库集成能够使用 两个或多个网格数据库中的信息，并使用这些信息构建一个大的数据库，为科学研 究和商业应用领域提供丰富的有科学价值的数据及新的发现。而网格数据访问与集 成中间件在网格数据库集成方面起了重要的作用，目前它正处于研究和发展阶段。 本文结合相关的网格技术，详细探讨了网格数据库的访问与集成，分析了 o g s a d a i 中间件的局限以及网格数据库访问与集成中间件的发展趋势。在深入研究 和分析o g s a d a i 的构架和内部流程的基础上，作者提出了一个新的o g s a d a i 系统 构架及其设计，并扩展和完善了o g s a d a i 的功能。最后结合本系统相关的关键技术 和编程技巧，作者实现了这个新的系统，给出了演示结果并总结了本文的研究工作。 新系统体现了良好的网格数据库访问与集成性能，具有易扩展和移植性强等特点。 本文的研究工作将对网格数据库的访问与集成中间件的发展与完善起到一定的推动 作用。 关键诃：网格计算，网格数据库，数据集成，虚拟数据库，网格服务 广东工业大学硕士毕业论文 a b s t r a c t n e t w o r ki sc o m p u t e r ，w h i c hi st h ee s s e n t i a lc o n c e p to fg r i d t h eg r i d h a sb e e nt h et h i r dp o p u l a rt e c h n o l o g i cw a v ea f t e rt r a d i t i o n a li n t e r n e ta n d w e b i ti ss oc a l l e dt h et h i r dg e n e r a t i o na p p l i c a t i o no fi n t e r n e t a c t u a l l y ，g r i dc o m p u t i n gh a se m e r g e da sa n e wi m p o r t a n tt e c h n o l o g yu p o nt h ei n t e r n e t i ti so r i e n t a t e dt ob ec o o r d i n a t e dr e s o u r c es h a r i n ga n dp r o b l e ms o l v i n gi n d y n a m i c ， m u l t i i n s t i t u t i o n a lv i r t u a lo r g a n i z a t i o n s d a t ao fs c i e n t i f i c c o m p u t i n g a n dc o m m e r c i a la p p l i c a t i o nf i e l d si si n c r e a s i n ga ta na m a z i n gs p e e d i nt h ef u t u r e ，d a t aw i l lp l a ya nc e n t r a lr o l ei nt h e s ef i e l d s t h eg r i da l s o n e e dag r e a ta m o u n to fs t r u c t u r a ld a t at oi m p l e m e n ti t sr u n n i n ga n dm a n a g e m e n t t h et e c h n o l o g yo fg r i dd a t a b a s ei nt h i ss e n s ew i l lb ea ne f f e c t i v ea n d s i g n i f i c a n to n et h a tc o u l dr e s o l v ec o m p l i c a t e dp r o b l e m so fd a t a b a s ea c c e s s a n dm a n a g e m e n t a n dg r i dd a t a b a s ew i l la l s ob e c o m ea ni m p o r t a n tr e s o u r c et o p r i v o d ed a t a b a s em a n a g e m e n ts e r v i c e a tp r e s e n td a t a b a s ei n t e g r a t i o no nt h eg r i di so n eo fh o t t e rr e s e a r c h f i e l d so fg r i dd a t a b a s em a n a g e m e n t i tc o u l dm a k eu s eo fi n f o r m a t i o ni nt w o o rm o r ed a t a b a s e sa n dc o n s t r u c t sa b i g g e r v i r t u a ld a t a b a s ew i t ht h e i n f o r m a t i o nt op r o v i d ev a l u a b l es c i e n t i f i cd a t aa n dn e wd i s c o v e r y sf o r s c i e n t i f i cr e s e a r c ha n dc o m m e r c i a la p p l i c a t i o nf i e l d s t h em i d d l e w a r eo fd a t a a c c e s sa n di n t e g r a t i o n t h e n p l a y a n i m p o r t a n t r o l ei ng r i dd a t a b a s e i n t e g r a t i o n a n d i t i sp r e s e n t l yb e i n gw e l lr e s e a r c h e da n dd e v e l o p e d i nt h i sp a p e r ，w ed i s c u s s ed a t a b a s ea c c e s sa n di n t e g r a t i o ni nd e t a i l ， a n a l y s et h es h o r t a g e sa n dd e v e l o p m e n tt r e n do fm i d d l e w a r eo fo g s a d a i 0 nt h e b a s i so f d e e p l y r e s e a r c ha n da n a l y s i so ft h ea r c h i t e c t u r ea n di n n e r i m p l e m e n t a r yp r o c e s so fo g s a d a i ，w ep u tf o r w a r d an e wa r c h i t e c t u r ea n dd e s i g n o fo g s a d a lw h i c he x t e n d sa n dp e r f e c t si t so r i g i n a lf u n c t i o n s i nt h el a s tc h a p t e r ，w ei m p l e m e n tt h en e ws y s t e mw i t ht h ek e yt e c h n o l o g i e s a n dp r o g r a m m i n gs k i l l e s w ea l s og i v et h es y s t e md e m o n s t r a t i o na n ds u m m a n i z e i i 广东工业大学硕士毕业论文 o u rr e s e a r c h t h en e ws y s t e mh a se x c e l l e n tp e r f o r m a n c eo fd a t a b a s ea c c e s sa n d i n t e g r a t i o n a n d g o o d c h a r a c t e r i s t i c ss u c ha se a s ye x t e n s i b i l i t ya n d m i g r a t i o n ，e t c o u rr e s e a r c hw i ii i m p e l t h ed e v e l o p m e n ta n dp e r f e c ti o no f d a t a b a s ea c c e s sa n di n t e g r a t i o no nt h eg r i d k e y w o r d s ：g r i dc o m p u t i n g ，d a t a b a s eo nt h eg r i d ，d a t ai n t e g r a t i o n ，v i r t u a l d a t a b a s e ，g r i ds e r v i c e 广东工业大学硕士毕业论文 第一章诸论 1 1 论文的研究背景 网格计算是伴随着互联网技术而迅速发展起来的，产生于科学研究与合作中的 新一代计算基础设施，目前正逐步成为大规模资源共享、分布式系统集成的主流技 术。网格计算专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网 把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与 计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一 张网格”， 所以这种计算方式叫网格计算m w 。这样组织起来的“虚拟的超级计算 机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理 能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，利用互联网把 广泛分布的各种资源，包括计算资源、软件资源、存储资源、数据资源、信息资源 等连成一个逻辑整体，在动态变化的广域分布的异构虚拟组织间实现资源共享和协 同工作“1 。网格计算使得用户和应用程序能够无缝地访问这些广域分布的资源，以解 决复杂的工程上的问题。 网格最重要的特点是资源分布性、共享性、动态性和多级管理域m m 。其动态性 主要体现在网格服务可以是有状态和生命期的、可以动态创建和删除。在传统的高 性能计算系统中，计算资源是独占的，因此系统的行为是可以预测的，而在网格计 算系统中，由于资源的共享造成系统行为和系统性能经常变化。由于构成网格计算 系统的超级计算机资源通常属于不同的机构或组织并且使用不同的安全机制，因此 需要各个榧_ 构或组织共同参与解决多级管理域的问题。 网格的五个主要应用领域”：分布式超级计算、分布式仪器系统、数据密集型计 算、远程沉浸和信息集成。 网格最早以集成异构计算平台的身份出现，接着跨入分布式海量数据处理领域， 自然而然地，网格将在信息集成领域一展身手w 。所谓的信息网格，就是要通过统一 的信息交换架构和大量的中间件，向用户提供“信息随手可得”式的服务。 数据库技术和其他计算机技术相结合，能够产生新的研究领域，例如数据库技 术和面向对象技术相结合就产生了面向对象数据库。数据库技术和网格技术相结合， 广东工业大学硕士毕业论文 也就产生一个新的研究内容，称之为网格数据库“”m ”。网格数据库当前的主要研究 内容包括三个方面：网格数据库管理系统、网格数据库集成和支持新的网格应用。 目前网格数据库集成主要集中应用在电子科学研究上m ，： ( 1 ) 协同工作，包括共享的数据库，辅助性知识，不断增长的观察资料和模拟资料。 ( 2 ) 科学计算，如数据挖掘和模型的协作。 ( 3 ) 图像显示，如结果的发布和可视化。 它的主要的研究方向包括以下所示： 分布式查询处理 网格是一种分布式系统，如果一个网格应用在多个网格结点建立了数据库，这 个网格应用就需要做分布式查询。 数据流处理 数据流应用是最近被广泛研究的一类应用。在这类应用中，部分或者全部的数 据并非事先已经存储在磁盘或者内存中，而是以一个或者多个连续数据流的形式不 断到达。 信息检索 信息检索技术主要研究如何搜索非结构化的数据以返回和用户查询相关的结 果。因特网搜索引擎就是一个信息检索系统。信息检索技术和数据库技术的结合是 近年来数据库领域的研究热点。 科学数据分析 网格技术是为了满足科学研究活动的需要而发展起来的，在科学研究活动的数 据管理有它自己的特色，例如有的数据是从其他数据派生而来，在进行数据分析时 需要能够追溯这些数据的来源。从其他数据派生而来的数据称为虚拟数据。 数据库访问与集成 全球网格论坛( g g f ，g l o b a lg r i df o r u m ) m ，作为一个机构，其主要目标是建立 网格的技术标准。d a i s ：i ：作组( d a t a b a s ea c c e s sa n di n t e g r a t i o ns e r v i c e sw o r k i n g g r o u p ) 隶属于g g f 的数据领域，其主要研究内容是如何将数据库运用到网格中。将 数据库运用到网格中，面临的主要问题包括： 1 ) 网格建立在服务的基础上，在网格中存取数据库必须符合网格的标准，换句话说， 数据库应该成为网格中的一种资源并且提供相应的服务； 2 ) 数据库有不同的种类，如面向对象的数据库和关系数据库，而且属于同一种类的 广东工业大学硕士毕业论文 数据库产品在功能和接口上也有很大的不同，如o r a c l e 与d b 2 ；在集成各种数据库到 网格中时必须减少重复劳动，同时又要尽可能保留被集成的数据库的全部功能； 3 ) 网格的重要特点之一是数据共享，而数据来自于不同的研究者和组织机构，有着 各自的数据库模式和数据库设计，因此提供一个中间件来完成异构数据的集成是很 重要的； 4 ) 网格资源中不仅包含结构化的数据，也包含半结构化的数据和无结构的数据。针 对将数据库运用到网格中时面临的主要问题，d a i s 工作组正在制定网格数据库服务 的标准，以解决不同格式的数据集成等问题。o g s a d a i 项目m 儿鞠“w 的目标是构造一个 中间件，这个中间件将有助于在网格环境中对数据的存取和集成，它就是d a i s 工作 组制定的网格数据库服务标准草案的一个参考实现。 网格数据库访问与集成在网格环境下实现各种数据资源的访问与共享起到了重 要的角色，在科学计算领域和商业应用领域也越来越受到重视。本文正是在这种背 景下提出的。作者在结合深入分析和研究网格数据库访问与集成中间件的基础上， 设计了新的网格数据库访问与集成中间件模型，希望对网格数据库访问与集成中间 件的研究与发展起到一定的作用。 1 2 本文的研究意义 目前的数据库管理无法满足其大规模的联机交易处理、分析处理需要。中小企 业自行建立电子商务平台，建立自己的数据中心，投入成本和维护成本均太高，资 源利用率又极低，需要网格数据库服务、网格服务。随着网格计算的发展及其应用 范围的不断扩大，数据库在网格应用中的作用越来越重要。网格数据库是对现有数 据库的网格化，基于开放网格服务体系结构提供网格数据库服务，使网格用户或其 他网格服务可通过网格数据库服务访问网格中的各种异构数据库，从而达到数据资 源的高度共享和协同处理，对数据资源的访问更加透明、高效、可靠，网格数据处 理的能力更强，更好地满足更广泛虚拟组织的数据处理需求n ”。 在网格环境中，为了能够访问和集成广域分布的异构的数据源，一种建立在开 放网格服务体系结构的数据库访问和集成中间件起了重要的作用。小型的数据库能 够利用网格数据库访问和集成提供合适的数据资源，建立数据库服务；多用户共享 数据资源，数据库访问安全控制。同时，也可以为一个网格数据服务建立复制副本， 作为灾难恢复或负载平衡。大型的数据库利用网格数据库访问和集成，充分体现网 广东工业大学硕士毕业论文 格的优势，提供多个数据资源协同工作；多个复制副本，主数据库用于数据更新的 交易处理，其他用于查询和报表处理，数据抽取等。交易的细分：交易中与交易完 整性无关的查询语句可独立出来在副本中运行，进一步提高交易处理效率。 网格数据库访问与集成的中间件还能根据高级服务，如用户和代理商的数据处 理请求，来访问不同类型的数据库，并且在需要的时候能够对查询得到的数据进行 操作，而且它融合了上层高级服务和底层网格基础服务的两者关系，使得其中的细 节和过程对用户来说是透明的高效的。显而易见，网格数据库访问与集成的中间件 在网格操作系统和上层的高级服务之间起着非常的作用。 1 3 本文的主要工作 由于网格数据库访问于集成中间件o g s a d a i 是一个开源性的项目，还在不断研 究和发展中。它还不是一个成熟的中间件，不少地方需要改善和有待提高。 本文研究的主要工作包括： ( 1 ) 深入研究和分析o g s a d a i 内部架构和运行流程，结合互联网发展起来的x m l 技术、网格技术、关系数据库与x m l 数据库的集成技术和数据库技术，对目前的 o g s a d a i 中间件需要解决的问题提出解决方案； ( 2 ) 针对o g s a d a i 需要改善的地方，扩展o g s a - d a i 的功能，使其功能更加强大， 执行的性能更好，如实现数据库的自动注册功能和实现底层数据库的连接缓冲池功 能； ( 3 ) 研究并分析o g s a d a i 已有的数据集成技术，实现o g s a - d a i 的x m l 数据库和关 系数据库的数据集成； ( 4 ) 利用异构数据库集成的实现技术来构造高级的数据库查询服务； ( 5 ) 利用局域网内配置的多个数据库和相关软件对设计和实现的新的o g s a - d a i 中 间件进行测试，以验证设计的可行性、正确性和优越性。 1 。4 本文的组织结构 本文共分六章，组织结构如下： 第一章为诸论，介绍了本文的研究背景，研究意义、主要工作和组织结构。 第二章介绍了网格数据库系统和网格数据库访问与集成的研究，包括网格数据 库访问与集成的策略和网格数据库访问与集成的研究现状。具体分析了中间件 1 4 广东工业大学硕士毕业论文 o g s a d a i 优缺点及其发展趋势。 第三章详细介绍了涉及中间件o g s a - d a i 设计和实现的各种关键技术，重点分析 了网格技术和研究了中间件o g s a - d a i 的内部构架及其执行过程。 第四章是网格数据库访问与集成的新模型设计。在结合以上各种关键技术和对 o g s a - d a i 的深入研究与分析的基础上，设计新的o g s a - d a i 构架及其要扩展和完善的 子模块。这些设计的子模块包括网格数据库自动注册模块、数据库连接模块、数据 集成模块和虚拟数据库模块。每个模块都做了深入分析和设计，并给出u m l 模型。 第五章主要是详细说明了该系统的设计和实现过程，并给出了相关模块的u m l 模型和核心类部分代码，此外还给出了相关测试数据和演示的结果。最后综述了新 系统的良好特点，并总结了本课题的研究工作。 广东工业大学硕士毕业论文 第二章网格数据库访问与集成 2 1 网格数据库系统 网格数据库系统在网格各种资源和服务中起着重要的作用。网格上有必需使用 数据库系统主要有两个原因：第一是很多网格应用使用了结构化的数据，例如生命 科学研究和地球科学研究，又如在绝大多数的商业应用中已经部署了数据库系统； 第二是网格本身也使用很多结构化的数据来实现其运行和管理。网格提供一个平台， 这个平台支持系统化的身份鉴别和授权、资源发现、数据传输、进程创建和调度和 跨异构平台的动态绑定。在网格提供的这些功能的基础上，可以构造一个安全可靠 具有自主计算能力的高性能网格数据库管理系统。网格数据库管理系统最终将成为 网格上的一种重要资源，提供数据管理服务。在构建网格数据库管理系统方面，第 一步的工作是提供一个中间件，将数据库管理系统包装成为网格服务，以便网格应 用存取网格数据库。这种做法的好处是对已有的数据库管理系统基本上不需要做什 么改动。进一步的工作是扩展已有的数据库管理系统，让它直接利用网格提供的功 能来实现分布式的数据库和相关的网格服务。网格强调分布性，网格数据库管理系 统最好能由一些组件构成，这些组件可以根据需要来组合完成数据库管理系统的部 分或者全部功能。这样做的好处除了可以降低资源消耗，更重要的是使得在整个系 统规模的基础上优化使用数据库资源成为可能，并且实现分布计算。 2 2 网格数据库访问与集成 网格的主要目标是支持在共享资源上的协同工作，所以网格数据库集成m 一一， 是目前网格数据管理的研究热点。网格数据库集成就是使用两个或多个网格数据库 中的信息，并使用这些信息构建一个大的数据库。 目前有三种网格数据库集成策略：1 ) 虚拟数据库。虚拟数据库是一个联邦数据 库，它只有一个联邦模式，所有的用户都无法觉察到多个独立的数据库存在的事实。 虚拟数据库在概念上是受欢迎的，但是难以实现。在构造虚拟数据库时，需要考虑 以下几种透明性：异构透明性、命名透明性、属主和费用透明性、并行透明性和分 布透明性。2 ) 定制集成。这种方式是指由应用程序自己完成数据库集成。例如在有 的科学应用程序中，开发人员自己找到相关的数据源，然后将集成任务划分为查询、 广东工业大学硕士毕业论文 要执行的程序、中间数据源的构建、显式的数据传输和数据变换，以及存储结果等 等。网格数据库管理系统应该提供对这种集成方式的支持，使之降低成本、减少时 间耗费和错误的发生。3 ) 增量集成。虚拟数据库是一个理想目标，定制集成又过于 注重细节，增量集成居于二者之间。在增量集成中，开发人员无须完成集成的每一 个细节，高级的数据存取和集成组件可以自动完成一些后期的集成步骤。 2 2 1 网格数据库访问与集成的研究现状 国外的网格研究主要在美国和欧洲。研究网格数据库的访问与集成主要是全球 网格论坛中的数据库访问与集成服务工作组d a i s 和合作编程工作的小组o g s a - d a i 。 此外还有其他一些研究组织。 d a i s 是全球网格论坛中的数据库访问与集成服务工作组。它的任务是探索改善 网格数据库服务遵循o g s a 标准的能力，最初的工作主要致力于对已存在的、自治管 理的数据库提供协调的访问。该工作组不追求去开发新的数据存储系统，而是让给 这些既有的系统无论单独或是协同工作都能在网格框架的环境中有更良好的使用。 d a i s 正在努力工作以求在g g f 9 会议期间产生一个网格数据库服务规范的初始版本， 并且预计它将在未来产生一个支持对更广义的数据库服务，即可对文件系统和来自 仪器及设备的数据流进行访问和集成的版本。 o d s a - d a i 是一个合作编程工作的小组，其成员包括爱丁堡、曼彻斯特、纽卡斯 尔三所大学和实业界的参与者i b m 和o r a c l e 。它的首要目标是生产出开放源代码的 数据库访问和集成的中间件，以满足联合王国e 一科学社团对开发网格和网格相关应 用的需要。它的研究范围包括定义和开发通用的网格数据服务，提供对保存于关系 数据库管理系统中的数据以及保存于x m l 知识库中的半结构化数据进行访问和集成 0 g s a d a i 也为联合王国e 一科学核心编程组( u ke - s c i e n c ec o r ep r o g r a m m e ) 对扩 展网格模型在数据库互操作性方面的工作做出了巨大贡献。o g s a d a i 紧密地与d a i s 一起工作，并将其所开发的软件作为d a i s 标准的参考执行工具。总体上，o g s a - d a i 与d a i s 相符合，它也努力成为d a i s 网格数据库服务推荐标准的第一个参考实现。 o g s a - w e b d b 中间件主要是把现有的w e b 数据库资源集成到o g s a 的环境中。它是 对o g s a d a i 合理实现的一个扩展。用户可以使用s q l 语言查询w e b 数据库上的资源。 它也可以把本地的网格数据库通过网络集成在一起。 广东工业大学硕士毕业论文 e d i k t 研究组织开发的e l d a s ( e n t e r p r i s el e v e ld a t aa c c e s ss e r v i c e s ) 是基于j 2 e e 技术，w e b 服务和网格服务的。它可以使多用户连接多个数据库。e l d a s 的网格数据 访问服务建立在o g s i 规范的基础 ：。由于利用j 2 e e 技术，e l d a s 有灵活的系统构架， 可以支持w e b 服务和网格服务的接口。 2 2 2o g s a - d a i 的局限性 目前o g s a d a i 中间件紧随着网格相关技术( 如网格中间件的工具包g l o b u s t o o l k i t ) 正在不断研究与发展中。因此现有的o g s a - d a i 中间件存在一定的缺陷，如 下面所示： 1 ) 缺少数据库自动注册服务 o g s a d a i 中间件每次要增加新的数据库连接信息时必须手工改写数据库的相关 配置文件，而且改写过程比较复杂，容易出错，很不利用注册新的数据库。本文 就自动注册新的数据库做一些研究工作，并给予实现。 2 ) 数据库连接性能差 由于o g s a - d a i 中间件每次调用一个g d s ( g r i dd a t as e r v i c e ) 连接数据库的时 候是采用直接连接的方法，使用完毕后就直接断开数据库的连接。这种直接连接数 据库的方法系统响应时间长，效率低，给服务器和系统网格的性能带来很大的影响。 3 ) 异构数据库的数据集成不好 o g s a d a i 中间件提供了访问关系数据库、x m l 数据库和文件目录的接口，但没有 真正实现对异构数据源的数据集成。本文针对关系数据库和x m l 数据库的数据集成 进行研究和实现。 本文的研究工作正是在原有的o g s a d a i 中间件的基础上使其功能更加完善和成 熟，也将进一步推动o g s a - d a i 项目的研究工作。 2 2 3 网格数据库访问与集成中间件的发展趋势 网格技术正在不断研究和发展中，网格中间件的工具包g l o b u st o o l k it 也在不 断发展中。新的开放网格服务基础设施规范也在进一步与w e b 服务融合。网格数据 库访问与集成中间件与网格相关技术是紧密联系的。因此，这些新的网格技术和规 范将促进网格数据库访问与集成中间件的进一步发展和成熟。d a i s 正在积极研究和 制定数据库访问与集成服务的标准规范。从o g s a d a i 的运行机制来看，o g s a - d a i 1 8 广东工业大学硕士毕业论文 中间件是利用一些服务来发现数据源的。用户可以通过这些服务间接与数据源进行 一些交互活动。目前，o g s a - d a i 中间件将能够提供与三种流行的w e b 服务和网格服 务规范紧密结合的服务。这些规范包括w s i ( w e bs e r v i c e si n t e r o p e r a b i l i t y ) ， w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 和o g s i ( o p e ng r i ds e r v i c e s i n f r a s t r u c t u r e ) 。o g s a d a i 中间件将来的目的是使得科学家能够把注意力从技术性 的问题，比如处理数据定位，数据结构，数据传输，数据集成等转而集中在具体的 数据分析和处理的应用上。 广东工业大学硕士毕业论文 第三章本文涉及的关键技术 3 1x m l 技术 ) ( l l 即为可扩展的标记语言( e x t e n s i b l em a r k u pl a n g u a g e ) ，是一套定义语 义标记的规则，提供了独立的运行程序的方法来共享数据，能使不同来源的数据很 容易结合在一起，解决了数据的统一接口问题。 x 肌具有以下五大优点：良好的可扩展性，内容与形式的分离，遵循严格的语法 要求，便于不同系统之间信息的传输和具有较好的保值性。 1 ) 数据的存取 为了在x m l 文件和数据库之间交换数据，必须将x m l 文件的s c h e m a ( d t d ，x m l s c h e m a ，r e l a xn g 等) 1 映射到数据库的s c h e m a 。用于数据转换的软件位于这种映 射的上层。该软件可以使用x m lq u e r y 语言w ( 如x p a t h ，x q u e r y ，或其他专用语言) 或简单地按照映射转换数据。 2 ) x m l 文件模式到数据库模式的映射 将一个x m l 文件的模式映射到数据库的模式有两种方法m ：基于表格的映射和对 象一关系映射。本系统中将那些从多个异构数据库里查询到的数据存储到指定的数据 库里时，必须对数据进行模式的转换，例如将x m l 数据库的数据映射到关系数据库 里就利用了x m l 的模式转换。 3 ) x m l 数据库 x m l 数据库主要有两种类型：x m l e n a b l e dd b m s ( x e d ) 和n a t i v ex m ld b m s ( n ) 【d ) 4 7 3 。x e d 是在原有数据库基础上扩展了x m l 支持模块，完成x m l 数据和数据库之间 的格式转换和传输。n x d 一般采用层次数据存储模型，保持x m l 文档的树形结构，省 掉了x m l 文档和传统数据库的数据转换过程。n x d 兼有一般数据库的特性，例如支持 事务，并发控制，查询语言，安全机制，二次开发接口等。 在本系统中用到的x 札数据库m ，是x i n d i c e 。x i n d i c e 是一个开放源码n x d 数据 库系统，完全是一个设计来存储x m l 数据的数据库服务器。 广东工业大学硕士毕业论文 3 2 网格技术 3 2 1 开放网格服务结构o g s a 开放网格服务结构o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) “。1 是在g l o b u s 网 格计算工具包和w e b 服务技术融合的基础上提出的一套规范和标准。它是一个面向 服务的网格体系结构，建立在网格服务的基础上，将切都抽象为服务，包括计算 资源、存储资源、网络、程序、数据库、仪器设备等。这种思想有利于通过统一的 标准接口来管理和使用网格，并且确保异构系统间的互操作性，可通信性和共享性。 o g s a 体系结构另一个显著的特点是网格服务的虚拟化。虚拟化允许跨越多个异构平 台对资源进行一致性的访问，并提供本地或远程定位的透明性，还可以将多个逻辑 资源实例映射成同一物理资源，以及在一个虚拟组织中基于更低级的资源组合进行 资源管理。虚拟化允许服务组合，形成更复杂更高级的服务。 3 2 2w e b 服务与网格服务 w e b 服务提供一个与操作系统无关、与程序设计语言无关、与机器类型无关、 与运行环境无关的平台，实现网络上应用的共享。w e b 服务是基于h t t p 的，在电子 商务、电子政务等商业应用领域发挥着重要作用。网格服务唧嘲是一种标准的w e b 服 务，该服务提供一组定义明确的接口和遵守特定w e b 服务的规范。这些接口解决 服务发现、服务动态创建和删除、i f 函时服务实例、生命周期管理、通知和可管理性 等方面的问题。规范则解决服务命名和可升级能力等问题。此外，网格服务还提供 授权和并发控制的能力。网格的所有服务都遵循指定的网格服务接口和行为。因此， 从这个角度来说，网格服务是接口、行为和w e b 服务的集合体。 除了融合并扩展w e b 服务外，网格服务还需要网格技术的支持。相关的网格技 术包括网格安全认证机制、资源管理、信息搜集和分析、网格远程传输协议和数据 复制存贮等。网格服务和w e b 服务、网格技术的关系可以用下图来说明。 图3 - i 网格服务的关系图 f i g u r e3 - 1r e l a ti o n a ls t r u c t u r eo fg r i ds e r v i c e 广东工业大学硕士毕业论文 在o g s a 中，网格服务的体系结构如下图所示： 嬖； 蓉嚣抽诲辫 软虢 拳生命阚期 糕 一认谜 圆圆圈 |。啦耋盅 + 瑟囊磐捌戚搠 图3 2 网格服务的体系结构 f i g u r e3 - 2a r c h i t e c t u r eo fg r i ds e r v i c e 网格和w e b 服务的共同载体都是i n t e r n e t ，两者相辅相成。网格实现各种计算 资源的共享，为w e b 服务提供超级的计算能力和高度灵活、安全可靠的网络服务质 量，将使w e b 服务更丰富，质量更加安全可靠，满足更多元化的个性服务需求。而 w e b 服务是企业电子商务应用的集成，提供强大的应用程序交互框架，但需要架构于 网格提供的虚拟计算机平台上。 3 2 3o g s a 体系结构的工具包g t 3 g l o b u s 是有效支持网格计算环境与网格应用的中间件系统m 。g l o b u s 在网格计 算逻辑结构中的组成部分包括：网格安全基础设施、g l o b u s 资源分配管理、元计算 目录服务、全局二级存储服务、网格f t p 服务和g l o b u s 复制管理。目前，g l o b u s t o o l k i t3 0 “”是实现o g s a 体系结构的工具包。g t 3 核心层实现网格服务的接口和 行为；g t 3 基本服务层则利用g r 3 核心层实现现有的g l o b u st o o l k i t 功能( 比如， 资源管理，数据传输和信息服务) 以及新增的功能( 例如：预存和监控服务) ；g t 3 的数据服务层和其他网格服务层负责一些相对高级的服务，例如数据管理，工作负 载管理和网络诊断等。g t 3 软件体系结构模型由服务器端的组件和客户端的组件构 成。 服务器端的组件 广东工业大学硕士毕业论文 图3 - 3g t 3 软件框架：服务器端框架 f i g u r e3 - 3s e r v e rs i d ea r c h i t e c t u r eo fg t 3s o f t w a r e 如图3 - 3 所示，服务器端框架的主要体系结构组件包括：w e b 服务引擎和g l o b u s 容器框架。g t 3 提供了一个容器，它通过唯一的实例句柄、实例资源库和生命周期 管理( 包括服务激活钝化和软状态管理) 来管理有状态的w e b 服务。 目前，g t 3 将a p a c h ea x i s 用作其w e b 服务引擎，a p a c h ea x i s 在j 2 e ew e b 容器中运行并提供s o a p 消息侦听器( a x i ss e r v l e t ) 。它负责s o a p 请求响应 序列化和反序列化、j a x - r p c 处理程序调用和网格服务配置。如图3 - 4 所示，g t 3 容 器向a x i s 框架提供枢轴处理程序来将请求消息传递给g l o b u s 容器。这个容器体 系结构用于管理w e b 服务的状态性质以及这些服务的生命周期。一旦服务工厂创建 了网格服务实例，框架就为该实例创建唯一的网格服务旬柄( g s h ) ，然后向容器资 源库注册该实例。该资源库拥有所有有状态的服务实例，由其它框架组件和处理程 序与之连接来执行以下服务： 1 ) 标识服务和调用方法； 2 ) 获取设置服务特性( 如实例g s h 和g s r ) ； 3 ) 激活钝化服务； 4 ) 解析网格服务句柄以引用服务并持久存储它。 客户机端框架 广东工业大学硕士毕业论文 图3 4g t 3 软件框架：客户机端 f i g u r e3 - 4u s e rs i d ea r c h i t e c t u r eo fg t 3s o f t w a r e 如图所示，g l o b u s 使用标准的j a x - r p c 客户机端编程模型和a x i s 客户机端框架 网格服务客户机。除了标准的j a x r p c 编程模型外，g l o b u s 还在客户机端上提供 许多助手类，以隐藏o g s i 客户机端编程模型的细节。 g t 3 是支持网格和网格应用的软件库，解决了安全认证、消息发现、资源管理、数 据管理、通信、错误检测以及可移植等问题m ，。g t 3 完全支持o g s a 的标准，支持将w e b 服务作为数据交换的平台，也支持s o a p 。 3 2 4 网格数据库技术 网格数据库管理为用户提供了一组网格服务接口，包括网格数据库服务注册、 网格数据库服务工厂、网格数据库服务和网格数据传输，以供用户访问广域网络上 互连的各种异构数据资源。网格数据库服务w 。”是以基于服务的方式访问已有的数据 库，它独立于各种数据库，与其他的w e b 服务和瞬恪服务共存，与网格认证和授权机 制相衔接，采用x m l 文档方式进行服务描述w s d l 因此，网格数据库服务构建了一种 可靠性高，可用性强的数据库服务和网格服务，使得用户共享使用网格数据库和访 问广域网络上互连的各种异构数据库系统，为海量数据的存储、传输、复制和管理 提供了很大的方便。 3 2 5 网格数据访问与集成中间件o g s a - d a i o g s a d a i 是一种中间件，其设计目标是提供一种简便的方法，在网格环境中实 现数据的访问和集成。推动o g s a d a i 发展的原因是一些“大科学”项目对中间件层 的需要，这些中间件提供了访问大型的、基础的静态数据库的支持。o g s a - d a i 被构 建成为一个带有许多扩展点的工具包，以便让开发者去扩展能力来适应特定需要。 广东工业大学硕士毕业论文 更重要的是，o g s a - d a i 中间件可以允许相同的数据资源在一个可兼容的o g s a 体系结 构中进行合成。o g s a d a i 中的网格服务也能提供基本的操作，这些操作一般用来执 行更高级的操作，比如：数据合成，在虚拟的组织中进行分布式查询，隐藏那些像 数据库驱动程序技术、数据格式转换技术与来自用户的发送机制等细节。这个哥标 通过提供高效率的网格中间件的标准组件执行来实现的。这些标准组件用来访问和 控制数据信息和资源。下面是o g s a - d a i 的处理过程： 开放网格服务架构一数据存取和集成( o g s a d a i ) 使得现有数据资源，如关系数据 库和x m l 数据库能够集成到网格环境中的架构。如图3 5 所示，s o a p 消息用于在 o g s a - d a i 客户机和服务器之间通信。o g s a - d a l 支持d a i s 规范的不断发展。除了存 取和更新数据库中的数据之外，o g s a d a i 还提供可扩展性机制，从而能够向 o g s a d a i 添加更多的用户定义的可执行活动，这些活动可以超出o g s a - d a i 提供的活 动的范畴，如s q l 查询和更新。 图3 - 5o g s a - d a i 概述 f i g u r e3 - 5s k e l e t o nd i a g r a mo fo g s a - d a i o g s a d a i ，在w e b 服务容器中运行，如a p a c h ej a k a r t at o m c a t 。如图3 - 6 所示， o g s a - d a i 有四个主要组件： ( 1 ) 网格数据服务注册( g r i dd a t as e r v i c er e g i s t r y ) 。网格数据服务注册 使应用程序能够动态找到它们感兴趣的数据库；( 2 ) 网格数据服务工厂( g r i dd a t a s e r v i c ef a c t o r y ) 。网格数据服务工厂使网格数据服务的创建能够存取和更新数据 库；( 3 ) 网格数据服务( g r i dd a t as e r v i c e ) 。网格数据服务使得用户通过网格基 础架构能够存取数据库。它具有额外的数据服务元素、数据库行为管理的功能以及 从触发器得到的通知。( 4 ) 网格数据传输服务( g r i dd a t at r a n s p o r t ) 。网格数 据传输服务用于数据的复制，传输。 g l o b u st o o l k i t 是o g s a - d a i 用于运行各种服务的网格中间件，包括a p a c h e 广东工业大学硕士毕业论文 x m la x i sh a n d l e r s 。在客户机端需要o g s a -