（计算机系统结构专业论文）网格环境下数据库系统的元数据服务.pdf

华中科技大学硕士学位论文 摘要 m j h 对网格环境下数据资源的研究和丌发工作主要侧重于文件系统，但是数 据库系统对于许多应用在数据存储、访问、组织、授权、重组等方面都有重要的 作用。 g d b a d m i n 系统致力于在网格环境下实现对数据库资源的统一访问和管理，屏 敞数据库系统的分和性、内部数据模式的异构性和操作的复杂性，为用户提供虚 拟的全局逻辑数据库视图，管理和卧调网格中的数据库资源来满足用户的需求， 实现对数据库资源的透明访问。 元数据服务是研究网格环境下数据库系统集成和访问技术所面临的关键问题 之一。元数据就是对数据库系统的服务能力和所能访问的数据信息的描述，是面 向其它网格服务或应用程序集成数据库服务的依据，足实现数据库资源的透明分 布、存储和处理的关键。元数据服务模型m d s ( m e t a d a t as e r v i c e ) 采用了分层的 分稚式结构，提供元数据管理和数据库服务发现两大功能。元数据管理负责元数 据的注册、访问和管理，定义系统中的元数据，建立逻辑层元数据到物理层元数 据的映射，实现用户剥网格中数据库资源的透明访问。服务发现通过引入服务只 志，采用基于防问次数的数掘库服务发现策略和基于置换因子的服务r 志置换算 法，以实现快速搜索可用服务的功能。服务日志置换算法在评估数掘库服务对象 时综合考虑了数据库服务对象的访问次数利访问频率，提高了服务发现的命中率。 关键词：网格：数据库服务：元数据服务；元数据管理；服务发现 华中科技大学硕士学位论文 a b s t r a c t c u r r e n t l y , r e s e a r c ha n dd e v e l o p m e n ta c t i v i t i e sr e l a t i n gt ot h eg r i dg e n e r a l l yf o c u s o na p p l i c a t i o n sw h e r ed a t ai ss t o r e di nf i l e s h o w e v e gd a t a b a s es y s t e mh a sac e n t r a l r o l ei nd a t as t o r a g e ，a c c e s s ，o r g a n i z a t i o n ，e t c ，f o rn u m e r o u s a p p l i c a t i o n s g b d a d m i na i m st or e a l i z et h ea c c e s sa n di n t e g r a t i o no ft h ed a t a b a s er e s o u r c e so n t h eg r i d ，h i d i n gt h ed i s t r i b u t i o no ft h ed a t a b a s es y s t e m ，h e t e r o g e n e i t yo ft h ei n n e rd a t a s c h e m a sa n dc o m p l e x i t yo ft h eo p e r a t i o n s i no r d e rt oa c c e s st od a t a b a s et r a n s p a r e n t l y , o d b a d m i n p r o v i d e sa v i r t u a lg l o b a ll o g i c a ld a t a b a s ev i e wf o rt h eu s e r s ，w h i c hm a n a g e s a n dc o o r d i n a t e st h ed a t a b a s er e s o u r c e s m e t a d a t as e r v i c ei so n eo ft h ec r i t i c a li s s h e si nt h er e s e a r c ho f 也ed a t a b a s ea c c e s s a n di n t e g r a t i o no nt h eg r i d m e t a d a t ai st h ed e s c r i p t i o no ft h e c a p a b i l i t i e s o fa d a t a b a s es e r v i c ea n dt h ea c c e s s e dd a t ai n f o r m a t i o n ，w h i c hi so t h e rg r i ds e r v i c e sa n d a p p l i c a t i o n sr e l i e do nt oi n t e g r a t et h ed a t a b a s es e r v i c e s i t i st h ek e yt o t r a n s p a r e n t d i s t r i b u t i o n ，s t o r a g e a n d m a n a g e m e n t o ft h ed a t a b a s er e s o u r c e s m d s ( m e t a d a t a s e r v i c e ) u t i l i z e s t h e l a y e r e d d i s t r i b u t i o ns t r u c t u r e ，a n dp r o v i d e sb o t ht h em e t a d a t a m a n a g e m e n ta n dd a t a b a s es e r v i c ed i s c o v e r y m e t a d a t am a n a g e m e n ti n c l u d e sr e g i s t r y , a c c e s sa n dm a n a g et h em e t a d a t a a n di t i m p l e m e n t s t h e m a p p i n go ft h el o g i c a l m e t a d a t at ot h ep h y s i c a lm e t a d a t a s ot h es y s t e mc a na c c e s st ot h ed a t a b a s er e s o u r c e s o i lt h eg r i d t r a n s p a r e n t l y t h e s e r v i c e l o g i s a d o p t e d t o i m p r o v e t h e s e a r c h i n g p e r f o r m a n c eo f t h ea v a i l a b l ed a t a b a s es e r v i c e s t h ea c c e s s 丘e q u e n c yb a s e ds e r v i c e d i s c o v e r ym e c h a n i s ma n dt h er e p l a c e m e n tf a c t o rb a s e dr e p l a c e m e n ta l g o r i t h ma r ep u t f o r w a r d t h es e r v i c el o gr e p l a c e m e n ta l g o r i t h mt a k e sn o to n l yt h ea c c e s sc o u n tb u ta l s o t h ea c c e s s f r e q u e n c yi n t o a c c o u n tw h e nc a l c u l a t i n gt h er e p l a c e m e n tf a c t o ro ft h e d a t a b a s es e r v i c eo b j e c t s ，w h i c hd r a s t i c a l l ye n h a n c e st h eh i tr a t eo f t h es e r v i c ed i s c o v e r y k e yw o r d s ：g r i d ，d a t a b a s es e r v i c e ，m e t a d a t a s e r v i c e ，m e t a d a t am a n a g e ，s e r v i c e d i s c o v e r y i i 独创性声明 车人声踞所呈夏的学位论文是我个人左导师指导下送行的砑艽工作及敦得曲 砺囊戚呆。尽我所知，除又甲己经标甓引慝的内晷外，右论文不包含任何其他个 人或集体三至发表或安写连的薪究成呆。而本文的研究做出贡献j 个人冠集体 均己在文中已明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 骞融 日期：加q 年r 月i2 日 学位论文版面使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并同国家有关部门或机构送趸论文的复印件和电子版，允许论文被查阅和 借阕。本人授权华串科技大学可阱将本学位论文的全都或部分内答编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适应本授权书。 李论文属于 不保密d 。 不保密回。 ( 请在以上方框内打“”) 学位论文作者签名 宦豢：妒啤f 月 傍川 1t 吕 指导教师签名 吕期：7 矿。每r 胃q 日 华中科技大学硕士学位论文 ；= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 一 1 绪论 本章首先分析了研究网格环境下数据库系统访问和集成技术的必要性，并指 出其中元数据服务的重要地位。接着讲述了数据网格中有关数据库系统研究领域 的国内外研究现状。最后对全文组织结构进行了说明。 1 1 问题的提出 近年来，随着数据密集型应用的飞速发展，应用数据呈爆炸式的增长，使人 们对数据处理能力的要求越来越高。但是现有的数据管理体系结构、方法和技术 已经不能满足高性能、大容量分布存储和处理的需求。数据网格【l 】【2 】( d a t ag r i d ) 就是根据这种需求，提出的种新的数据管理和存储架构。 数据网格的概念来自于网格 3 1 1 4 1 ( g r i d ) ，它是网格技术在数据管理方面的应 用和实现。它将地理上分布、异构的多种数据资源，通过高速互连网络连接并集 成起来，屏蔽底层异构的物理资源，形成单一的逻辑视图，实现资源共享和协同 工作，为用户提供虚拟的数据访问、数据存储、数据管理和处理环境。 但是目前与网格相关的研究和开发工作主要集中在那些使用文件存储数据的 应用上，这大大限制了网格应用的深度和广度。因为与文件系统相比，数据库提 供的功能集更丰富( 如事务和查询) ，随之而来的不同数据库系统之间的异构性问 题更加严重p 】。不同模型的数据库系统( 如关系数据库和面向对象的数据库) 之间 存在巨大差异，相同模型的数据库系统( 如d b 2 和o r a c l e ) 之间在功能和接口上 也存在差异。这种处处存在的差异性使构造包含数据库系统的网格应用充满挑战。 在网格环境下集成数据库系统并不是要建立一个全新的网格数据库，而是对 现有数据库系统的网格化。由现有的数据库系统提供数据管理的基本功能，而由 网格以数据库服务的形式提供其他高级功能。从而使网格中的用户或其他应用可 以访问网格中的各种异构数据库，达到数据资源的高度共享和协同处理，更好地 满足更广泛虚拟组织1 6 】的数据处理需求。 元数据服务在网格环境下数据资源信息的发布和发现等方面具有重要地位， 是研究网格环境下数据库系统访问和集成技术所面临的关键问题之一，也是本文 集中探讨的问题。元数据服务包括元数据管理和服务发现两大功能模块，元数据 管理提供了注册、访问和发布元数据的机制，服务发现提供了发现和选择可用的 华中科技大学硕士学位论文 数据库及服务的机制。本文采用分层的分布式元数据服务模型，提供了定位透明、 命名透明和异构透明，为更好地实现网格环境下的数据库系统的访问提供支持。 1 2 国内外研究现状 1 s r b s r b ( s t o r a g er e s o u r c eb r o k e r ) 是由美国s d s c ( s a nd i e g os u p e r c o m p u t i n g c e n t e r ) 提出并开发的一种数据网格管理技术 7 1 1 8 1 。s r b 是基于c l i e n t s e r v e r 结构的 中间件系统，为上层应用用户提供了一个访问各种异构数据资源的统一接口，包 括文件系统、档案系统和数据库系统等( 主要以对文件系统的访问为主) 9 1 ，以实 现透明的数据服务。 s r b 主要包含三个组件i l0 l ：元数据目录服务器m c a t ( m e t a d a t ac a t a l o g e ) 、 s r b 服务器、s r b 客户端。m c a t 用于存储元数据，s i 也服务器用于管理用户和数 据资源，处理来自s r b 客户端的请求，包括信息查询、产生新的元数据、元数据更 新等。应用程序通过一组a p i 向s r b 服务器发出请求和接收响应，s r b 服务器执行 用户的任务请求，包括与m c a t j i 艮务交互，执行y o 操作等。客户端使用相同的a p i 访问由s r b 管理的所有存储系统，这样s r b 服务器就屏蔽了用户与各种类型的存储 系统、操作系统、硬件结构等交互的复杂性。 s r b 采用了集中式的元数据目录服务，它提出了层次化的元数据设计思想，将 元数据分为底层元数据和上层元数据两个层次：前者描述数据集的物理特征，如 位置、大小、所有者等，后者则从创建或使用数据集的应用用户的角度来描述这 些数据集。基于这一思想，s r b 将元数据进一步细分为核心元数据( k e r n e l m e t a d a t a ) 、以系统为中心的元数据( s y s t e m c e n t r i cm e t a d a t a ) 、标准元数据 ( s t a n d a r d i z e d m e t a d a t a ) 、以领域为中心的元数据( d o m a i n c e n t r i c m e t a d a t a ) 、应 用层元数据( a p p l i c a t i o n l e v e lm e t a d a t a ) 。 2 m o c h a m o c h a ( m i d d l e w a r eb a s e do nac o d es h i p p i n ga r c h i t e c t u r e ) 是一个可自扩展 的数据库中间件系统，用来在广域范围内连接各种分布的、异构的数据资源l l “。 m o c h a 可以支持o r a c l e 、i n f o r m i x 数据库系统，以及文件服务器和x m l ( e x t e n s i b l e m a r k u pl a n g u a g e ) 容器等。m o c h a 与其他中间件解决方案的不同之处在于，它 支持动态代码迁移，可以将代码对象迁移到远程的数据源站点。数据过滤器是迁 移的代码对象之一，它能够显著的减少需要在网络上传输的数据量。 华中科技大学硕士学位论文 m o c h a 主要包含两个组件：查询处理协调器q p c ( q u e r yp r o c e s s i n g c o o r d i n a t o r ) 和数据访问提供嚣d a p ( d a t a a c c e s s p r o v i d e r ) 。 q p c 控制所有客户端递交的查询请求的执行，它提供的服务包括查询分析、 查询确认、查询优化、查询执行和协作、计划分解、元数据管理、以及错误管理 等。q p c 中还有一个用来保存元数据的目录，元数据记录了关于用户可定义的类 型、方法和可用的数据源等。目录中所有的元数据都以x m l 和r d f ( r e s o u r c e d e s c r i p t i o nf r a m e w o r k ) 编写，为元数据的交换提供了标准的、独立于平台的解决 方案。此外，q p c 中还包含一个代码容器，存储了可编译的j a v a 类，用来实现不同 的、用户定义的、可用的数据类型和操作。 d a p 为q p c 提供了对远程数据源的一致访问。d a p 类似于一个具有特殊功能 的封装器或网关，它可以在q p c 的帮助下装载针对应用的j a v a 类。由于d a p 在数据 源站点运行，因此还负责过滤查询的数据，将需要返回给q p c 的数据最小化，从 而提高查询处理的速度。 3 s p i t f i r e 欧洲数据网格d a t a g r i d 项目1 1 2 - 1 4 由欧盟创建，其目标是以欧洲粒子物理中心 c e r n ( e u r o p e a no r g a n i z a t i o nf o r n u c l e a rr e s e a r c h ) 从t e r a b y t e 至l j p e t a b y t e 规模数据 处理为中心，为世界范围内分布的科研团体提供数据分布存储、传输和计算密集 型分析处理能力，以进行科学研究，开展面向高能物理学、地球观测、生物信息 学等应用的研究工作。 d a t a g r i d 项目被分为1 2 个工作组，五个子项目：工作负载管理、数据管理、监 测服务、底层设备管理、大规模存储管理，每一个子项目都实现网格中间件的某 些功能。其中网格数据管理工作组的目标是确定、开发、集成以及测试网格环境 下数据的一致性管理的工具和中间件，该工作组提供了一个通用的信息共享解决 方案，具有可扩展性、一致性、透明性和异构性等特征。它允许在广域范围内安 全访问统一命名空间内的大量数据，允许不同站点之间高速的数据移动和复制， 以及远程数据副本的一致性管理。 s p i t f i r e 是网格数据管理已完成的工作之一，它在网格环境下提供了访问关系 数据库的方法1 5 1 1 6 1 。s p i t f i r e 在关系数据库r d b m s ( r e l a t i o n a l d a t a b a s em a n a g e m e n t s y s t e m ) 和客户端之间提供了一组网格服务，将客户端的h t t p ( h y p e r t e x t t r a n s f e r p r o t o c 0 1 ) 请求转换为j d b c ( j a v ad a t a b a s ec o n n e c t i v i t y ) 请求提交给r d b m s ，又 将来1 1 1 r d b m s 的表格式结果转换为x m l 格式输出给客户端。但是，s p i t f i r e 不能被 当作一个完善的数据管理系统使用，当查询返回的结果是大规模的数据集，或迸 华中科技大学硕士学位论文 行复杂的操作( 如多路连接等) ，都可能会产生错误，因此它只能进行一些简单 的用户可定义的数据库操作。 s p i t f i r e 采用一个后台的r d b m s 存储元数据，用j a v a 和s e r v l e t 技术实现元数据 服务，提供网格范围内透明的、安全的元数据访问。 1 3 元数据在网格中的作用 网格支持在动态、分布环境下的资源共享和协作，不同组织提供的数据资源 地理位置不同，数据的表示和存储形式也各不相同。些数据可能以文件形式存 储，而另一些数据存储在数据库或数据仓库中，还有些数据是由多个分布存储 系统中的数据组成的。如何刊能有效地管理这些分布的、异构的数据资源，是网 格技术所面临的关键问题之一，因此需要建立一种灵活的、可扩展的资源管理机 制。 。 网格为用户提供了对数据资源的透明访问，这依赖于系统提供有效的元数据 服务 1 7 - 2 2 1 ，使用元数据的目的就是为了有效地管理资源，提供数据资源的特征、 使用等信息。元数据描述网格环境下的各种资源、服务和其他主体，是面向用户 需求和应用环境聚合服务的依据，是实现数据的透明分布、存储和处理的关键。 用户无需指明数据的存储位置和模式等信息，只需指出所需数据的属性，网格应 用就能根据元数据找到存储这些数据的具体数据库系统及相关的服务，即为用户 提供访问数据资源的命名透明、定位透明和异构透明等功能。其中命名透明是指 网格允许用户根据数据资源的属性查找所需的数据资源；定位透明是指用户给出 某个特定数据资源的标识，网格负责在分布式的、异构的环境中准确的定位所需 的数据资源，并为后续处理提供支持；异构透明性是网格应该支持对异构数据资 源的访问，选择适当的访问协议来实现用户提出的数据访问请求。 元数据服务包括元数据管理和服务发现，并为访问元数据和发现、选择服务 提供统一的接口。网格应用越复杂，元数据服务的作用也就越重要，为了保证在 系统规模不断扩大的情况下，仍然能够提供高效的元数据服务，元数据服务应该 具有良好可扩展性和健壮性。， 1 4 文章的组织结构 本文共分为七章。 4 华中科技大学硕士学位论文 第一章阐述了研究网格环境下数据库集成和访问的目的和意义，以及元数据 管理在其中的作用，并分析了国内外研究现状。 第二章介绍传统数据库系统、数据仓库系统中的元数据管理，并分析在网格 环境下集成和访问数据库系统的特点，描述元数据的内容及模式。 第三章首先介绍g d b a d m i n 系统的设计原理和体系结构，包括各个组成模块 以及模块的主要功能，接着描述g d b a d m i n 的工作流程，最后介绍系统的特征。 第四章介绍g d b a d m i n 系统的元数据服务模型m d s ，包括m d s 的结构、m d s 的工作模式和元数据的组织结构。 第五章详细描述m d s 模型的具体实现技术，包括元数据的定义、元数据的抽 取、服务发现的策略和服务日志的冕换算法。 第六章介绍系统测试方法并对测试结果进行分析。 第七章是对全文的总结和展望。 最后是致谢和参考文献。 5 华中科技大学硕士学位论文 2 数据库系统的元数据 本章首先介绍常见的数据库系统的元数据管理技术，包括传统数据库中的数 据字典和数据仓库系统中的元数据库，接着分析网格环境下数据库系统的特点， 并描述在网格环境下数据库系统的元数据的内容及模式。 2 1 传统数据库中的数据字典 元数据是“关于数据的数据”，更进一步说，元数据是描述数据及其环境的数据。 在传统的数据库系统中，数据字典d d ( d a t ad i c t i o n a r y ) 是关于数据库中数据的数 据，而不是数据本身，因此可以说数据字典就是一种元数据，它是数据库系统中 各类数据描述的集合。 2 1 。1 数据字典的内容 数据字典中具体包含哪些信息，并没有明确的规定，不同数据库系统的数据 字典的内容也不相同b 。但是，只要是与数据库系统有关的信息就都可以保存在 数据字典中。数据字典中记录的信息就是元数据，因此数据字典又称为数据库的 元数据库。 在关系数据库中，数据字典所包含的信息主要分为五类： ( 1 ) 数据库的描述信息，包括所有数据、视图的描述信息和映像信息； ( 2 ) 数据库存储管理信息，提供信息的物理特征，如存储结构和存取方法等； ( 3 ) 数据库的控制信息，包括完整性约束条件表、用户权限表、并发控制状态表等； ( 4 ) 用户管理信息，如用户口令登汜表、用户工作分区和使用需求信息； ( 5 ) 系统事务管理信息，包括完整性检查、并发操作管理等事务。 数据字典以表( t a b l e ) 的形式来描述信息，如关系定义表、属性表、视图表、 视图属性表、视图表达式表、用户表、存取权限表等。 2 1 2 数据字典的主要作用 数据字典在数据库系统的设计、实现和维护中都有重要的作用。 1 设计和分析的工具 华中科技大学硕士学位论文 数据字典中存放着与数据库系统相关的各种各样的原始信息和资料，这些信 息和资料是进行详细的数据收集和数据分析所获得的主要结果，为数据库的设计 提供有力的工具。 2 数据标准化 数据字典给出了数据库中各项数据的名称、格式和涵义的规范，保证了数据 的一致性，以便更好地达到数据共享的目的。 3 管理数据资源 与数据库系统中的数据一样，对数据字典中的数据可进行查询、插入、删除 和修改等操作，数据库管理员通过对数据字典的操作可以了解系统性能、空间使 用以及各神统计信息，掌握数据库的动态。 2 2 数据仓库系统中的元数据库 传统的数据库系统作为数据管理的手段，主要用于事务处理。而数据仓库d w ( d a t aw a r e h o u s e ) 不同，主要用于分析处理，它从已有的数据库系统中抽取数据， 并组织成可用于决策分析所需的综合数据的形式，然后对数据进行分析处理，为 决策提供依据。数据仓库系统中的元数据库不同于数据字典，它除了记录数据源 元数据外，还记录了从数据源抽取到数据仓库中的数据的信息，即数据仓库元数 掘，以及对数据仓库的数据进行分析处理时的分析、管理信息，即数据处理元数 据。 2 2 1 数据仓库系统的基本结构 许多数据库厂商( 如i b m 、o r a c l e 、s y b a s e 、i n f o r m i x 等) 都提出了自己的数 据仓库系统结构。但严格说来，任何一种数据仓库系统的结构都是从一个基本框 架发展而来，实现时再根据分析处理的需要增加一些部件。图2 。1 是斯坦福大学的 w h i p s ( w a r e h o u s e i n f o r m a t i o n p r o t o t y p e a ts t a n f o r d ) 课题组提出的一种基本的数 据仓库系统模型。 基本的数掘仓库系统主要由以下组件组成： ( 1 ) 数据源：为数据仓库提供最底层数据的数据库系统及外部数据； ( 2 ) 监视器：负责监测数据源发生的变化，并按数据仓库的需求抽取数据； f 3 ) 集成器：将从数据源中抽取的数据进行转换、计算、综合等操作，集成到数 据仓库中； 华中科技大学硕士学位论文 图2 1 数据仓库系统的基本体系结构 ( 4 ) 数据仓库：存贮已经按企业级视图转换的数据，供分析处理用。根据不同的分 析要求，数据按不同的综合程度存储。数据仓库中还有一个元数据库，其中存 储的元数据记录了数据的结构和数据仓库的变化，以支持数据仓库的开发和使 用： ( 5 ) 客户应用：供用户对数据仓库中的数据迸行查询，并以直观的方法表示分折结 果。 2 2 2 元数据库在数据仓库系统中的作用 客户应用通过数据仓库实现数据存取和数据分析处理，必须确保数据仓库能 够从正确的数据源搜集和存储详细的数据，以便进行正确的分析。元数据是提高 数据仓库性能和利用率的关键，利用元数据能最有效地管理数据仓库。 根据元数据的“数据类型”进行分类，可以将元数据分为两类 2 5 1 1 2 6 1 ：( 1 ) 基础 数据的元数据：是指数据仓库系统中所有的数据源、数据仓库和应用中的数据， 主要包含数据源和数据仓库的结构信息和用户的安全信息。( 2 ) 数据处理的元数 据：是指与数据仓库系统中数据处理过程紧密相关的数据，主要包含数据装载、 清洗、更新、分析和管理的信息。 数据仓库系统中的元数据经过抽取、收集，存储于元数据库中。元数据库是 一个结构化的存储、检索和管理元数据的系统，元数据库为数据仓库系统提供以 下功能”1 ： 1 信息供给 元数据库为客户应用提供查询、筛选、导航和浏览机制。导航是指客户应用 通过所存储的关系，从某一条特定的元数据记录出发，被导引到与之相关联的记 华中科技大学硕士学位论文 录。筛选是指当元数据库没有提供必要的搜索标准，可以对相关联信息进行选择。 浏览功能的实现则需要一个友好的用户界面，以便用户和元数据库能够很好的进 行交互。 2 访问控制 元数据库中与用户信息相关的元数据，可以方便数据仓库系统对用户的权限、 操作范围进行检测和限定。 3 版本和配置管理 元数据的一些重大变化( 如数据源的模式更新等) 会使得元数据出现多种版 本，这就要求元数据库必须具备生成、存储和管理多种版本元数据的能力。 4 冲突分析和通知机制 冲突分析机制使得数据仓库管理员可以在对数据仓库系统进行某些改变之前 估计这些变化所会引起的系统冲突。通知机制使得元数据库发生变化时，能够及 时的将发生的变化传送给相应的工具模块和一些已经“预订”了元数据库变化信息 的用户，以提高数据仓库系统的应变能力。 2 3 网格环境下数据库系统的元数据 网格用户为了使用资源，通常需要知道哪些资源是可用的、在哪里可以发现 资源、如何访问资源以及资源何时可用等相关信息，元数据提供了这些信息，可 见元数据是网格中资源发现和使用的关键因素。 2 3 1 网格环境下的数据库系统 随着网格技术的发展和应用，网格应用必须支持使用数据库技术进行数据的 存储、访问、组织等一系列活动，而且这些活动必须遵循网格的标准，为用户提 供统一、方便、透明的访问接口，用户无需关心数据库的类型、数量和位置，也 无需关心数据存储在哪些数据库中、是如何存储的，用户只对所需数据的属性进 行描述，数据的提取工作由网格和数据库系统来完成，并按用户的需要以指定的 格式传送到指定位置。 由于历史的原因，大量各种各样的数据以不同的格式存储在不同的数据库中， 试图改动现有的数据库系统将所有数据以统一的格式存储是不可能的。网格应用 必须与数据库技术相结合，提供数据分布、管理、访问和处理的透明性。现有的 数据库系统没有能够满足上述网格应用需求。分布式数据库技术虽然为用户和应 华中科技大学硕士学位论文 用提供了数据分布的透明性，支持跨越多个主机的查询和更新能力，但是数据的 分布需要预先配置，数据需要具有相同的结构，不支持异构数据的集成，不适合 动态的网格环境。联邦式数据库支持异构数据的集成，通过模式转换为多个异构、 自治的数据库提供统一的数据视图，用户可以随意查询存储在联邦系统中任意位 置的数据，而不必担心数据的位置、实际数据库系统的特性。但是模式转换规则 的定义与特定数据库系统相关，当有数据库系统加入或退出联邦时必须重新调整 转换规则，只适合稳定的分布式环境，也不适合动态的网格环境。 研究网格环境下数据库系统的目标并不是要建立一个全新的数据库系统，而 是将现有的数据库技术融合到网格体系结构中，满足不断增长的数据对高性能、 大容量分布存储和分布处理能力的要求，将网格中所有数据库不论类型、位置、 存储的数据统一为一个虚拟的数据库系统，对外为网格用户提供一致的访问接口， 屏蔽不同数据库之间的异构性，对内根据实际需要合理分配数据库系统所需的计 算资源、存储资源和网络资源，优化资源的使用，提高利用率。 2 3 2 数据库的元数据 网格环境下的数据库服务【2 8 1 提供了查询和更新数据库的功能，数据库的元数 据就是对数据库的服务能力和所能访问数据信息的描述，发现接口提供了获取数 据库元数据的操作。因此，数据库的元数据必须满足两个条件：( 1 ) 能够很好地 描述数据库服务；( 2 ) 元数据的模式要能够方便发现接口的访问。 数据库的元数据应该包括： 1 内容描述 此类元数据描述了数据库的内容信息，包括：( 1 ) 数据库模式，即数据模型、 数据库的物理和逻辑结构，如表和关系数据库索引等；( 2 ) 影响数据访问和使用 的属性，即用户的访问权限，如认证、所有权、可靠性等；( 3 ) 静态特征，如集 合中对象的数目、关系的基数、属性的选择等。 2 能力描述 此类元数据描述了数据库系统所能提供的功能，包括：( 1 ) 语言能力，即系 统支持的查询语言以及可用的查询和更新操作；( 2 ) 事务处理策略，即系统所支 持的事务处理语义，包括进行分布式查询时所能提供的功能；( 3 ) 连接属性，即 系统所支持的协议和字符编码；( 4 ) 站点失效时的服务质量。 通常需要定义元数据的模式，以便使发现接口访问元数据，这类似于用s q l 语言访问关系数据库的数据字典。但是如果采用数据字典来存储网格环境下数据 1 0 华中科技大学硕士学位论文 库的元数据，就会把网格中能够提供服务的数据库局限于某种特定的类型，因此 应该采用一种标准的元数据模式口9 1 ( 例如x m l 文档) 来记录元数据。 2 4 小结 传统数据库系统的数据字典中记录的信息就是元数据，它记录了关于数据库 中数据的数据，是数据库系统中各类数据描述的集合。 数据仓库系统中的元数据库不同于数据字典，它除了记录数据源元数据外， 还记录了从数据源抽耿到数据仓库中数据的信息，即数据仓库元数据，以及对数 据仓库的数据进行分析处理时的分析、管理信息，即数据处理元数据。 在网格环境下，数据库服务提供了查询和更新数据库系统的功能，数据库系 统的元数据是对数据库服务提供者所提供的数据库服务能力和所能访问数据信息 的描述，主要包括内容描述和能力描述两类信息。元数据的模式不仅要能够很好 的描述数据库服务，并且要便于发现接口的访问。 华中科技大学硕士学位论文 3g d b a d m i n 系统的结构及设计原理 本章提出了基于网格的数据库访问和管理系统g d b a m i n 。首先介绍网格环境 下的o g s a d a i j 很务接口，然后描述g d b a d m i n 各个组件的功能以及系统的工作流 程，最后总结系统的特征。 3 1 系统概述 g d b a d m i n 系统基于0 g s a d a i ( o p e ng r i d s e r v i c e sa r c h i t e c t u r e d a t a b a s e a c c e s sa n di n t e g r a t i o n ) 提供的服务接口，实现了对网格环境下数据库资源的统一 管理，屏蔽了底层物理数据库的分布性和异构性，为用户提供了一个虚拟的逻辑 数据库视图，实现了对数据库资源的透明访问。 o g s a d a i 提供了网格环境下数据库资源的分布透明性和异构透明性， g d b a d m i n 系统在此基础上，迸一步解决了数据库资源的命名透明性和并行查询透 明性等更高层次的要求，实现了元数据管理、服务发现、数据连接、分布式查询 处理等功能。 3 2o g s a - d a i 服务 开放网格服务架构o g s a ( o p e n g r i ds e r v i c e sa r c h i t e c t u r e ) 是开放网格架构和 w e bs e r v i c e 技术p j 的结合，由g l o b a lg r i df o r u m ( g g f ) 的o p e ng r i ds e r v i c e s i n f r a s t r u c t u r e ( o g s i ) 3 2 j 工作小组于2 0 0 2 年6 月制定。g l o b u st o o l k i t3 0 ( g t 3 ) 是 o g s a 3 3 3 7 1 标准的第一个主要实现。o g s a d a i 正是在g l o b u st o o l k i t3 o 口1 】上进 行开发的，它的主要目标是扩展o g s a 架构下数据的整合，为分布、异构的数据资 源提供单一的网格服务接口。通过o g s a d a i 提供的接口，其他网格服务或上层应 用程序可以屏蔽如数据库驱动、数据格式等技术细节，实现一些复杂操作，如分 布式查询等。 7 3 2 1o g s a d a i 服务接口 o g s a d a i 提供的服务接口主要包含：网格数据服务注f l f l - g d s r ( g r i dd a t a 华中科技大学硕士学位论文 s e r v i c er e g i s t r y ) 、网格数据服务t j - g d s f ( g r i dd a t as e r v i c ef a c t o r y ) 和网格数 据服务g d s ( g r i dd a t as e r v i c e ) 。 1 g d s r g d s r 提供了服务注册，实现注册和管l 望g d s f 的功能。g d s f 向g d s r 注册它 的服务句柄和描述自己服务的相应信息，使自己对客户端可见。客户端通过查询 g d s r 来获取满足需求的g d s f ，g d s r 返回g d s f 的句柄，依据这个服务旬柄，客 户端可以找到相应的g d s f 。 g d s r 为客户端提供以下功能： ( 1 ) g e t d a i s e r v i c e g r o u p r e g i s t r a t i o n p o r t ( ) ：访问g d s r ； ( 2 ) a d d ( ) ：注册一个g d s f ： ( 3 ) r e m o v e ( ) ：注销一个g d s f ； ( 4 ) f i n d s e r v i c e d a t a ( ) ：访问已注册的g d s f ； ( 5 ) g e t a s o b j e c t ( ) ：获耿g d s f 的旬柄或服务信息。 g d s r 是一个永久服务，当网格服务容器创建时就创建g d s r ，任何企图撤销 g d s r 的操作都是违法的，只有当网格服务容器被撤销时才会自动撤销g d s r 。所 以，客户端在访问g d s r 之前，一定要通过网格服务容器或其他机制获取g d s r 的 句柄。 - 2 g d s f g d s f 提供服务创建，它创建一个g d s 以访问特定的数据库资源。每一个g d s f 都和一个特定数据库资源相关联，只能创建该数据库能够提供的g d s 。g d s f 向 g d s r 发布所能创建的g d s 的相关信息，客户端通过查询g d s r ，选择能够创建满 足需求的g d s 的g d s f ，然后请求该g d s f 创建一个相应的g d s 。 g d s f 为客户端提供以下功能： ( 1 ) g e t g r i d d a t a s e r v i c e f a c t o r y p o r t ( ) ：访i h g d s f ； ( 2 ) c r e a t e s e r v i c e ( ) ：创建一个g d s ； ( 3 ) f i n d s e r v i c e d a t a ( ) ：访问服务数据元素，获取与g d s f 相关联的数据库资源的信 息。 g d s f 也是一个永久的服务，由网格服务容器创建，当网格服务容器被撤销时 才会随之撤销。 3 g d s g d s 是o g s a d a i 最主要的服务，采用面向文档的模式向客户端提供对数据库 资源的访问功能：客户端以x m l 文档的方式提交一个数据检索或更新的请求，g d s 华中科技大学硕士学位论文 执行请求，并将得到的结果以x m l 文档的形式返回给客户端。 g d s 向客户端提供了以下功能： ( 1 ) g e t g d s p o r t ( ) ：访问一个g d s ： ( 2 ) p e r f o r m ( ) ：执行一次查询或更新操作； ( 3 ) f i n d s e r v i c e d a t a ( ) ：访问服务数据元素，获取有关客户端请求的操作类型、执行 模式以及执行状态等信息。 与g d s r 、g d s f 不同，g d s 不是由网格服务容器创建的，而是由g d s f 动态创 建的，因此它是一个临时服务。当g d s f 怠t j 建g d s 时，指定了所能访问的数据库资 源以及能够进行的存取操作，并给它限定了一个有限的生命周期( 1 i f e t i m e ) ，生 命周期截止，也就撤销g d s 。 3 2 2o g s a d a i 服务架构 o g s a d a i 在逻辑上可以看作一组互相合作的网格服务，这些服务的作用就如 同一个客户端和实际保存数据的数据库系统之间的一个代理，客户端通过 o g s a d a i 的网格服务，访问网格中的各种分布、异构的数据库系统，如关系数据 库( m y s q l 、d b 2 、o r a c l e 等) 或x m l 数据库( x i n d i c e 等) 。 图31 说明了o g s a d a i 的服务架构，图中的客户是指其他的网格服务或上层 的应用程序。 图3 1o g s a d a i 的服务架构 ( 1 ) 网格服务容器创建一个永久的g d s r 月匣务； ( 2 ) 网格服务容器创建两个永久的g d s f j 艮务：g d s f l 和g d s f 2 ，在创建时，g d s f l 配置成与m y s q i 数据库相关联，而g d s f 2 配置成与x i n d i c e h 关联； ( 3 ) g d s f l 和g d s f 2 都在g d s r 上注册自己，使自己对客户可见； 华中科技大学硕士学位论文 ( 4 ) 客户查询g d s r ，获取能够刨建满足需求的g d s 的g d s f 的旬柄( 在图例中客户 选择了g d s f l ) ； ( 5 ) 客户根据g d s f l 的旬柄访f a q g d s f l ，获取g d s f l 的服务数据元素，确认g d s f l 的服务能力； ( 6 ) g d s f l 创建g d s l ，并向客户返回g d s i 的旬柄： ( 7 ) 客户根据g d s