（计算机应用技术专业论文）基于目录驱动的网格资源管理模型的研究.pdf

亡西盘堂亟堂僮造室 基王旦丞狸功的圜揸童邃蟹堡攫型敛塑嚣 摘要 网格的目标是要把地理上分布的大量异构资源组织成一台虚拟 的超级计算机。对资源的查找和定位，可以通过广播方式，也可以通 过目录查找方式。目录与资源绑定，并通过一定算法组织、存储在目 录服务器中。与广播方式相比，目录查找方式中，网格资源用户的请 求信息的流向更有针对性，在获得同样满意度的资源信息的情况下， 所耗费的网络带宽资源要小得多，同时查询返回信息的优化可以减少 用户在返回信息中再次“搜索”目标信息所带来的负担。对返回信息 的优化能进一步节约网络开销，提高网格的整体性能。对目录的合理 设计和组织，能确保用户快速地获得响应，同时能保证通过目录信息 获得的资源是有效的。在本文中，建立的模型采用c b s 系统结构。将 多数据库集成到网格中，以便组成一个协同的服务器端来响应客户请 求。最佳副本策略可以确保网格中“可同时共享”资源目录和“非同 时共享”资源目录的可用- 性和高可获得性。服务器部署模型与副本部 署策略相互影响和促进。在前人的工作基础上，本文所做工作： ( 1 ) 针对可同时共享的资源的管理，我们建立了可同时共享资 源的目录驱动网格资源管理模型( s d d g r m m ) 。 ( 2 ) 针对非可同时共享的资源的管理，我们建立了非同时共享 资源的目录驱动网格资源管理模型( u s d d g r m m ) 。 ( 3 ) 基于s i m j a v a 软件包，使用j a v a 编程语言对u s - d d g r m m 进 行了详细的设计。 t 亡西厶堂亟堂焦迨塞基王目丞变动鲍鲤挠童煎筻堡筮型盟塑兰里一 关键字：网格目录资源管理一致 h 匹丕堂亟堂僮逾塞基王目丞翌弛曲旦搔煎遂筐堡搓型艘硒塞 t h es t u d yo fd i r e c t o r y 二d r i v e nb a s e dg r l d r e s o u r c e sm a n a g e m e n tm o d e l a b s t r a c t 1h eg o a lo fg r i di st oo r g a n i z ea l lt h ei s o m e r o u sr e s o u r c e si n t oav i r t u a ls u p e r c o m p u t e r t h e r ea r et w om e t h o d st ol o c a t ea n df i n dt h er e s o u r c e sw a n t e d o n ei s t h r o u g hs e a r c h i n gf r o mt h en e td i r e c t l ya n dt h es e c o n di st h r o u g hs e a r c h i n gf r o mt h e d i r e c t o r yd a t a b a s e s o r g a n i z e di n t h ed i r e c t o r ys e r v e r d i r e c t o r i e sa r es t o r e di n d i r e c t o r ys e r v e l a c c o r d i n gt oo r g a n i z i n ga l g o r i t h ma f t e rb i n d e dw i t l lr e s o u r c e s l o o k i n g f o rr e s o u r c e s t h r o u g hl o o k i n g f o r d i r e c t o r y , c o m p a r e dw i t ht h r o u g h b r o a d c a s t i n g ，i sm o r ed i r e c t l ya n di tc a ns e r v et h ec l i e n t sb e t t e rw i t hl e s sb a n d w i d t h o v e r h e a d m e a n w h i l e ，t h er e t u r n e dd i r e c t o r i e sa r eo p t i m a la n dt h ec l i e n t sn on e e dt o r e s e a r c ha g a i n t h er e t u r n e di n f o r m a t i o ni ss a t i s f i e dt h ec l i e n t sr e q u e s ts ot h a tc l i e n t s h a v er i on e e dt ow a s t eb a n d w i d t ht os e n dr e q u e s t sa g a i n i nt h i sc a s e ，i tc a ne n h a n c e s y s t e mp e r f o r m a n c e i t c a l lg u a r a n t e et h ec l i e n t sg e tr e s p o n s e q u i c k l ya n dt h e r e s o u r c e sa r ea v a i l a b l ei fw ed e s i g na n do r g a n i z et h ed i r e c t o r yp r o p e r l y i nt h i st h e s i s ， c b si st h es y s t e ms t r u c t u r eo ft h em o d e lt of o u n d s oh o wt o i n t e g r a t em u l t i p l e d a t a b a s e si nt h eg r i dt oc o r e s p o n s et ot h er e q u e s t o r si si m p o r t a n t o t h e ra l l ，o p t i m a l r e p l i c ap l a c e m e n tp o l i c yc a nh e l pu st os e t t l ed o w nt h ep r o b l e mo fh o wt od e t e r m i n e t h et o p o l o g yo fd i r e c t o r ys e r v e i nw h i c ht h es e r v i c e sa r ed i v i d e di n t ot w ok i n d s ： s h a r e da tt h es a m et i m ea n du n s h a r e da tt h es a m et i m e n l em a j o rr e s e a r c hw o r k s d o n ea n dt a l k e da b o u ta r ea sf o l l o w s ： ( 1 ) s e t u pt h em o d e lo fs - d d g r m mf o rt h er e s o u r c e sc a nb es h a r e da tt h es a m e t i m e 。 ( 2 ) s e t u pt h em o d e lo fu s - d d g r m m f o rt h er e s o u r c e sc a n n o tb es h a r e da tt h e s a m et i m e ( 3 ) b a s e do ns i m j a v ap a c k a g e ，u s i n gj a v al a n g u a g e ，ig i v eat h o r o u g i ld e s i l 面t o t h em o d e lo f ij s d d g r m m k e yw o r d ：g r i d d i r e c t o r y r e s o u r c em a n a g e m e n tc o h e r e n c e n i 亡西叁坐墅堂僮迨室基王且量塑动曲圆整童近筻堡攫型的婴煎 第一章绪论 1 1 课题的来源及选题的意义 删格计算1 4 1 1 3 5 l 【4 l j 【4 7 1 是新一代的互联网技术。网格的最终目的就是要把全球 网格资源“悃儿柏m 州“m 7 m 2 1 组织成一台虚拟超级计算机。连入网格的用户就像接 入电力网的用户一样，能获得源源不断的服务。这个过程实际就是实现资源的动 态优化配置。如何将如此丰富的资源进行组织、发布，并为网格用户使用，是网 格研究的重点问题。有两种可能的解决方案。一是通过搜索发现网格资源，包括 资源空降模型。资源查找，资源发现机制，但在资源定位和查找中消费了大量的网 络带宽资源。同时还不能保证返回的资源是可用的。比如，我们用任何一种搜索 引擎查询，返回的查询结果，我们可能无法打开，原因就在于返回信息中没有标 示其是否可用。第二种方式：通过目录“m “删“”“8 ”1 来查找资源。通过一定的 方式将资源信息以目录形式保存在目录服务器中，用户通过查找目录就可以获得 需要的资源。与搜索方式发现资源相比，由于目录查询的集中性，其有效节约了 网络带宽资源。典型的目录协议有x 5 0 0 协议、l d a p 协议和g l o b u s ”的元数 捌目录系统m d s 。通过目录方式查找资源，目的性强，有效避免了广播搜索造成 的大量带宽资源的浪费，但这种方式依然没有有效解决资源的可获得性问题。在 获得资源目录的同时能知道资源的可用性，有利于系统整体性能的提高。 建立良好的体系结构以确保查找目录的高效性，有利于构建合理高效的查询 拓扑结构，减少由于网格资源激增造成的性能瓶颈。当前的网格资源管理策略研 究丰璎有三种。一是集中式资源管理”“7 “”1 方法。如g l o b u s 计算网格中的m d s 安现了犟于l d a p 的树状元数据目录服务：c o n d o r 实现了不依赖全局资源命名， j m 依靠膳p 匹配的集中，的侥源共享系统；w e b 服务中的u d d i 文现了集中式的 肌务实体的统一描述、江册和查找；但这种集中式的方法是无法满足全球性的 w e b 服务的应用。二是采用大范围的p 2 p 系统“加7 ”瑚m 2 埘1 来解决资源 查找的方法，p 2 p 环境中采用类分布式资源定位方法：每个节点存储整个资源i d 空间的一个子空间，并负责本子空间内的资源i d 到其物理位置的映射，节点间 通过特定的协议维护状态和转发查询请求，典型的代表有p a s t r y 等；但由于全 球范围w e b 服务资源的复杂性，服务资源的一致性维护与查找值得进一步研究。 亡西厶堂蝗：生焦堡塞基王旦塞墅动曲嗵搔堡煎鳘理攥型丛班珏 三是采用目前i n t p r n e t 广泛使用的路由机制“”，只是在这种路由机制中路由 器存储与转发的是资源信息( 或资源的抽象i d 号) ，这种思想借鉴了当前 jn t e r n e t 的f p 路由的成功机制，但采用资源路由信息来解决资源查找与组织也 打 报、的小足z 处：西九，p 路山j 资砑路山棚羌太人，i p 足由组织分配的， 足惟一的，不会动态产生；而资源足无组织的，重复的，且动态产生与消失。 资源动态配置的- 苗效性决定于资源查找效率的高效性。 结合以上三种资源管理方法，我们提出了具有分布和集中特性的目录服务器 部署模型。在此模型下，我们采取按类分布部署，同时采用一定的集中管理思想， j ( 不们能满足广域环境，还能为网格资源提供高效的查询方式。 实现上述目轫、的模型就是目录驱动1 的网格资源管理模型，这是本文所要探 讨的主题。 1 2 问题的提出 把l j 录与网格资源绑定在一起，用户通过访问目录服务器就可以获得所需资 源的目录，通过目录中包含的调用信息，用户可获得真正的网格资源服务。 从目前的研究成果来看，x 5 0 0 以及在此基础上发展起来的l d a p 都没有解决 目录对应的资源的可获得性问题，也就是说，查询返回的目录信息中，并没有标 明，这个资源是否可用。网格，作为能为用户提供源源不断服务的虚拟超级计算 机，i t 】户卉找剑的资游的目录越准确，越能节约带宽资源，越能提高系统性能。 比如，杲用户需要l o 台处理机( 要求具备一定处理速度和内存要求) ，如果在返 叫的1 0 条目录信息对应的处理器都是符合用户要求的，则用户就不需要再次发送 查i 白j 消息。如果其中有l 条( 或者更多) 目录信息对应的处理器是无效的，再次 发送请求，相对前者的准确查询来说，无疑是有网络带宽资源浪费的。目前的目 录系统没有可获得性标示，是无法很好解决网格资源的准确查找、定位、调用问 趣f n 。解决这个问题，是本研究的重点内容。 叫格资游，如果按资源的共李属性分，可分为可同时共享资源和扎同时芡亨 资练。”j 事资源，如数据、知识等，在一个相对稳定的时间内，它可以被多 个刷户川时歧。非同时失事资源，如处理饥、存储没备等，在特定时间，它只能 被一个用户占用。与之对应，目录可以分为可同时共享目录和非同时共享目录。 同时共享目录，由于对其读的概率远远高于对其写的概率，因而可以有多个副本， 适当部署或者动态生成副本，能提高目录以及资源的可获得性和可用性。在这方 面前人进行了大量的研究”m ”。1 n 1 ”7 m ”剐2 “1 嘲硎删。非同时共享目录， 如果对应的资源被一用户调用的同时有其他的用户搜索到这个目录，并试图调用 2 西盔堂亟堂建迨塞基王尽丞塑蛰曲凹搔童盗蟹型搓型的班宜 此资源，用户将无法调用到。也就是说一旦有用户获得资源，资源对应的目录属 性应该变为不可得。也就是说，非同时共享目录的读写概率相差不会太大。对 于1 l 闭时共享目录，其服务器的部署方式与共享式目录服务器的部署方式就会有 较人：5 玑j ijl 季目录服务器的部署模型会影响日录信息的更新、可用。肚和查询 效率。现有的模型，如穷举式、路由式、集中式以及全局统一的层次化模型等都 存在它们自身的一些难以克服的缺点。如穷举式和路由式汹1 查询效率较低，集中 式不能克服海量用户集中访问时产生的瓶颈问题，全局统一的层次化模型“”能较 好地解决共享式目录的查询、更新效率闯题，但对于非共享目录，采用这样的结 7 j 会产小茛他很雕克服的问题( 如一致性更新效率问题，解决腑设问题，可获得 性问题) 。用目录的形式来实现非同时共享资源动态调度配置的文献还没有看到。 1 3 本文研究的主要内容 。 ，网格计算是- - f - j 新兴的技术，其目的是要实现全球资源的整合共享。目前， 针对不同的研究领域，提出了不同的网格模型，如数据网格、知识网格、计算网 t 格、服务网格、探测器网格等。尽管领域不同，但它们都面临一些共通的问题， 比如资源的定位，资源的组织，资源的查询、添加、删除等等。同时为了保证资 源的可获得性和高效性，还涉及到副本问题以及计算机的组织体系问题。 由于广域网搜索所带来的网络带宽资源的浪费，所以采用目录驱动的网格资 ；i i i 管理将足一种好的策略。目录服务器的部署模型将会决定目录的可获得性、一 致。r i _ 、查询效率等。最佳的服务器部署模型能让网格用户高效准确地获得网格资 源。 论文主要研究的内容： ( 1 ) 针对可同时共享的资源的管理，我们建立了可同时共享资源的目录驱 动网格资源管理模型( s - d d g r m m ) 。 ( 2 ) 针对1 f 可同时共享的资源的管理，我们建立了非同时共享资源的目录 缈功m 格资源管删模型( u sd d g r m m ) 。 f3 ) 单丁、) i f l j d v a 软“包，使用j a v a 编程语言对u s d d g r m m 进行了详细的 设i l 。 1 4 论文组织 论文余下部分组织如下：第二章是目录基本概念，叙述了目录的基本概念及 丑占堂亟堂僮迨童 ：基士耳丞翌弛曲圆揸童煎筻型熊型的班峦 发展；第三章足网格中集成数据库的可能性，探讨了将多个数据库集成到网格中， 联合成一个虚拟d b s 以协同响应客户端请求的可行性及需要解决的难点；第四章 建立了同时共享网格资源的目录驱动网格资源管理模型s d d g r m m ：第五章建立了 帅- 卅f j l ，喷跺的臼录幼m 格资源t 三卵慢，些u s d d g r m m ：第六章对u s d d g r l , n 的设汁方案进行详细设计；第七章是总结和展望。 4 亡煎盔堂地堂焦监塞基王目丞翌动煎圆搔壹缓鳘堡攫型的亟究 第二章目录基本概念 2 1 目录的演变 f 1 录是一种专门被优化用丁执行读、浏览、搜索等操作的数据库，可以包含 m 络以及在网络上运行的应用程序所需的信息。目录倾向于包含具有描述性的、 基于属性的信息，并且支持高度复杂的过滤搜索功能。 2 1 1 简单目录 即使不足基于目录的网络操作系统，也存在某种形式的目录。如在n e t w a r e 3 储存用户名和口令的b i n d e r y 数据库，w i n d o w sn t 4 中，存储用户安全信息系统 存储的安全帐号管理器s a m ( s e c u r i t ya c c o u n t sm a n a g e r ) 数据库都是一种简 单目录，其中存储用户和网络配置信息。 2 12 应用程序目录 、l 用i z 序也有日录，这个目录称为应用程序目录。这些目录一般包括应用程 序的川户名、口令及每个用户自己的应用程序配莺信息。应用程序目录的例子有 w i n d o w s 操作系统下的i n i 文件、注册表等，w i n d o w s 下的应用程序使用其中的 信息。 2 1 3 独立网络目录 随着嘲络应用的普及和网络规模的扩大，维护不同的目录的管聊负担与日俱 增。例如，为3 0 个不同的系统的目录加入相同的用户名、口令和配置信息。共 李4 刚司的目录信一r 以解决遇到的困难，而这也导致独立网络r j 录的产生。 2 1 4 网络操作系统n o s 集成的目录 成功目录的关键并不是目录本身，而是网络目录如何与网络服务及应用程序 完全集成。网络操作系统集成的目录集成了所有的网络服务，显著降低了企业网 络管理成本。m i c r o s o f tw i n d o w s2 0 0 0 的a c t i v ed i r e c t o r y 和n o v e l l 的n d s 都是集成目录的n o s 。 亡酉丕堂亟生鱼迨塞 基王目亟望曲鲍旦搔童缦萱堡援型笪班基 21 5 全局目录 当把自己的目录通过i n t e r n e t 与其他的目录相连以后，可以创建一个全局 j 录f g io b a d ir e c t o r y ) ，其中可以包含一切信息。 21 6 网格资源目录 网格目录是具有动态特性的全局目录。它是为了满足网格客户需求的被优化 了的执行读、浏览、搜索和更新等操作的数据库，可以包含网格上的所有资源的 仉乜及徉，。最终歌得服务权限和远稃调用信息。一旦客户搜索到满意的资源的日 求，则4 _ | j 应资源的目录属性需要修改( 置0 表示不可用，置l 表示可用) ，然后 客户获得相应资源的权限，通过远程调用就可以获得资源。 2 2 公共独立目录的优点 。 针对特定应用的目录，只存在应用需要的特定信息，同时其他应用无法访问 这种特定应用目录中的信息。因为完全功能的目录服务由于复杂性而难以构建， 而应用特定的目录功能则非常有限，它可能只存储特定类型的信息，没有通用的 搜索能力，不支持复制和划分，可能没有完全的整套管理工具集。应用特定的目 录a r 能和可编辑的文本文件一样简单，也可能通过私有的、无文档记载的方式存 储和访问。 在这种环境下，每个应用创建和管理自己的与应用特定的目录，这就造成了 管理上的负担。 此时需要一个公共的、独立于应用的目录。由于目录服务的存在，应用特定 的目录便不是必须的。但是公共目录1 4 9 1 必, 须解决上面提到的问题，必须基于开 放的由多种平台上的多数提供商支持的标准，必须可以通过标准的而非私有的 a p i 进行访问，必须是可扩展的，这样目录才能容纳任意应用需要的数据。在提 f i 尢。功能特性的同时不要求功能强大的系统和消耗过多的资源。由丁越来越多 的川户xr u , v 用访问和依赖j 二公t1 1 录，因此它必须是健壮的、安令的、和可伸缩 的。当应刚访m 标准的公萸的目录，而不是使用应用特定的目录时，可以消除冗 余和管理上的代价，安全风险也得以控制。 2 3 目录的应用前景、应用场合 6 亡西盔芏亟芏僮熊塞基王目丞壁动数塑搔煎攫筻堡撞型的班塞 23 1 一次登录 客户使用一个用户名和口令登录一次性网格。可以显著减轻网格管理员的管 卿够 f i ，t 仳远行成本。订录足提供次登录的摹本机制。 2 3 2 安全 阚格目录的一次登录可以解决多个不同的用户名和口令所带来的安全隐患。 l 司时，网格目录可以采用p k i s s l 及更新的安全认证机制，进一步增强网格及 糸统l i j 幺伞r 。 2 3 3 资源识别和定位 网格目录为定位在网格上的资源提供分类和查找机制。目录存储了资源的一 切细节，如网络地址、配置、资源的调用信息等，通过网格目录提供的浏览器， 可以使用可理解的名字或者服务的特征来查找，并获得权限和调用信息。 目录简化了定位和访问网格资源的功能，这些资源包括计算力、存储能力、 科学仪器、软件以及人等。在非目录的环境中，用户必须使用运行这些资源的服 务器的名字或网络地址来识别这些资源。而网格目录可以存储这些信息，使客户 和管理员可以方便地识别和定位这些资源。 2 34 位置无关 网格目录具有位置无关的优点。如果网格管理员移动磁盘或者数据库服务 器，在非目录服务环境中，管理员不得不改变每个用户的p c 配置，以便指向新 的设备和位置。但在基于目录的网格中，服务器会根据配置在客户端的客户目录 池自动将资源的更新信息传输n j p 务器进行更新。 2 35 全球地址薄 个球山局域网格所组成的虚拟超级计算机，提供上百亿千亿的设备和服务项 目，建立的全球日爿之地址薄，有利于客广】获得- 苗效的服务和协n 日的工作。 2 36 简化管理 为网格管理信息提供统一却具有良好分布特性的存储库减少了网格管理成 本，提高服务质量和效率。一致的协作机制可以减少管理员犯错误的概率。 7 西厶茎塑堂焦迨塞基王目丞望弛曲囝揸囊蘧筻堡搓型的班蕴 2 3 7 可靠性 网格目录提高了嘲格的可靠性。目录的副本的合理部署，减少了因单一服务 器，、效f 而导致用广1 无法臀录的可能竹。 2 4 小结 本章介绍了目录的相关基本概念。目录的发展经历从简单到复杂，从面向局 部发展剑面向全球的发展过年n 。为安全、快捷的定位资源服务发挥茵越来越霓要 的作用。对目录的发展研究有利于我们设计出更好的目录系统。目录系统具有一 次性登录、安全、简化管理和可靠等优点。在网格带宽资源一定的情况下，可以 很好地组织管理网格资源。 西厶堂亟堂僮地塞基壬目丞堡动曲囝搔童蕴管理攫型鲍婴基 第三章网格中集成数据库的可能性 3 1 网格和数据库：研究现状 f 3 3 对数据库与网格的关系进行了详细的论述在这部分我们闸述了目前已 有的州格枷、准和中间件足如何支持数掘库的。我们主要选取了目前来看最重要的 曲个中间件：g l o b u s 和s r b ( s t o r a g er e q u e s tb r o k e r ) 。 3 1 1g l o b u s g l o b u s 是一个最重要的网格中间件，但它主要关注的是文件中的数据，而 不是数据库。它的数据访问的主要机制是g r i d f t p 。6 r i d f t p 是文件传输工具的 高性能版本，它和网格安全框架g s i 集成在一起。g r i d f r p 和一个数据库集成在 一起。这个数据库就是实体。但这仅能使实体存储对象的物理文件能够被复制。 除了关注文件，g l o b u s 还在数据库方面做了一些工作。将数据库集成到网 格中从而产生了g s i 是一个至关重要的事情。这提供了一次登录机制，避免了每 连接到一个数据库就要单独键入用户名和密码。为支持数据库集成到数据库的其 他方血的特性，g l o b u s 的另外一些服务是可以利用的。比如，g r d f t p 不但可以 用来支持大数据库的加载，同时，还可以用于将来自于d b s 的大量查询结果传到 远程的应用程序。 31 2 存储请求代理( s r b ) s r b 为应用程序提供对分布式存储资源的统一访问。它的主要中心是基于文 什的数 j l ：。除分布式文件系统提供的标准操作之外，s r b 还提供一些其他的功能， 包括： _ 几数掘m c a r ( m e t a d a t as e r v e r ) 保雷h rs r b 管理的数据、用户和资源 的信息。它也可以用于特殊应用的元数据0 1 。然而，这里存在一个缺陷， 就是似乎没有一个通用的机制来将m c a t 连入层次系统中( 比如允许可升 级的服务器联合) 。 - 数据集的逻辑命名方案。当一个数据集被访问时，从逻辑名到物理文件 的映射“”就自动完成。 9 西盘堂亟堂焦地塞垂王旦丞翌勤毂题搔墅煎簧堡塑型笪监蕴 - 自动的副本生成和维护。当一个复制的数据集被访问时，客户端或者系 统将选择使用的副本。 - 一个设备联盟允许一组s r b 服务器为客户端提供单一的界面。 j 垃上上州恪盔伞1 1 l 粲进行认证。 现在还没有s r b ( 文件的或足数掘库访问的) 的性能结果公布。一个特别值 得芙i _ j 。的陀能问题就足连接到s r b 服务器的客户需要一个属于它的服务器进程 副本。对服务器来说这会造成性能瓶颈，因为服务器不得不支持大量同时访问的 客户端。这也是为什么d b m s 更愿采用多线程而不是进程的原因。 i 以，1 9 j 砬地，s r b 和g l o b u s 样，爿没有解决将数掂库集成到网格的 q 题。然而，这依然为使应用程序调用基于文件的数据提供了一种选择。 3 2 将数据库集成到网格 由于目前没有一个网格软件，或已有的数据库管理系统”1 ( d b m s ) 能够完全 支持将数据库集成到网格的应用，我们将考察如何能在这方面获得成功。 一个明显的出发点就是j d b c o d b c 的网格支持版本或者替代品。这允许一个 客户端连接到网格上的一个远程d b s 并在事物处理中执行查询。j d b c o d b c 程序 设计界面使得产生查询和检验结果的操作相对简单。它同时还支持存储过程。支 持网格的j d b c o d b c 需要与g l o b u s 安全框架( g s i ) 集成在一起。这样就消除了 心川样序要0 每个敛掘厅用不同的朋广j 名和密码登录的烦琐操作，取而代之的是 g s i 的一次性统一登录方式。 g r i d f t p 设计来实现网格中文件的高速传输。这样，将查询结果以纯文本文 件形式从d b s 发送回客户端就多一种选择方案。对于大的结果集，这会降低通信 费用，但却要消耗d b s 端大量的缓存空间。 在其他情况下，比如一个重要的计算需要结果集中所有元素都参与执行的时 候，与具等钊所有结果都出来后用一次传输将它们拷贝给客户端，不如以流方式 将结果从d b s 传到计算服务器高效。g l o b u s 不提供流接口，但一个已有的网格应 用j ? | r 川钊j - i i d f 5 包提1 _ j l 的流设备。 j d b c o d b c 途径是建立在程序设计接口的基础上的。这个接口只支持所有 关系数据库都支持的一组核心功能，比如查询和事物处理。通过j d b c o d b c 与 一个数据库建立接口的程序是经常修改的。这样通过重新编辑指定程序应该连接 的d b s ，应用程序就能访问一个同等的结构化数据库j d b c o d b c 提供的核心 组功能并不包括第4 小节列举的那些操作，尽管它们被要求完全将数据库集成到 网格应用中。即使d b m s 提供了这样的操作，其功能也会随系统不同而各异。对 1 0 酉厶堂熊生鱼地室 基士目丞竖功的旦缝塑遵鳖堡燕型的翌 荭 于二这些操作，一种途径就是依靠程序员来找出哪些设备是他们希望得到的d b m s 又能提供的，同时为它们写接口预约代码。然而，这种途径的一个主要缺陷在于， j 用程序跨d b m s 时，失去了便捷性。在两步法中，如果网格中元数据驱动的数 歌t 。巾h ；刘支 ，上述的便捷f ，l 就足很t 羹要的。 我们相信一个史好的方案可以用丁二基于服务的设计。每一个d b s 将会提供一 组服务。这组服务适合第四小节所要求的所有领域。只要可能，这组服务提供的 单独操作将得到标准化以增加便捷性，同时可以简化建立与多个d b s 相关联的应 用程序的工作。通过添加代码将服务提供的操作接口映射到提供商隐含的特殊接 l ，e l 呵以j ! 成以上丁作。们足，不可能扔、准化所有的服务。服务驱动方法的 个优点在于无论用何种方法从网格中获得d b s ，每个d b s 都能够提供一个元数 据服务，每个元数掘服务能够提供它所支持的服务和操作的信息规模。 图3 1 给出了基于服务的方法，在网格与d b s 之间是一个服务封装( 在这里 我们特指d b s 而不是d b m s ，因为数据库所有者可以选择什么服务可以被网格用 户获得，谁可以访问它们) 。当我们考虑将一个已有的d b s 连接到网格时，用封 装代码将d b s 连接到g r i d 的观念是适当的。然而，这里一种可选且有效的方法 就是将服务界面看着支持网格的d b s 的紧密不可分部份。而且，在图中，d b m s 包含于d b s ，明显地区别于网格服务接口。将来，随着网格的商业重要性的增加， d b m s 自然会提供支持网格的服务接口。 图3 1 中提出的服务现在讨论如下： 元数掘这个服务提供了对d b s 的元数据和d b s 为网格应用提供的一组服务 的访iu 】。巾包括逻辑名、物理名和d b m s 类型。 罢 。 誊巳 董占 三兰 婴一 毫 图3 一l 具有网格支持服务接口的数据库系统 f i g u r e3 - ld b sw i t hg r i ds u p p o r t e ds e i m m f f a c e 亡鳗盘堂亟主堂僮迨塞薹士旦丞塑弛艘窭搔童煎暨型撞型的垡窟 查询不同的d b m s 有不同的查询语言，尽管s q l 的核心在众多关系d b m s 中 是标准的。一些网格应用将会受益于目前d b m s 尚未提供的数据传输方法，比如 用g r ，d f t p 传输大量的数据；为深入处理将数据以串行流形式送到网格计算服务 嚣：以爻为，j 牡一步处埋，将爿行流数：c l c 从并行的d b m s 送剑一组爿行节点。为 调度决策提供输入，以及为跨多个d b s 提供有效的分布式查询进程，就需要一个 操作来完成执行一个杏询需要的代价估计。 事务处理这些操作不仅支持一个d b s 的事务处理，而且允许d b s 支持的操 作参与应用更广的分布式事务处理。事务处理管理器可用于控制分布式事务处理 f i j 执ij 。i 仆史轴f f j 事务处卿类j 型很多( 比如，只有一! j 支持嵌套的事务处理) ， f 4 时d b s 问一定程度的异构是无法避免的。 大负载量支持数据的大负载量，对于一些系统来说是很重要的。与g r i d f t p 集成以支持大数据集的高性能海量负载是很有意的。 通告客户端能够在一个数据集中注册他感兴趣的事务，对于好多应用程序 来既很有意的。支持这个功能需要两方面的支持：第一是需要一种机制以允许客 户端确切指定感兴趣的方面( 比如添加，更新，删除或者一个查询的深层过滤) ， 第二是需要一种方法能通知客户什么时候发生改变。如果优先的d b m s 提供本地 支持，比如通过触发器方式，则实现这种服务是很简单的。当一个通知产生后， 它将会告知网格事件服务和( 或者) 一个网格工作流系统以决定下一步如何做。 比如，用户可直接通过e m a i l 通知，分析计算则可以自动运行。 凋度这允许用户调度d b s 的使用。它支持正在兴起的网格调度服务。比如 允许调用一个d i j s 和一台超级计算机，这样从d b s 重新获得的大量数据集能够得 到超级计算机的处理。连接它们的网络带宽也需要预先分配。由于提供对d b s 的高级访问是不现实的，因而只能应用机制以充分利用已有资源( 磁盘、c p u s 、 存储器和网络) 完成特定任务。这要求d b s 提供资源预分配和管理已有d b m s 还 没有很好支持的事务以及那些在d b m s 以外还无法实现的功能。 t i 赞d b s 必须为网格提供必要的信息来支持处理计费和支付问题。这个服 务将会舱拧同一级别服务的r 能同时允许用户在获得资源使用后支付一定费用。 收复钏f c j 效捌会为府用能力规划和网格资源使用优化提供有价值的输入。 ! j 岛l 这个服务支拍刈缘数据库以允诈客广z 赢n 接访问数据j f t l 一的对象，假 如它们足酱通的程序发计语言对象。 我们并没有要求这一系列服务是确定的。这主要取决于我们用数据库来构建 系统的经验。但对潜在网格应用所要求的服务的一个更详细的分析是必要的。尽 管如此，随着网格应用所获得经验的增加，将会更加需要新的服务。 如上讨论的服务都是相对低级别的和普通的：他们并没有利用好存储数据的 真正价值。更高级别的基于语义的服务也是网格应用所要求的。它们将会建立以 亡西厶兰型! 上生位迨童 基壬旦基翌垫的堕搔登煎簦堡搓型曲盟窭 便利川本文中已讨论的低级别的服务。比如，对普通出处服务的需求将需要验证。 这将会被执行一一次后为大量的应用程序所使用。比如它会提供操作以定位数据和 它的出处或者验证一次查询所返回的所有数据的出处。验证这些更高级的服务并 尽“j f l l 已州歧l 的应川，j 匝盐l ，l 在f - f i l 避免建构m 格应川程序叫的重复工 作。 3 3 联合跨网格的数据库系统 联合多个d b s 数据具有很强的重要性。这部分我们将考虑如何使之得到实 现。一种选择是为网格应用与希望自己的数据被访问的每一个d b s 建立一个接 口。这种方法可见图3 2 。然而，这会强迫应用程序员用应用程序本身来解决联 合问题。我们确信这会导致很大的应用复杂度，以及重复工作。这样我们会选择 用网格中间件生成一个单一的、有应用程序接口的联合“虚拟数据库系统”。 联合一组d b s 就是联合每一个单独的服务( 查询，事务处理等) 。这就生成 了虚拟d b s 。虚拟d b s 具有前面论述的d b s 一样的服务接口，但并不实际地存储 任何数据( y g 管它可以设计来缓存数据以便提高性能) 。相反地，对虚拟d b s 服 务的调用由服务联合的中间件来处理。这个中间件与虚拟d b s 联合的d b s 服务接 口进行交互，其目的是计算服务调用的结果。因为虚拟d b s 拥有和实际d b s 同样 的服务接口，则虚拟d b s 就可能既和“实际”d b s 又和其他“虚拟”的d b s 建立 联合。 毯 图3 - 2 与一组d b s 有接口的网格应用程序 f i g u r e3 - 2g r i da p p l i c a t i o ni n t e r f a c e dw i t hag r o u po f d b s 对虚拟d b s 的创建有两个不同的方面： 酉盔芏题堂位迨皇基王旦重塑蛰的圆挠童握筻理撞型的盟珏 1 ) 用户决定创建一个虚拟的d b s 。用户决定从一个特殊的d b s 组创建一个 虚拟的d b $ ，他们希望用这个d b s 来实现数据和服务的联合。用户希望从他们可 能会用到的指定d b s 集中来创建一个虚拟的d b s ，这个d b s 结合了数据和服务。 2 ) 川户霸鬯心用t j ；j j 足浆些枷、础的特定数据，比如b a c l l l u ss u b t l l i s1 6 8 的数据。一个元数据查询将会用于定位满足标准的数据集。它们将会被联合来创 建一个虚拟d b s 。在工作会话结束之前，虚拟d b s 将会保存起来以供以后使用。 比如，通告服务可以被配置来通知用户感兴趣的新数据。作为选择，虚拟d b s 在当前会话结束后就不是必选，同时也可以结束其生命周期。 ， ，拟f t jd b s 如何创建啦? 理想的足通过一个工具就呵以获得一组d b s ，同时 自动地创建虚拟的d b s 。换一种思路就是，能够写一组预约程序来执行虚拟d b s 的各项服务。显然，前一种方案更可取，特别是当我们希望创建一个短周期的虚 拟d b s 时，尤其如此。基于这种思想，我们现在考虑联合服务的问题。 基于服务的方案有助于通过鼓励标准化来实现服务联合。然而，很难实现完 全的标准化。集成每个不同的服务又产生了新的问题，现描述如下： 查询理想情况下，这会给读者带来虚拟d b s 的一个单一集成的计划同时接 受来自于它的查询。一个编译器将会决定如何分解跨组的d b s 查询，然后将予查 询的结果又结合起来。主要的关系d b m s 产品已经提供了“星级”工具来部署这 个分布式查询中间件。网格应用确实是引入了它们需要满足的新的要求，包括超 高件能的潜在要求，比如跨多个大数据集的分布式查询需要大的结合点。这些结 合点受益于跨i f 算资源的并行计算。如果必须集成异构的d b s 到虚拟d b m s 中， 则土要的问题就产生了。比如集成一组关系d b s 或者一组对象d b s 都是可能的， 但要将二者都集成到虚拟d b m s 中就产生了大问题。正如上面叙述的，这是目前 公共数据库研究的主题，研究工作的结果对网格应用将会有重大意义。 ， 事务处理分布式事务处理系统将得到很深的理解和应用，比如o m g 开放事 务处理服务。此外，当异构d b s 联合时，问题就出现了，比如，如果试图集成一 个d b s ，但它却不同于其他d b s 会暴露到事务处理界面，或者当需要嵌套事务处 珊h , j ，d b s 却并不支持。 大量负载通过中间件解决这个问题是不困难的。中间件获得负载文件后， 把它分成r 扛独的文什 给每个d b s ，并用每个d b m 的大负载服务求史现负载。 通告客户端将会在虚拟d b s 中纪录一条关注信息。中间件会跨d b s 管理通 告操作的分配：注册，过滤和通知。 元数据它描述的是虚拟d b s 提供的一组服务 调度这将为虚拟d b s 提供一个通用的调度接口。当可以获得适合网格的分 布式调度中间件时，执行服务的联合将会相对简单( 尽管，如上所述，控制单个 d b m s 的调度将是一个主要的问题) 。 1 4 亡西占兰鲰堂垃丝毫基壬且丞塑动的圆揸笪邃鳘理攫型鳆硒豇 计费这将为整个虚拟d b s 提供联合的计费服务。由于网格计费服务将要支 持分布式的组件，一旦能获得网格计赞中间件，这个服务的实现将会很简单。 导航对支持语言绑定的对象数据库来说，这个服务将会允许客户端程序从 m 拟i j j j b - f 的仃似肘象d 1 3 b 绑定i d 对象。 m e t 3 d a t a q u e r y t r a n s a c t t o r t n o l l t c a t j c t r l b u l kl o a d m g s c h c d u l l t l g a c c o u l l t l t l g n a v 胃a b o t r z ： 倒3 - 3 网格e 的虚拟数据库系统 f i g u r e3 - 3v i r t u a ld b so i lt h eg r i d 另一个能在这个级别提供的有用服务就是复制。它在存储器请求代理中提供 给基于文件的数据，中间件能创建一个副本，并让它与源数据保持一致。应用程 序能选择最近的、最远的或最便宜的数据副本。当有数据更新时，应用程序可以 选择并发拧制策略。由于在一致性和费用之间存在一个平衡，不同应用有不同的 一致忖要求。一些数据库提供商己实现这种服务。 如雨所述，为减少异构性，如果将每个d b $ 都隐藏于服务界面，则我们有可 能使用t 具束解决自动创建一个虚拟d b s 的问题。对每一项服务，酋先查询的就 是铒个“实际”d i _ 5 , 5 的儿数据服务以确定支持的功能。知道集成l i 】川佴能为服务 提供的内容，以及中间件为优先服务所具备的条件，这工具就能决定联合的选择 权。如果有多项选择，则可以选择其中之一( 可能考虑应用程序或者用户的偏好) 。 如果没有选择，则应用程序或用户将会被告知服务没有集成的可能。在这种情况 下，没有选择权使用此项服务，或者写新的联合中间件来实现集成，如果有可能。 图3 3 所示，服务联合中间件的复杂性会随服务的不同而各异。同时，一般 情况下，复杂性会随被联合的服务的异构性的增加而增加。对同样的d b m s 的两 5口瘩oj5 8霍粤18嚣 亡疆点生砸堂位迨塞基壬尽丞墅动的旦撩资煎筻堡攫型趋班噩 个数据库的查询服务的联合将会比柬自于不同范式的两个d b m s 的查询服务的联 台要简币的多。在一些情况下，联合是不可能的，所以应用程序必须单独与每一 个d b s 的要素交互，如同联合为一个单独的虚拟d b s 。然而，我们相信用基于服 务的方泉水联合服务将会为f 】益友胜的成组以合中间f l 提供一个框架。最初，专 汀丁服务联合的最基本的要求形式足很明智的。一个明显的首选就是跨关系数据 j 的盔询集成。然而随着发展，就会发现应用程序需要其他类型的联合。当这样 的事情出现的时候，就指望这里的解决方