（计算机应用技术专业论文）网格环境下资源发现机制的研究(2).pdf

中国科学技术大学硕士论文 摘要 摘要 网格计算系统是将地理上分布、系统异构、性能各异的各种资源，通过高速 互连网络连接起来形成的广域范围的无缝集成和协同计算环境。网格计算技术的 出现，使得我们可以突破地理位置和传统协作方式的限制，更加广泛的共享各种 资源，解决更加复杂的计算问题。 网格内的资源在地理上分布极广、类型异构、数量巨大、动态变化，并且具 有多管理域、站点自治、通信延迟较大等特点，这就使得网格计算环境比一般网 络计算环境更为复杂。上述特点使得网格环境中的资源发现更加困难，如何快速、 准确的进行资源发现，是关系到网格计算性能的关键因素之一。为此，本文提出 了一种分层网格资源发现机制，建立了相应的模型及算法，并对其性能进彳亍了理 论分析及模拟实验。本文的主要工作如下： ( 1 ) 分析了现有网格资源发现机制的特点，以及良好的网格资源发现机制需 要具有的特征。 ( 2 ) 结合现有的网格资源发现机制及p 2 p 分布式资源发现机制的特点，按照 虚拟组织( v i r t u a lo r g a n i z a t i o n ) 机构( i n s t i t u t i o n ) 资源( r e s o u r c e ) 这 三个层次，建立了分层网格模型。 ( 3 ) 在此网格模型上，提出了在v o 内部及v o 之间这两层上的信息共享机制； 基于g o s s i p 算法，提出了这两层上的分布式消息扩散机制，对其可扩展性进行 了分析，并给出了轻量级的对丢失消息的检测一恢复协议：提出了适于该模型的 分层查询机制。 ( 4 ) 利用g o s s i p 算法的理论分析，分析了分层g o s s i p 算法中结点的扩散消息 负载；分析了分层网格资源发现机制所具有的小世界特征；分析了在本文机制下， 资源查找成功率与逻辑跳数之间的关系。 ( 5 ) 搭建了模拟实验环境，通过模拟实验，分析了该资源发现机制几个方面 的性能，实验表明，该资源发现机制的查询应答率较高，消息扩散的开销较小， 具有良好的性能。 关键词：网格资源发现虚拟组织消息扩散小世界 ! 旦型兰垫查查堂堡笙苎 垒坐塑生 a b s t r a c t g r i dc o m p u t i n g s y s t e mi sa ni n t e g r a t e dc o o p e r a t i v ec o m p u t i n ge n v i r o n m e n tt h a t i sc o m p o s e do f g e o g r a p h i c a l l yd i s t r i b u t e dh e t e r o g e n e o u sr e s o u r c e s g r i dc o m p u t i n g b r e a k st h r o u g ht h el o c a t i o no fg e o g r a p h ya n dt h em e a n so ft r a d i t i o n a lc o o p e r a t i o n w ew o u l ds h a r ev a r i o u sr e s o u r c e sm o r e w i d e l y a n ds o l v em o r e c o m p l i c a t e d p r o b l e m s t h eg r i de n v i r o n m e n ti sm o r ec o m p l e xt h a nt h eg e n e r a lo n e s ，a sr e s o u r c e sa r e g e o g r a p h i c a l l yd i s t r i b u t e d ，h e t e r o g e n e o u s ，d y n a m i c ，a u t o n o m o u s ，a n do w n e db y d i f f e r e n ti n d i v i d u a l so ro r g a n i z a t i o n s t h i sm a k e sr e s o u r c ed i s c o v e r ym o r ed i f f i c u l ti n g r i d e n v i r o n m e n t d i s c o v e r i n gn e e d e d r e s o n r c e q u i c k l ya n da c c u r a t e l y i sak e y p r o b l e mf o rt h ep e r f o r m a n c eo f g r i dc o m p u t i n g t h i sp a p e rp r o p o s e sah i e r a r c h i c a l g r i d r e s o u r c e d i s c o v e r ym e c h a n i s m ，b u i l d st h em o d e la n da l g o r i t h m s ，a n a l y s e s i t s p e r f o r m a n c et h e o r e t i c a l l y , a n dh a ss o m es i m u l a t i o n s t h em a i nw o r ko ft h i sp a p e r i n c l u d e st h ef o l l o w i n g a s p e c t s ： ( 1 ) w es u m m a r i z e st h em a j o rg r i dr e s o u r c ed i s c o v e r ym e c h a n i s m ，m a da n a l y s e s t h ec h a r a c t e r st h a ta g o o dg r i dr e s o u r c ed i s c o v e r y m e c h a n i s ms h o u l dh a v e ( 2 )b a s e do nt h ee x i s t i n g 鲥da n dp 2 pr e s o u r c ed i s c o v e r ym e c h a n i s m ，w eb u i l d ah i e r a r c h i c a l g r i d m o d e lw i t ht h r e e l a y e r s ，w h i c h i s c o m p o s e d o fv i r t u a l o r g a n i z a t i o n s ，i n s t i t u t i o n sa n d r e s o u r c e s ( 3 ) w e p r o p o s e a ni n f o r m a t i o n s h a r i n gp r o t o c o l o nt w o l a y e r s ，w h i c h i s c o m p o s e do f t h ep r o t o c o lw i t h i nv oa n dt h eo n eb e t w e e nd i f f e r e n tv o s w ed e s i g n t h em e s s a g ed i s s e m i n a t i o np r o t o c o lb a s e do ng o s s i pa l g o r i t h mo nt h et w ol a y e r s ， a n a l y z e i t ss c a l a b i l i t y , a n dd e s c r i b eav e r yl i g h t w e i g h td e t e c t i o na n dr e c o v e r yp r o t o c o l t oc o p ew i t hm i s s i n gm e s s a g e s i na d d i t i o n ，w eg i v ear e s o u r c eq u e r ym e c h a n i s mf o r t h i sm o d e l ( 4 ) w ea n a l y z eo u rr e s o u r c ed i s c o v e r ym e c h a n i s m sp e r f o r m a n c et h e o r e t i c a l l y , w h i c hi n c l u d e st h eo v e r h e a do fm e s s a g ed i s s e m i n a t i o n , t h es m a l l w o r l dc h a r a c t e ro f o u rm e c h a n i s m ，a n dt h er e l a t i o nb e t w e e nt h ep r o b a b i l i t yo fs u c c e s so ff i n d i n gt h e r e s o u r c e sa n dt h el o g i c a lj u m p i n gh o p si nt h eg r i dn e t w o r k ( 5 )w e d e s i g nas i m u l a t o rt oe v a l u a t et h ep e r f o r m a n c eo f 0 1 1 1 m e c h a n i s m t h e s i m u l a t i o n sr e s u l t ss h o wt h a tt h er a t eo fa n s w e r e dr e q u e s t si sl a r g e ，a n dt h eo v e r h e a d i i 中国科学技术大学硕士论文 o f m e s s a g e d i s s e m i n a t i o ni sr e a s o n a b l y l o w , s oi th a sg o o dp e r f o r m a n c e k e y w o r d s ：g r i d ；r e s o u r c ed i s c o v e r y ；v i r t u a lo r g a n i z a t i o n ；m e s s a g ed i s s e m i n a t i o n ； s m a l l 一b r l d 中国科学技术大学硕士论文 绪论 1 1 网格计算介绍 第一章绪论 随着i n t e r n e t 的广泛应用，人类能够广泛地共享各种信息，同时对广泛地 共享各种资源的需求也日益强烈，人类的应用需求正迅速朝着高性能、多样性、 多功能的方向发展。许多超大规模的科学计算等应用，已经不能由单台高性能计 算机或者单一的计算机机群来解决，这就需要由多种机器组成、多个系统合作、 多个科学仪器设备相连的网络虚拟超级计算机。 网格( g r i d ) 【1 1 技术正是在这样的背景下诞生的，它将地理上分布、系统异 构、性能各异的各种高性能计算机、数据服务器、大型检索存储系统和可视化、 虚拟现实系统等，通过高速网络连接起来，形成对用户相对透明的、虚拟的高性 能计算环境，共同解决此类大型应用问题。网格技术利用网络上的大量计算资源、 丰富的开发工具、友好的人机界面和各种不同性能及功能的信息系统，进行并行 与分布式计算，解决诸如气象学、生物学、水利学、材料、流体力学、工程、宇 宙、环境和核模拟等重大科学应用领域的计算问题。 1 1 1 网格计算的定义及分类 网格计算最初也被称为元计算( m e t a c o m p u t i n g ) 1 2 ，它的概念最早出现于 1 9 9 5 年的i w a y 项目口】中，到目前为止，学术界对于网格和网格计算的定义一真 存在分歧，没有一个能够被普遍接受的定义。 i a nf o s t e r 等人在网格和网格计算理论方面做出了巨大贡献，他们认为：网 格就是在缺少中央控制、全局信息以及严格信任关系的情况下能够协同使用地理 分布的各种资源( e n a b l i n g t h ec o o r d i n a t e du s eo f g e o g r a p h i c a l l yd i s t r i b u t e dr e s o u r c e i nt h ea b s e n c eo f c e n t r a lc o n t r o l ，o m n i s c i e n c e ，s t r o n gt r u s tr e l a t i o n s h i p s ) 。 此外，还有其他一些对网格和网格计算的定义1 5 】： 网格就是下一代的i n t e r n e t 。 网格计算就是在动态变化的、拥有多个部门或团体的复杂虚拟组织内， 灵活安全的协同资源共享与问题求解。 中国科学技术大学硕士论文 绪论 网格就是方便资源管理，有效支持广域分布的、多领域的科学与工程问 题解决的中间件系统。 网格是建造分布式科学计算环境的一种一体化的集成方法，这环境包 括计算、数据管理、科学仪器以及人类的协作。 网格是一种无缝集成的计算与协作环境。 网格是基于硬件支持的各种服务和功能的提供者，可以提供以前不能得 到的特有功能，而且是无法通过其它方式得到的。 上面各个定义，是从不同的角度和侧重点给出的，从某个方面反映了网格和 网格计算的特点。 参考上述各种网格和网格计算的定义，并将i a nf o r s t e r 等人的观点具体化， 可以得到如下的网格定义： 将地理上分布、系统异构、性能各异的高性能计算机、计算机机群、大型服 务器、大型检索存储系统、贵重科研设备、大型通信设备和可视化、虚拟现实系 统等，通过高速互连网络连接起来，形成一个广域范围的无缝集成和协同计算环 境，就是网格计算系统( g r i dc o m p u t i n gs y s t e m ) ，简称网格。 根据求解问题特点的不同，可以将网格分为若干种类。一般而言，将网格分 为三大类：计算网格( c o m p u t a t i o n a lg r i d ) 1 ，4 】、数据网格( d a t ag r i d ) 1 6 , 7 1 和服务网格( s e r v i c eg r i d ) 8 1 。计算网格主要用于解决科学和工程计算问题； 数据网格主要处理数据密集型问题；服务网格主要提供各种服务。 计算网格是一个能够提供可依赖的、一致的、普遍的和廉价的高端计算 能力的硬件和软件底层，有着更高的计算能力，可以被进一步分为分布 式超级计算( d i s t r i b u t e ds u p e r c o m p u t i n g ) 和高吞吐量( h i g h t h r o u g h p u t ) 计算两类。分布式超级计算网格在多个机器上执行并行应用以减少一个 工作( j o b ) 的执行时阎，一般是有巨大挑战的问题( k i l l e r a p p l i c a t i o n s ) ； 高吞吐量网格增加实时到达的任务流的完成率。 数据网格是用来提供从多个广域分布的数据源合成新的信息底层的系 统，典型的应用包括从多个信息源得到相关信息的数据挖掘以及处理分 布数据的各种物理高能实验。 服务网格提供单机所不能提供的各种服务，可以细分为需求( o nd e m a n d ) 中国科学技术大学烦十论文 绪论 网格、合作( c o l l a b o r a t i v e ) 网格和多媒体( m u l t i m e d i a ) 网格。需求网 格动态地收集不同的资源提供新的服务，这些应用往往更重视性价比而 不是单单追求绝对的性能，资源需求是动态的；合作网格将用户和应用 连接在合作的工作组里，通过一个虚拟空间提供用户和应用间的实时交 互：一个多媒体网格提供广域实时多媒体应用的底层，因此需要支持跨 越多个不同机器的服务质量( q o s ) 。 此外，还提出了信息网格( i n f o r m a t i o ng r i d ) 1 9 。、知识网格( k n o w l e d g eg r i d ) 1 1 0 、商业网格( c o m m e r c i a lg r i d ) 1 1 1 、行业网格( i n d u s t r yg r i d ) 、军事 网格( m i l i t a r yg r i d ) 1 朋、政府网格( g o v e r n m e n tg r i d ) 1 , 4 1 和教育网格( e d u c a t i o n g r i d ) j 等概念。 1 1 2 网格计算的意义 网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、 大型数据库、传感器、远程设备等融为一体，使得我们可以更广泛的共享各种资 源，这就为科技人员和普通老百姓提供了更多的资源、功能和交互性。同时，网 络技术的发展，商业计算机也提供了很好的性价比，已走入了千家万户，我们现 在能够将众多廉价的计算机通过高速互联组织在一起执行分布式计算，这就使得 各种高性能的局域和广域网变得越来越低廉。互联网主要为人们提供电子邮件、 网页浏览等通信功能，而网格功能则更多更强，能让人们透明地使用计算、存储 等其他资源。 网格的根本特征是资源共享，消除资源孤岛，它的规模并不是主要因素。网 格的共享与以往所说的共享已有很大不同，更具目的性。目的性体现在它已经不 再是简单的资源互连和单一使用，而是通过互连、组合、协作解决用户需要解决 的问题，产生具有附加值的新服务、数据、信息等资源，满足用户的新需求。 1 2 网格环境下资源管理及资源发现的概念 1 2 1 网格内的资源 资源是可以在一段时间内使用的可更新或不可更新的东西。资源是共享的或 中国科学技术大学硕十论文绪论 独占的，它们的所有者可能向其他使用资源的人收费。资源可以被清晰地定义， 或者用参数描述。 网格中常用的资源包括：处理能力、存储系统、目录、网格资源、分布式文 件系统、分布式计算机池、计算机集群等。网格的资源还包括：服务、应用软件、 数据、信息、知识以及天文望远镜、雷达、家用电器等设备和仪器，等等。 在网格环境下，资源具有异构、分布、动态的特点：资源的地理分布极广， 资源类型异构、数量巨大，资源是动态变化的。网格系统的目标就是使得资源具 有面向用户和透明性的特点，用户可以在不考虑资源物理位置的情况下，方便的 使用资源。 1 2 2 网格环境下的资源管理 资源管理系统是计算机系统不可缺少的组成部分，分布式网络的资源管理系 统应该能够调度和控制网络计算系统环境下的所有元素来满足网络应用的各种 需求。一个“好”的资源管理结构模型能够和系统中的其它构件相互协作，具有 良好的可扩展性等等。 目前能够在网格环境下采用的资源管理结构模型包括【1 3 ，1 4 ，1 5 】： 1 分层模型( h i e r a r c h i c a lm o d e l ) ： 分层模型是现在多数网格项目中采用的体系结构模型，这种模型中包括调度 器、信息服务器、域控制器、监控器、作业控制器等网格服务部件，这些部件在 资源分配、发现、和调度过程中相互协调来完成用户提交的作业。 2 抽象所有者模型( a b s t r a c t o w n e r m o d e l ) ： 在抽象拥有者模型中，用户希望存在一个拥有全部网格资源的抽象实体，用 户只需要同这个抽象所有者协商就可以使用资源。抽象所有者模型在资源共享过 程中遵循定购和交货模式。 3 计算市场( 经济) 模型( c o m p u t a t i o n a lm a r k e t e c o n o m ym o d e l ) ： 市场经济模型在资源发现和调度过程中遵从市场经济模式，将用户对资源的 购买报价与各个资源所有者的服务报价进行匹配，它融合了以上两种模型的设计 思想，可以很好地兼容现有网格系统。 4 混合模型。 中国科学技术大学硕士论文 绪论 现实中的网格系统在演化的过程中往往是融合了多种思想以后变成了混合 模型。混合模型将会成为未来网格系统的体系模型。 各种资源管理系统模型提示了网格资源管理系统应该具有的功能和应该提 供的服务接口形式，但是一般并不对资源管理系统的体系结构和构建形式提出特 别要求。 1 2 3 网格环境下的资源发现 网格系统本质上是一个基础设施，它允许位置无关的资源和服务的获取，这 些资源和服务是由地理上分布的机器和网络提供的。支持这种位置无关计算的一 个基本操作就是资源发现。 资源发现的定义：给定一个预想的资源描述，一个资源发现机制将返回一组 与描述相匹配的资源。 与w e b 等传统分布式系统中通过u r i 等方式定位资源不同，网格资源发现机制 是更复杂的资源发现机制，它不仅应考虑资源的位置信息，而且应考虑资源的属 性等语义信息。 1 3 网格资源发现的研究意义及目标 资源发现机制是关系到广域分布式环境中资源共享和协同工作效率的关键， 在计算网格、w e b 服务和p 2 p 技术中，都需要对这个问题进行深入研究。 传统的机群系统中，资源的分布比较集中，因而可以迅速、准确地定位到所 需的资源，资源的查找操作对计算性能的影响很小。而在网格环境下，情况则不 同。 作为一种广域的大规模分布式环境，网格资源有以下特点：资源的地理分布 极广，资源之间、资源和客户以及客户之间往往通过广域网( 如i n t e r n e t ) 连接； 现有i n t e r n e t 存在的带宽和延迟限制以及网络的不可靠性；资源类型和数量巨 大，而且要求一定程度的协同工作；资源是动态变化的，包括资源属性的变化， 以及在网格内的复制和迁移等；资源工作在异构平台上，并且由不同的管理策略 控制。上述网格环境的特点，使得及时、准确地掌握资源信息和迅速地找到所需 资源，变得相当有难度，这就使得资源发现机制的效率对网格计算的性能有极大 中国科学技术大学硕士论文 绪论 影响，网格资源发现机制的研究工作具有相当重要的意义。 在这样的环境中，需要有一种不依赖集中控制的、分布式、可扩展、能适应 资源动态变化并且定位性能好的资源发现机制。这样的资源发现机制，能够很好 的适应网格环境的特征，迅速准确地发现所需资源信息，从而大大提高网格计算 的性能。这样的网格资源发现机制，正是国内外网格研究领域的热点，也是我们 研究的目标。 1 4 论文的主要内容和组织结构 1 4 1 论文的主要内容 本文针对网格环境的特点，我们将网格中的资源组织为虚拟组织( v i r t u a l o r g a n i z a t i o n ) 机构( i n s t i t u t i o n ) 资源( r e s o u r c e ) 三个层次【4 1 “， 建立了一种分层网格模型，按照服务属性，对网格进行逻辑划分：基于该分层模 型，在传统的g o s s i p 消息扩散协议 1 7 , 1 8 1 的基础上，提出了分层信息共享、消息 扩散机制及资源查询机制；对该分层网格资源发现机制中的g o s s i p 算法扩散消 息负载、该模型的小世界特征、以及资源查找成功率与逻辑跳数之间的关系进行 了分析探讨；通过模拟实验，分析了该资源发现机制的效率和性能，并与传统的 g o s s i p 机制进行了比较。 1 4 2 论文的组织结构 本文的组织如下： 第二章：介绍了网格资源发现机制的研究现状及目标。 第三章：给出了网格资源发现的分层模型，详细说明了各个层次的组成、功 能等。 第四章：给出了信息共享机制和基于g o s s i p 协议的消息扩散机制，以及该 网格模型下的资源查询机制，详细说明了相关协议、算法和运行机制。 第五章：对该分层网格资源发现机制中的g o s s i p 算法性能进行了分析，并 对该模型的小世界特征进行了分析探讨，另外分析了资源查找成功率与逻辑跳数 之间的关系。 中国科学技术大学硕士论文 绪论 价。 第六章：通过模拟实验，对该网格资源发现机制的各方面性能进行了比较评 第七章：对全文进行了总结，并指出了下一步的工作方向。 中国科学技术大学硕上论文 网格资源发现机制的研究现状 第二章网格资源发现机制的研究现状 本章介绍了现有网格及其他广域分布式系统中主要的资源发现机制及各自 特点：然后提出了良好的资源发现机制所需要具有的特征；接下来讨论了为建立 这样的资源发现机制，国内外学者所进行的相关研究探讨；最后提出了本文所研 究的基于g o s s i p 协议的分层网格资源发现机制。 2 1 现有网格及其他广域分布式系统中的资源发现机制 现有的网格系统以及其他一些广域分布式系统中，采用了不尽相同的资源发 现机制。 当前最典型的网格计算系统是g l o b u s 计算网格，其中的m d s ( m o n i t o r i n ga n d d i s c o v e r ys e r v i c e ) 【1 9 1 是最有代表性的网格信息服务系统，它利用v o 作为管理 网格资源与服务的基本单位，将网格内的资源及服务组织为诸多v o ，每一级目 录的建立对应于一个虚拟组织，利用基于l d a p 的层次树状元数据目录服务机制， 来组织和管理资源信息，这是一种集中式的信息管理系统。 c o n d o r | 2 0 1 项目中的m a t c h m a k e r ，不依赖于全局资源命名，而是根据属性匹 配，实现了一种集中式的资源共享系统【2 l l 。 s g n p 2 2 1 和g l o b e 2 3 1 给出了基于位置无关标识符( o e a t i o ni n d e p e n d e n t i d e n t i f i e r ) 和定位服务( o c a t i n gs e r v i c e ) 的资源定位方法。 u d d i 2 4 l 是w e b 服务中信息注册的标准规范，为了规范化服务类型，它对w e b 服务实体进行基于标准分类法的分类，实现了集中式的服务实体的统一描述、注 册和查询1 。 在p 2 p 环境中，常采用这样一类分布式的资源定位方法：每个结点保存一部 分资源信息，即存储整个资源i d 空间的一个子空间，并负责落在本子空间内的 资源i d 到其物理位置的映射 2 6 , 2 7 】；结点之间通过特定协议，如g o s s i p 协议”7 1 1 ”等， 维护、更新信息并转发查询请求，这是一种完全分布式的机制，典型的代表有 p a s t r y 2 8 l 等。 在分布式文件系统中( 如g n u t e l l a ”l ，f r e e n e t 【3 0 1 ) 中，对于分布式数据的性 能、可用性和动态性进行了很好的研究。这些系统通过各自的消息扩散方式、不 r 中国科学技术大学硕士论文 网格资源发现机制的研究现状 同的请求向前发送策略和文件复制机制，在动态网络里发现资源j 。g n u t e l l a 协议中的p i n g 和p o n g 机制，使其具备了典型的小世界网络特征【3 2 】。 现有的网格资源发现机制，通常是采用集中式信息管理系统，这固然便于资 源的管理与维护，但对于大规模的网格环境，则容易造成性能瓶颈，而且可扩展 性较差，不适应网格动态变化的特性。m d s 等网格信息服务系统，通过构建层次 状目录服务器来完成资源的组织p 3 】，但仍缺乏有效、易扩展的分布式目录服务器 的构建、维护方法，而且目录服务器层次的搭建是通过配置文件来完成的，不易 动态地调整结构。p 2 p 环境下的资源发现机制，如g o s s i p 协议等，实现了完全 分布式的资源信息维护、更新机制，然而消息扩散的负荷较大，某些情况下扩散 范围很有限，影响查询效率，而且当环境规模大于定程度时，传统的g o s s i p 算法以及其他分布式算法的失败率较高【1 7 l 。 2 2 网格资源发现机制的目标 在网格环境下，资源发现面临着如下挑战：资源和用户的地理分布极广，数 量巨大，可能几百万个甚至更多；资源类型和用户请求是异构的；资源是动态变 化的，虚拟组织( v o ) 也随时间的发展而变化，比如组织成员的加入和离开( 伴 随着资源和用户的增删) 、成员可享用资源的改变等等；现有i n t e r n e l 存在带宽 和延迟方面的限制，以及网络的不可靠性，等等。这种种现实，使得网格资源发 现机制的效率对网格计算的性能有极大的影响，而现有的很多网格资源发现机 制，并不能很好的适应网格环境的上述特征，满足网格资源发现的性能要求。 在网格环境下，需要一种分布式、适应资源动态特性、易扩展、性能好的资 源发现机制。可以认为良好的资源发现机制需要具有以下特征：可在较小的开销 下取得满意的资源定位性能，并具有网格环境下的可扩展性；能够适应网格资源 动态变化的特性；能够解决资源发现过程中的负载平衡问题；可支持多种网格资 源与应用。 2 3 国内外的研究探讨 为建立分布式、易扩展、性能好的资源发现机制，国内外学者已进行了相关 研究探讨。 中国科学技术大学硕士论文 刚格资源发现机制的研究现状 文献 1 9 中使用v o 作为管理网格资源及服务的基本单位；高度分布的信息 提供者( i n f o r m a t i o np r o v i d e r ) 和专门的聚集目录服务( a g g r e g a t ed i r e c t o r y s e r v i c e ) 这两个基本实体，构成了基本网格管理架构：网格信息协议( g r i d i n f o r m a t i o np r o t o c 0 1 ) 和网格注册协议( g r i d r e g i s t r a t i o np r o t o c 0 1 ) 这两个基本协 议，实现了软状态( s o f t s t a t e ) 机制【3 4 1 的信息注册与更新。 文献 3 5 中提出了将网格目录服务器组织为分布式、平坦( f l a t ) 、动念网 络的机制，并对四种不同的查询请求转发策略的性能进行了分析比较。 文献 1 8 中利用g o s s i p 机制，构建了分布式的网格模型，在各个网格结点 之间进行信息交换，并讨论了在保持全局图连通性的情况下，降低结点缓存信息 数量的问题。 文献 3 6 中针对分布着大量不同类型的动态服务的网格环境，为了更有效地 定位不同属性的服务，提出了一种网格服务定位机制。根据v o 来对网格中的服务 进行划分，按照用户对服务的需求和共享目的作为虚拟组织划分的原则，对虚拟 组织提供了属性描述文件，使用户有同时查询服务信息和虚拟组织属性信息的能 力。提出了适用于该模型定位服务的改进的消息扩散算法，并以小世界( t h e s m a l 卜w o r l d ) 3 7 1 模型为理论依据，对算法的性能和效率进行了分析。 另外，还有一些研究工作利用移动代理等来实现网格中的资源发现1 3 8 , 3 9 。 2 4 基于g o s s i p 协议的分层网格资源发现机制 结合现有的网格资源发现机制及p 2 p 分布式资源发现机制的特点，在国内外 学者研究的基础上，根据网格环境的特点，本文按照虚拟组织机构资源 这三个层次，建立了分层网格模型，并以g o s s i p 协议为基础，建立了虚拟组织内 部以及虚拟组织之间两个层次上的信息共享和消息扩散机制，并给出了适于该资 源发现模型的资源查询机制。这种网格资源模型，符合网格环境分布式的特点， 便于资源的动态加入与退出，扩展性好；改进后的分层g o s s i p 机制，消息扩散 的负荷减小，扩散范围增大，而且由于将大规模结点在逻辑上划分为了多个小区 域，降低了消息扩散的失败率，从而可以及时有效地更新在各分布式信息服务器 中存储的异地资源信息，提高资源查询的效率和性能。 1 0 中国科学技术大学硕十论文 网格资源发现机制的研究现状 2 5 小结 在网格环境下如何迅速有效地发现所需要的资源服务，是影响网格环境中资 源共享和协同工作效率的关键因素之一。由于资源数量巨大、在广域上分布、本 质上异构、由不同的个人或组织拥有、有不同的存取和花费模式、负载和可用性 动态变化等特性，使得网格环境下的资源发现相当得复杂和具有挑战性。 本章首先介绍了现有网格及其他广域分布式系统中主要的资源发现机制及 各自特点；然后提出了良好的资源发现机制所需要具有的特征；接下来讨论了为 建立这样的资源发现机制，国内外学者所进行的相关研究探讨；最后提出了本文 所研究的基于g o s s i p 协议的分层网格资源发现机制。 中国科学技术大学硕士论文 网格资源发现机制的分层模型 第三章网格资源发现机制的分层模型 根据网格环境的特点，结合现有网格及p 2 p 环境下资源发现机制的特点，本 章给出了网格资源发现机制的分层模型，将网格中的各种资源、服务及用户组织 为虚拟组织机构资源这三个层次，并给出了机构内的分层模型及其相应 的资源注册、更新、查询协议，另外还介绍了虚拟组织的组建与管理。 3 1 网格环境内的各种资源 网格中的资源多种多样，常用的资源包括：处理能力、存储系统、目录、网 格资源、分布式文件系统、分布式计算机池、计算机集群等。网格的资源还包括： 服务、应用软件、数据、信息、知识以及天文望远镜、雷达、家用电器等设备和 仪器，等等。在网格环境下，资源具有异构、分布、动态的特点：资源的地理分 布极f 。，资源类型异构、数量巨大，资源是动态变化的。 3 2 三个层次的网格资源发现模型 网格环境下的资源分散在各个不同地域和管理域中，由不同的组织拥有和操 作，并且在使用策略和安全机制上也各不相同，在网格资源发现模型中，必须考 虑到网格环境的这种特性。针对网格环境的特点，本文建立了一种分层模型，将 网格中的各种资源、服务及用户，组织为三个层次。 最底层是各种资源、服务及用户；上面一层是机构，低层的资源、服务及用 户在物理上或在管理策略上属于这些机构；最上面一层是虚拟组织v o ，若干个 机构根据它们所提供的资源和服务的类型及属性，加入具有相似属性的v o 。同 一v o 内的各个机构之间，以及v o 之间，都是平坦的关系，它们互相之间通过 网络联系在一起。总体系统结构如图3 - 1 所示，图中用机构内的顶级信息服务器 i s ( i n f o r m a t i o ns e r v i c e ) 来代表该机构。下面对这三个层次分别进行介绍。 3 2 1 资源、服务及用户 网格资源发现模型的最底层，是各种资源、服务及用户，它们是网格环境中 1 2 中国科学技术大学硕士论文 网格贽源发现机制的分层模型 基本的实体要素。网格环境中的资源数量巨大、种类异构、而且动态变化：网格 中的各种资源，不是各种各样原始的物理资源，而是封装成服务的形式提供给外 部的；网格中的用户则分布在网格之中，用户对于资源的需求不近相同，但某些 用户的需求之间存在一定的相似性。 3 2 2 机构 v 0 3v 0 4 图3 1 网格资源发现分层模型 网格环境下的资源分散在各个不同地域和管理域中，由不同的组织拥有和操 作，并且在使用策略和安全机制上也各不相同。这样的物理上实际存在的管理域， 就是机构( i n s t i t u t i o n ) ，资源、服务及用户在物理上或在管理策略上属于这些机 构，机构的构成是比较稳定、不轻易变化的。机构中往往有一个或多个管理结点， 采用某种特定的管理策略，对整个机构中的所有资源进行集中式或半集中式的管 理，机构中的所有资源，都要服从此种管理策略的管理。 3 2 3 虚拟组织 在网格架构下，一个实际的问题是的资源之间的协调共享，以及在动态、异 构的虚拟组织上协同地解决问题。这种共享需要高度的可控性，在资源的提供者 和使用者之间必须按照某种策略，来明确的定义清楚共享什么资源，允许谁使用， 中国科学技术大学硕士论文 网格资源发现机制的分层模型 什么情况下才共享资源，等等。使用这些安全的、协同的共享策略的个人或者团 体组成的动态集合，称为虚拟组织1 4 。换句话说，虚拟组织是由遵守资源共享规 则的一组个体、机构组成。 虚拟组织的概念是从管理网格服务的角度提出的。在网格应用中，网格中每 个虚拟组织的建立都有其特定的需求和目的，在很多情况下，虚拟组织管理的服 务可以理解为地理位置分布、逻辑位置相邻、属性相似的服务集合。而虚拟组织 的属性就体现了这种相似性，因此有必要描述虚拟组织的属性。当网格中有新的 参与者加入时，要根据它所提供的服务属性，将其加入到有相似属性的虚拟组织 中。这样就可以将相似的网格服务加入到相似的若干虚拟组织内，为相似的网格 服务提供相似的逻辑管理策略，实现服务类型的划分。 虚拟组织的典型例子有：应用服务提供商、存储服务提供商、企业及企业所 采用的应用所构成的系统等。 虚拟组织有动态性和异构性两个特点。虚拟组织的动态性是指组织结构、对 外交互、管理模式及业务模式等是随时间而变化的，比如组织成员的加入和离开 ( 伴随着资源和用户的增删) 、成员可享用资源的改变等等。虚拟组织的异构性 是指各组织在目标、结构、规模、管理运行模式等方面是不同的。 网格应用中，在虚拟组织内资源共享目标和服务需求相近的情况下，可以对 虚拟组织的属性给出类似于w s d l 4 0 1 的服务接口定义和相关规范的描述，该描述称 蔓j v o d l ( v i r t u a lo r g a n i z a t i o nd e s c r i p t i o nl a n g u a g e ) ，它能够反映虚拟组织内部服务 的整体特性，提供虚拟组织的信息服务接口。 3 3 机构内部的分层模型 一个机构的内部，可以包括成千上万个甚至更多的资源、服务和用户，如何 对机构内部的资源进行组织、管理，是关系到机构内部信息共享、发布与查询的 重要问题。显然，不能仅仅依靠一台集中式的服务器来管理所有的资源，这样必 然会造成严重的性能瓶颈；如果采用多台服务器进行管理，那如何进行有效的管 理，也是一个值得研究的问题。g l o b u s 网格中的m d s ，尝试依靠配置文件，将 网格中的信息服务器组织为层次状结构，并提供了相应的资源重命名机制、注册、 缓冲、信息更新以及查询机制【3 3 】。本文的资源发现模型中，对于同一机构内的资 1 4 ! 旦型燮查查兰堡主堡苎 堕堡塑夔垄堡垫型竺坌星堡型 源、服务与用户，也建立了一种树状结构的信息服务器结构，采用这种等级状结 构，来对资源进行管理、信息交换更新以及查询处理。 3 3 1 等级状信息服务器结构 同一机构下的资源、服务及用户，处于同一管理域下。它们向信息服务器( i s ) 中注册，将信息集中到i s 中进行组织管理。信息服务器中实现了聚集目录服务 ( a g g r e g a t ed i r e c t o r y ) 的功能，这些服务可以实现对一组资源的般的视图以 及特殊的视图，并提供了资源搜索功能，从而对资源进行管理、监控和发现。一 个机构中可以有多个信息服务器，其中一个作为机构的顶级信息服务器，其他的 信息服务器，按照一种树状结构，加为顶级信息服务器的予信息服务器，从而构 成一种等级状的信息服务结构。机构内的等级信息服务结构如图3 - 2 所示。 图3 - 2 机构内的等级信息服务结构图 机构内的信息采用集中式或者半集中式管理。顶级信息服务器内存储了注册 到它自身的资源、服务和用户的信息，以及予信息服务器的相关信息。另外，顶 级信息服务器也存储了同一v 0 内的邻居机构的部分资源信息，以用于资源请求 在v 0 内部的转发。在每个信息服务器内，都设有资源匹配引擎，以控制资源请 求匹配策略，并存储资源查询处理的经验，根据匹配策略和查询处理经验，来对 用户的资源查询请求进行妥善处理。顶级信息服务器内的各个逻辑功能模块如图 中周科学技术大学硕士论文 网格资源发现机制的分层模型 3 - 3 所示。 图3 3 顶级信息服务器逻辑功能图 子信息服务器内的逻辑功能模块，除了没有邻居i s 的信息，以及还存储了 父信息服务器的相关信息以外，其他的逻辑功能构成与图3 3 中所示相同。 3 3 2 资源注册、更新、查询协议 为了资源向信息服务器的注册以及信息的更新，模型中采用了软状态 ( s o f t s t a t e ) ( 3 4 1 资源注册协议，用于鉴别信息服务的参与实体，提供者使用此 协议来向高层的信息服务器通知它自身的存在。 这一协议包含了注册、定时更新、超时探测、注销及相应的应答报文，其语 义如下： ( 1 ) 任何资源在加入到网格中的一个机构内时，都需向该机构中的一个信息 服务器发送注册报文。注册被批准后，该资源的相关信息被信息服务器所存储。 ( 2 ) 任何资源结点在运行期间，应定时向其所属信息服务器发送更新报文， 报告所持有的资源信息。 ( 3 ) 若某资源结点在规定时间内，未发出任何更新，则由其所属信息服务器 向该结点发送超时探测报文。若不能获得该结点的响应，则信息服务器认为该结 点出现故障。 中国科学技术大学硕上论文 刚格资源发现机制的分层模型 ( 4 ) 任何资源结点在正常退出网格时，应向其所属信息服务器发送注销报 文。在收到注销报文后，资源的信息将从信息服务器中删除。 该协议用于解决资源网格的生成、扩展和运行时维护的问题，并且保证资源 信息在网格中近似实时地传播，从而较好地适应网格资源动态变化的特点。 上述协议的语义，由以下两种基本协议来实现：信息协议( i n f o r m a t i o n p r o t o c 0 1 ) 、注册协议( r e g i s t r a t i o np r o t o c 0 1 ) 。 信息协议：这是一种p u l l 机制”】。信息服务器使用该协议，从资源处获得相 关的信息。 注册协议：这是一种p u s h 机制9 】。它定义了一种通知机制，一个资源可以 使用这种机制，将它的存在