（计算机软件与理论专业论文）网格系统中分布式资源信息服务的研究与设计.pdf

：萄t ，：亨 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 摘要 网格系统是将地理上分布不同、系统异构、性能各异的各种资源，通过高速 互连网络连接起来形成的广域范围的资源共享和协同计算环境。网格计算技术的 出现，使得我们可以突破地理位置，资源共享和传统协作方式的限制，更加广泛 的共享各种资源，解决更加复杂的计算问题。 网格系统内的资源在地理上分布极广、类型异构、数目巨大、动态变化，并 且具有多管理域、站点自治、通信延迟较大等特点，这就使德网格计算环境比一 般的网络计算环境更为复杂。上述特点也使得网格环境中的资源信息服务的实现 更加困难。如何快速、准确的进行资源和服务的发现，是关系到网格计算性能的 关键因素之一。由于g t 4 ( g l o b u st o o l k i t s4 ) 中的信息服务( m d s ) 采用了层 次式的目录服务，这种模式使得网格系统在健壮性，可扩展性等方面都存在着缺 陷，在我们的网格系统m i c e g 中也充分暴露出了这些缺陷，因此本文结合p 2 p 技术和g t 4 提出一个鼹格系统中韵分布式资源信息服务，克服了以上的缺陷。 在我们使用的p e e r s i m 网络仿真工具的模拟实验中，这种分布式信息服务被证明 具有良好的适应性和健壮性以及扩展性，很好的满足了网格系统对信息服务的需 求。本文主要工作如下； ( 1 ) 分析了现有的网格资源信息服务的特点，以及良好的网格资源信息服务 需要具有的特征 ( 2 ) 分析了g l o b u st o o l k i t s4 工具包及其信息服务m d s ( m o n i t o r i n ga n d d i s c o v e r ys e r v i c e ) 的特点，介绍了一个应用实例系统，数学网络计算环 境( m i c e - g ) ，并分析了m d $ 中存在的一些缺陷。 ( 3 ) 分析了当前主流的p 2 p 分布式资源发现机酃，特剐是s u p e r p e e r 模型， 结合现有网格资源信息服务的机制与p 2 p 分布式资源发现机制的特点，将 p 2 p 技术引入到网格的资源信息服务中。 ( 4 ) 提出了一种基于g t 4 中的资源信息服务与s u p 唧r 模型相结合的分布 式资源信息服务模型。提出了该模型的系统结构以及节点工作模式。 ( 5 ) 搭建了模拟实验环境，通过模拟实验，分析了该资源信息服务在健壮性 和可扩展性方面的性能。 勇- 一，：拿 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 关键词：网格；网格资源信息服务；对等网；g l o b u s 工具包；监控与发现服务： 数学网络计算环境 i l 蒿_ 叶k 害 两格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 a b s t r a c t g r i dc o m p u t i n gs y s t e mi sa ni n t e g r a t e dc o o p e r a t i v ec o m p u t i n ge n v i r o n m e n tt h a t i sc o m p o s e do fg e o g r a p h i c a l l yd i s t r i b u t e dh e t e r o g e n e o u sr e s o u r c 2 g r i dc o m p u t i n g b r e a k st h r o u g ht h el o c a t i o no fg e o g r a p h ya n dt h em e a b so ft r a d i t i o n a lc o o p e r a t i o n w es h o u l ds h a r ev a r i o u sr t ：s o u r c e sm o r ew i d e l ya n ds o l v em o r ec o m p l i c a t e d p r o b l e m s 1 1 g r i de n v i r o n m e n ti sm o r ec o m p l e xt h a nt h eg e n e r a ln e t w o r kc o m p u t i n g e n v i r o n m e n t s ，a sr e s o u r c e sa r eg e o g r a p h i c a l l yd i s t r i b u t e d ，h e t e r o g e n e o u s ，d y n a m i c ， a u t o n o m o u s , a n do w n e db yd i f f e r e n ti n d i v i d u a l so ro r g a n i z a t i o n s r e s o u r c ei n f o r m a t i o ns e r v i c ei sak e yc o m p o n e n tf o rr e g i s t e r i n ga n dd i s c o v e r y i n f o r m a t i o no fr e u r c e sa n ds c t v i c e s i ng r i ds y s t e m s c l a s s i c a la p p r o a c h e st o i m p l e m e n tg r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ( g 融s ) a r ee i t h e rc e n t r a l i z e do r h i e r a r c h i c a la n dw o u l dr e s u l ti np r o b l e m so fs c a l a b i l i t , a n ds i n g l ep o 硫o ff a i l u r ea s t h es c a l eo fg r i ds y s t e m sr a p i d l yi n c r e a s e s n o w a d a y sp e e r - w - p e e r ( p 2 p ) t e c h n i q u e s a n dp r o t o c o l sh a v eb e e nu s e dt oi m p l e m e n ts c a l a b l es e r v i c e sa n da p p l i c a t i o n s t h e s u p e r l x 宅rm o d e li so n eo f p 2 pt e c h n i q u e st h a tc a nb eu s e dt oi m p l e m e n tad i s t r i b u t e d s e r v i c i ng r i d s t oa d d r e s ss c a l a b i l i t ya n dr o b u s t n e s so fg r i dr e s o u r c ei n f o r m a t i o n s e r v i c e , w ep r o p o s e dad i s t r i b u t e dg c s o u r c ei n f o r m a t i o ns e r v i c em o d e lt h a te x t e n d s t h ei n f o r m a t i o ns e r v i c ea r c h i t e c t u r eo fg t 4b a s e do ns u p e r p e e rm o d e l i nt h er 既u l t s o fo u rs i m u l a t i o ne x p e r i m e n t s ，i tc o u l db eo b s e r v e dt h a tt h i sm o d e lh a sh i 。咖 s c a l a b i l i t ya n dr o b u s t n e s s t h em a i nw o r ko ft h i sp a p e ri n c l u d e st h ef o l l o w i n g a s p e c t s ： ( 1 ) w es u m m a r i z et h em a j o rg r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ( g r i s ) ，a n d a n a l y z et h ec h a r a c t e r st h a ta ne f f i c i e n tg r i dl 妇u r c ei n f o r m a t i o ns e r v i c e s h o u l dh a v e w ea n a l y z et h em d si n f o r m a t i o ns e r v i c ei ng t 4 ，a n di n t r o d u c et h e m i c e - gg r i ds y s t e m w ea l s oa n a l y z et h ed e f i c i e n c i e si nm d s m 蔺埘虫害网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 ( 3 ) ( 4 ) ( 5 ) w ea n a l y z et h em a j o rd i s t r i b u t e dr e s o u l ed i s c o v e r ym e c h a n i s m si np 2 p t e c h n i q u e s ，e s p e c i a l l yt h es u p e r p e e rm o d e l b a s e do nt h ee x i s t i n gg r i da n dp 2 pr c s o u r c ed i s c o v e r ym e c h a n i s m , w e p r o p o s e dad i s t r i b u t e dr e s o u r e 2i n f o r m a t i o ns e r v i c em o d e lt h a te x t e n d st h e i n f o r m a t i o ns e r v i c ea r c h i t e c t u r eo f g t 4b a s e do ns u p e r p e e rm o d e l w ee v a l u a t et h ep e r f o r m a n c eo f t h i sm o d e lb yt h ep e e r s i ms i m u l a t o r t h e s i m u l a t i o n sr e s u l t ss h o wt h a t t h i sm o d e lh a sh i g hs e a l a b i l i t ya n d r o b u s t n e s sa n di ta l s oh a sg o o dp e r f o r m a n c e k 呵w o r d s ：g r i d ；g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ( g r i s ) ；p e e rt op e e r 口2 p ) ；g l o b u s t o o l k i t4 ( g t 4 ) ；m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ( m d s ) ；m a t h e m a t i c s i n m e t c o m p u t i n ge n v i r o n m e n t - c n i dv e r s i o n ( m i c e - g ) i v 蔺l r 虫害 阿格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下 独立进行研究所取得的成果。学位论文中凡引用他人已经发表或 未发表的成果、数据、观点等，均已明确注明出处。除文中已经 注明引用的内容外，不包含任何其他个人或集体已经发表或撰写 过的科研成果。对本文的研究成果做出重要贡献的个人和集体， 均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：煎么垂 日期：兰翌1 ：量：垫 ：啕- 一虫害 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产 权归属兰州大学。本人完全了解兰州大学有关保存、使用学位论 文的规定，同意学校保存或向国家有关部门或机构送交论文的纸 质版和电子版，允许论文被查阅和借阅；本人授权兰州大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，可以 采用任何复制手段保存和汇编本学位论文。本人离校后发表、使 用学位论文或与该论文直接相关的学术论文或成果时，第一署名 单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 r 。：j 、 论文储躲吣久丸导师躲心二j 期：舰箩2 , 0 论文作者签名：吣久丸导师签名：l 。l ，：日期：舰箩 两埘幺害 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 1 1 网格计算概述 第一章绪论 随着高性能计算应用需求的迅猛发展，解决一些超大规模应用问题所需要的 计算能力，已不可能在单一的计算机上或单一的计算机机群系统上获得，这就需 要将地理上分布不同、系统异构的各种高性能计算机、数据服务器、大型检索存 储系统和可视化、虚拟现实系统等，通过高速互连网络连接并集成起来，形成对 用户相对透明的虚拟的高性能计算环境，以此来共同解决大型应用的计算问题。 网格( g r i d ) i l j 计算就是在这样的背景下诞生的。网格计算是伴随着互联 网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模 式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”， 其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节 点”组成的“一张网格”，所以这种计算方式叫网格计算。简单地讲，网格是把 整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、 信息资源、知识资源、专家资源的全面共享。 1 1 1 网格计算的定义 网格概念最初是借鉴电力网( e l e c t r i cp o w e r g r i d ) 的概念提出来的【1 1 ，网格 的最终目的是希望用户在使用网格计算能力时，就如同现在使用电力样方便。 但是到目前为止，学术界对于什么是网格和什么是网格计算，还没有一个普遍接 受的定义，关于网格概念的分歧和争议仍然存在。 下面是一些关于网格或者网格计算的定义【2 】： 网格就是下一代的i n t e r n c t 。这一定义强调的是网格的重要性和意义。 网格计算就是在动态变化的、拥有多个部门或者团体的复杂虚拟组织 ( v i r t u a lo r g a n i z a t i o n ) 内，灵活、安全的协同资源共享与问题求解。这 概念强调的是网格是为虚拟组织服务的网格必须具备动态、协同资 源共享的特点。 网格就是方便资源管理，有效支持广域分布的、多领域的科学与工程问 题解决的中间件系统。这一定义强调的是中间件系统在网格中的作用。 ；笥，叶虫害 同格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 网格是建造分布式科学计算环境的一种一体化的集成方法，这一环境包 括计算、数据管理、科学仪器以及人类的协作。这一定义强调的是主要 用于科学计算的网格所应该具备的特点。 网格是一种无缝的、集成的计算与协作环境。这种定义强调的是网格的 集成化特点。 网格是基于硬件支持的各种服务和功能的提供者。 上述各个定义，是从不同的角度和侧重点给出的，它们从某个方面反映了网 格和网格计算的特点。 l a nf o s t e r 等人在网格和网格计算理论方面做出了巨大的贡献，他们给出了 如下的网格定义：将地理上分布不同、系统异构、性能各异的高性能计算机， 计算机集群、大型服务器、大型检索存储系统、贵重科研设备、大型通信设备和 可视化、虚拟现实系统等，通过高速互联网络连接起来，形成了一个广域范围的 无缝集成和协同计算，就是网格计算系统( g r i dc o m p u t i n gs y s t e m ! ) ，简称网 格。 1 1 2 网格计算的意义 网格计算突破了以往强加在各种资源之上的种种限制，使人们可以以一种全 新的更自由、更方便的方式便用资源，解决更复杂的问题嘲。 首先，网格计算解决了计算能力大小的限制：网格所提供的计算能力要远远 超过我们所能想象的程度。对于大多数用户来说，网格提供给他们的计算能力已 足够满足其计算需求。 其次，网格计算解决了对资源的地理位置的限制：由于网格中的资源是地理 上分布不同、系统异构、性能各异的，而且有些资源是稀缺或不可复制的，有些 资源甚至是无法和特定的地理位置分开的，这在很大程度上限制了资源的使用。 而网格对资源的便用和使用者所在地位置以及资源所在地位置的无关突破了在 使用资源时对位置的限制，是网格的具有突出意义的功能。 最后，网格计算打破了传统的共享或协作方面的限制：以前对资源共享往往 停留在数据文件传输的层次，而阀格资源的共享允许对其它的资源进行直接的控 制，而且共享资源的各方在协作时可以以多种方式更广泛地交流信息，充分利用 2 萄，叶，：窖 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 网格提供的各种功能。 1 1 3 网格计算的应用领域 在科学计算领域，网格可以应用在以下几个方面1 1 ，2 1 ： 分布式超级计算：目前，许多的科学与工程计算问题是无法在一台超级 计算机上解决的，因此需要更多的超级计算机一起来完成。网格可以把 分布式的超级计算机集中起来，协同解决复杂的大规模问题。 高吞吐率计算：对于高吞吐率计算，它关心的是以月、年为时间度量单 位完成的计算量。这样的问题可以利用c p u 的空闲周期，将大量空闲 计算机的计算资源集中起来，来处理那些对时间不太敏感的问题。 数据密集型计算：数据密集型问题的求解往往同时会产生很大的通信和 计算需求，这也需要网格能力才可能解决。 在社会经济生活领域，网格可以应用在以下几个方面： 基于广泛信息共享的人与人交互：例如，若每个人都可以在自己的工作 地点，与其它人员在一个虚拟的共享空间中进行交互，共同讨论问题。 这显然会对大家的工作方式产生很大的影响。 更广泛的资源贸易：计算能力闲置的机器，其他资源包括贵重仪器、程 序、数据、信息、文化产品等等都可以在贸易的基础上进行广泛的共享。 网格是一种面向问题和应用的技术。随着网格技术的不断完善和发展，网格 必将可以在更多的领域得到应用，发挥更大的作用。 1 1 4 网格计算的特点 与其它的分布式系统相比较，网格计算有如下的重要特点1 2 1 ： 分布与共享：分布性是网格计算的一个最主要的特点。网格计算的分布性， 首先是指网格的资源是分布的。网格资源虽然是分布的，但是它们却是可以充分 共享的，即网格上的任何资源都可以提供给网格上的任何使用者。分布是网格硬 件在物理上的特征，而共享是在网格软件支持下实现的逻辑上的特征，这两者对 于网格来说都是十分重要的。 自相似性：网格的局部和整体之间存在着一定的相似性，局部往往在许多地 ：篱叶虫害 网格系统中分布式瓷源信息服务的研究与设计兰州大学硕士学位论文 方具有全局的某些特征，而全局的特征在局部也有一定的体现。网格的自相似性 在网格的建造和研究过程中有重要的意义。 动态性与多样性：对于网格系统来说，原来拥有的资源或者功能，在下一时 刻可能就会出现故障或者不可用；而原来没有的资源，可能会不断地加入系统。 网格资源的这种动态变化特点要求网格管理必须充分考虑并解决好这一问题。网 格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机系统和类别 不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资源之间的通 信和互操作问题。 自治性与管理的多重性：网格上的资源，首先是属于某一个组织或者个人的， 资源拥有者有对他的资源自主的管理能力，这就是网格的自治性。但是网格资源 也必须接受网格的统一管理。因此网格的管理具有多重性，一方面它允许网格资 源的拥有者对网格资源具有自主性的管理，另一方面又要求网格资源必须接受网 格的统一管理。 1 2 网格环境下信息服务概述 1 2 1 网格中的信息 网格中的物理资源都经过了虚拟化，隐藏了资源的大部分物理特性，但在资 源的实际使用中，用户还是要知道关于资源物理特性的信息，比如处理器的速度、 内存空间的大小、操作系统的版本等，以便选择合适的资源。在o g s a p ，哪网格 体系结构出现以后，资源是被封装为服务提供给用户，网格系统中的信息服务更 是成为网格信息管理研究的重点。 信息管理系统管理的对象包括网格资源( 或服务) 信息、用户信息、其他信 息。资源信息包括硬件设备信息、软件信息、系统结构信息、应用信息等。用户 信息包括用户账号、用户密码、用户定制信息等。其他信息包括记账信息、日志 信息、公共信息等。网格资源或服务、网格用户加入网格时，就需要向网格中的 资源信息服务注册以上信息。 信息根据其变化频率分为静态信息和动态信息两种。静态信息是指在其有效 生命期内不变化或很少变化的信息，如资源的拥有者名称、网格服务的功能描述、 用户身份等。动态信息则是指经常变化的信息，如经常需要修改或更新的资源负 4 ：籀叶j 天亭 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 载情况、服务可用性等。 为了使信息的使用者正确理解信息所表示的含义，信息需要用统一的形式表 示，并且这种表示形式是与平台无关的。信息的表示与平台无关，同时任何平台 上使用任何语言的用户都能无歧义地理解这些信息。可扩展描述语言( x m l ) 1 5 】 用于表示信息能满足以上要求，用它传递和提供信息是信息服务的发展趋势。 1 2 2 网格系统的信息服务 网格是一个分布式的系统，其中的主体和客体数量巨大。网格信息管理是网 格系统中的中心模块，是网格中主体和客体联系的纽带，任何网格活动都是基于 网格信息管理提供的信息进行的。网格信息管理包括三个类型的角色：信息提供 者、信息中介者( b r o k e r ) 、信息请求者。一般工作过程为：网格资源和用户加 入网格时向信息中介者注册自身的相关信息，并在自身发生变化时更新相关信 息，注册在信息中介者处的信息供需求者查询。 服务网格是网格体系结构的发展趋势，在这类网格中，所有的一切都被看作 服务，并向外提供功能。在该体系结构中，网格信息服务的基本功能包括信息注 册、信息更新、信息查询、信息注销。 信息注册是信息服务的第一步，信息注册中心是注册信息的存放处，它需要 严格的安全措施以保证只有合法的用户才能向其注册真实的信息。注册过程可以 由人工驱动，也可以由处于网格管理体系下的应用、服务或设备注册。 信息更新是信息管理的一个基本操作。动态信息需要按一定的规律更新，如 周期性更新、超出设定阈值后的更新等。静态信息在注册之后，由于情况的变化 也可能需要删除或者修改等更新操作。 。 信息查询是信息服务最基本的功能，信息管理系统需要为用户提供良好的查 询方式和友好的查询接口。查询结果用于指导网格上的各种活动，如网格服务的 发现，就需要根据信息查询等结果，选择合适的网格服务。 信息注销将信息从注册中心撤除，该操作只能由特殊的用户完成，如该信息 的注册者、注册该信息时指定的注销者以及网格社区的管理员。当资源拥有者不 想将资源向网格用户提供时，他可以注销该资源的信息。但在很多情况下，资源 已不可用，但是信息提供者又没有主动注销相应的信息，网格中就会产生大量的 5 ：讶斜虫害 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 垃圾信息，因此需要有垃圾信息处理机制处理这些垃圾信息，提高网格信息服务 的性能和信息的准确性。 1 3 网格信息服务的研究意义及目标 网格技术所要解决的主要问题是如何在一个动态变化的、拥有多个部门或者 团体的复杂虚拟组织内，灵活、安全地协同资源共享与实现问题的求解。然而网 格环境中静态且持久的共享关系很少，更为普遍的是高度动态的共享关系，这给 使用网格资源的使用造成了严重的障碍，甚至可能会导致整个网格性能的下降。 这就要求在网格系统中提供一种资源信息服务，使用户和应用程序可以获得网格 环境中的各种静态、动态资源信息和各网格节点的状态信息，为用户和应用程序 提供一种对网格计算环境的真实、相对实时的动态反映，并对各种资源的运行状 态进行统一监控和管理。 但是由于网格是一种广域的大规模分布式环境，网格中的资源具有地理上分 布不同、系统异构、性能各异的特点，而且资源是动态变化的。在这样的环境中， 需要有一种不依赖集中控制的、分布式、可扩展、能适应资源动态变化并且定位 性能好的资源信息服务机制。这样的资源信息服务机制，能够很好的适应网格环 境的特征，迅速准确的发现所需的资源信息，从而大大提高网格计算的性能。这 样的网格资源信息服务机制，正是当前国内外网格研究领域的热点，也是本文的 研究目标。 1 4 论文的主要内容和组织结构 1 4 1 论文的主要内容 在本文中，我们提出了一个基于超级节点( s u p c r p e e r ) 嘲模型和g l o b u s t o o l k i t s 4 ( g t 4 ) 1 7 1 中的信息服务( m d s ) 的分布式网格资源信息服务。在这 个模型中，我们充分考虑了g t 4 中信息服务和网格计算环境的内在特性，而且 利用p 2 p t a l 技术，也就是s u p e r p e e r 模型的优势来克服当前g t 4 中的信息服 务系统的缺陷。本文中的网格系统的分布式资源信息服务模型充分考虑了网格计 算环境的自身特点，利用p 2 p 技术的优势，克服了在异构的网格计算环境中信 息系统可能存在的问题，显著提高了系统执行效率和可靠性程度。 6 ：篱，叶幺亭 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 我们使用p e e r s 证一工具包来实现模拟实验，而且评估了实验结果。在我们 的仿真实验中，证明了这种分布式信息服务具有良好的适应性、鲁棒性以及扩展 性，很好的满足了网格系统对信息服务的需求。 1 4 2 论文的组织结构 本文的章节组织如下： 第一章：绪论，介绍了网格计算以及信息服务的概念，课题的研究目标以及 论文的主要内容与组织结构。 第二章：介绍了网格资源信息服务的体系结构、国内外的研究情况。 第三章：介绍了g l o b u s 项目，以及g l o b u st o o l k i t s ( 0 t ) 中信息服务 ( m d s ) 。介绍了一个基于g l o b u st o o l l d t s 开发的应用实例，数学网络计算环 境( m a t h e m a t i c si n t e m e tc o m p u t i n ge n v i r o n m e n t - g r i dv e r s i o n ，m i c e - g ) 【姗中 信息服务，并分析其信息服务中存在的问题。 第四章：利用p 2 p 技术解决m i c e g 中存在的问题，对p 2 p 模型进行了 分析比较。提出了一种基于s u p e r l ) e c r 模型的分布式资源信息服务模型。 第五章：通过模拟实验，对该网格信息服务的各方面性能进行了比较评价。 最后是本文的结论部分，对本文的工作进行了总结与展望。列出了论文中较 有特点的工作，提出了进一步的研究方向。 7 ：萄，叶虫害 两格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 第二章网格资源信息服务的研究现状 2 1 网格资源信息服务体系结构 为了满足网格环境对资源监控系统提出的要求，全球网格论坛g g f i 1 的网 格性能工作组为网格监控定义了一个网格监控体系结构( g r i dm o n i t o r i n g a r c h i t e c t u r e ，g m a ) 1 1 2 1 。g m a 严格区分了监控过程数据传输和数据发现两个 不同的逻辑。如图2 1 所示，g m a 有三类典型的组件：目录服务( d i r e c t o r y s e r v i c e ) 、生产者( p r o d u c e r ) 和消费者( c o n s u m e r ) ，其中每个组件均提供对 应协同工作的接口。在监控体系结构模型中，目录服务支持信息发布和发现，建 立生产者或消费者之间映射关系；生产者提供可用事件数据( 事件源) ，响应消 费者请求和发送事件数据给消费者；消费者搜索目录服务，接收应用请求或事件 数据。g m a 设计的句柄事件数据以时间戳标记事件传输，资源状态和属性的事 件数据直接从生产者向消费者发送而不再需要目录服务干预。总的来说，g m a 主要贡献是提出生产者，消费者模型和事件订阅的数据传送方式，效率更高，使 用更灵活。 坨网 c 益 事由 图2 - lg m a 组件结构图 在以服务为中心的网格体系结构中，资源信息管理对应的三个主要组件分别 是服务提供者、服务注册中心和服务请求者。这些角色用服务的发布、发现和绑 定操作进行交互服务绳供者提供对服务的访问，并在注册表中发布服务描述。 服务请求者查找服务注册中心的服务描述并用描述中的信息绑定到一个服务。图 2 2 展示了以服务为中心的体系结构的资源信息管理的逻辑视图，服务注册中心 提供了一个集中位置来存储服务描述。 两岬i ：亭 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 图2 - 2以服务为中心的体系结构的资源信息管理的逻辑视图 其中服务发现是把服务请求者和服务提供者联系在一起的服务中介者的主 要功能之一。它定义了一个过程用来定位服务提供者以及检索服务描述文档，并 且服务发现是整个模型的关键组件。 2 2 现有分布式系统中的资源信息服务机制 目前，国内外很多研究机构和学者都在g m a 的框架下提出了具体的网格信 息管理系统实现方案，并对g m a 框架进行了改进。例如美国a r g o 衄e 国家实验室 开发的g l o b u st o o l k i t ( g t ) 【7 】网格开发工具包中的监控与发现服务 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，m d s ) 1 1 3 1 组件。 g l o b u s 联盟( t h eo l o b u sa l l i a n c e ) 【1 4 l 是为了创造实现“网格”的基础技术 而进行研究与开发的组织。g l o b u s 工具包是g l o b u s 联盟最重要的实践结果， 它是用来支持开发面向服务的分布式计算应用及其基础设施的辅助工具。核心的 g t 组件解决了有关安全，资源访问与管理，数据移动与管理，资源发现等相关 问题。g t 4 ( g l o b e st o o l k i t s4 ) 发布于2 0 0 5 年4 月，它包括了大量的工具和组件 包，提供了许多很有用的应用级别的功能，现在很多的网格系统和应用已经采用 这些工具来进行开发。g t 4 中的m d s ( m o n i t o r i n g a n dd i s c o v e r ys e r v i c e ) 服务 是最有代表性的网格信息服务系统，它利用虚拟组织( v i r t u a lo r g a n i z a t i o n ，v o ) l l l 作为管理网格资源与服务的基本单位，将网格内的资源及服务组织为多个 v o 每一级目录的建立对应于一个虚拟组织，利用层次式的结构来组织和管理 资源信息，这是一种集中式的信息管理系统。 c d o r 【”】是一个用来管理计算密集型的任务的批处理队列系统。这是通过 提供一个高吞吐量的计算( h i g l l t h r o u g h p u t c o m p u t i n g ，h t c ) 环境实现的。h t c 环境在为这些任务提供高吞吐量的同时，可以有效且最好地利用所有的可用资 9 ：鹭钟幺拿 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 源。c o n d o r 项目中的m a t c h m a k e r ，不依赖于全局资源命名，而是根据属性匹 配，实现了一种集中式的资源共享系统。 在p 2 p 环境中，常采用这样一类分布式的资源定位方法：每个节点保存一 部分资源信息。节点之间通过特定协议，如g o s s i p 协议等维护、更新信息并转 发查询请求，这是一种完全分布式的机制，典型的代表有p a s t 1 6 】等。 现有的网格资源发现机制，通常采用集中式或者层次式的信息服务组件，这 固然便于资源的管理与维护，但对于大规模的网络环境，则容易造成性能瓶颈， 而且可扩展性较差，不适应网格动态变化的特性。m d s 【1 3 】等网格信息服务系统， 通过构建层次式目录服务器来完成资源的组织，缺乏有效、易扩展的分布式目录 服务器的构建、维护方法，而且目录服务器层次的搭建是通过配置文件来完成， 不易动态调整结构。而p 2 p 环境下的资源发现机制，如g o s s i p 协议l l ，1 8 1 等， 实现了完全的分布式的资源信息维护、更新机制，具有较好的健壮性和可扩展性， 能够适应网络中节点的动态变化。 2 3 网格资源信息服务机制的目标 在网格环境下，资源的信息服务机制面临着如下挑战：资源和用户的地理分 布极广，数量巨大，可能几百万个甚至更多；资源类型和用户的请求是异构的； 资源是动态变化的，虚拟组织( v o ) 也随着时间的发展而变化，比如组织成员 的加入和离开( 伴随着资源和用户的增减) 、成员可享用资源的改变等等；现有 i n t e r a c t 存在带宽和延迟方面的限制，以及网络的不可靠性等等。这些特征使得 网格资源发现机制的效率对于网格计算的性能有极大的影响，而现有的很多网格 资源发现机制并不能很好的适应网格环境的上述特征。满足网格资源的性能要 求。 在网格环境下，需要一种分市式、适应资源动态性、易扩展、性能好的资源 发现机制。可以认为良好的资源发现机制需要具有以下特征：可在较小的开销下 取得满意的资源定位性能，并具育网格环境下的可扩展性；能够适应网格资源动 态变化的特性，具有较好的系统健壮性。 1 0 ；笱鲥幺亭 网格系统中分布式资源信息摄务的研究与设计 兰州大学硕士学位论文 2 4 基于p 2 p 协议的分布式网格资源信息服务 结合现有的成熟的网格资源信息服务，g l o b u st o o l k i t s 中的m d s 信息服务 及p 2 p 分布式资源发现机制的特点，在国内外学者研究的基础上，根据网格的 特点，本文提出一个网格系统中的分布式资源信息服务，克服了m d s 信息服 务在健壮性，可扩展性等方面所存在的缺陷。在我们的模拟实验中，证明了这种 分布式信息服务具有良好的适应性、健壮性以及扩展性，很好的满足了网格系统 对资源信息服务的需求。这种网格资源模型，符合网格环境分布式的特点，便于 资源的动态加入和退出，扩展性好；而且由于将大规模节点在逻辑上划分为了多 个小区域，降低了消息扩散的网络花费，从而可以及时有效地更新在各分布式信 息服务器总的存储的异地资源信息，提高了查询的效率和性能。 ：萄f 虫害 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 第三章g i o b u st o o i k i t s 中的信息服务 3 1g l o b u s 项目 3 1 1g l o b u s 项目简介 g l o b u s 项刚1 q 是目前国际上最有影响的与网格计算相关的项目之一。它发 起于九十年代中期，其最初的目的是希望把美国境内的各个高性能计算中心通过 高性能网络连接起来，方便美国的大学和研究机构使用，提高高性能计算机的使 用效率。目前，g l o b u s 项目把商业计算领域中w e bs e r v i c e 技术融合进来，希 望不仅仅局限于科学计算领域，而且能够对各种商业应用进行广泛的、基础性的 网格环境支持，实现更方便的信息共享和互操作，从而对商业模式、人的工作方 式和生活方式产生深远的影响。 g l o b u s 项目主要针对以下几个方面进行了研究： 资源管理：主要的工作集中在通信资源和计算资源的命名和定位。 数据管理：主要集中在分布式环境下如何对数据进行管理，特别是涉及 到数据密集型的高性能计算问题。 应用开发环境：主要研究如何为网格应用，包括精密仪器、显示、计算 资源和信息资源提供易用的开发环境和编程语言( 如c o r b a ，j a v a ， p e r l ，p y t h o n ) 。 信息服务：主要研究如何提供准确、实时的信息来配置计算机、网络以 及协议、算法等资源，实现高性能的分布式计算环境。 安全：主要研究如何在多个管理域、多种安全策略，以及主体动态变化 的条件下提供网格统一的安全方案。 3 1 2g l o b u s 对网格计算的理解【2 l 根据g l o b u s 的观点，在网格计算环境中，所有可用于共享的主体都是资源， 如计算机、高性能网络设备、昂贵的仪器、大容量的存储设备、各种科学数据、 各种软件等是资源，分布式文件系统、数据库缓冲池等也可以理解为资源。实际 上，只要在网格计算环境中对用户存在利用价值的东西都可理解为资源。 ：啕- 叶j 以掌 网格系统中分布式资源信息服务的研究与设计兰州大学硕士学位论文 g l o b u s 实际上关心的不是资源的实体本身，而是如何把资源安全、有效、 方便地提供给用户使用，所以从共享的角度考虑，对g l o b u s 而言，其主要研究 资源的访问接口或访问界面。 通常的网格计算主要侧重于大型的分布式应用，而根据g l o b u s 的观点，大 型应用项目应该由许多组织协同完成，这些组织通过网格计算环境形成一个统一 的“虚拟组织”( v o ，v i r t u a lo r g a n i z a t i o n ) ，网格计算环境中的用户、成员、 资源可随时加入虚拟组织。在网格计算环境中，各组织拥有的计算资源、存储资 源等各种资源可以被虚拟组织中的成员共享，并且各成员可方便地协同完成各种 分布式应用和工作。按照这种理念，在网格计算环境中，各成员和组织之间的存 在的时间、拥有的权限和资源的数量、种类等都会不断动态地发生变化，这使得 虚拟组织中的实体( 包括用户、成员、资源、组织等) 需要保持一种非常动态的 共享关系。 g l o b u s 并不试图取代现有技术，而是希望在现有技术之上建立更高层次的 共享。从技术的角度讲，共享是资源或主体间的互操作。g l o b u s 认为，要实现 网络环境中的互操作就意味着：首先要开发一套支持网格计算的通用协议( 如网 格计算安全协议、网格计算的数据传输协议、网格计算的信息获取协议等) ，用 它来描述消息的格式和消息交换的规则；然后在这些协议之上，需要开发一系列 支持网格计算的服务( 如网格安全服务、网格信息服务、网格数据传输服务等) ； 由于需要通过具体的软件实现这些服务，这就需要定义a p i ，基于这些a p i 再 构建各种软件开发工具( s d k ) ( 如g l o b u s i 具包等) 。所以g l o b u s 项目的主 要工作就是建立支持网格计算的通用协议，开发支持网格计算的服务，实现支持 网格计算环境的软件开发工具。 3 1 3g l o b u s1 o l l i t s ( g t ) g l o b u s 项目对信息安全、资源管理、信息服务、数据管理以及应用开发环 境等网格计算的关键理论和技术进行了广泛的研究，开发出能在多种平台上运行 的网格计算工具包软件( g l o b u st o o l k i t s ) ，能够用来帮助规划和组建大型的网 格试验和应用平台，开发适合大型网格系统运行的大型应用程序。g l o b u s 工具 刨7 】是g l o b u s 最重要的实践成果，其第一版在1 9 9 9 年推出，于2 0 0 2 年末到2 0 0 3 年初推出基于o g s a 4 1 体系结构，并且融合了w e bs e r v i c e 技术的o l o b u s 工 两一j 天亭 网格系统中分布式资源信息服务的研究与设计 兰州大学硕士学位论文 具包3 0 版，目前最新版本2 0 0 4 年推出的4 0 版，该版本与w s r f 1 9 1 ( w e b s e r v i c c r e s o u r c ef r a m e w o r k ) 规范兼容，可被用来开发具有状态( s t a t e f u d 的w e b 服 务。目前，g l o b u s 的技术已经在n a s a 网格( n a s ai p g ) 1 2 0 、欧洲数据网 格( d a t a c - r i d ) 1 2 1 】、美国国家技术网格( n t g ) 等多个项目中得到应用，被认 为是网格技术的典型代表和事实上的规范。 分) lle 撕钎c a 孵嘲吣徘雄- 囊由嘲轴渊，m 脚n 蛔n 暇嘲- 螺h 峨暑触l 釉啪畦 一 i j 国酬细雨幽阳咖刚墩妇蝻嘲嗍岬嘲轴_ 删嘲嘲脯 ：o _ 删删嘲螂蹿喇：嘲h 蜊轴“i - 图3 1g l o b u st o o l k i t s4 架构 g l o b u st o o l k i t s4 中主要包含如下组件