（计算机应用技术专业论文）非集中式网格资源发现和管理模型及关键技术研究.pdf

摘要 网格是当前分布计算研究领域的热点之一，网格的关键技术是网 格资源管理，而网格资源发现则是网格资源管理中的一个基本组成部 分，它为网格资源调度寻找满足应用需求的各种资源。与传统分布式 系统相比，网格中可集成的资源规模更大，种类更多，结构各异，且 分属于不同组织，参与网格的各结点往往拥有不同利益和资源管理策 略。随着网格的进一步发展，集中式的资源发现方式将会出现性能瓶 颈，而且由于信任和安全方面的原因，集中式的方式难以保证获取足 够的资源信息支持应用对资源发现的需求。因此，适应网格发展需求 的资源发现方式不应该仅仅依赖集中或全局控制的非集中方式，而应 能更好地适应大规模、动态的网格环境。 论文研究非集中式网格资源发现和管理中的系统规模动态性与 发现效率之间的矛盾及其关键技术，主要从以下几个方面展开了研究 工作： l 、路由算法和动态自配置特性是实现大规模基于关键字的资源 发现方法的关键问题。本文提出具有组播集群的层次性系统模型，设 计了混合式路由算法，充分利用物理网络组播特性，节省网络带宽； 提出组播集群复制协议和基于关键字的组播树策略a m t p ，分别处理 节点或者链路失效导致的网络分割以及路由的重建。实验结果表明， 这些算法和策略节省了网络带宽，提高了系统的性能，保证了系统的 自配置特性。 2 、针对非结构化拓扑p 2 p 系统的特点，提出基于结点分类的高 效资源管理方法( c b s ) 及其“相似结点分类 拓扑优化技术，通过在 各结点上维护压缩状态表指导搜索请求转发和通过搜索缓存提高搜 索效率。能够在系统中形成主题相关的结点分类聚集，并提供部分远 程结点的快捷连接。实验表明，与泛洪、随机转发和n e u r o g r i d 等方 法相比，c b s 方法通过维护少量状态信息在保持较低搜索延迟的同时， 显著降低资源搜索的消息开销，从而提高非结构化拓扑p 2 p 系统的可 扩展性和性能。 3 、结合p 2 p 技术提出了网格环境中的一种资源发现模型及其需 要解决的关键问题和方法。设计了节点加入与离开算法和资源查找算 法，加快了资源定位和对资源有效的利用。该模型和算法支持基于属 性的动态分布式查找，具有很好的扩展性。 4 、服务质量( q o s ) 是衡量网格是否成功的重要因素，本文基于 q o s 指标，提出了一种网格资源功能与性能评估标准及其相应的指标 优化机制。提出基于优化时间轴的资源预留机制，解决了“资源碎片 问题，提高了资源请求的接受率和有效资源的利用率。 关键词：网格，资源发现，资源管理，非集中式，服务质量，资 源预留 i l a b s t r a c t g r i di sah o tt o p i ci nd i s t r i b u t e dc o m p u t i n gn o w d a y s r e s o u r c ed i s c o v e r yi sa b a s i cp r o b l e mi ng r i dr e s o u r c em a n a g e m e n t , w h i c hc o n c e r n sd i s c o v e r i n gr e s o u r c e si n g r i dt om e e tt h er e q u i r e m e n to fa p p l i c a t i o n s c o m p a r e dw i t ht r a d i t i o n a ld i s t r i b u t e d s y s t e m s ，g r i da i m st oi n t e g r a t em u c hm o r er e s o u r c e so fv a r i e t i e so fg r i dr e s o u r c e s u s u a l l yh a v ed i f f e r e n to re v e nc o n t r a d i c t o r yi n t e r e s t s w i t hf u r t h e rd e v e l o p m e n to f g r i d ，c e n t r a l i z e dg r i dr e s o u r c ed i s c o v e r ys c h e m e sh a v ep o t e n t i a ls c a l a b i l i t ya n d s e e u r i t yp r o b l e m s t h e r e f o r e ，i no r d e rt os u r v i v et h ed y n a m i ca n dl a r g e r - s c a l eg r i d e n v i r o n m e n t ，r e s o u r c ed i s c o v e r ys h o u l db ed e c e n t r a l i z e da n ds h o u l dn o tr e l yo n c e n t r a l i z e dc o o r d i n a t i o na n dc o n t r 0 1 f o c u s i n go ns c a l a b l ea n de f f i c i e n td e c e n t r a l i z e dr e s o u r c ed i s c o v e r yi ng r i d e n v i r o n m e n t ，t h i sp a p e rm a k e sf o l l o w i n gc o n t r i b u t i o n s ： i k e y - b a s e dp u b l i s h s u b s c r i b es y s t e m sh a v er e c e n t l yr e c e i v e da ni n c r e a s i n g a t t e n t i o n e f f i c i e n tr o u t i n ga l g o r i t h m sa n d s e l f - c o n f i g u r a t i o na r et w ok e yi s s u e si nt h e a r e ao fl a r g e s c a l ec o n t e n t - b a s e dp u b l i s h s u b s c r i b es y s t e m s 。t h i sp a p e rf i r s tp r o p o s e s ah i e r a r c h i c a l s y s t e mm o d e l 丽t l lm u l t i c a s tc l u s t e r i n g t h e nah y b r i dr o u t i n g a l g o r i t h mi sp r e s e n t e d ，w h i c hc a nf u l l ye x p l o i tm u l t i c a s ti no r d e rt or e d u c et h eu s e d n e t w o r kb a n d w i d t h m o r e o v e r , am u l t i c a s tc l u s t e r i n gr e p l i c a t i o np r o t o c o la n da c o n t e n t b a s e dm u l t i c a s tt r e ep r o t o c o la lep r e s e n t e df o rc o p i n gw i t ht h en o d eo rl i n k f a i l u r e sa n dr e b u i l d i n gt h ee v e n td i s p a t c h e rt r e e s e x p e r i m e n t a lr e s u l t sr e v e a lt h a tt h e s y s t e m h a sb e t t e r r o u t i n ge f f i c i e n c y a n dl o w e rc o s t , a n dg u a r a n t e e st h e s e l f - c o n f i g u r a t i o nc h a r a c t e r i s t i c 2 t h i st h e s i s p r o p o s e sc b s ，an o v e lc l a s s b a s e d s e a r c h a p p r o a c h f o r u n s t r u c t u r e d 乾ps y s t e m s 。c b sa d o p t ss i m i l a r i t yc l a s st o p o l o g yo p t i m i z a t i o n t e c h n i q u et of o r mc l a s s e sb e t w e e np e e r s 、丽mr e l a t e dt o p i c sa n dp r o v i d es h o r t c u t c o n n e c t i o n st os o m er e m o t ep e e s c b sm a i n t a i n sac o m p r e s s e ds t a t et a b l eo ne a c h p e e rt og u i d er e s o u r c es e a r c h ，a n da d o p t ss e a r c hc a c h et ou t i l i z et h el o c a l i t yo f s e a r c h e s a n a l y s i sa n ds i m u l a t i o n ss h o wt h a tc o m p a r e dw i t hf l o o d i n g , r a n d o m f o r w a r d i n g ，n e u r o g i r do ro t h e rs i m i l a ra p p r o a c h e s ，c b sc a nr e d u c et h e s e a r c h m e s s a g ec o s tr e m a r k a b l yw h i l ek e e p i n gl o ws e a r c hl a t e n c yb ym a i n t a i n i n gal i t t l e s t a t ei n f o r m a t i o n , a n dt h u si tc a ni m p r o v et h es c a l a b i l i t ya n dp e r f o r m a n c eo f 1 1 1 u n s t r u c t u r e dp 2 ps y s t e m s 3 t h ea r t i c l em a k e su pam o d u l eo fr e s o u r c ed i s c o v e r i n gi nt h eg r i d e n v i r o n m e n t ，a n db r i n g so u tt h ek e yp r o b l e m sa n dm e t h o d si nt h i sm o d u l e i ta l s o d e l v e si nt h ea l g o r i t h mo ft h ea d d i t i o na n dl e a v eo fn o d ea n dt h ea l g o r i t h mo f r e s o u r c er e s e a r c h i n ga n dq u i c k e n sp o s i t i o nt h er e s o u r c ea n dm a k e su s eo ft h er e s o u r c e e f f e c t i v e l y t h i sm o d u l es u p p o r t sp r o p e r t y - b a s e dd y n a m i c a ld i s t r i b u t e ds e a r c h ，a n di t a l s oc a nb ee x t e n d e da n do p t i m i z e de a s i l y 4 q o s ( q u a l i t yo fs e r v i c e ) i sai m p o r t a n tc r i t e r i o no ft h es u c c e s so ft h eg r i d t h ea r t i c l eb r i n g so u tt h ec r i t e r i ao fe v a l u a t i o no ft h ef u n c t i o na n dp e r f o r m a n c eo f g r i dr e s o u r c ea n dm e c h a n i s mo fo p t i m i z a t i o n t h ea r t i c l eu s e sak i n do fr e s o u r c e p r e - r e s e r v e dm e c h a n i s m ，w h i c hi s b a s e do no p t i m i z e d - t i m e - a x e s ，i ti m p r o v e st h e a c c e p t a n c eo fr e q u e s t sa n dt h eu s a g eo fe f f e c t i v er e s o u r c e s k e yw o r d s ：g r i d ，r e s o u r c ed i s c o v e r y , r e s o u r c em a n a g e m e n t , d e c e n t r a l i z e d ， q o s ，r e s o u r c er e s e r v a t i o n i v v o q o s c b s m c r e b d e b n e b p u b s u b r p s p g t 4 b f p d p c s p p s c s g s h a m t p v i r t u a lo r g a n i z a t i o n q u a l i t yo fs e r v i c e 主要缩略词 虚拟组织 服务质量 c l a s s b a s e ds e a r c hi ng r i ds y s t e m 网格中基于分类的搜索 m u l t i c a s tc l u s t e r i n g r o o te v e n tb r o k e r d e s i g n a t e de v e n tb r o k e r n o r m a le v e n tb r o k e r p u b li s h e r s u b s c r i b e r r e n d e z v o u sp o i n t s u b s c r i p t i o n g l o b u st o o l k i t4 0 b l o o mf il t e r p r i o r i t i z e do i s s e m i n a t i o np o l i c y c h a n g es e n s i t i v ep o l i c y p e e rs e r v i c e c o n t a c ts e r v i c e g r i ds e r v i c eh a n d l e 组播集群 根事件代理 指定事件代理 普通事件代理 发布者 订阅者 集中点 发布 g l o b u s 工具包 b l o o m 过滤器 优先分发策略 变化敏感策略 节点服务 联系服务 网格服务句柄 a t t r i b u t e r b a s e dm u l t i c a s tt r e ep o l i c y 基于属性的组播树策略 原创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得中南大学或其它单位的学位或证书而使用过的材料。与我共同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明。 作者签名：茎二! 日期：丛年三月上竺日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许论文被查阅和借阅；学校可以公布学位论文的 全部或部分内容，可以采用复印、缩印或其他手段保存学位论文；学 校可根据国家或湖南省有关部门规定送交学位论文。 作者签名： k 二：! 二 导师签名： 日期：边里坌年! 月尘 中南大学博士学位论文第一章绪论 第一章绪论 网格资源发现是网格资源管理的重要组成部分，是实现网格资源按需调度的 重要保障。网格的发展对网格资源发现提出了新的更高的要求，如何适应网格的 发展，解决在网格资源发现中的关键问题成为网格研究中很有意义的课题。本章 阐述了网格的发展及其与资源发现的矛盾，综述了研究背景与现状，并介绍了本 文的主要工作与全文结构。 1 1 问题的提出 1 1 1 网格的基本概念 l 、起源与研究动机 “网格 一词最早于2 0 世纪9 0 年代中期提出，用于表述在先进科学和工程 计算中的种分布式计算体系结构。在最初应用网格概念和技术的科学协作中， 分布在各地的不同组织和机构不但共享数据，而且还要求灵活共享软件和计算资 源，甚至包括昂贵的专用科学仪器，如天文望远镜和电子显微镜等。针对这一类 型的需求出现了大量的网格应用，包括对计算能力要求很高的用于实验数据分析 的分布式计算；异构分布式数据集合的邦联；海量科学数据的协作式可视化；科 学仪器的耦合；对实验数据的远程访问等等。 这些应用中的共享不局限于文件共享，它更强调对于计算机、软件、数据和 服务非常直接的存取。这一共享是高度受控的，允许资源的提供者和使用者清楚 地定义共享的实体、限制以及条件。由这些共享规则定义的人和组织组成了虚拟 组织( v i r t u a lo r g a n i z a t i o n ，v o ) 。v o 在规模、范围、存在的时间、结构、分 布和功能上是各不相同的。v o 的例子包括：为了完成一个计算任务而涉及到的 应用服务提供者、存储服务提供者、计算服务提供者等；为紧急情况制定预案所 需的仿真系统和数据库系统；大型国际化物理研究合作中的各个成员等。尽管 v o 的应用背景不同，但其中大量需要解决的问题是相同的。v o 中需要建立高度 灵活、能够表达成员之间协作关系的共享关系：需要对共享资源进行复杂和高层 控制，包括存取控制授权、本地和全局策略的实施等；还需要有对各种资源进行 发现、并提供和管理的基础机制这样才能支持不同模式协作下对时间和性能提出 中南大学博士学位论文第一章绪论 的要求，解决诸如q o s 、调度、协同分配、审计等问题。网格研究的目的即是为 了支持v o 中资源的灵活共享和协作，即“动态、多机构组织中的协同式资源共 享和问题求解( c o o r d i n a t e dr e s o u r c es h a r i n ga n dp r o b l e ms o l v n gd y n a m i c ， m u l t i i n s t i t u t i o n a lc o l a b a r a t i o n s ) 。 尽管网格研究的初衷是为了解决科学研究中对计算能力和资源共享的需求， 但已有越来越多的企业意识到了网格技术的广泛应用前景，并开始进行网格的研 究和应用。在大量的商业环境中，包括企业应用集成、按需服务、b 2 b 等，同样 涉及到与上述应用类似的动态、多机构合作中协同式资源共享和问题求解。由于 具有分布、动态和短暂的( e p h e m e r a l ) 特性，v o 的概念同样也适用于这些合作， 正如同w e b 开始时作为科学协作技术出现、然后用于电子商务一样，网格技术的 发展也逐渐呈现出类似的轨迹n 1 。 在众多用于科学研究的大型网格应用项目中，比较典型的有美国n s f 资助的 用于地震研究的n e e s 项目网窿1 、美国n a s a 用于航天科技研究的 i n f o r m a t i o n p o w e r g r i d 项目网、以及欧盟用于高能物理研究的e u d a t a g r i d 项目 口1 等等。美国军方也提出了全球信息网格( g l o b a li n f o r m a t i o ng r i d ，g i g ) 的概 念h 1 ，以信息战为背景对网格技术展开研究。在网格标准和系统软件的研究方面， 美国a r g o n n e 国家实验室的g l o b u s 项目的啼1 提出的开放网格服务体系结构o g s a 被公认为目前网格体系结构的标准，而其发布的g l o b u st o o l k i t 4 0 则是o g s a 目前最通用的实现。h pi b m 、m i c r o s o f t 、s u n 等大公司也陆续开始在网格及其 相关领域内投资和研发。在我国，由中科院计算所等十几家科研单位共同承担的 “8 6 3 重点项目国家高性能计算环境( n h p c e ) 是我国第一个网格雏形，2 0 0 2 年，国家“8 6 3 一计划启动了新一轮网格研究项目中国国家网格( c h i n a n a t i o n a lg r i d ) ，突出了网格在地质、气象、药物、航空等领域的应用。 2 、网格的基本特征 随着网格研究的深入和应用需求的日益丰富，人们希望网格支持包括计算能 力、数据、信息、知识和服务等在内越来越广泛资源的灵活、高效的共享。因此 网格一词的内涵越来越丰富，所涵盖的范畴也越来越大，网格研究中也逐渐提出 了数据网格、信息网格、知识网格、服务网格等各种各样的网格名称。其中，数 据网格( d a t ag r i d ) 用于解决现代科学研究和商业应用领域中产生的t b 至p b 级 分布数据的存储、访问、传输、处理与分析等问题；信息网格( i n f o r m a t i o n g r i d ) 2 中南大学博士学位论文第一章绪论 的根本出发点在于使用灵活资源集成与共享技术解决信息系统建设中广泛存在 的信息“孤岛问题，实现信息的高效处理、共享与利用；知识网格( k n o w l e d g e 6 r i d ) 则着眼于知识的获取、产生和灵活的管理与共享；服务网格( s e r v i c e6 r i d ) 通过使用面向消息的服务接口将能够通过消息交换为客户提供某种功能的实体 封装为服务，并提供统一的服务访问方式；实现灵活高效的服务集成的目的。 总的来说，计算网格和数据网格是网格的基础，为上层应用提供强大的计算 能力与数据处理能力；信息网格和知识网格则可视为网格技术在计算和数据之上 更高层次的应用，试图提供远远超出当前i n t e r n e t 信息处理技术与能力的一体 化信息基础设施；服务网格则在体系结构方面强调以“服务打为中心，突出了网 格构造中异构资源集成的特点与新手段，代表了网格在系统构造方面的发展趋 势。 为把网格和一般的分布式系统区分开，网格研究的先驱、g l o b u s 项目的负责 人l a n f o s t e r 提出了网格的3 条判断标准嘲： 1 ) 协调非集中控制的资源：网格整合各种资源，协调各种使用者，这些资源 和使用者处于不同的管理域。网格应该解决在这种分布式环境中的安全、资源管 理策略、使用费用和成员权限等问题： 2 ) 使用标准、开放和通用的协议和接口：网格建立在多功能的协议和接口之 上，这些协议和接口用于解决认证、授权、资源发现和资源存取等基本问题； 3 ) 提供非平凡的( n o n t f i v i a l ) 服务：网格允许协调使用资源，以得到多种服 务质量，满足不同使用者需求，如系统响应时间，流通量、有效性、安全性等。 文献 7 ，8 总结了理想情况下，网格所具有的主要特点：1 ) 大规模：体现在 集成的资源数量和资源之间的物理距离方面；2 ) 地理分布；3 ) 异构：网格中资源 的形式和属性有很大差异；4 ) 资源共享；5 ) 跨越多个管理域；6 ) 资源的协调使用； 7 ) 对资源透明的访问；8 ) 可靠的服务质量；9 ) 一致的资源访问方式，即网格必须 具有标准的协议、接口以屏蔽异构性，并保证可伸缩性：1 0 ) 对资源无处不在的 访问，即网格资源的访问应该适应动态、大规模的环境，并考虑资源失效的处理。 1 1 2 网格资源和资源管理 在面向服务的网格体系结构中，提供服务的基础在于发现、分配、监控和管 理各种可以通过网络访问的资源。这些资源既包括传统的资源，如计算服务、网 3 中南大学博士学位论文 第一章绪论 络带宽、存贮空间等，又包括虚拟的服务，如数据库、数据传输、仿真等。这些 资源和服务功能各异，但通过网络提供服务的方式是一致的。 目前网格中的资源大多是比较昂贵的大型设备，并有较好的管理和维护，结 点大多比较稳定。与之相反，目前对等网络( p e e r t o p e e r ，p 2 p ) 中的资源则多 数是处于i n t e r n e t 边缘的终端结点，如p c 机等，而且资源呈现出高度的动态性， 并具有规模庞大的特点。p 2 p 指分布式系统中的各个节点是逻辑对等的n 引。近年 来，随着n a p s t e r 、g n u t e l l a 等i n t e r n e t 上文件交换p 2 p 系统的巨大成功口7 饽】， p 2 p 被视为一种新的网络结构而逐渐成为研究和应用的一大热点。p 2 p 网络应用 模式的兴起得益于i n t e r n e t 的广泛普及、网络带宽的大幅增加以及各种基于 i n t e r n e t 的终端系统能力的迅速增强。在p 2 p 网络中，不再严格区别服务器和 客户端，各个节点的计算、存储和带宽资源被有效利用起来，其应用涉及到文件 交换、数据存储、并行计算等领域。大量成功的应用实例表明n 7 。硼，以往在c s 模式下被忽视的为数众多的处于网络边缘的终端结点是一种宝贵的资源。 文献 1 2 ，1 3 指出，随着网格向更大规模发展，以及网格集成资源的丰富，网 格中的资源将会具有目前p 2 p 网络的特性；不可靠的资源和间歇性参与的资源会 占到相当的比例，资源类型也会更加多种多样。在这种环境下，网格资源具有以 下特点： l 、分布性：网格集成越来越多的资源，各个资源分属不同的组织，这些组 织既可能是拥有高端设备的研究机构，也可能是使用p c 联入i n t e r n e t 的家庭用 户。它们在地域上分布，有不同的利益和资源管理策略，相互之间可能存在隶属 的层次关系，但更多的情况卞，组成v o 的各个组织间原本是一种相互“对等 的关系。各结点管理自己的资源，没有集中的、全局的管理机构拥有足够的方法、 激励措施和用户的信任来管理这庞大的分布式资源集合。 2 、动态性：资源参与的模式有很大的差异。既有大量相对稳定的结点，但 也有很多的资源频繁的加入或退出。有些资源的共享会遵循定义得很好的管理策 略，有些资源的参与则是随机的，比如在处于空闲状态时参与。资源的状态，如 负载、带宽等也可能随着时间不断变化。 3 、异构性：资源的类型和特性有较大的差异。 实现网格中资源灵活共享、集成的关键是资源管理与调度。资源管理一词被 广泛用于描述资源发现、调度以及监控的各个方面。在传统的计算机系统中，资 源管理是一个被深入研究的问题。资源管理器，如作业调度器、工作流引擎以及 4 中南大学博士学位论文 第一章绪论 操作系统等广泛存在于许多计算环境中。这些资源管理器的设计和使用都是建立 在它们有对资源的完全控制以及能够实现对资源进行有效使用的机制和策略的 基础上的。但是这样的假设在网格中并不存在。网格中的资源涉及跨多个域的异 构资源，因此在网格中对资源的管理必须考虑资源的异构、缺乏完全的控制以及 由此引起的不可避免的策略差异，网格资源管理中的大量工作都在于克服这种异 构性。另外，不同的机构管理资源的策略不同，资源使用者与资源提供者的利益 也不一致，甚至是冲突的；而且网格应用还经常需要对多个资源作同时分配，需 要对多个管理域的资源进行协调，从而进一步增加了资源管理和调度的难度。 文献 2 1 提出了一个网格调度通用过程，描述了理想情况下网格中资源调度 和使用的过程。理想的网格调度通常包括3 个主要阶段：资源发现、资源选择以 及作业执行。 第一阶段：资源发现 这一阶段决定满足特定用户需求的可用资源，并选择在下一阶段进一步考察 的资源集合。这一阶段包括3 个步骤：认证，需求定义以及过滤满足最低任务需 求的资源集合。 第l 步：认证( a u t h o r i z a t i o nf i l t e r i n g ) ：确认用户有资格访问的资源。 第2 步：需求定义( j o br e q u i r e m e n td e f i n i t i o n ) ；用户必须能够确认任务 对资源的最低需求，可能包括静态的数据，如操作系统版本、硬件型号，以及动 态的数据，如c p u 负载、可用网络带宽等等。 第3 步：根据任务需求对资源过滤( f i l t e r i n gt om e e tt h em i n i m a lj o b r e q u i r e m e n t ) ：根据资源属性和能力过滤满足最低应用需求的资源。 第二阶段：系统选择 根据上一阶段确定的满足应用最低需求的备选资源集合，选择个或一组资 源来运行任务。这一阶段包含两个步骤：搜集资源的细节信息和系统选择。 第4 步：信息的搜集( i n f o r m a t i o ng a t h e r i n g ) ：进一步获取相关资源的细 节、动态的信息，可能还包括大量的对资源状态的预测工作。 第5 步：系统选择( s y s t e ms e l e c t i o n ) ：根据资源信息，同时考虑资源之间 的约束和协作关系选择一组合适的资源。若无法形成满意的资源分配，则可能需 要调整需求并新挑选资源。 第三阶段：作业执行 第6 步：资源预留( a d v a n c er e s e r v a t i o n ) ：成功地分配资源后需要对资源 5 中南大学博士学位论文 第一章绪论 进行预留，以保证服务质量( q o s ) 。 第7 步：作业提交( j o bs u b m i s s i o n ) ；进行作业的提交。 第8 步：任务准备( p r e p a r a t i o nt a s k s ) ：资源开始准备作业的执行。 第9 步：作业监控( m o n i t o r i n gp r o g r e s s ) ：对作业执行进行监控，如果执 行不满意，可能重新调度。 第1 0 步：作业完成( j o bc o m p l e t i o n ) ：作业结束时，需要通知用户。 第1 1 步：清理( c l e a n u pt a s k s ) ：完成最后的清理工作。 整个过程如图1 - 1 所示。 其中，在系统选择阶段，既可能是集中式的资源调度器根据全局的资源状况 为各个应用选择合适的资源，也可能是应用和资源拥有者之间通过协商和谈判完 成。这两种方式分别对应了目前网格资源调度中的两种方式：作业调度( j o b s c h e d u l i n g ) 和应用层调度( a p p l i c a t i o nl e v e ls c h e d u l i n g ) 2 2 o 在作业调度的 方式中，存在全局的调度器负责协调、分配网格中的所有资源；而在应用层调度 的方式下，各网格应用通过协商、谈判独立决定资源提供者。在后一种方式下， 资源的使用者和提供者、不同的资源使用者以及不同的资源提供者之间是相互博 奕的关系。尽管作业调度的方式更有利于实现全局的优化，但随着网格规模的增 加和资源类型的丰富，依靠集中的调度器协调、分配属于不同组织的资源将变得 越来越困难。 图1 1 个普通的网格资源调度过程 1 1 3 网格信息服务和资源发现 1 、网格信息服务 从图1 1 所示的资源调度框架中可以看出，资源管理与调度的个前提是及 6 中南大学博士学位论文第一章绪论 时发现、了解网格中资源的状态。如在以上调度过程中，首先需要查找并选择满 足一定需求的资源；在任务执行过程中，需要实时监控资源的状态，并根据条件 修改系统的行为和资源的消耗，以提高性能；在发生故障时，需要搜集各资源的 信息，以做诊断。在这些情况下，需要资源信息的消费者和生产者之间相互发现， 以及资源信息流动的机制。网格信息服务口匐( g r i di n f o r m a t i o ns e r v e r ，g i s ) 即是为了满足这一需求在网格体系结构中定义的一个重要和基本的组成部分。 g i s 是一个软件组件，用于维护网格中有关人、软件、服务以及硬件的信息， 提供绑定、发现、查找和数据保护的功能，并使这些信息能够在被请求时可用。 g i s 在网格中的地位和作用相当于传统分布式系统中的目录服务。目录服务一般 是在网络层，将主机映射到i p 地址。或者是为其特定的主机环境提供位置无关 的名字。而g i s 则必须提供更加丰富的有关实体的信息，这些实体间的关系也更 复杂，信息也更加动态。如，主机的i p 地址相对固定，但c p u 负载的变化则快 得多。比较有代表性的g i s 的实现是g l o b u st o o l k i t 中的m d s 确1 ，即监控和发 现服务( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ) 。 2 、资源发现的基本功能 资源发现是g i s 必须提供的重要功能。资源发现的功能被定义为：给定所需 资源的描述，返回与之相匹配的资源( 地址) 集合。资源的请求中不但包含对资 源静态特征的要求，还包括对动态特征的说明。如在m d s 中，可以用以下命令查 找特定c p u 类型、且c p u 负载小于l 的计算资源： “g r i d i n f o s e a r c h & ( c p u t y p e = x x x ) ( c p u l o a d = 1 0 ) ；” 在不同的资源共享环境中，资源发现有不同的意义、需求、目标和约束。如， 资源描述可能有不同的形式，既可能是全局标识，如人名和地址，也可能是所需 属性的列举。现实中其它资源发现的例子有：通过黄页查找电话号码、使用w e b 搜索引擎对w e b 网页进行关键词搜索，通过指定所需的u r l 浏览网页等。根据系 统不同特点和需求，这些资源发现采取了不同的解决方案：如针对公开、且变化 相对较少的电话号码和w e b 页面内容，黄页和w e b 搜索引擎使用了集中式的索引； 针对层次清晰，且较稳定的u r l ，d n s 使用分层结构将人可读的u r l 地址转换为 机器可理解的网络地址。网格环境下的资源发现也必须适应网格环境的特点以及 网格应用的需求。 7 中南大学博士学位论文第一章绪论 3 、资源发现系统的设计 文献 2 4 指出，设计一个通用的资源发现服务需要考虑以下几个方面： 服务提供者( s e r v i c ep r o v i d e r ) 可以拥用第三方服务( t h i r dp a r t y s e r v i c e ) 的形式实现资源发现服务，即将提供资源发现服务的实体与资源提供者 和使用者分开，如目前w e b 上的搜索服务以及d n s 、n a p s t e r 等。例如，作为专 门的w e b 搜索服务提供者，g o o g l e 搜集w e b 上的大量页面，并编制索引，通过 门户网站向用户提供网页搜索服务。与之相对的另外一种实现形式是完全分布 ( g e n u i n e l yd i s t r i b u t e d ) 的形式，或者称为p 2 p 的形式，即资源发现服务分布 于所有资源提供者与使用者，没有集中或协调机构。如i n t e r n e t 上的文件交换 系统g n u t e l l a 中就不存在集中的全局资源索引结点，各参与结点只了解本地的 文件资源，文件搜索则依赖于结点间广播式( 或随机) 的扩散搜索请求。需要指出 的是，以第三方服务方式实现的资源发现系统也可以是分布式的，如d n s 系统按 树形结构组织分布在各地的域名服务器，但这些分布的服务器是处于资源发现服 务提供者的统一管理之下，而在完全分布的实现形式中，则没有统一的管理与协 调者，资源发现依赖于各参与结点间的交互。 网络构造方式( c o n s t r u c f io n ) ：在一般情况下，可以用一个图来表示分 布式资源发现系统中涉及的各结点的交互关系，对应于底层通信网络之上的一个 覆盖网络( o v e r l a yn e t w o r k ) ，结点之间的边代表两个结点之间的交互关系。有 两种构造覆盖网络的基本方法，手工配置以及自组织( 或者是混合的) 。如d n s 系统基本依靠手工配置维护各域名服务器之间的关系，而g n u t e ll a 系统中的各 参与结点则实现了自组织，各结点根据本地知识独立调整邻结点。 入网的预先知识( f o r e k n o w l e d g e ) ；分布式资源发现系统中的每个结点在 加入之前需要了解一些系统的相关信息，这些信息往往与网络的构造方式有关。 如g n u t e l l a 系统中加入的结点需要了解网络中任意一个活动结点地址，以提交 加入请求。 网络结构( a r c h i t e c t u r e ) ：指分布式资源发现系统中各结点形成的覆盖 网络的拓扑结构。 资源注册( r e s o u r c ei s t r a t i o n ) ：指资源信息在哪些结点进行注册，及 其更新过程一。 查询路由( q u e r y r o u t i n g ) ；查询请求的扩散与路由方式。 资源命名和查询方式( r e s o u r c en a m i n ga n dq u e r y ) ：典型的资源命名方 8 中南大学博士学位论文第一章绪论 式包括全局唯一的i d 或哈希值( u n d u ei d e n t i f i e ra n dh a s h e s ) 、字符串名 ( s t r i n gn a m e s ) 、层次化的命名以及基于属性的命名等。基于全局资源i d 的查 询方式实现简单，但无法根据资源属性的描述查找满足条件的资源；基于字符串 名的查找与基于i d 的查找相比可以支持更复杂的查询，因为字符串可以包括一 定的语义信息，但无法支持基于动态资源属性的查找；层次化的命名方式，如 d n s 和l d a p 中所采用的，适用于具有良好层次关系的系统，但同样无法支持基 于动态资源属性的查找；在基于属性的资源命名和查找中，资源通过钼预先定 义好的属性以及属性取值来描述，并支持基于属性值的查找，资源属性取值可能 随时间不断变化。在以上各种资源查询方式中，基于资源属性的方式是表达能力 最强、最贴近用户的一种方式。 1 1 4 网络规模的发展对原有的资源发现方法提出挑战 从网格的体系结构上看，以服务为中心成为网格的发展方向。目前由g l o b u s 项目提出的开放网格服务体系结构o g s a 睁加1 ( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) ，正试图将计算网格中的6 1 0 b u s 标准与以商用为主的w e b s e r v i c e s n ”的标准结合起来，在w e bs e r v i c e 的基础上进一步定义了网格服务 ( g r i ds e r v i c e ) 。这标志着以服务为中心的网格体系结构的初步建立，并指明了 网格中以服务为手段的异构资源集成方法的发展方向。 在一个面向服务的网格体系结构中，所有的实体都是服务，因此在该体系结 构中任何可见的操作都是消息交换的结果。通过使用面向消息的服务接口封装服 务操作，“面向服务对用户屏蔽了服务实现和位置的细节。个服务的实现可 能会直接执行请求的操作，但服务也可能是虚拟的，只是向用户提供底层的、分 布的服务接口，而这些底层的服务也有可能是虚拟的。在虚拟的环境中，即便是 同一服务的实例也可能有不同的特点，服务的虚拟为网格中各种资源的集成捉供 了更灵活的方式。 在o g s a 的基础上，可以相互交互的服务和系统将包括更多和更小的设备， 虚拟的程度会逐渐提高，共享的形式也会越来越丰富。越来越多的研究指出n 纠5 1 ， 随着以服务为中心的体系结构的发展和成熟，网格的规模将会越变越大，不但包 含越来越强大的结点，而且也会覆盖为数众多的终端设备，目标是集成i n t e r n e t 上的所有资源；在以服务为中心的网格体系结构中，网格结点之间的关系是一种 9 中南大学博士学位论文第一章绪论 松耦合的关系，各结点不管资源的“肥瘦 ，既可以是服务的捉供者，也可以是 消费者，相互间在逻辑上对等，并可以通过标准的接口向外提供服务或提交任务， 灵活的与其它结点协商组成v o 。系统的规模、灵活性和生存性的要求决定了不 应存在支配全网格的少