（计算机应用技术专业论文）基于经济模型的网格资源调度技术的研究与仿真.pdf

武汉理工大学硕士学位论文 摘要 网格计算( 酣dc o m p u t i n g ) 被认为是继因特网和w 曲之后的第三次浪潮，是 下一代互联网技术研究与应用的重要领域之一。网格计算主要研究在分布、异 构、自治的网络资源环境中动态建构虚拟组织并实现跨组织的资源共享与协同 工作，资源的汇聚和共享是网格最重要的特征，共享与协作是网格的基本理念。 然而，在网格环境中，大量地理上分布的各种资源为不同的组织所拥有，这些 组织具有不同的使用规则、不同的计费模型、不一样的负荷能力和不同的使用 模型；资源拥有者和资源使用者各自具有不同的目标、且的、策略和需求，因 此一些传统的资源管理和调度方法在网格系统中并不适用。将经济学模型引入 到网格体系中，研究经济学的方法在网格任务调度中的应用，是近年来网格任 务调度领域的一个研究热点。 本文针对网格资源自身的属性以及网格任务满足用户q o s ( q u a l i t yo f s e r v i c e ) 的要求，采用属性参数具体化分析的方法，选取具有代表性的相关属性， 即任务的完成费用、时间期限和资源的利用率：并在这三种q o s 的约束下，对 传统的资源调度策略以及任务调度算法进行比较深入的研究。 本文所做的主要研究及创新性主要体现在以下几个方面： 1 ) 在具有时间期限、成本费用q o s 的约束下，从资源的预算成本、时间期 限以及资源利用率这几个要素来考虑，分析了传统改进的时间代价优化算法 ( d b c和常规的任务分组算法，结合传统算法的优点，costtime)(tsakgrouping) 提出具有时间期限、成本费用约束的任务分组算法( d b c _ t s a k g r o u p ) 。 2 ) 根据分组算法的思想，提出了一种具有时间、费用约束的最大最小算法 ( d b c m a x m i n ) 。 3 ) 根据提出的算法，对g r i d s i m 模拟器进行相关修改，使用g r i d s i m t o o l k i t - 4 0 对d b cc o s t t i m e 算法，d b ct a s k c n o u p 算法以及提出的d b cm a x m i n 进行仿 真。 通过几组对比实验，对这三种算法从多角度进行分析和比较。从而证明提 出的d b cm a x m i n 算法比其他两种算法拥有更短地执行时间，更少的费用开销， 网格中的资源能更好地得到充分利用。 武汉理工大学硕士学位论文 本论文得到了国家自然科学基金项目( 批准号：6 0 4 0 2 0 2 8 , 6 0 7 7 3 2 1 1 ) 和湖北省 武汉市青年晨光计划项目( 批准号：2 0 0 4 5 0 0 6 0 7 1 1 5 ) 的资助。 关键词：网格计算，经济模型，网格任务调度，服务质量( q o s ) ，g r i d s i m 仿真 武汉理工大学硕士学位论文 a b s t r a c t g r i dc o m p u t i n gi sb e i n gt h e l i r dw a v ea f t e ri n t 锄e ta n dt h ew e b ，a n di so n eo f t h ek e ya r e a 8i nt h en e x tg e n e r a t i o ni n t e r n e tt e c h n o l o g yr e s e a r c ha n da p p l i c a t i o n g r i d c o m p u t i n gr e s e a r c hm a i n l yf o c u s e so nt h ed i s t r i b u t i o no fh e t e r o g e n e o u s , a u t o n o m o u s d y n a m i cn e t w o r kr e s o u “x s se n v i r o n m e n tt oc o n s t r u c tv i r t u a lo r g a n i z a t i o na n dt o a c h i e v ec r o s s - o r g a n i z a t i o n a lr e s o b r c es h a r i n ga n dw o r kt o g e t h e r , p o o l i n ga n ds h a r i n g o fr e s o u r c 豁i st h em o s ti m p o r t a n tf e a t u r ei n 鲥d s h a r i n ga n dc o l l a b o r a t i o ni st h e b a s i ci d e ai n 鲥d h o w e v e r , i nt h eg n de n v i r o n m e n t , t h eg e o g r a p h i cd i s t r i b u t i o no f r e s o u l c 鹤o w n e db yd i f f e r e n to r g a n i z a t i o n s 丽t 1 1d i f f e r e n tu s a g ep o l i c e s ，c o s tm o d e l s a n dv a r n gl o a da n da v a i l a b i l i t yp a t t e r n sa r ep r o b l e m a t i c t h ep r o d u c e r s ( r e s o u r c e o w n e r s ) a n d c o n s u n l e l $ ( r e s o u r c eu s e r s ) h a v ed i f f e r e n tg o a l s ，o b j e c t i v e s ，a n d r e q u i r e m e n t ss ot h a ts o m et r a d i t i o n a lr e s o b l c em a n a g e m e n ta n ds c h e d u l i n gm e t h o d a r en o ts u i t a b l eh e r e t ob r i n ge c o n o m yt og r i ds y s t e m , a n dd or e s e a r c ho nh o wt o u t i l i z ee c o n o m yi ng r i dj o bs c h e d u l i n g , i sah o ta r e ai nt h eg r i dj o bs c h e d u l i n ga r e a f o rs p e c i f i ca t t r i b u t e so f 鲥d 北l 瞄a n dr e q u i r e m e n t so fq o s ( q u a l i t yo f s e r v i c e ) g a r a n t e e sf o r 加dt a s k , t h et h e s i sa d o p t sc o n c r e t ea t t r i b u t ep a r a m e t e r s ，s e l e c t s r e p r e s e n t a t i v ep a r a m e t e r sw h i c ha r ec o s t , d e a d l i n ea n d 刊港o u n u t i l i z a t i o n u n d e r t h r e eq o sc o n s t r a i n s ，t h et h e s i sd e e p l ys t u d i e st r a d i t i o n a l 代s 0 1 1 r o es c h e d u l i n gp o l i c y a n dt a s ks c h e d u l i n ga l g o r i t h m s t h em a i nr e s e a r c ha n di n n o v a t i v es t u d i e sa r es h o w na sf o l l o w s ： 1 ) i nad e a d l i n ea n db u d g e tq o sc o n s t r a i n t s ，f r o mt h e 胤1 1 惴，sb u d g e t , d e a d l i n ea n d “嚣o u eu t i l i z a t i o nt ob ec o n s i d e r e d , t h et h e s i sa n a l y z e st h et r a d i t i o n a l t i m o - c o s to p t i m i z a t i o na l g o r i t h m ( d b c _ c o s t t i m e ) a n dt h es t a n d i n go r d e r st a s k g r o u pa l g o r i t h m ( t s a k g r o u p i n g ) t h e nc o m b i n i n gt h ea d v a n t a g e so ft h et y p i c a l a l g o r i t h m s ，t h ed e a d l i n e a n d b u d g e to ft h et a s kg r o u pc o n s t r a i n e da l g o r i t h m ( d b c _ t s a k g r o u p ) i sp r o p o s e di nt h i st h e s i s 2 ) a c c o r d i n gt ot h ei d e o l o g i c a ld i v i s i o na l g o r i t h m , at i m ea n dc o s tc o m t r a i n t e d l a r g e s tm i n i m i z a t i o na l g o r i t h m ( d b cm a x m i n ) i sp r e s e n t e di nt h i st h e s i s h i 武汉理工大学硕士学位论文 3 ) t h eg r i d s i mt o o l k i ti sm o d i f i e da c c o r d i n gt o 出ep r o p o s e da l g o r i t h m s a n dw e b s et h e g r i d s i m t o o l k i t - 4 0 t os i m u l a t et h e d b c c o s t t i m ea l g o r i t h m , t h e d b c _ t a s k g r o u pa l g o r i t h ma n dt h ed b c m a x m i na l g o r i t h m n et h e s i sa n a l y z e sa n dc o m p a r e st h ea b o v et h r e ea l g o r i t h m sf r o mm u l t i a s p e c t s t h r o u g h ts e v e r a ls e to fc o m p a r i s i o ne x p e r i m e n t s a tl a s t ，i ti sp r o v e dt h a tt h ep r o p o s e d d b cm a x m i na l g o r i t h mh a ss h o r t e rc o m p l e t i o nt i m e ，l e s sc o s t , b e t t e rl e s o u i 黼 u t i l i z a t i o nt h a nt h eo t h e rt w oa l g o r i t h m s t h i st h e s i si ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a 口r o j e c t sn o 6 0 4 0 2 0 2 8 ，6 0 7 7 3 2 11 ) ，a n dt h ew u h a ny o n g e rd o w n i n gf o u n d a t i o n ( p r o j e c t sn o 2 0 0 4 5 0 0 6 0 7 1 - 1 5 ) k e y w o r d s ：g r i dc o m p u t i n g , e c o n o m ym o d e l ，t a s ks c h e d u l i n g , q o s ， g r i d s i ms i m u l a t i o n s i v 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：丝日期塑：竖! 兰 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部内容， 可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名：三查塑导谛签名：主乡榷日期垡堡：! ! r 武汉理工大学硕士学位论文 第1 章绪论 1 1 本课题来源及研究意义 随着计算机技术的高速发展，超级计算机目前已经成为复杂科学计算领域 的主宰，但是以超级计算机为中心的计算模式却存在明显的不足。超级计算机 虽然是一台处理能力强大的“巨无霸”，但它造价极高，通常只有一些国家级的部 门，如航天、气象等部门才有能力配置这样的设备，而随着人们日常工作遇到 的商业计算越来越复杂，越来越需要数据处理能力更强大的计算机，而超级计 算机的价格显然阻止了它进入普通的商业应用领域，因此，在互联网广泛应用 于电子商务的今天，寻找一种造价低廉而数据处理能力超强的计算模式，必将 掀起继传统互联网( i n t e r n e t ) 、万维n c w e b ) 之后的第三次浪潮，并将为信息产业 带来无限商机这一新的计算模式就是网格计算( g r i dc o m p u t i n g ) 。 网格计算研究的问题与传统分布式计算研究的问题很相似，但网格计算环 境的资源分布共享、自治统一管理、异构和强动态性等特性使得它与传统的分 布式计算相比还有很多需要解决的问题。目前较成熟的网格环境( 如g l o b u s ) 基 本解决了异构资源支持、资源发现与协同管理以及网格上的安全通信等最基本 的问题。但保障网格性能的优化和服务质量的提高还有待进一步的研究。 在网格中，大量地理上分布的资源为不同的组织所拥有，这些组织具有不 同的使用规则、不同的计费模型、不一样的负荷能力和不同的使用模型，这些 都是问题所在；此外生产者( 资源拥有者) 和消费者( 资源使用者) 各自具有不同的 目标、目的、策略和需求，这也会对网格中的资源共享产生影响。由于网格的 这些特点，一些传统的资源管理和调度方式在网格中并不完全适用。在网格环 境中使用经济学原理进行资源管理和调度是网格从理论研究向实际应用所必须 跨越的一步。 计算经济模型【l 】将经济的概念引入网格资源管理中，它应用了市场经济中的 供求原则来对资源的所有者和使用者进行调节以保证双方均获取最大利益。 本课题就是在此背景下确立的，研究的主要目的是探索一种能够在经济模 型下协调各方利益的网格任务调度策略。网格任务调度问题属于网格资源管理 中的一个重要问题，同时网格资源管理与具体的网格体系结构又是紧密相关的。 武汉理工大学硕士学位论文 通过这一课题的实施，对计算经济模型下的网格体系结构以及基本调度算法进 行分析，同时提出了一种基于计算经济模型的自适应的网格任务调度算法，旨 在满足用户的费用开销和时间期限的q o s 约束条件下，以调度的高吞吐率为主 要目标，合理的配置计算资源，最大限度地优化整个网格计算资源的利用率和 任务的执行效率。本研究旨在为促进网格计算科技进步及应用做一些有益的探 索。 本论文得到了国家自然科学基金项目( 批准号：6 0 4 0 2 0 2 8 ，6 0 7 7 3 2 11 ) 和武汉 市青年晨光计划项目( 批准号：2 0 0 4 5 0 0 6 0 7 1 1 5 ) 的资助。 1 2 国内外的研究现状 网格作为一种异构计算环境，根本任务之一是根据各个资源节点的状态、 网络通信性能等参数，把不同的任务以合理的方式分配到相应的资源结点去完 成，这也就是所谓的任务调度，也是网格资源调度策略要解决的关键闯题之一， 任务调度决策直接影响网格资源调度的性能。任务调度在操作系统等领域进行 过很多研究，但由于网格环境中资源的多样性、自治性和动态性，使得网格环 境下的任务调度比传统环境下的调度要复杂得多，对传统的调度算法提出了新 的挑战【2 1 。 围绕着网格中的任务调度，国内外已做了许多研究工作关于网格任务调 度策略的研究主要有两种：一种是针对元( 单个) 任务或者批( 多个) 任务来开展， 这种研究方式并不考虑任务间的数据关联与优先约束关系；另一种来源于传统 的并行计算与处理，针对有向无环图d a g ( d i r e c ta c y c l i cg r a p h ) 来表示的并行任务 在多处理机上的调度研究，目前的研究不仅包含任务之间的通信关系及代价， 还要考虑调度环境的异构性带来的影响、链路竞争、网络拓扑结构的松散易变 性等问题。 当前，国内外的文献中，已经出现了不少关于网格任务调度的算法。这些 算法按照调度策略可以分为独立的网格任务调度算法和依赖任务的启发式调度 算法【3 1 。前者又由动态任务调度算法( d y n a m i cs c h e d u l i n g ) 、批处理模式任务调度 算法以及静态任务调度算法( s t a t i cs c h e d u l i n g ) 组成：后者又以分代算法 ( g e n e r a t i o ns c h e d u l i n g ，g s ) 为典型代表；动态任务调度算法是指一旦任务到达， 任务就立即被调度到资源上进行处理。而在批处理模式中，当到达调度器的任 务达到一定数量时，才进行任务映射。静态任务调度算法是把任务收集起来， 2 武汉理工大学硕士学位论文 等映射事件到来后才对这些任务进行集中映射。其中动态任务调度算法主要有 最小完成时间算法( m i n i m u mc o m p l e t i o nt i m e ，m e t ) 【4 1 、最小执行时间算法 ( m i n i m u me x e c u t i o nt i m e ，m e t ) 4 1 、切换算法( s w i t c h i n ga l g o r i t h m , s a ) 同等； 批处理模式任务调度算法主要有快速贪吃算法( f a s t - g r e e o y ) 、m i n - m i n 算法、 m a x - m i n 算法、最大时间跨度算法( m a x j i n u mi n t e r v a lh e u r i s t i c ，m a x i n t ) 等；静态 任务调度算法主要有：遗传算法( g e n e t i ca l g o r i t h m ) p 】、模拟退火算法( s i m u l a t e d a n n e a l i n g , s a ) 网、最陡爬山算法和最陡下降算法等；静态任务调度算法具有充 足的时间利用启发式信息，从而提高算法的调度性能，在实时性要求不高的计 算系统中，使用静态任务调度算法可能更好，因为它有充足的时间投入调度计 算。然而，静态调度算法要求参与映射的任务集合是事先已知的，在全部机器 上的所有任务的期望执行时间的估计值是己知的，并具有合理的精度，这在实 际的系统很难达到；原则上，批处理模式算法都可以作为静态调度算法使用， 且具有动态调度算法的实时性，又具有静态调度算法的高效性，因此批处理模 式的算法能较好的适用于网格环境。 在基于计算经济模型的网格任务调度算法中，最著名的是澳大利亚m o n a s h 大学b u y y a 提出的基于两项经济学中最重要的q o s 需求，即任务截止期( d e a d l i n e ) 和成本预算( b u d g e t ) 的网格任务调度算法，这种算法在他提出的基于分布式、可 计算的经济学的g r a c e 网格资源框架下使用经济学模型进行资源调度和协同 分配的工具集n i m r o d g 中运行【6 】。基于计算经济模型的网格任务调度算法可以 通过价格浮动来反映资源供需情况的动态变化，通过供需均衡实现资源优化分 配。但是任务的多样性和动态性带来的困难，网格的系统性能和向网格用户提 供的服务质量还不理想。这其中，任务管理是一项重要而又急需解决的原因之 一。如任务的自适应调度、任务执行的性能预测、任务的容错、任务授权管理 等都是尚未很好解决的关键问题，它们解决情况的好坏，直接影响网格计算的 效率，和网格应用的推广。 1 3 本文的主要工作及创新 由于网格环境中资源的多样性、自治性和动态性，一些传统的资源管理和 调度策略在网格应用中有一定的局限性；为了能够更好地表现网格的动态特征， 在网格中引入经济学，特别是基于价格的市场机制，由价格浮动来反映资源供 需情况的动态变化，通过供需均衡实现资源的优化分配，是当前网格应用研究 3 武汉理工大学硕士学位论文 中的一个热点。本课题是在对网格中计算经济模型进行深入研究和学习的基础 上，对经济模型下的网格资源调度的核心问题网格任务调度问题来进行研 究。对常规的网格任务调度策略进行改进，并且提出了一种具有时间、成本约 束的网格任务调度算法，从而解决在任务长度小、量多的情况下，网格资源利 用率低的问题。 本文所做的主要研究及创新性主要体现在以下几个方面： 1 ) 对典型的任务分组调度算法加入时间期限( d e a d l i n e ) 和成本预算( b u d g e t ) 的q o s 约束，提出一种具有时间、费用约束的任务分组算法( d b ct s a k g r o u p ) 。 2 ) 根据分组算法的思想，提出了一种具有时间、费用约束的最大最小算法 ( d b cm a x m i n ) 。 3 ) 对网格模拟器g r i d s i m 中的网格资源任务代理( o d dr e s o u r c eb r o k e r ) 进行 改进，使其对所提出的算法进行模拟调度。 经过在网格模拟器g r i d s i m 上的仿真实验，证明新算法提高了调度系统的吞 吐率和资源的利用率，也能节约资源的处理成本、缩处理时间。也就能更好的适 应经济网格的资源动态调度。 1 4 论文结构 论文主要分为7 部分，各部分内容安排如下： 第1 章绪论介绍本课题的来源、研究目的、意义和国内外研究现状，还 有本论文所做的工作和创新。 第2 章网格概述介绍网格概念、网格的体系结构以及网格核心服务技术。 第3 章计算经济模型介绍网格中经济学原理的引用、常用的经济网格任 务调度器、经济网格中的基本经济模型。 第4 章基于计算经济模型的任务调度算法分别介绍传统的经济模型下的 基本任务调度算法，针对传统算法的不足，提出两种任务调度算法( o b c d b cm m ) 并且进行分析。 第5 章网格仿真平台g r i d s i m 首先详细地介绍g d d s i m ，然后将它与其他 模拟器进行比较，最后介绍g r i d s i m 模拟流程以及它的安装。 第6 章仿真试验针对第四章提出的网格任务调度算法在g r i d s i m 下进行 模拟试验，分析、论证算法的试验结果，对该算法进行评价。 第7 章总结与展望总结本文的研究成果，同时对未来的研究目标及其研 究趋势进行一定的展望。 4 武汉理工大学硕士学位论文 第2 章网格的概念及其体系结构 2 1 网格的概念 由于目前网格正处于研究、发展时期，仍然没有一个能够被大家一致认同、 接受的概念。不同的人从不同的角度提出了多个不同的网格定义，其中以网格 研究的权威科学家i a nf o s t e r 等人提出的定义为代表，他们将网格定义为：网格 技术及其基础设施支持在动态的、分布的虚拟组织中对不同资源的共享与协同 使用即从具有不同政策的不同组织所操纵的地理上分布的部件来构建虚拟 的计算系统，该系统被充分的集成以便提供所需的服务质量。该定义描述的网 格特点广泛，包括地理上分布的、异构的、资源共享、资源协同、多管理域、 可靠访问、普遍访问、服务质量等。 就现阶段网格技术的发展来看，我们认为网格是对现有技术( 如网络、分布 式计算、协同计算、集群计算、安全等等) 的集成与发展，最终提供一种由各种 硬件和软件构成的基础设施，目标是提供安全、可靠、普遍、透明、按需的计 算与服务，以便满足科学研究、工业生产、商业运作、国防建设等领域日益增 长的大规模计算、资源共享、协同问题求解等方面的要求。 2 2 网格的体系结构 认识任何事物都要有一个从整体到局部的过程，尤其是对于构造复杂、功 能多样的系统。首先需要对它的整体结构有所了解，然后才能进一步去讨论其 中的细节。网格体系结构就是对网格计算系统的整体描述。一般认为，网格体 系结构就是关于如何建造网格的技术，包括对网格的基本组成部分和各部分功 能的定义及描述、网格各部分相互关系与集成方法的规定、网格有效运行机制 的详细描述【刀。 到目前为止，比较重要的网格体系结构有两个：一个就是f o s t e r 等人在早 些时候提出的五层沙漏结构嗍；第二个就是在以m m 为代表的业界的影响下， 在考虑到w e b 技术的发展与影响后，f o s t e r 等提出了开放网格服务结构o g s a 9 ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 。还有对开发新的网格服务具有重要的指导意义 5 武汉理工大学硕士学位论文 的两种网格体系结构：一是基于代理的网格体系结构【1 0 l ，它是一种概念空间体 系结构，通过代理将网格计算的各种概念有机结合起来，协作网格的运行。从 这个意义上来说，本文所采用的经济网格主要以网格资源任务代理( g r i d r e s o u r c eb r o k e r ) 进行调度，属于这个体系结构的范畴：第二种是基于对象模型 的网格体系结构，在这种体系结构下，将网格实体抽象为对象，使用成熟的面 向对象技术构建网格系统，在形成单一虚拟机器上具有突出的特点。以下几节 内容将详细介绍这几种体系结构。 2 3 五层沙漏结构 2 3 1 五层沙漏结构的功能划分 五层沙漏结构的主要特点是结构简单、层次清楚。它以“协议为中心，同时 也强调与a p i ( a p p l i e a t i o np r o g r a m m i n gi n t e r f a c e s ) 和s d k ( s o t t w a r ed e v e l o p m e n t 酗哟的重要性。五层沙漏结构类似于传统的t c p i p 网络协议栈，将网格分成五 个互相关联而不均等的层次，分为：构造层、连接层、资源层、汇聚层和应用 层。图2 1 描述了五层沙漏模型结构并把它同i n t e m e t 协议体系模型进行了比较。 爨 姆 倏 堆 煞 盎 建 屡 霉 蛾 倏 雄 塔 皋 - o 置 k 3 盘 h 图2 1五层沙漏结构与i n t e r a c t 协议的对比 五层沙漏模型按照模型中各个组件与其共享资源的距离远近，将对共享资 源进行操作、管理和使用的功能分散在五个不同的层次中，越向底层就越接近 物理的共享资源，与特定资源相关的成分就比较多；越向高层就越感觉不到共 6 嚣 武汉理工大学硕士学位论文 享的细节特征，也就是说高层是共享资源的更加抽象表示，因此就不需要关心 与底层资源相关的具体实现问题。 在五层沙漏结构中，最底层是构造层( f a b r i c ) ，构造层面对的是一个个具体 的物理( 也可以是逻辑的) 资源，它通过对这些局部资源的管理，向上层提供对这 些资源的管理和控制界面。构造层的上面是连接层( c o n n e c t i v i t y ) ，主要是为下层 的物理资源提供安全的数据通信能力，这是资源间进行互操作的前提，连接层 使得单个的资源之间建立了联系。连接层的上面是资源层( r e s o t i r e e ) ，它反映的 是抽象的局部资源的特征，而资源层上面的汇聚层( e o u e e a v e ) 完成的功能是如何 将下面以单个资源形式表现出来的资源集中起来，协调解决多个资源间的问题。 最上面的应用层( a p p l i c a t i o n ) 和资源的距离最远，它关心的是有什么样的资源可 以由下面提供给虚拟组织，解决不同虚拟组织的具体问题。 2 3 2 五层沙漏结构的描述 下面对这五层的的功能分别进行描述： 1 ) 构造层：资源的局部控制 网格构造层的基本功能是控制局部的资源，向上提供访闯这些资源的接口。 构造层的资源可以是计算资源、存储系统、目录、网络资源以及传感器等。广 域分布的计算机、工作站、机群、w e b 服务器、数据库服务器和超级计算机系 统是构造层的物理资源，它们本身附带的文件系统、通信系统构成了构造层的 逻辑资源。 构造层应该实现的基本功能包括查询机制( 用来发现资源的结构和状态等信 息) 、控制服务质量的本地资源管理能力等。 2 ) 连接层：支持便利的安全通信 连接层的基本功能就是实现资源间的相互通信。它定义了核心的通信和认证 协议，用于网格的网络事务处理之中。 通信协议允许在构造层的资源之间交换数据，提供包括传输、路由、命名等 功能。建立在通信服务之上的认证协议提供加密的安全机制，用于识别用户和 资源。 3 _ ) 资源层：提供资源共享机制 资源层的主要功能就是实现对单个组织内的资源共享。资源层建立在连接层 的通信和认证协议之上，定义的协议包括安全初始化、监视、控制单个资源的 7 武汉理工大学硕士学位论文 共享操作、审计及付费等。资源层的协议只考虑单个的局部资源，忽略了全局 状态和跨越分布资源集合的原子操作。 资源与连接协议形成了沙漏模型的瓶颈部分，因此这个协议集合要小，而且 尽量标准化。这些协议要能够抓住涵盖不同资源类型的基本共享机制，但是又 不能对高层协议的类型和性能有约束。 钔汇聚层：协调各种资源 汇聚层的主要功能是协调多个资源组织间的资源的共享，而资源层的主要功 能则是实现“单个虚拟组织”的资源交互共享。汇聚层的协议与服务描述的是资源 的共性，并不涉及资源的具体特征，说明不同资源集合之间是如何相互作用的。 由于汇聚层的协议在资源层通用目的协议的基础上实现更高级的应用，因此 资源层的协议必须是通用的，而且可以广泛使用。 5 1 ) 应用层：在虚拟组织中存在。由网格环境下用户定义的应用程序构成 应用层是在虚拟组织环境中存在的。从应用程序员的观点看网格结构，应用 是根据在任意层次上定义的服务来构造的。在每一层都定义了协议，以提供对 相关服务的访问，这些服务包括资源管理、数据存取、资源发现等。在每一层， 可以将a p i 定义为与执行特定活动的服务交换协议信息的具体实现。这里的应 用可以调用更高级的框架和库调用。 2 3 3 五层沙漏结构的特点 1 ) 共享 传统的共享只是局限在交换文件，而这里则更强调对计算机、软件、数据及 其他资源的直接访问。共享是一种随时间变化的动态的共享，而不是静态的共 享。网格具有动态的特点，网格资源的共享也必然满足动态性的要求。因此， 在五层沙漏结构中的共享，是深层次的、广泛的、动态的、具有多种形式的有 条件受控制的。 2 1 互操作 互操作也就是对资源的直接访问，从而实现资源的共享。这种共享关系在任 意的组织、团体之间在一开始就建立，可以动态增加新的成员，并且可以跨越 不同的平台、语言和编程环境，在这样的情况下，如果不能提供一种互操作机 制，使得可以跨越不同的组织边界、使用策略以及资源类型，就不能达到共享 的目的。没有互操作机制的保证，动态虚拟组织的形成是不可能的，而且可以 r 武汉理工大学硕士学位论文 形成的虚拟组织的类型是非常有限的。 3 ) 协议 协议是指为了实现特定的操作而定义的分布式系统元素之间交互的方式，以 及交互过程中交换的信息的结构【1 。它侧重于外部行为而不是内部特征。共享 需要互操作，而互操作又需要定义协议，因此五层沙漏结构特别重视协议的定 义。如同w e b 通过提供统一的协议和语法来进行信息共享，在网格中也需要标 准化的协议和语法用于通用的资源共享。 4 ) 服务 服务是由它使用的协议和实现的行为定义的，标准协议使得定义标准服务更 加容易。标准服务( 如对计算的访问、存取数据、资源发现、协同调度、数据复 用等) 的定义抽象了资源的相关细节，所以非常有利于虚拟组织的应用开发。 5 ) a p i s d k 在五层沙漏结构中，同时还提供a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 和 s d k ( s o r w a r ed e v e l o p m e n tk i t s ) ，使得在建立网格应用时可以在抽象的基础上提 高编程的级别。因为有更多的应用是针对虚拟组织的，而不是针对低层的互操 作、协议、或者服务。开发者要能够在复杂、动态执行的环境中开发高级的应 用，借助于a p i 、s d k 就可以加速代码开发，实现代码共享，以及增强应用的 可移植性。a p i 和s d k 是附属于协议的，而不是协议的替代。 6 ) 沙漏形状 五层结构的另一个重要特点是沙漏形状。其含义就是：因为各部分协议的数 量是不同的，对于其最核心的部分，要能够实现上层各种协议向核心协议的映 射，同时实现核心协议向下层其它各种协议的映射，核心协议在所有支持网格 计算的地点都应该得到支持，因此核心协议的数量不应该太多，这样核心协议 就形成了协议层次结构中的一个瓶颈，在五层结构中，资源层和连接层组成这 一核心的瓶颈部分。如图2 2 所示： 沙漏核心的思想可以和微内核的操作系统进行类比，即操作系统只实现一些 关键的基本功能，而把大量与特定设备有关和与应用有关的部分交给其他部分 来完成。一个小的核心是有利于移植的，也可以比较容易地实现和得到支持。 资源是多种多样地，应用需求更是复杂多变，因此定义好这样一个核心部分的 意义是很大的。 9 武汉理工大学硕士学位论文 五层沙漏结构t c p i p 图2 2 沙漏形状的五层结构与t c p i p 协议层的比较 2 4 开放网格服务体系结构o g s a o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 是继五层沙漏结构之后最重要、也是 最新的一种网格体系结构，被称为是下一代网格结构。 如果说五层沙漏结构是以协议为中心的“协议结构”，则o g s a 就是以服务 为中心的“服务结构”。在五层结构中强调的是被共享的物理资源，而在o g s a 中，服务所指的概念更广，包括各种计算资源、存储资源、网络、程序、数据 库等，简而言之，一切都是服务。五层实现的是对资源的共享，而o g s a 实现 的将是对服务的共享。从资源到服务，将所有种类的资源抽象成统一的服务 o g s a 定义了“网格服务( g r i ds e r v i c e ) ”的概念。网格服务是一种w e b s 豇 v i c o 1 2 】，该服务提供了一组接口，这些接1 ：3 的定义明确并且遵守特定的惯例， 解决服务发现、动态服务创建、生命周期管理、通知等问题。在o g s a 中，将 一切看成是网格服务，因此网格就是可扩展的网格服务的集合：网格= 网格服 务 。简单地说：网格服务= 接口珩为+ 服务数据。 o g s a 是符合标准的w e bs e r v i c e 框架的。w e bs e r v i c e 解决了发现和激发 永久服务的问题，但是在网格中大量的是临时服务，因此o g s a 对w e bs e r v i c e 进行了扩展，提出了网格服务( g r i ds e r v i c e ) 的概念，使得它可以支持临时服务实 例，并且能动态创建和删除。 2 4 1o g s a 的两大支撑技术 建造o g s a 的两大支撑技术为：网络技术( t i pg l o b u s 软件包) 和w e bs e r v i c e 。 g l o b u s 是己经被科学与工程计算广泛接受的网络技术求解方案，w e bs e r v i c e 是 1 0 器一 武汉理工大学硕士学位论文 一种标准的存取网络应用的框架。 1 ) g l o b u s g l o b u s 1 3 】是一种基于社团的、开放结构的、开发源码的服务的集合，也是支 持网格与网格应用的软件库，该工具包解决了安全、信息发现、资源管理、数 据管理、通信、错误检测以及可移植等问题。g l o b u s 工具包在世界上的许多网 络项目，包括几百个地点被使用。 和o g s a 关系密切的g l o b u s 组件是g r a m 网络资源分配与管理协议和门卫 服务，他们提供了安全可靠的服务创建和管理功能，元目录服务通过软状态注 册、数据模型以及局部注册来提供信息发现功能，g s l 支持单一登录点、代理和 信任映射。这些功能提供了面向服务结构的必要元素，但是比o g s a 中的通用 性要小。 2 ) w e bs e r v i c e 关于x m l 协议方面的工作是w e bs e r v i c e 的基础。由于x m l 在分布式应用 之间被广泛用于作为信息交换的方式，在2 0 0 0 年9 月w e bs c r v c i e 的x m l 工作 组成立。 w e bs e r v i c e 中几个比较重要的协议标准是s o a p ( s i m p l eo b i e c ta c c e s s p r o t o c 0 1 ) ，w s d l ( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ) ，w s - i n s p e c t i o n , u d d i ( u n i v e r s a ld e s c r i p t i o n , d i s c o v e r y & i n t e g r a t i o n ) 。 s o a p 是基于x m l 的r p c ( r e m o t ep r o c e s sc a l l ) 协议，用于描述通用的 w s d l 目标。通过将s o a p 进行扩展，比如数字签名、加密等支持w e bs e r v i c e 框架的安全性。 w s d l 用于描述服务，包括接口和访问的方法。复杂的服务可以由几个服务 组成，它是w e l ) s e r v i c e 的接口定义语言。 w s i n s p e c t i o n 给出了一种定义服务描述的惯例，包括一种简单的x m l 语 言和相关的管理，用于定位服务提供者公布的服务。u d d i n i v e r s a ld e s c r i p t i o n d i s c o v e r ya n di n t e g r a t i o n ) 定义了w c bs e r v i c e 的目录结构。 2 5 基于代理的网格体系结构 代理技术起源于2 0 世纪的分布式人工智能的研究，随着i n t e r a c t 的发展， 这一技术逐渐被应用在越来越多的领域中。代理技术强调软件的分布性、自治 武汉理工大学硕士学位论文 性和智能性，通常用来构建大规模的分布式软件系统。软件代理是模型化的复 杂软件系统的高级抽象，展示高度的动态行为。软件代理是一种复杂的计算机 程序，采取自治的行为，协同应用与环境交互，完成给定的目标。将代理技术 引入网格计算中，可以屏蔽网格资源的分布性、动态性、异构性和扩展性，从 而简化分布式并行计算的广域实旌。在采用基于代理的网格体系结构的网格系 统中，代理通常被看作是一个网格中间件，负责用户请求的分解，保存网格资 源的元数据信息，组织和管理网格上的动态资源，为用户应用资源和分配资源， 发现新资源和保持整个网格系统的负载平衡，并负责支持资源的安全性和保证 计算的可靠性【1 4 】。 图2 3 为基于代理的网格体系结构a b g s ( a g e n t - b a s e dg r i da r c h i t e c t u r e ) 的 概念图。从图中可以看到，采用a b g s 的网格系统包括客户端、代理和服务器 三个主要组成部分。 基于代理结构构建的网格系统在进行一次网格应用服务时，其工作过程可 以简单描述如下： 1 ) 客户端为一次网格应用服务请求联系一个代理。 2 ) 客户端直接和服务器联系并发送本次网格服务器所需的输入参数。 3 】在服务器运行适合该网格应用的计算服务。 钔服务器把输出的参数和错误状态返回给客户端。 广一一一一一一一一一一一一一一一一一一一l 图2 3 基于代理的网格