（通信与信息系统专业论文）网格计算下基于虚拟组织的资源管理与调度研究.pdf

摘要 摘要 网格计算( g r i dc o m p u t i n g ) 是当前互联网研究中的一个热点，也是并行和分布 处理技术的一个发展方向。它充分利用网上的闲置处理能力，把整个网络整合成 一台巨大的超级计算机，实现了计算资源、数据资源、存储资源、信息资源、知 识资源、专家资源的全面共享。在网格计算中，资源管理、任务调度和任务管理 是网格必须具备的三个基本功能。本文从理论上对基于虚拟组织( v o ) 的资源管理 进行了研究，结合市场经济模型对任务调度进行了探索，其主要研究工作及贡献 可体现在以下几个方面： 本文讨论了网格计算环境下基于v o 的资源共享、协同工作机制与理论模型。 通过对网格v o 的研究，提出了一种新的基于链路带宽的v o 集合模型，并给出了 一种简单而有效的v o 聚合算法。针对v o 中资源属性动态变化和资源更新操作远 高于资源注册操作的特点，提出了一种基于哈希表二叉树( h t - b s t ) 的资源管理模 型。该模型综合考虑了已有的链表结构的优缺点，将注册资源通过二叉树型结构 按d 顺序联系起来，实现了资源发现和查找效率上的优化，充分适应资源负载以 及各种属性快速变化的特点。利用市场经济中的价格杠杆原理，提出了一种简单 有效的资源计费模型，实现了v o 内资源的负载均衡。 本文详细介绍了由澳大利亚m o n t h 大学开发的基于计算经济学的网格框架 ( g r i da r c h i t e c t u r ef o rc o m p u t a t i o n a le c o n o m y ，简称g r a c e ) 的网格资源代理 n i m r o d g 的体系结构以及n i m r o d g 内部实体的工作流程。重点描述了由 n i m r o d g 自带的d b c 最优时间、d b c 最优费用调度算法。在已有算法的基础之 上，提出了l p d b c 最优时间和l p d b c 最优费用调度算法。该算法基于一种全 新的思想，将任务调度问题转化为线性规划问题，采用单纯形算法获得近似最优 解，从而获得资源的最优执行时间以及该任务的最小完成时间，进而获得资源的 最优任务分配数。 本文采用网格仿真工具g r i d s i m ，搭建了基于b r o k e r 的网格仿真平台，采用 j a v a 语言实现了图形界面客户端。仿真结果显示l p d b c 算法与n i m r o d g 自带的 d b c 算法在任务分配方案上基本相似，然而l p d b c 算法的总任务完成时间明显 小于n i m r o d g 自带的d b c 算法的总任务完成时间，这也说明了l p d b c 算法具 有较低的时间复杂度。随着网格任务粒度的增大，仿真结果表明l p d b c 算法在 调度任务中的时间开销越来越小，说明了l p d b c 算法具有一定的应用价值。 关键词：网格计算，虚拟组织，线性规划，调度算法 重庆邮电大学硕士论文 a b s t r a c t g r i dc o m p u t i n gi sc u r r e n t l yah o tt o p i c i ni n t e r n e tr e s e a r c h ，b u ta l s oa d e v e l o p m e n td i r e c t i o no fp a r a l l e la n dd i s t r i b u t e dp r o c e s s i n gt e c h n o l o g y i tr e a l i z e dt h e c o m p r e h e n s i v es h a r i n go fc o m p u t i n gr e s o u r c e s ，d a t ar e s o u r c e s ，s t o r a g e r e s o u r c e s ， i n f o r m a t i o nr e s o u r c e s ，k n o w l e d g er e s o u r c e sa n de x p e r tr e s o u r c e sb yi n t e g r a t i n gt h e e n t i r en e t w o r ki n t oas i n g l eg i a n ts u p e r - c o m p u t e ra n du t i l i z i n gt h ei d l ep r o c e s s i n g p o w e ro ft h ew e b i ng r i dc o m p u t i n g ，r e s o u r c em a n a g e m e n t ，t a s ks c h e d u l i n ga n dt a s k m a n a g e m e n ta r et h et h r e eb a s i cf u n c t i o n st h a tt h eg r i dm u s th a v e i nt h i sp a p e r , a r e s o i u r c em a n a g e m e n tb a s e do i lv i r t u a lo r g a n i z a t i o n sh a sb e e n s t u d i e da n dt a s k s c h e d u l i n gi nc o n j u n c t i o nw i t ht h em a r k e te c o n o m ym o d e lh a s b e e ne x p l o r e d ，t h em a i n r e s e a r c hw o r ka n dc o n t r i b u t i o na r es h o w na sf o l l o w s ： t h er e s o u r c es h a r i n ga n dc o l l a b o r a t i v ew o r k i n g m e c h a n i s m sa n dt h e o r e t i c a l m o d e l si nt h ev o b a s e dg r i dc o m p u t i n ge n v i r o n m e n ta r e d i s c u s s e di nt h i sp a p e r t h r o u 曲t h es t u d yo fv o ，an e wl i n kb a n d w i d t hc o l l e c t i o nm o d e lo ft h ev oa n da s i m p l ea n de f f e c t i v ea l g o r i t h m f o rv oa g g r e g a t i o nh a sb e e np r o p o s e d ah a s h t a b l e b i n a r ys o r tt r e e ( h t - b s t ) r e s o u r c em a n a g e m e n tm o d e lh a sb e e np r o p o s e df o r t h ed y n a m i cc h a n g eo ft h er e s o u r c ep r o p e r t i e sa n dt h er e s o u r c eu p d a t eo p e r a t i o ni s m u c hh i g h e rt h a nt h eo p e r a t i o no fr e s o u r c er e g i s t e r t h em o d e lt a k e si n t oa c c o u n tt h e s t r e n g t h sa n dw e a k n e s s e so f t h ee x i s t i n gl i s ts t r u c t u r e t h er e g i s t r a t i o nr e s o u r c e sa r e l i n k e db vmi no r d e rt h r o u g ht h eb s ts t r u c t u r et oa c h i e v et h eo p t i m i z a t i o ne f f i c i e n c y o fr e s o u r c ed i s c o v e r ya n ds e a r c h ，a n dt of u l l ym e e tt h er a p i d l yc h a n g i n gc h a r a c t e r i s t i c s o ft h en e t w o r kl o a da n d v a r i o u sp r o p e r t i e s as i m p l ea n de f f e c t i v er e s o u r c ea c c o u n t i n g m o d e lh a sb e e np r o p o s e db yu s i n gt h ep r i c eo fl e v e r a g ei nt h em a r k e te c o n o m y , a n di t i m p l e m e n t e dt h el o a db a l a n c i n go f r e s o u r c ew i t h i nt h ev o t h i sp a p e rd e s c r i b e dt h ea r c h i t e c t u r eo fn i m r o d ga n dt h ee n t i t y s w o r kf l o w w i t l l i nn i m r o d gw h i c hw a st h er e s o u r c eb r o k e rb a s e do nt h eg r i da r c h i t e c t u r ef o r c o m p u t a t i o n a le c o n o m yd e v e l o p e db yt h e a u s t r a l i a nm o n a s hu n i v e r s i t y i ta l s o d e s c r i b e dd b ct i m eo p t i m a la n dd b cc o s to p t i m a ls c h e d u l i n ga l g o r i t h mo fn i m r o d g t h el p d b co p t i m a lt i m ea n dt h el p - d b co p t i m a lc o s ts c h e d u l i n ga l g o r i t h mh a v e b e e np r o p o s e do nt h eb a s i so ft h ee x i s t i n ga l g o r i t h m s t h ea l g o r i t h m si sb a s e do na n e w i d e a , t h et a s ks c h e d u l i n gp r o b l e mw a sc o n v e r t e di n t oa l i n e a rp r o g r a m m i n gp r o b l e m ， i i i 重庆邮电大学硕士论文 e a c hr e s o l j e c eg a i n st h eo p t i m a le x e c u t i o nt i m ea n dt h e o p t i m a ln u m b e ro ft a s k a l l o c a t i o na n dt h es m a l l e s tc o m p l e t i o nt i m ei nt h eu s eo ft h es i m p l e xa l g o r i t h mt oo b t a i n t h ea p p r o x i m a t eo p t i m a ls o l u t i o n g r i d s i mw a sc h o s e na st h e 面ds i m u l a t i o nt o o l ，t h eb r o k e r - b a s e d 鲥ds i m u l a t i o n p l a t f o r mw a sb u i l t ，a n dt h eg r a p h i c a lu s e ri n t e r f a c ec l i e n tu s i n gj a v al a n g u a g ew a s i m p l e m e n t e di nt h i sp a p e r t h es i m u l a t i o nr e s u l t ss h o wt h a tt h el p - d b ca l g o r i t h ma n d t h ed b ca l g o r i t h ma leb a s i c a l l ys i m i l a rf o rt h et a s ka l l o c a t i o ns c h e m e h o w e v e r , t h e t o t a lt a s k sc o m p l e t i o nt i m eo fl p - d b ca l g o r i t h mi ss i g n i f i c a n t l yl e s st h a nt h a to fd b c a l g o r i t h mo fn i m r o d - gt h i s a l s os h o w st h a tl p - d b ca l g o r i t h mh a sl o wt i m e c o m p l e x i t y w i t ht h eg r i dt a s kg r a n u l a r i t yi n c r e a s i n g ，t h es i m u l a t i o nr e s u l t ss h o wt h a t l p d b ca l g o r i t h mf o rs c h e d u l i n gt a s k si nt h et i m eo v e r h e a dg e t t i n gs m a l l e ra n d s m a l l e r , i n d i c a t i n gt h el p - d b ca l g o r i t h mh a sac e r t m nv a l u eo fu s i n g k e yw o r d s ：g r i dc o m p u t i n g ，v i r t u a lo r g a n i z a t i o n ，l i n e a rp r o g r a m m i n g ，s c h e d u l i n g a l g o r i t h m i v 第一章绪论 第一章绪论 1 1网格计算出现的背景 随着i n t e r n e t 的不断发展，网络处理能力已达到每9 个月就会翻一倍，而在历 史上这种增长曾经一度非常缓慢。摩尔定律指出每个集成电路中晶体管中的数量 每1 8 个月就会翻一倍【lj 。这样就出现了一个问题：与网络能力的发展相比，处理 器的发展速度( 依赖于每个集成电路中晶体管的数量，符合摩尔定律) 要慢很多。 因此，我们不得不接受这样一个前提：关键的网络技术现在正以比微处理器发展 速度更快的速度发展。为了利用网络的优点，我们需要另外种更有效利用微处 理器的方法。 随着很多公司对信息技术投资的重新审视，都得出这样个结论：最重要的 事情是更充分地利用已有的计算资源。因此，提高利用率的重要性就不断增加。 从有限的i t 预算中榨取更多功能已经很有必要。与i n t e m e t 类似，网格诞生于那 些非常需要进行协作的研究和学术社区。在开发构成网格计算基础的第一代技术 和架构时，学术机构走在了最前面。研究中非常重要的一个部分是分发知识的能 力共享大量信息和帮助创建这些数据的计算资源的效率越高，可以实现的协 作的质量就越好，协作级别也越广泛。很多机构，例如g l o b u s 1 2 1a l l i a n c e 、c h i n ag r i d 和e s c i e n c eg r i d t 3 l 核心项目，都是第一批培育网格解决方案并使其不断成熟最终 适用于商业解决方案的地方。 网格计算是指通过利用大量异构计算机( 通常为桌面) 的未用资源( c p u 周 期和磁盘存储) ，将其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集 群，为解决大规模的计算问题提供了一个模型。网格计算的焦点放在支持跨管理 域计算的能力，这使它与传统的计算机集群或传统的分布式计算相区别。 1 2 网格计算研究背景及意义 随着互联网技术和计算技术的迅速发展，以网络技术为核心的新一代网络计 算环境已经成为当今国际上的一个研究热点和前沿领域，并引起了各国政府、学 术界和工业界的高度重视。但是网络环境的分布性、异构性、动态性等给网络计 算的开发、部署、运行带来了新的挑战，而迫切需要新的支持技术和先进的信息 基础设施，正是在此需求背景下，网格计算1 4 - 6 1 作为一种新的网络计算技术，而成 重庆邮电大学硕士论文 为当前信息技术领域的一个研究热点。网格计算的本质在于以有效且优化的方式 来利用组织或多个组织中各种异构松耦合资源，来实现复杂的工作负载管理和信 息虚拟化功能。它实现了网络中广泛分布的所有资源( 包括计算资源、存储资源、 通信资源、软件资源、信息资源、知识资源等) 的全面协同和共享，将互联网整 合成有机的资源库，以服务的方式支撑大规模计算和数据处理等各种应用。 网格计算体现了构建信息系统的新的思维方式。网格技术通过内在的资源共 享、协同工作的能力和虚拟组织的理念，清晰地指导行业资源的统一规划、整合 和共享，提升或改变整个行业信息系统的部署、运行和管理的机制。 网格计算是解决大规模分布资源共享和协同工作问题的新的平台技术。它将 互联网从通讯和信息交互的平台提升到资源共享的平台，提供多组织之间的分布 合作计算。 网格计算是支撑各类应用的新的国家信息基础设施。通过聚合资源，提供按 需服务，支撑各类应用系统。这种基础设施的建立，最终将使用户如同按需使用 电力那样，使用网格所提供的丰富资源和服务，这将改变今天的计算机应用模式， 极大地提高应用的质量，加快应用开发和部署的速度。 因此，研究并推广这一先进的网络计算技术，构建网格计算服务环境，是当 前消除信息孤岛，加快整个社会信息化进程最有效的一种手段。 本文在促进我国网格技术研究和应用、推动我国高性能网格计算的建设、以 及我国网格计算应用产业的形成和发展等具有一定积极意义。 1 3网格计算在国内外研究现状 网格计算能力及其应用水平也成为了一个国家的综合国力的重要标志之一。 因此，目前我国已将高性能网络计算技术的研究与应用上升为国家战略，予以重 点优先项资助。我国在“九五”开展了国家高性能网格计算环境建设和关键技术的 研究，而在“十五”期间，又进一步加大了对网格技术研究和推广的力度。现在已 初见成效，即在“十五”期间，我国已建立起了聚合峰值计算能力达到每秒1 6 万亿 次浮点运算和存储总量2 0 0 t b 的中国国家网格环境，为我国的科学研究提供了一 个良好的环境和合作平台。我国在科技部的领导和主持下，在已建成的5 个国家 级高性能计算中心基础上，又于中南、西北等地建立了新的国家高性能计算中心， 科技部并加强了网格节点的建设，形成以科学院为主体的计算网格。教育部也启 动了网格计算工程，第一批1 2 个网点正在建设中，国家基金委也列出专项基金资 助网格计算。尽管我们在高性能计算和网格的研究和发展方面，取得显著成绩， 但是我们与世界发达国家相比，还有一定的距离：在核心技术方面，我们拥有的 2 第一章绪论 具有自主知识产权的成果相对较少；在应用研究方面仍不成熟；特别是在网格计 算环境的基础理论研究模型、基于虚拟组织( v o ：v i r t u a lo r g a n i z a t i o n ) 间的资源共 享模式与协同工作方式等关键技术方面还有待进一步探索和研究。 网格不仅是推进大科学的重要基础设施，而且是盯与生物技术和纳米技术融 合不可或缺的基础，因此，美国和欧洲各国正在积极地实施国家网格项目。 在美国，政府在网格技术基础研究上的投入经费高达5 亿美元。美国还制定 了新一轮规划的先进计算框架计划( a c 口) ，发展面向2 1 世纪的先进计算技术。美 国能源部d o e 、美国国家科学基金n s f 都有网格研究项目。美国物理网格 g r i p h y n ( g r i dp h y s i c sn e t w o r d ) 计划建立每秒千万亿次级别的计算平台，用于数据 密集型计算。美国军方正在实施的全球信息网格g i g l 7 l ( g l o b a li n f o r m a t i o ng r i d ) 预 计在2 0 2 0 年完成。在国家科学基金会的“太网格”项目中，以太字节级处理大量数 据的研究正在进行之中。4 个全国性计算中心正在建设一个大规模集成示范系统， 拟将处理能力共有1 3 6 太次浮点运算并有5 7 6 太字节存储空间的高性能计算机与 4 0 g b p s ( 吉位每秒) 高速网络连接。另一个项目是，国家卫生研究院的生物医学信 息学研究网络。通过这一项目，由加州大学牵头，全国1 0 家研究机构参加使脑活 动视觉化和共享所得数据的网格开发，以便研究阿尔茨海默氏症和其它疾病。 在欧洲，英国2 0 0 0 年出台了一项称为e s c i e n c e 的计划，其目标是利用i t 技术 来促进和加速科学研究活动。特别是英国政府正在积极推动以网格为基础的项目， 以便实现分布在世界各地的昂贵计算机、实验室设备和大规模数据集的共享。作 为英国的网格基础设施，他们已在全国确定了9 个国家e s c i e n c e 中心，并且正在 建设通过高速网络连接高性能计算机的网格。这一网格应用跨越高能物理、基因 组学、生物技术、蛋白质结构解析、医疗保健、环境、气候学、天文学、化学和 材料等许多领域。 在亚洲，日本2 0 0 2 财年，由大阪大学领导的生物网格项目启动，此外，东京 大学、德岛大学、理化学研究所等机构也开始建设生物网格。2 0 0 3 年计划开展全 面的网格建设活动，努力创造世界最高水平的网格，而“商业网格”项目是开发软件 应用使网格可以进行灵活服务的一次尝试。而且，通过2 0 0 0 年开始实施的超级 s i n e t 项目，大学和国立研究所的计算中心都被连接到高速网上，形成构建网格 的重要基础设施。 由于有g l o b u st o o l k i t 等中间件可以利用，目前许多项目所关注的是网格构建 或已建网格的应用开发。然而，可利用的软件仍不足以使研究人员顺利地建立以 网格为基础的系统。当前的网格技术还遇到各种制约，研究人员需要努力解决。 网格计算中跨越不同组织的安全控制、运行政策的整合、定价方案、故障应对、 靠服务质量确保信道畅通、动态资源的分配和管理、大规模数据处理等都是目前 重庆邮电大学硕士论文 网格计算领域中的研究热点。防止外部存取的防火墙和必须进入其它机构的网格 存取之间的安全控制；通过q o s 控制确保宽带信道的大规模数据传输；实时监控 在线资源的动态资源管理；解决因组织而异的计算机操作政策的矛盾，为网格用 户提供统一操作政策；针对外部存取的定价体制等也是未来几年需要解决的课题。 1 4 网格计算目前存在的问题 网格计算的本质【4 】就是在虚拟组织( v o ) 间实现协同资源共享和协同问题求解。 虚拟组织是由遵守资源共享规则的一组个体，机构动态地聚集在一起而形成。它 不同于传统意义上的组织，v o 各成员仍属于不同的真实组织，仍被它们所在的真 实组织的内部规则和策略所控制。v o 概念的出现，极大地促进了现有计算模式的 改变。近几年，它已被广泛地应用于各个领域，为预算资源的共享、分布数据的 管理、应用程序的整合提供了技术手段。v o 成员是为了完成特定的任务而共享资 源，而共享已不再是简单的资源互连和单一使用( 如：单纯的文档交换) ，而是通 过互连、组合、协作解决用户问题( 比如对远程计算机的软件、数据和其他资源 的高效使用) ，并产生具有附加值的新服务、数据、信息等资源，满足用户的新需 求。 通常，v o 具有动态性、异构性、分布性、演化性等特性，即：v o 的组织结 构、对外交互行为和模式、管理模式与业务模式等、以及v o 内各成员和组织之 间的存在时间、拥有的权限和数量、种类等是随时间动态变化的；而且v o 各成 员在目标、结构、规模、管理运行模式等方面存在较大差异。另外，在网格计算 的实现过程中，通常伴随着巨大的计算任务和海量的数据。因此，在v o 中的各 实体间，维持一种动态的资源共享与协同工作关系就显得非常重要。这就要求在 用户间建立高度灵活的共享关系、为各种类型资源的共享提供支持、对共享操作 进行复杂地高层控制，同时能适应各种不同的用户模式，并解决由此带来的服务 质量保证、任务安排协调等问题。 由于目前的分布式计算技术( 如：i n t e r n e t 、c o r b a 、a s p 、s s p 等技术) 未 涉及到以上v o 相关概念，因此，不论是在共享配置的灵活性上，还是在共享资 源种类上，它们均不能满足v o 的需求，更不能为上述问题提供高效的解决方案。 例如，i n t e m e t 技术侧重于解决计算机间的通信和信息交换问题，而不能协调利用 各个站点的计算资源；而c o r b a 、j 2 e e 等分布式计算技术，虽然可以将共享内 容最终扩展到应用程序和物理设备，但其共享却只能限制在企业内部；而 a s p ( a p p l i c a t i o ns e r v i c ep r o v i d e r ) 和( s t o r a g es e r v i c ep r o v i d e r ) ，虽然能对有应用和存 储需求的企业提供外包( o u t s o u r c e ) 服务，但这些服务商通常是通过静态地虚拟私有 4 第一章绪论 网络( v p n ：v i r t u a lp r i v a t en e t w o r k ) 实现对客户的服务；即使现在刚出现不久的、 备受瞩目的一种新模式计算技术，即“i n t e r n e tc o m p u t i n g 也出现类似情况：即它虽 然可以在整个i n t e m e t 范围内搜索闲置的计算资源来提供服务，但在服务过程中数 据却是被高度集中处理的，不能用来完成需要高度协同的复杂任务。因此，目前的 计算技术既不支持v o 所需的对异构资源的共享，也不能支持v o 高度灵活却严格 控制的共享关系。因此，必须研发与发展新的计算技术，以便能在v o 间动态建 立资源共享与协同工作关系。 最近，美国d a r p a 的一个项目c o a b sg r i d ，提供了一个在网格环境下资源 组织与管理的解决思路：即将a g e n t 技术和网格技术相互整合、渗透。在网格计 算中，a g e n t 技术的应用能够增强网格系统的智能性、灵活性、健壮性，一方面源 于a g e n t 的自治性：在网格计算环境中各a g e n t 可自主决定自己的行为，而不需要 进行集中的控制；另一方面源于a g e n t 的交互性：a g e n t 问可以协同地使用资源， 共同完成任务。另外，a g e n t 可被视为大粒度系统，可在其中封装较复杂的任务； 并通过多个a g e n t 相互协作，可完成其它软件体或单个a g e n t 不能完成的任务。目 前在理论上，a g e n t 技术已经比较成熟，已有一套完备的、标准的、开放的和通用 的接口和协议；在工程实践上，近年基于a g e n t 软件工程的研究取得了一些进展， a g e n t 技术实用化程度大大增强。这些理论和工程实践的进展，为基于a g e n t 的网 格环境下的资源组织与管理的实现提供了充分的保障。 鉴于此，本文将重点研究网格计算环境下基于v o 的资源管理理论模型，包 括：v o 聚合与管理、以及v o 间基于策略的资源分配模型；面向服务的基于代理 的任务调度：同时对所形成的算法和协议进行仿真和评估，为下一代面向服务的 网格提供基础理论模型。 1 5 本文的组织结构 全文主要研究了网格计算中基于虚拟组织的资源管理以及基于市场经济条件 下网格任务的最优时间和最优费用调度问题。 第二章描述了网格计算的相关技术。描述了网格体系结构的发展过程，介绍 了五层沙漏结构、开放网格服务体系结构以及基于开放网格服务体系结构之上的 w e b 服务资源框架；接着介绍了虚拟组织的相关知识，以及目前构建虚拟组织存 在的一些问题；随后介绍了几种目前常用的网格调度算法；最后总结了网格计算 与云计算之间的区别和联系。 第三章描述了基于虚拟组织的相关问题。提出了虚拟组织的聚合算法、基于 信誉度的资源管理和计费方法、以及在虚拟组织资源管理中心利用哈希表和二叉 重庆邮电大学硕士论文 树相结合的资源管理方法。 第四章详细介绍了n i m r o d g 的体系结构以及n i m r o d g 中已有的d e a d l i n e 和 b u d g e t 约束的最优时间和最优费用调度算法，在此基础上提出了一种l p d b c 最 优时间和最优费用调度算法。通过实例的方法阐述了l p d b c 算法流程，并给出 了算法实现的伪代码：最后对l p d b c 算法进行了时间复杂度分析。 第五章基于g r i d s i m 仿真工具对l p d b c 最优时间和最优费用调度算法进行了 仿真分析。通过与已有的d b c 算法比较，显示出了l p d b c 算法的优越性。 第六章全文总结以及下一步的研究方向。 6 第二章网格计算相关技术 第二章网格计算相关技术 2 1网格的体系结构 网格计算的设计主要是指网格体系结构的设计。网格体系结构是关于如何建 造网格的技术，包括对网格基本组成部分和各部分功能的定义和描述，网格各部 分相互关系与集成方法的规定是网格有效运行机制的刻画。显然，网格体系结构 是网格的骨架和灵魂，是网格最核心的技术，只有建立合理的网格体系结构，才 能够设计和建造好网格，才能够使网格有效地发挥作用。i a nf o s t e r 将网格体系结 构定义为“划分系统基本组件，指定系统组件的目的与功能，说明组件之间如何相 互作用的技术”。网格体系结构决定了网格系统由哪些模块实现网格的各个功能， 模块之间如何有机地组合成完整的网格系统，它包括两个层次的内涵： 标识出网格系统由哪些部分组成，清晰地描述出各个部分的功能、目的 和特点： 描述网格各个组成部分之间的关系，如何将各个部分有机地结合在一起， 形成完整的网格系统，从而保证网格有效地运转，也就是将各个部分进行集成的 方法。 到目前为止，主流的网格体系结构的发展过程为： i a nf o s t e r 等人在早些时候提出的五层沙漏结构邛j ( f i v e l e v e ls a n d g l a s s a r c h i t e c t u r e ) ； i a nf o s t e r 等结合五层沙漏结构和w e bs e r v i c e 提出的o g s a l 6 ( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ，开放网格服务体系结构) ： 由g l o b u s 联盟、i b m 和h p 于2 0 0 4 年初共同提出的w s r f ( w e b s e r v i c e r e s o u r c ef r a m e w o r k ，w e b 服务资源框架) ，w s r fv 1 2 规范已于2 0 0 6 年4 月3 日 被批准为o a s i s ( o r g a n i z a t i o nf o r t h ea d v a n c e m e n to fs t r u c t u r e d i n f o r m a t i o n s t a n d a r d s ，结构化信息标准促进组织) 标准。 2 1 1 五层沙漏体系结构 五层沙漏结构是由i a nf o s t e r 提出的一种具有代表性的网格体系结构，其影响 十分广泛。在五层沙漏体系结构中，最基本的思想就是：以协议为中心，强调服 务与a p i 和s d k 的重要性。设计原则就是要保持参与的开销最小，即作为基础的 7 重庆邮电大学硕士论文 核心协议较少，类似于o s 内核，以方便移植。另外，沙漏结构管辖多种资源，允 许局部控制，可用来构建高层的、特定领域的应用服务，支持广泛的适应性。 五层沙漏结构根据该结构中各组成部分与共享资源的距离，将对共享资源进 行操作、管理和使用的功能分散在五个不同的层次，由下至上分别为构造层 ( f a b r i c ) 、连接层( c o n n e c t i v i t y ) 、资源层( r e s o u r c e ) 、汇聚层( c o l l e c t i v e ) 和 应用层( a p p l i c a t i o n ) ，如图2 1 所示。 应用层 工具与应用 汇聚层，目录代理与服务、资料索弓 资源层i 网格资源与服务的访问 弋 网格资源分配管理、网格信息协议 连接层 构造层基础设施 图2 1 网格五层沙漏结构 在五层沙漏结构中，根据每次协议数量的不同，资源层和连接层构成了瓶颈 部分，使得该结构呈沙漏形状。对于中间层的核心协议，必须实现对上、下层协 议的映射，核心协议在所有支持网格计算的地点都应该得到支持，因此核心协议 的数量不应该太多，这样核心协议就形成了协议层次结构中的一个瓶颈。 2 1 2 开放网格服务体系结构 图2 2 0 g s a 体系结构图 第二章网格计算相关技术 在五层沙漏结构的基础上，结合w e bs e r v i c e 技术，i a nf o s t e r 提出了一种新型 网格体系结构，即开放网格体系结构o g s a ( o p e l lg r i ds e r v i c e sa r c h i t e c t u r e ) 。该结 构解决了两个重要问题标准服务接1 3 的定义和协议的识别。o g s a 体系结构 9 1 如图2 2 所示。 o g s a 最突出的思想就是以“服务”为中心。在o g s a 框架中，将一切抽象为 服务，包括各种计算资源、存储资源、程序、网络、仪器设备等等。这样有利于 通过统一的标准接口来管理和使用网格。这种基于网格服务概念的体系结构可以 简单的表示为“网格服务= 接口行为+ 服务数据”。 0 g s a 中基于服务的思想有利于通过统一的标准接口来管理和使用网格。所 有的网格服务都基于这些接口实现，可以很容易地构造出具有层次结构的、更高 级别的服务，这些服务可以跨越不同的抽象层次，以一种统一的方式来看待。 o g s a 符合标准的w e bs e r v i c e 框架。然而，w e bs e r v i c e 面对的一般都是永 久服务，而在网格应用环境中，大量的是临时性的短暂服务。在网格环境中，必 须也要支持瞬时服务实例，动态地创建和取消。考虑到网格环境的具体特点，o g s a 在原来w 曲s e r v i c e 服务概念的基础上，提出了“网格服务( g r i ds e r v i c e ) ”的概念， 用于解决服务发现、动态服务创建、服务生命周期管理等与临时服务有关的问题。 o g s a 定义服务的标准接口如表2 1 所示。每个接口定义了一些操作，这些操作通 过交换定义好的一系列消息来激活。 表2 1o g s a 服务接口 隧纛疋如癌毖| 籀糍毖 嚣篓糍铆弦籀i 彬捌j 搋虎臻以袋幺貔斑拖施教“懿糍施施施k 如碰澎删渤锄女蟛尝蛸缀纛如? 璺熬黝# 缴l 锄渤 | i 囊勃象蒯 f m d s e r v i c e d a t a 查询网格服务实例的各种信息 g r i d s e r v i c es e t t e r m i n a t i o n t i m e 设置并得到网格服务实例终止时间 d e s t r o y 终止网格服务实例 n o t i f i c a t i o n s u b s c r i b e t o n o t i f i c a t i o n t o p i e 通知发送者进行登记 s o u r c e u n s u b s c r i b e t o n o t i f i c a t i o n t o p i c 取消登记 n o t i f i c a t i o n s i n kd e l i v e r n o t i f i c a t i o n 异步发送消息 r e 百s t e r s e r v i c e 网格服务句柄的软状态注册 r c 百s t r y u n r e g i s t e r s e r v i c e取消注册的网格服务句柄 f a c t o r y c r e a t e s e r v i c e 创建新的网格服务实例 f i n d b y p r i m a r y k e y 返回根据特定键值创建的网格服务 p r i m a r y k e y 句柄 d e s t r o y b y p r i m a r y k e y 撤销特定键值创建的网格服务实例 返回与网格服务句柄相联系的网格 h a n d l e m a pf i n d b y h a n d l e 服务实例 9 重庆邮电大学硕士论文 2 1 3w e b 服务资源框架 o g s a 刚提出不久，g g f 及时推出了o g s i l l o l ( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ，开放网格服务基础架构) ，用于为o g s a 软件组件提供最大的互操作性。o g s i 通过封装资源的状态，将具有状态的资源建模为w e b 服务，这种做法引起了“w e b 服务没有状态和实例 的争议。认为o g s l l l l , 1 2 1 主要有以下四点不足： o g s i 协议中包含了过多的内容，协议对不同内容的规定详细程度也各不 相同，使得协议难以实现； o g s i 过多的使用x m ls c h e m a 等技术，不能得到现有的w e b 服务和x m l 工具的有力支持： o g s i 要求w e bs e r v i c e 对象一样能够支持实例内部状态的维护，这一点 得不到w e b 服务技术拥护者的支持，同时也难于在基于h t t p 的w e b 上实现； 对w s d l 做了过多的扩展，使得o g s i 难以无缝集成到以w s d l 为基础 的w e b 服务协议之中，使o g s i 与w e b 服务不能很好地结合在一起。 针对o g s i 存在的弊病，m m 、g l o b u s 联盟和h p 于2 0 0 4 年初共同提出了 w s r f 1 3 1 协议，它是对o g s i 的重构和发展。和o g s i 相比，w s r f 具有以下四个 方面的优势： w s r f 融入w e b 服务标准，全面地扩展现有的x m l 标准，使其实现更 为简单； w s r f 中定义了更加通用的w s r e s o u r c ef a c t o r y 模式，扩展了o g s i 中 的f a c t o r y 接口有限的可用功能； w s r f 从广义角度来理解通知机制，状态改变通知机制正是建立在常规 的w e b 服务的需求之上。 w s r f 中通过将功能进行分离，简化了o g s i 规范庞大的规模并拓展了组 合的伸缩性。 w s r f 采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态 的，即在其中创建持久资源并通过w e b 服务来管理它，这种组合叫做w s r e s o u r c e 1 4 】。基于w s r f 的o g s a 结构如图2 3 所示。 w s r f 是一个服务资源的框架，是以下五个技术规范l l5 j 的集合： w s r e s o u r c e p r o p e r t i e s ，描述有状态的w s 资源，并用于检索、更改和删 除w e b 服务资源特性的机制。每个w s r e s o u r c e 具有一个x m l 格式的资源特 性文档。服务请求者可以通过标准的方法访问。 w s r e s o u r c e l i f e t i m e ，w e b 服务资源的析构机制。在w s r f 中有两种方 法：或者直接立即终止；或者通过调度在某一时刻终止。 1 0 第二章网格计算相关技术 w s r e n e w a b l e r e f e r e n c e s ，描述w s a d d r e s s i n g 端点引用的常规装饰( a c o n v e n t i o n a ld e c o r a t i o n ) ，用于端点变为无效的时候重新找回最新版本的端点引用。 w s s e r v i