（计算机软件与理论专业论文）网格资源管理中的协同分配问题研究.pdf

山东师范大学硕士学位论文 摘要 网格作为“第三代i n t e m e t ”，是把整个互联网整合成一台巨大的超级计算机，实 现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全丽共享。网 格的目标是实现资源的有效共享，因此，资源管理是网格的核心问题，它包括资源的 组织、定位和分配，以及进程创建和其他相关问题。网格资源具有分布性、异构性、 动态性等特点，这使得网格环境下的资源管理异常复杂。目前，国内外对网格资源管 理的相关研究主要包括理论模型和实验产品两个方面。这两方面的研究都做得还不 够，现有的产品还不够成熟。 在网格计算环境中，经常需要为单个任务同时分配多个资源以满足其性能需求， 网格资源的协同分配问题正是在这样的背景下产生的。网格特殊的环境给协同分配问 题带来了一些挑战性的问题：很多应用需要的资源集常常跨越多个管理域，而不同的 管理域在使用策略、调度策略和安全机制上各不相同；而且分配资源时经常由于存在 竞争和权限问题而造成失败。这样棘需要一种特殊的机制来协同分配位于多个站点上 的资源，并在这些资源上启动计算，以及监控和管理这些计算。 解决资源协同分配问题能够有效的提高网格中资源的利用率，而目前这方面的相 关研究较少，所以网格资源管理系统和资源协同分配的研究对于网格的发展具有很重 要的意义。 本文的主要工作及创新点如下： ( 1 ) 本文综述了网格技术的研究现状，分析了目前国内外网格资源管理和资源 协同分配的研究趋势。 ( 2 ) 本文设计了一种支持资源协同分配的层次式资源管理模型，对模型中资源 的组织、描述、维护以及如何在该模型中实现资源的协同分配进行了详细的讨论。 ( 3 ) 本文提出了一种网格环境下的协同调度算法r b o t ，针对网格的特点，引 入预约机制来保证协同调度的成功，该算法结合回填、优先级等技术，同时在为任务 分配资源时也考虑了用户提出的诸如截止期、预算等q o s 要求。 ( 4 ) 对于提出的网格资源协同调度算法，本文对目前常用的网格仿真工具进行 了分析比较，选择了网格建模与仿真工具箱g r i d s i m 对提出的协同调度算法实现了模 拟仿真。实验结果表明，本文提出的协同调度算法是可行的，能够改善网格的调度性 能。 关键词：网格、资源管理、资源协同分配、资源预约、g r i d s i m 中图分类号：t p 3 9 3 山东师范大学硕士学位论文 a b s t r a c t a st h e “t h i r dg e n e r a t i o ni n t e m e t ”g r i di sas u p e r c o m p u t e rt h a ts y n t h e s i z e st h ee n t i r e i n t e r a c tt os h a r ea l lt h ec o m p u t a t i o nr e s o u r c e s ，t h em e m o r yr e s o u r c e s ，t h ed a t ar e s o u r c e s ， t h ei n f o r m a t i o nr e s o u r c e ，t h ek n o w l e d g er e s o u r c e s ，a n dt h ee x p e r tr e s o u r c e s t h eg r i d s g o a li st or e a l i z er e s o u r c e se f f i c i e n t l ys h a r i n g ，t h e r e f o r e ，t h er e s o u r c em a n a g e m e n ti st h e c o r ep r o b l e mi nt h eg r i d ，i n c l u d i n gt h er e s o u r c e so r g a n i z a t i o n ，l o c a l i z a t i o na n da s s i g n m e n t ， a sw e l la sc r e a t i n gp r o c e s sa n do t h e rr e l a t e dp r o b l e m s i nt h eg r i d ，t h er e s o u r c e si s d i s t r i b u t e d ，h e t e r o g e n o u sa n dd y n a m i c ，t h i sc a u s e st h er e s o u r c em a n a g e m e n te x c e p t i o n a l l y c o m p l e xi n t h eg r i de n v i r o n m e n t a tp r e s e n t ，r e s e a r c ho fg r i dr e s o u r c em a n a g e m e n t i n c l u d e st w oa s p e c t s ，m o d e l sa n dp r o d u c t s b u ti tc a n tm e e tt h er e q u i r e m e n to ft h eg r i d a p p l i c a t i o n s i ti so f t e nt h ec a s ei nt h eg r i dt h a ta l la p p l i c a t i o nr e q u i r e sm u l t i p l er e s o u r c e so f d i f f e r e n tt y p e st ob ea l l o c a t e ds i m u l t a n e o u s l y t h eg r i dr e s o u r c ec o a l l o c a t i o np r o b l e mi s t h e np r o d u c e su n d e rs u c hb a c k g r o u n d t h eg r i ds p e c i a le n v i r o n m e n th a sb r o u g h ts o m e c h a l l e n g eq u e s t i o n st ot h er e s o u r c ec o - a l l o c a t i o np r o b l e m ：g r i da p p l i c a t i o n st y p i c a l l y o p e r a t eo ne n s e m b l e so fr e s o u r c e st h a ts p a na d m i n i s t r a t i v ed o m a i n so fc o n t r o l ，谢t h r e s o u r c e si nt h ee n s e m b l eb e i n gi n d e p e n d e n t l yo p e r a t e d f u r t h e r m o r e ，a c c e s st or e s o u r c e s i si ng e n e r a lu n r e l i a b l e ，d u et oe i t h e rc o m p e t i n gd e m a n d sf o rt h er e s o u r c eo ro u t r i g h t f a i l u r e s oi tn e e d so n ek i n do fs p e c i a lm e c h a n i s mt oc o a l l o c a t et h er e s o u r c e s ，a n ds t a r t s t h ec o m p u t a t i o no nt h e s er e s o u r c e s ，a sw e l la sm o n i t o r sa n dm a n a g e st h e s ec o m p u t a t i o n s s o l v i n gt h eg r i dr e s o u r c ec o a l l o c a t i o np r o b l e mc a ne f f e c t i v e l ye n h a n c et h eg i r d r e s o u r c eu t i l a n c e b u ta tp r e s e n t ，t h er e s e a r c ha b o u tt h i sp r o b l e mi sv e r yf o w ，t h e r e f o r et h e r e s e a r c ho f t h eg r i dr e s o u r c em a n a g e m e n ts y s t e ma n dt h er e s o u r c e sc o a l l o c a t i o nh a sm u c h t od ow i t 1t h ed e v e l o p m e n to f g r i d 1 1 1 em a j o rm s e a r c hw o r k sa n di n i t i a t i v ep o i n t si nt h i sd i s s e r t a t i o na r e ： f i r s t l y ，i nt h i sd i s s e r t a t i o n ，w es u m m a r i z i n gt h er e s e a r c h i n gs t a t u so ft h eg r i d t e c h n o l o g y ，a n da n a l y z i n gt h er e s e a r c ht r e n do ft h eg r i dr e s o u r c em a n a g e m e n ta n dt h e r e s o u r c ec o - a l l o c a t i o na tp r e s e n t s e c o n d l y ，i nt h i sd i s s e r t a t i o n ，w ed e s i g n i n gah i e r a c h i c a lr e s o u r c em a n a g e m e n tm o d e l w h i c hs u p p o r t st h er e s o u r c e sc o a l l o c a t i o n , a n dd i s c u s s i n gi nd e t a i la b o u tt h er e s o u r c e s o r g a n i z a t i o n , t h ed e s c r i p t i o n ，t h em a i n t e n a n c e ，a sw e l la sh o wt or e a l i z et h er e s o l l r c e s c o a l l o c a t i o ni nt h i sm o d e l t h i r d l y ，i nt h i sd i s s e r t a t i o n ，w ep r o p o s i n gaa l g o r i t h mo fg r i dr e s o u r c ec o s c h e d u l i n g n a m e dr b o t ，i n v i e wo ft h eg r i dc h a r a c t e r i s t i c ，一i n t r o d u c i n gt h er e s o u r c er e s e r v a t i o n 山东师范大学硕士学位论文 m e c h a n i s mt og u a r a n t e et h es u c c e s so fr e s o u r c e sc o a l l o c a t i o n ，a n dj o i n i n g t h e t e c h n o l o g i e so fb a c k f i l l ，p r i o r i t y ，s i m u l t a n e o u s l yc o n s i d e r i n gt h er e q u e s tp r o p o s e db yt h e u s e r sa b o u tt h eq o s ，s u c ha st h ed e a d l i n e ，b u d g e tw h e na l l o c a t e sr e s o u r c e sf o r t h et a s k s f i n a l l y ，i no r d e r t oe v a l u a t eo u ra l g o r i t h m ，s e v e r a lg r i de m u l a t o r sa r ei l l u s t r a t e di nt h i s d i s s e r t a t i o n ，a n dg r i d s i m ，ag r i dm o d e l i n ga n de m u l a t i o nt o o l k i t ，i sc h o s e nt oe m u l a t eo u r a l g o r i t h m t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h mp r e s e n ti nt h i sd i s s e r t a t i o ni s f e a s i b l e a n di ti m p r o v e st h ep e r f o r m a n c eo f g r i d k e y w o r d s ：g r i d 、r e s o u r c em a n a g e m e n t 、r e s o u r c e c o a l l o c a t i o n 、r e s o u r c e r e s e r v a t i o n 、g r i d s i m 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得( 注：如没 有其他需要特别声明的，本栏可空) 或其他教育机构的学位或证书使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示谢意。 学位论文作者签名：杳丹丹 一：旁) 扩暇 学位论文版权使用授权书 本学位论文作者完全了解! 墩有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权堂撞可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后 适用本授权书) 学位论文作者签名：鹰丹丹 新繇刊方啜 签字日期：2 0 0 6 年4 月6 日签字日期：2 0 0 6 年4 月6 日 山东师范大学硕士学位论文 第一章绪论 1 1 研究的背景和意义 随着计算机性能的不断提高和网络通信技术的迅猛发展，应用需求日益朝着高性 能、大规模、多样性、多功能的方向发展，要求将地理上分布的、异构的各种计算资 源、存储资源、数据资源和其它特殊资源通过高速网络连接起来，实现高性能联合计 算，共同完成重大应用问题。网格技术正是在这样的背景下提出来的，简单地讲，网 格是把整个互联网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资 源、信息资源、知识资源、专家资源的全面共享。 网格的目标是实现资源共享。因此资源管理是网格的核心问题，它包括资源的组 织、定位和分配，以及进程创建和其它相关问题。 全球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美国 g l o b u s 1 j 项目的领导人i a nf o s t e r 在【2 】中提到：几乎所有的网格应用都需要某种策 略实现多资源之间的协调。也就是说，在网格计算环境中，经常需要为单个任务同时 分配多个资源以满足其性能需求。例如，运行一个交互式数据分析程序时，需要同时 访问多个资源：一个用于存储数据的存储系统，一台用于数据分析的超级计算机，用 于传输数据的网络以及一台用来显示结果的显示设备。这样就需要一个能够支持对多 个资源协同管理的资源管理体系。 资源协同分配( r e s o u r c ec o a l l o c a t i o n ) 【4 j 问题在g 1 0 b u s 中首次提出，定义为： 为单个应用所需的资源集合提供分配、配置和管理控制功能。它的作用是将用户提 交的复合请求分割成有机的组成部分，把每部分提交给相应的局部资源管理器处理， 然后提供一种可以把分割的各个资源作为一个整体来进行操纵的方式，例如监视任务 的状态或者中断该任务。 网格特殊的环境给协同分配问题带来了一些挑战性的问题：很多应用需要的资源 集常常跨越多个管理域，而不同的管理域在使用策略、调度策略和安全机制上各不相 同；而且分配资源时经常由于存在竞争和权限问题而造成失败。这样就需要一个特殊 的机制来协同分配位于多个站点上的资源，并在这些资源上启动计算，以及监控和管 理这些计算。 解决资源协同分配问题能够有效地提高网格中资源的利用率【5 】，所以对资源协同 分配的研究，是网格资源管理的一个重要问题。目前国内外对这一问题的研究仍处于 初步阶段，许多问题例如，如何保证成功地完成协同分配以及为用户提供端到端的 q o s 等等，还有待于进一步研究。因此，对网格资源管理中协同分配问题的研究，对 当前和未来计算网格的发展和应用都将具有重要的理论意义和实践价值。 1 2 研究现状 近年来对于网格中的资源协同分配这一问题，国内外的研究人员做了不少的工 山东师范大学硕士学位论文 作，著名的网格计算系统( 如g l o b u s 和l e 西o n ) 都在其资源管理中提供了协同分配机 制。 g l o b u s 是由美国a r g o n n e 国家实验室和加州理工学院联合开发的一个网格计算环 境，它由一组网格计算底层工具包构成，为通信、资源定位和调度以及数据访问等提 供了基本的机i l i a d 接口。g l o b u s 的资源管理是通过g l o b u s 工具包与局部系统上运行 的所有调度器进行交互来实现的，g l o b u s 资源分配管理器( g r a m ) 支持在一组局部资 源上创建和管理进程，资源请求由一种可扩展的资源描述语言( r s l ) 来表示并在组件 之间传递。在g l o b u s 工具集中提供了灵活的协同分配机制，用于建立与应用相关的 协同分配策略。已开发的两个协同分配策略包括：原子事务策略和交互事务策略【4 1 。 在原子事务策略中，协同分配要求所有需要的资源被获得，否则分配失败；而交互策 略允许对协同分配的需求内容进行修改，以使应用级有较大控制权。根据这两种策略， g l o b u s 建立了两个协同分配机制：原子事务协同分配器g a r b ( g l o b u sr e s o u r c e a i l o c a t i o nb r o k e r ) 和交互事务协同分配器d u r o c ( d y n a m i c a l l yu p d a t e dr e s o u r c e o n l i n ec o a l l o c a t e r ) 。d u r o c 将用户提交的复合请求分割成有机的部分，把每部分提 交给相应的g r a m 处理，并且在分配过程中允许用户进行干预，采用协商的机制对 细化的资源进行调整。 协同分配的概念在l e g i o n 中也得到了重视【3 1 。l e g i o n 是美国v i r g i n i a 大学开发 的一个面向对象的网格计算环境，用于连接从p c 到大规模并行超级计算机的各类主 机。l e g i o n 使用面向对象的方法进行网格计算系统设计，它目前提供两种类型的资 源：h o s t s ( 计算资源) 和v a u l t s ( 存储资源) 。l e g i o n 资源管理模型的主要元素包括： 基本资源( h o s t s 和v a u l t s ) 、信息数据库( t h ec o l l e c t i o n ) 、调度器( t h es c h e d u l e r ) 、 调度实现( t h ee n a c t o r ) 和一个执行管理器。c o l l e c t i o n 作为信息库描述了系统资源 的状态；s c h e d u l e r 使用由c o l l e c t i o n 提供的信息计算对象到资源的映射；e n a c t o r 提供了一个进行协同分配计算和存储资源的机制，使用资源预约的方法实现协同分 配。 虽然网格经历了十多年的发展，并出现了一些比较成功的研究成果，开发出了许 多网格系统，例如：g l o b u s ，l e g i o n ，c o n d o r ，n i m r o d g 等，但还有很多重要问题没 能解决。首先，这些系统只是给出了网格资源管理的抽象模型，提供了实现通信、安 全、信息服务、远程文件访问、资源定位和分配等等这些功能的组件，但是具体到资 源怎么组织，各种代理怎么部署，采用什么样的结构便于实现资源的协同分配这些问 题并没有涉及到；其次，网格中的资源管理可以分为资源发现j 资源调度、任务提交 和监视这几个部分，其中资源发现、任务提交和监视可以由现存的中间件系统，如 g l o b u s 工具箱，提供的标准服务来完成，但资源调度，即为特定的任务选择合适的资 源，在g l o b u s 的研究中很少涉及，其他的研究往往也只是对少数特定的应用提出了 各自的调度策略，因此资源调度是资源管理的难点，尤其是资源的协同调度问题。 2 山东师范大学硕士学位论文 1 3 作者的主要工作 本文旨在解决资源管理问题，特别是资源协同分配问题，主要工作包括以下几个 方面： 提出一种新的支持资源协同分配的资源管理模型； 基于该模型对传统的资源调度算法进行改进，提出适应网格特点的资源协同调度 算法。 对于提出的网格资源协同调度算法，本文选择了网格建模与仿真工具箱g r i d s i m 对提出的该算法进行了模拟仿真。实验结果表明，本文提出的协同调度算法是可行的， 能够改善网格的调度性能。 本文在分析现有网格系统资源管理的特点，以及在协同分配方面的不足的基础 上，讨论了使用层次式的资源组织方式来管理网格资源的合理性，提出了一种层次式 的资源管理模型，并且为了保证协同分配的成功率以及为用户提供相匹配的q o s ，在 此模型中引入了资源预约机制；进而在此模型的基础上，提出了适应网格特点的资源 协同分配算法。 1 4 本文的章节安排 本文共分六章，各章安排如下： 第一章绪论 第二章网格资源管理中的协同分配问题概述 第三章一种支持资源协同分配的层次式资源管理模型 第四章网格环境下的协同调度算法 第五章实验模拟 第六章总结 山东师范大学硕士学位论文 第二章网格资源管理中的协同分配问题概述 2 1 网格 网格作为“第三代i n t e r n e t ”是一个新出现的概念，代表了一种先进的技术和基 础设施。本节从网格概念、网格特点以及基本要求等方面对网格内涵进行论述，为后 面的论文写作提供必需的基础知识。 2 1 1 网格的定义 随着计算机性能的不断提高和网络通信技术的迅猛发展，应用需求日益朝着高性 能、大规模、多样性、多功能的方向发展，要求将地理上分布的、异构的各种计算资 源、存储资源、数据资源和其它特殊资源通过高速网络连接起来，实现高性能联合计 算，共同完成重大应用问题。网格技术正是在这样的背景下提出来的，简单地讲，网 格是把整个互联网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资 源、信息资源、知识资源、专家资源的全面共享。 网格足借鉴电力网的概念提出来的，它的最终目的是希望给最终的使用者提供的 是与地理位霹无关、与具体的计算设施无关的通用的计算能力。 2 1 2 网格的特点 网格作为一种新出现的重要基础性设施，和其他的系统相比，具有以下几个重要 特点【6 】： ( 1 ) 分布与共享 网格的分布性是指网格的资源是分布在地理位置互不相同的地方，而不是集中在 一起，它决定了基于网格的计算一定是分布式计算而不是集中式计算。共享是指网格 上的任何资源都可以提供给任何使用者。共享是网格的目的，因此解决分布资源的共 享问题是网格的核心内容。 ( 2 ) 自相似性 网格的自相似性是指网格的局部和整体之间存在一定的相似性，局部往往在许多 地方具有全局的某些特征，而全局的特征在局部也有一定的体现。 ( 3 ) 动态性 网格的动态性是指资源可以随时加入或者退出网格。具体是指原来拥有的功能可 能会出现故障或者不可用：而原来没有的资源可能随着时间的推移会不断加入进来。 它决定了网格一定要具有很高的可扩展性和自适应性。 ( 4 ) 异构性 4 山东师范大学硕士学位论文 网格的异构性是指网格资源是异构和多样的，即在网格环境中可以有不同体系结 构的计算机系统和类别不同的资源，因此网格系统必须要能够解决这些不同结构、不 同类别资源之间的通信和互操作问题。 ( 5 ) 自治性与管理的多重性 网格上的资源首先是属于某一个组织或者个人的，因此网格资源的拥有者对该资 源具有最高级别的管理权限和自主的管理能力，这就是网格的自治性，网格资源需要 遵守自治区内的本地资源管理策略及安全策略。管理的多重性是指资源不仅可以被拥 有者自主管理，也必须接受网格的统一管理，这样才能实现共享和互操作。 2 1 3 网格的主要功能 网格的上述特点说明它不同于传统的分布式系统。 能特征【8 j ： ( 1 ) 管理等级结构它定义网格系统的组成方式， 全局的需要。 因此，网格需要有以下主要功 如网格环境如何分级，以适应 ( 2 ) 通信服务网格可能有多种通信方式：可靠的、不可靠的、点对点和广播方 式。网格的通信基础设施需要支持多种协议，同时还要提供q o s 支持，如延迟、可 靠性和容错性等。 ( 3 ) 信息服务网格是动态的，它的资源是不断变化的，为了任何情况下都能向 用户提供资源的全局访问，有必要提供一种能迅速、可靠地获取网格结构、资源、服 务、状态的机制，保证所有资源能被所有用户使用。 ( 4 ) 名称服务如同i n t e r n e t 的d n s 服务，网格名称服务给网格中所有资源提供 统一的名称空间。 ( 5 ) 分布式文件系统分布式应用经常需要对分布在多个服务器上的文件进行存 取，因此分布式文件系统应能提供一致的全局名字空间，支持多种文件传输协议。 ( 6 ) 安全及授权网格安全机制相当复杂，各种自治资源交互时既不能影响资源 本身的可用性又不能在整个系统中引入漏洞。因此，安全机制是网格环境成功的关键。 ( 7 ) 系统状态和容错为了提供一个可靠的、强壮的网格环境，系统应该提供资 源监视工具。 ( 8 ) 资源管理和调度网格必须对网格中的各种资源进行有效的管理和调度，且 该操作对用户来说是透明的。 ( 9 ) 计算付费和资源交易网格环境要提供一种机制刺激人们贡献他们的闲置资 源。同时，资源管理系统根据资源性能价格比和用户需求调度最合适的资源。 ( 1 0 ) 界面和编程工具网格应提供多种工具以构造良好的开发环境，提供直观 易用的与平台无关的界面。 5 山东师范大学硕士学位论文 2 1 4 网格的基本要求 网格能吸纳各种类型的计算机资源甚至相关的人力资源，并将它们转换成为标准 的、经济的、随处可得的计算能力，为用户提供高质量的服务。i a nf o s t e r 认为网格 的含义本质上应该包括以下三点p j ： ( 1 ) 协调各种非集中控制的资源。网格中的资源在地理上和管理权上都是分散 的，协调分散的资源是网格最基础的功能。 ( 2 ) 使用开放、标准、通用的协议和接口。标准的协议和接口使得各方面能动态 地在资源共享方面达成协议，也是建立通用的服务和工具的重要方式。 ( 3 ) 给用户提供高质量的服务。网格中各资源应该能协作满足用户各种服务要 求，如高吞吐量的服务要求、迅速响应的服务要求等。 因此，对于网格来说，要满足以下要求：可靠性要求、标准化要求、易访问性要 求、价格低廉要求。 ( 1 ) 可靠性网格的可靠性是指网格提供的计算能力必须保证是持续、稳定和安 全的，网格内部局部资源的变动对网格应用应该是透明的。 ( 2 ) 标准化标准化的一方面是指网格资源之间应该有一个统一的可以相互访问 标准化的接口或者协议标准。另一方面是网格对用户提供的计算能力应满足一定的标 准，从而便于以一种统一的方式进行访问。 ( 3 ) 易访问网格的易访问性是指用户可以在任何时间、任何地点、以自己习惯 的统一的方式访问和使用各种资源。 ( 4 ) 低廉性网格费用的低廉性是网格能够被普遍接受的前提。 2 1 5 网格的体系结构 f o s 诗r 将网格体系结构定义为“划分系统基本组件，指定系统组件的目的与功能， 说明组件之间如何相互作用的技术”【6 l 。网格体系结构是网格系统的骨架，是进行网 格设计和开发的基础。 到目前为止，比较重要的体系结构有两个嘲：一个是f o s t e r 等在早些时候提出来 五层沙漏结构；另一个是在m m 为代表的工业界的影响下，在考虑到w e b 技术的 发展与影响后，f o s t e r 等结合w e bs e r v i c e s 提出的开放网格服务结构o g s a ( o p e n g r i ds e r v i c ea r c h i t e c t u r e ) 。下面分别介绍这两种结构。 2 1 5 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，主要特点是简单，主要侧重于定性的 描述而不是具体的协议定义，很容易从整体上进行理解，一个最重要的思想是以“协 6 山东师范大学硕士学位论文 议”为中心。 如图2 1 所示，在五层沙漏结构中，最底层是构造层( f a b f i c ) ，构造层面对的 是一个个具体的物理( 也可以是逻辑的) 资源，它通过对这些局部资源的管理，向上 层提供对这些资源的管理和控制界面。构造层的上面是连接层( c o n n e c t i v i t y ) ，主要 是为下层的物理资源提供安全的数据通信能力，这是资源之间进行互操作的前提，连 接层使得孤立的单个资源之间建立了联系。连接层的上面是资源层( r e s o u r c e ) ，它 反映的是抽象的局部资源的特征，而资源层上面的汇聚层( c o l l e c t i v e ) 完成的功能是 如何将下面以单个资源形式表现出来的资源集中起来，协调解决多个资源之间的问 题。最上面的应用层( a p p l i c a t i o n ) 和资源的距离最远，它关心的是有什么样的资源 可以由下面提供给虚拟组织，解决不同虚拟组织的具体问题。 一工磊应用爱 、腿耀， 魄冷赞与脏箍峰夕 汇聚蒹 、嚣娑彳 黉嘏鸳 逢撬鬃 取 斡遗强 ( 图2 1 沙漏形状的五层结构) 五层结构的另外一个重要特点就是沙漏形状，其内在含义就是因为各部分协议的 数量是不同的，对于其最核心的部分，要能够实现上层各种协议向核心的映射，同时 实现核心向下层其他协议的映射，核心协议在所有支持网格计算的地点都应该得到支 持，因此核心协议的数量不应该太多，这样核心协议就形成了协议层次结构中的一个 瓶颈，在五层结构中，资源层和连接层共同组成这一核心的瓶颈部分。 2 1 5 2 开放网格服务结构( o g s a ) 如果说五层沙漏结构是以协议为中心的“协议结构”，则o g s a 就是以服务为 中心的“服务结构”( 如图2 2 所示) 。在五层沙漏结构中，强调的是被共享的物理 资源( 或者是这些资源所技术的服务) ，在o g s a 中，服务所指的概念更广，包括 各种计算资源、存储资源、网络、程序、数据库等等，简而言之，一切都是服务。五 层模型试图实现的是对资源的共享，而在o g s a 中，实现的将是对服务的共享。从 7 山东师范大学硕士学位论文 资源到服务，这种抽象，将资源、信息、数据等统一起来，十分有利于灵活的、致 的、动态的共享机制的实现，使得分布式系统管理有了标准的接口和行为。 为了使服务的思想更加明确和具体，o g s a 定义了“网格服务”( g r i ds e r v i c e ) 的概念。网格服务是一种w e bs e r v i c e ，该服务提供了一组接口，这些接口的定义明 确并且遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题。 在o g s a 中，将一切都看作是网格服务，因此网格就是可扩展的网格服务的集合， 即网格= ( 网格服务) 。网格服务可以以不同的方式聚集起来满足虚拟组织的需要， 虚拟组织自身也可以部分地根据它们操作和共享的服务来定义。 一个w e bs e r v i c e 就是一个可以被u r l 识别的软件应用，它的接口和绑定可以 被x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 描述和发现，并且可以通过基于i n t e r n e t 的 协议直接支持和其它基于x m l 消息的软件应用的交互。w e bs e r v i c e 描述了一种新出 现的、重要的分布式计算范式，和d e c ，c o r b a ，j a v ar m i 等方法不同，它更强 调基于单个i n t e r n e t 标准( x m l ) 来解决异构分布计算的问题。w e bs e r v i c e 定义了 一种技术，用于描述被访问的软件组件、访问组件的方法以及找到相关服务提供者的 发现方法。 o g s a 是符合标准的w e bs e r v i c e 框架的。w e bs e r v i c e 解决了发现和激发永久 服务的问题。但是在网格中，大量的是临时服务。因此o g s a 对w e bs e r v i c e 进行 了扩展，提出了网格服务( g r i ds e r v i c e ) 的概念，使得它可以支持临时服务实例，并 且能够动态创建和删除。 2 1 6 网格的发展趋势 8 ( 图2 2o g s a 架构) 从目前来看，网格的发展主要有三大趋势：标准化、技术融合、。大型化。 山东师范大学硕士学位论文 ( 1 ) 标准化 就像i n t e m e t 需要依赖t c p j i p 协议一样，网格也需要依赖标准协议才能共享和 互通。这是为了规范和统一目前大量的相关研究，使得网格计算技术可尽快与市场结 合，直接服务于生产和各种商业活动。 ( 2 ) 技术融合 屏蔽一切平台及所使用技术的异构性。用户访问网格服务时，根本就无需关心该 服务是c o r b a 提供的，还是n e t 提供的。 ( 3 ) 大型化 大型化趋势主要体现在两个方面：投入和参与者的大型化、规模的大型化。规模 的大型化趋势是由网格技术的特点决定的。网格的最终目标是将分散在网络上的所有 可用资源以合理的方式“粘合”起来，形成高度集成的有机整体( 超级计算机) ，向 普通用户提供强大的计算能力、存贮能力、设备访问能力及前所未有的信息融合和共 享能力，将i n t e m e t 变为一个功能强大、无处不在的计算设旋。 2 2 网格资源管理综述 2 2 ，i 资源管理系统的基本组成模型 毒 一个网格环境中的资源管理系统至少应该包括三个部分：资源提供者，资源使用 者和资源信息管理系统，如图2 3 所示。它们的定义如下： ( 图2 3 网格资源管理系统基本组成模型) ( 1 ) 资源提供者 控制资源的智能主体，向外界以服务的形式提供一些可访问的资源，这些服务有 确定的访问接口和访问协议并部署在资源信息管理系统中，有清晰的访问语义，可以 被资源使用者发现。 ( 2 ) 网格资源管理系统 由网格计算环境提供的公共服务设施，用于管理一个命名资源的仓库，使之对整 个环境可用。资源信息管理系统提供了对资源描述信息进行组织和管理的功能，有公 开的访问地址和访问协议供资源提供者和使用者访问。在网格计算环境中，资源提供 者和使用者往往不存在固定的耦合关系，只是需要时它们才在资源信息管理系统的帮 9 山东师范大学硕士学位论文 助下临时建立联系。因此，网格计算环境对资源的管理是自动的，当资源的状态发生 变化时不需要进行手工的资源配置，这是和常规的分布计算环境最大的不同点之一。 ( 3 ) 资源使用者 使用资源的用户，通常即是虚拟组织成员或需要使用资源的客户应用。它通过资 源信息管理系统发现所需要的服务。 2 2 2 网格资源管理的复杂性 网格对于解决大规模的应用程序很有吸引力。然而，管理和调度网格环境中的资 源是很复杂的任务。由于网格资源的分布性、异构性、动态性这些特点给网格资源管 理提出了很多具有挑战性的问题，例如站点自治性、底层异构性、策略可扩展性、资 源分配和协同分配、在线控制【9 】等。具体来说这些问题主要表现在以下几方面： ( 1 ) 没有单一的管理者：网格资源在地理上分布，分属于不同的个人或部门。 ( 2 ) 没有单一的策略：每一个资源所有者有自己的策略和调度机制，可以规定 资源的使用限制。所以他们希望用户访问资源时，不会破坏资源的访问策略。 ( 3 ) 资源异构性：资源异构性表现在静态异构和动态异构两方面。静态是指资 源存在硬件、操作系统、网络结构等各方面的差异；动态是指资源的c p u 占有率、 内存使用量、队列长度等动态因素也不相同。 ( 4 ) 不可靠性：资源在地理上分布，情况千变万化，随时都会出现不可用的情 况。 ( 5 ) 没有单一的访问机制：不能采用统一的模式访问网格资源，而是要针对不 同情况，采用相应的访问机制。 2 2 3 网格资源管理系统的主要功能 用户面对的网格是资源、协议和规范的集合。其中资源本身是协议、规范和策略 的基础。网格资源管理系统负责把网格上的资源和用户的请求进行匹配，把最合适的 可用资源提供给用户是网格管理的核心内容。把一个用户或应用程序和其所请求的资 源联系起来需要经过资源注册、资源请求、资源发现、资源分配、资源使用、资源回 收等过程。 相应地，网格资源管理系统应具备以下功能： ( 1 ) 资源注册 资源注册是指资源的拥有者向网格注册中心声明、登记目前自己的闲置的可共享 资源，使之变成网格资源，能被网格用户发现并使用。 在此过程中，需要确定资源的使用接口、描述资源的功能、确定共享策略等。资 源的请求者应遵循标准的资源描述和接口规范提出资源请求。 ( 2 ) 资源描述 山东师范大学硕士学位论文 资源描述要采用统一的描述框架和描述形式，以支持网格成员问的互操作。在同 资源注册中心应采用同一的资源描述方法，以实现在注册中心涉及的资源范围内的 有效资源调度。在不同的资源注册中心之间交换信息时，遵循共同的中间交换格式， 也可以实现两个注册中心间的交互。即所谓的网格技术与平台和具体实现无关。 ( 3 ) 资源发现 为资源请求者提供描述资源需求的方式，能够根据资源需求描述在资源信息数据 库中查找匹配的满足需求的资源信息，并返回给请求者。资源的分配是在资源本身共 享的策略的基础上进行的，资源共享也必须根据策略进行。 ( 4 ) 资源分配 网格资源是动态协同分配和协同调度的，在使用之前需要将资源部署到资源的运 行环境中。 ( 5 ) 资源代理 作为在用户和资源之间的中介，代替用户完成资源发现、分配、调度和使用等操 作。 ( 6 ) 资源回收和注销 资源回收是指分配给用户的资源在使用完后，网格要进行回收，以便分配给其他 用户使用。资源注销是指资源由于资源或结点失效等原因要求退出网格，相应地为其 修改资源信息数据库的记录。 2 2 4 典型网格项目资源管理设计 目前有许多正在开发的网格项目。下面简要介绍一下几个主流的网格项目的资源 管理系统的特点。 2 2 4 1a p p l e s 由加州大学圣迭戈分校开发的a p p l e s i 删( a p p l i c a t i o nl e v e ls c h e d u l i n g ) 系统，主 要用于开发计算网格中单个资源的调度代理。它使用了网络天气服务( n e t w o r k w e a t h e rs e r v i c e ) 提供的服务来监测资源性能的变化。a p p l e s 根据静态的和动态的应 用程序及系统信息来选择可行的资源及资源配置。它与其他的资源管理系统如 o l o b u s ，l e g i o n ，n e t s o l v e 交互来完成应用程序。应用程序通过内嵌a p p l e s 代理， 从而可以在网格中实现资源调度。 a p p l e s 项目的另一个贡献是开发了a p p l e s 模板。它类似于n i m r o d g 的体系和 资源代理，但并不支持服务质量q o s 驱动的调度。 由于a p p l e s 的重点是调度，它遵循了底层网格中间件系统提供的资源管理模型。 一个a p p l e s 调度程序对应用程序来说是集中式的，它把任务映射到资源上，但本地 的资源调度程序则类似于n i m r o d g ，执行任务单元。a p p l e s 可以被认为是具有了预 山东师范大学硕士学位论文 测启发式估计模型，支持在线调度和面向应用程序的调度策略。 2 2 4 2g l o b u s g l o b u s 项卧“】是目前国际上最有影响力的网格计算项目之一。它发起于2 0 世纪 9 0 年代中期，是美国阿岗实验室的研发项目。g