（计算机应用技术专业论文）网格环境中资源预留机制的研究.pdf

摘要 网格计算已经成为下一代并行和分布式计算，它聚集了大量分散 的异构资源来解决科学、工程和经济上大规模的并行任务。在网格环 境中，当一些计算任务对资源有很高的要求，需要同步访问多个分布 式异构资源，或者为了保证任务的o o s 要求时，利用资源预留机制 来完成资源的映射是很有效的。由此，网格环境中资源预留机制的研 究具有重要意义，已成为网格计算中新的研究重点和热点。 在网格资源缺乏、预留请求密集情况下，高q o s 要求的单一预 留请求以及协同预留多个( 种) 资源非常困难，为了解决这个问题， 本文提出了一种抢占式资源预留机制，高q o s 要求的预留请求以及 协同预留请求在满足设定的抢占条件时抢占低o o s 要求的预留任务 占有的资源，推迟低q o s 要求的预留任务。实验表明抢占式资源预 留较好地解决了这个问题，并且提高了资源利用率。 分析现有网格资源预留调度算法r s p b 的不足，提出了一种改进 的资源预留调度算法i r s p b 。该算法从两个方面进行了改进：( 1 ) 考 虑协同预留多种资源的请求，采用多维效益函数来反映用户的多q o s 要求。( 2 ) 当有多个资源满足预留请求的硬o o s 要求时，采用最佳适 应策略，即把在预留时间段内既能满足硬q o s 要求，又是最小的空 闲资源分配给预留请求，避免“大材小用”。 最后，本文针对网格环境中引入资源预留后导致排队任务平均等 待时间居4 增的问题，提出了一种基于预测的资源预留接纳控制策略， 即调度系统在确定是否接纳新的预留请求时，采用时间序列分析方法 来预测在将来预留时间段内排队任务的平均等待时间，如果预测值超 过设定的阈值，则拒绝此预留请求。实验结果表明，该机制下排队任 务的平均等待时间明显减少。 关键词网格，q o s ，资源预留，接纳控制策略，调度 a b s l r a c t g r i dc o m p u t i n gh a se m e r g e da st h en e x t - g e n e r a t i o np a r a l l e la n d ， d i s t r b m e dc o m p u t i n gt h a ta g g r e g a t e sd i s p e r s e dh e t e r o g e n e o u sr e s o u r c e s f o r s o l v i n g a r a n go fl a r g e - s c a l ep a r a l l e la p p l i c a t i o n si ns c i e n c e ， e n g i n e e r i n ga n dc o m m e r c e i ng r i de n v i r o n m e n t s a ss o m ec o m p u t a t i o n a l 鲥da p p l i c a t i o n sh a v eh i g hr e s o u r c er e q u i r e m e n ta n dn e e ds i m u l t a n e o u s a c c e s st om a n yd i s t r b m e dr e s o u r c e s ，a n ds o m ea p p l i c a t i o n sh a v eh i 曲 q o sr e q u i r e m e n t s ，i ti se f f e c t i v et op e r f o r mt h er e s o u r c em 印p i n gw i t h r e s e r v a t i o nm e c h a n i s m s 。刀m st h er e s e a r c ho nt h er e s o u r c er e s e r v a t i o ni s v e r ys i g n i f i c a n t ，a n dh a sb e e nan e wr e s e a r c hf o c u sa n de m p h a s i si nt h e 鲥d r e s e a r c h i nt h ec o n d i t i o no f r e s o u r c es c a r c i t yo ra p p l i c a t i o nd e n s i t y , t h es i n g l e r e s o u r c er e s e r v a t i o nw i t hh i 。曲q o sr e q u i r e m e n ta n dc o - r e s e r v a t i o na r e v e r yd i f f i c u l t 。i no r d e rt or e s o l v et h i sp r o b l e m , ap r e e m p t i v er e s o u r c e r e s e r v a t i o nm e c h a n i s mi sp r e s e n t e d t h er e s e r v a t i o nr e q u e s t sw i t hh i g h q o sr e q u i r e m e n ta n dc o - r e s e r v a t i o nr e q u e s t sp r e e m p tt h er e s o u r c e o c c u p i e db yt h el o wq o sr e s e r v a t i o nt a s k s ，a n dp o s t p o n et h el o wq o s r e s e r v a t i o n t h es i m u l a t i o nr e s u l ts h o w st h a tt h ep r e e m p t i v er e s e r v a t i o n h a sr e s o l v e dt h ep r o b l e mw e l l ，a n di n c r e a s e dt h er e s o u r c eu t i l i z a t i o n b a s e do nt h e a n a l y s i s o f a d v a n t a g e a n d d i s a d v a n t a g e o f r s p b ( r e s e r v a t i o ns c h e d u l e rw i t i lp r i o r i t i e sa n db e n e f i tf u n c t i o n ) a i m p r o v e dr e s e r v a t i o ns c h e d u l i n ga l g o r i t h mc a l l e di r s p bb a s e do n m u l t i - q o si sp r e s e n t e d t h et w oi m p r o v e m e n t sa r ea sf o l l o w s ：f i r s t l y , t h e c o - r e s e r v a t i o n m u l t i t y p e r e s o u r c e i s c o n s i d e r e d b yu s i n g t h e m u l t i - d i m e n s i o nb e n e f i tf i m c t i o nt op r e s e n tt h em u l t i - q o sr e q u i r e m e n t s e c o n d l y , w h e nm o r et h a no n er e s o u r c es a t i s f i e st h e h a r d q o s r e q u i r e m e n t ，t h eo p t i m u ms t r a t e g yi sa d o p t e d ，w h i c hd i s t r i b u t e st h e m i i l i m u mi d l er e s o u r c et or e s e r v a t i o nr e q u e s t f i n a l l y , i no r d e rt os o l v et h ep r o b l e mt h a tt h em e a nw a i tt i m eo f q u e u e dt a s k si n c r e a s e ss l m r p l ya f t e rt h er e s o u r c er e s e r v a t i o nm e c h a n i s m i si n t r o d u c e di n t o 西d ，ar e s o u r c er e s e r v a t i o nm e c h a n i s mc o n s i d e r i n g q u e u e dt a s k si sp r o p o s e d , a n dan e wa d m i s s i o nc o n t r o ls t r a t e g yb a s e do n t h ep r e d i c t i o ni su s e di nt h em e c h a n i s m t i m es e q u e n c ea n a l y s i sw a yi s a d o p t e dt op r e d i c tt h em e a nw a i tt i m eo fq u e u e dt a s k si nt h er e s e r v a t i o n d u r a t i o n i f t h ep r e d i c t e dv a l u ei sm o r et h a nt h et h r e s h o l d t h er e q u e s tw i l l b er e j c o t e d t h es i m u l a t i o nr e s u l ts h o w st h a tt h em e a nw a i tt i m eo f q u e u e dt a s k sd e c r e a s e sa p p a r e n t l yi nt h em e c h a n i s m k e yw o r d s g r i d ，q o s ，r e s o u r c er e s e r v a t i o n ，a d m i s s i o nc o n t r o l s t r a t e g y , s c h e d u l i n g i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：盘 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文； 学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：- 二瓤 导师签名地 日期：翌生年旦月堡日 硕七学位论文 第一章绪论 1 1 研究背景 第一章绪论 随着i n t e r n e t 的发展，研究人员可以将很大范围上地理分布的异构计算机 体系结构集合在一起形成一个大规模的计算乎台。该领域的研究产生了一个新 的软件体系结构，我们称之为网格。网格就是在不需要中央控制和掌握以及强 的信任关系的情况下能够协同使用地理分布的各种资源。网格是构筑在互联网 上的一组新兴技术，传统互联网实现了计算机的连通，w e b 实现了网页的连通， 而网格试图实现互联网所有资源的全面连通。它的实质是实现计算资源、存储 资源、通信资源、数据资源、软件资源、信息资源、知识资源、专家资源、设 备资源等的全部共享。 网格将高速互联网、高性能计算机、大型数据库、传感器、远端设备等融 为一体，并进行了信息的融合，使人们能够透明地使用资源的整体能力，并能 按需获取所有信息。网格的主要任务是在动态变化的网络环境中共享资源和协 同解决问题。网格开发的目的是连接所有的网络资源，实现资源共享、异地协 同工作，支持开发标准、功能的动态变化。它所采用的协议标准也将不同。其 最终目标是构建一台虚拟超级计算机，能实现服务点播和一步到位服务。在这 样的网格环境中，用户可以享受一体化的、动态变化的、可灵活控制的、智能 的、协作式的信息服务 h 2 】。 通过网格组织起来的虚拟超级计算机有两个优势【3 】：一是数据处理能力超 强；二是能充分利用网络上的闲置处理能力。网格的根本特征是资源共享，消 除资源孤岛。网格不仅将对信息资源的获取、传输、共享和利用带来一场革命。 而且必将对人类的生产和生活方式带来巨大的变化。通过利用全球网络的庞大 计算资源，丰富的开发工具和友好的人机界面，以及各种不同性能的计算机系 统，进行高性能的并行和分布式计算，解决核模拟、生物学、宇宙学、工程学、 材料和环境等重大科学应用领域的计算问题，它不仅对国防建设具有重要意义， 也会对国民经济、各行各业产生重大影响，同时对i n t c r n e t 的应用将是一次新 的革命。 目前国内外已经掀起研究网格的热潮，国外有很多大型的网格研究项目， 例如，由美国的一些大学、科研院所，政府机构和i b m 、m i e r o s o t f t 以及c i s c o 发起，美国a r g o n n e 国家实验室进行实施的研究项目g l o b u s ) 由美国p u r d u e 大学探索基于证券市场的经济方法建立网格环境项目b o n d ；由澳大利亚 m o n a s h 大学开发的一个的专门用来模拟参数学习的网格项目n i m r o d g 等。近 硕士学位论文第一章绪论 几年来，我国在网格方面的研究有了很大的进步，国家在网格项目的研究上投 入了大量资金。其中，最典型的网格项目是中科院的“织女星网格”和教育网 格。 为了实现网格的资源共享与融合，需要许多技术的支撑。资源预留就是其 中之一，它主要解决如何根据网格用户的请求来有效预留相应的资源的问题。 资源预留在网格系统中是一个十分必要的机制，因为资源预留可以保证任务在 开始执行时可以获得必要的资源，从而提高网格系统的q o s 4 , 5 】。因此资源预留 问题的有效解决是保证用户q o s 要求的关键，同时也为网格资源分配系统中作 业的调度和执行提供帮助。由于网格系统中包含各种各样的资源，这些资源又 具有动态变化、广域分布、系统异构等特性。因此，网格环境下资源预留机制 的研究难度大、面临的挑战多。 1 2 研究意义 服务质量( q o s ，q u a l i t y o f s e r v i c e ) 作为网格技术研究的重要内容之一，逐 渐成为当前国内外研究的焦点。资源预留是保证用户q o s 要求的重要手段，同样 也是影响网格计算是否成功的重要因素之一。例如高性能应用对一些特别的资源 ( 高带宽虚拟通道，科学仪器和超级计算机等) 需求很大，利用联合分配难以同 时满足应用的要求，需要新的概念和构造，为属于不同管理域的多种异构资源实 现统一形式的提前和立即预留，以满足网格使用资源和提供服务时的性能保证。 预留的优点在于可以保证资源向应用提供所需的资源能力，提前预留则在此基础 上通过提前机制使得资源管理者可以恰当地调度使用，进一步提高资源的利用 率。由此网格环境里如何有效地进行资源预留是影响网格计算是否成功的重要因 素之一。由于资源在地理上分布、本质上异构、由不同的个人或组织拥有、有不 同的存取和花费模式、负载和可用性动态变化，网格环境下的资源预留十分复杂 和具有挑战性。网格环境下资源预留需要解决的主要问题有资源预留体系结构、 接纳控制策略的设计。其中接纳控制策略的设计问题是一个非常重要的问题，能 否根据特定目标有效地接纳控制预留请求以及管理预留任务将直接影响资源预 留系统的效率，也将直接影响整个网格系统的服务质量。所以资源预留的研究对 于整个网格计算问题具有重要意义，是网格计算领域中的重要研究课题【6 7 】。 1 3 国内外研究现状 由于资源预留是实现用户q o s 要求的重要手段之一。随着通信网络的普 及，由于某些资源的使用是不可控的，为实现端到端的q o s 要求保证，人们经 常针对某些特定的计算资源或通信资源采用预留技术，主要是通过多个资源的协 2 硕士学位论文第一章绪论 同操作来实现。例如在网络q o s 的资源预留方面，可以使用已定义好的q o s 模 型和已有的r s v p 刚( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 预留协议来满足网络q o s 带宽需求：针对c p u 的处理能力，hc h u 和和k n a h r s t r d e t t 等人为多媒体应用 程序设计了运行在u n i x 环境下的d s r t ( d y n a m i cs o f tr e a lt i m e ) 动态软实时 系统1 9 1 ，d s r t 根据处理器使用时间模式将实时进程分为几类，对每项服务类进 行预留和时间保证，分配c p u ，保证实时进程和非实时进程之间的公平性；针对 d s r t 所处理的请求本质上是即时预留的缺点，g g a r i m e l l a 等人结合d s r t 系统 提出了a r s ( a d v a n c er e s e r v a t i o n ss e r v e r ) 来提前预留c p u 资源，用户需指定一 些q o s 参数，如所需要的c p u 百分数、执行的开始时间和持续时间等，一旦预 留请求被接受，则可在预留时间段内使用该资源，但是实际上大部分任务的q o s 要求是可协商的，a r s 不支持再协商，使得大量的预留请求被拒绝；kk i l n 和k n a h r s t r d e t t 在a r s 基础上提出了一种集成预留机制的r b ( r e s o u r c eb r o k e r ) 模式 i t t l ，为用户提供多重协商选择和更快的恒定响应时间，再协商的引入增加了大量 的系统开销，其缺点是预见不到资源的缺乏。而且，在资源缺乏的情况下，为了 分配资源给大量相互竞争的预留请求，接纳控制算法需要评价不同的预留请求的 重要性，从而拒绝非重要的请求，确保用户获得最大收益；所以r u im i n 等人提 出了一种网格环境中基于优先权和收益函数的预留调度算法r s p b 1 2 1 。 现在人们设计了多种网格环境下针对某种应用特征的资源调度算法，可以在 旧算法中加入预留算法机制或设计新的算法。如基于资源预留的任务动态映射算 法【1 3 l ，统一的瓷源预留策略【1 4 1 ，基于q o s 内容和资源竞争内容的s q 资源预 留算法【1 5 】，为提高全局q o s 成功率的扩展算法，基于b a c k f i l l i n g 机制的调度策 略【1 6 1 ，基于多媒体应用的资源预留框梨1 7 1 和网格带宽预留设计【1 8 】。 著名网格项目g l o b u s t l 9 】中资源管理器g r a m l 2 0 1 使用了联合分配代理、标 准的资源信息和一致的接口，支持计算资源的联合分配。但是没有提前预留、 缺少对一些资源如网络，磁盘等资源类型的支持，这意味着在对资源提出请求、 尤其是计算资源以外的其它资源时，将不能保证实现所希望的q o s 服务。所以 i a n f o s t e r 等人提出了g l o b u s 的资源预留体系结构g a r a 2 h ，它是目前计算网 格中最广为接受的q o s 和预留框架，其目标是为请求预留的客户端或应用程序 能从资源管理者处获得特定的q o s 提供保障。然而，它不兼容o g s a ，不支持 s l a ( s e r v i c el e v e la g r e e m e n t ) ，缺乏对应的q o s 监控和调整函数。网格项目 g q o s m l 2 2 1 主要研究在o g s a 环境下进行资源预留和自适应调节的q o s 管理体 系结构，它可以管理和分辫网格服务的q o s 属性，为软实时应用程序提供必要 的资源预留，以提供执行的开始时阃保证，但不能提供结束时间的保证。 总之，目前大多数网格的项目在资源预留的机制及方法上已做了不少有益 3 硕士学位论文第一章绪论 的研究工作，但是仍然存在不少问题和限制。从总体上说，这些资源预留机制 都是针对具体的网格项日而提出的，缺乏一套系统的理论体系，较多地停留在 概念层次上。另外，大多数资源预留方法没有考虑网格用户需求的异构性，可 扩展性能较差等。因此，对网格环境下资源预留机制及方法进行进一步研究是 完全必要的。 1 4 研究内容 资源预留是网格计算需要解决的重要问题，虽然许多网格研究工作者在资 源预留方面已经做了不少有益的研究工作，但是仍然存在不少问题和限制。因 此，对网格环境中资源预留机制的研究是必要的并且具有重大意义。本论文针 对网格资源预留机制及方法进行了一定的研究，研究的主要内容如下： ( 1 ) 在资源缺乏、预留请求密集情况下，高q o s 要求的单一资源预留请求 以及协同预留多个( 种) 资源非常困难。怎样解决这个问题是一个主要的研究 重点。 ( 2 ) 网格资源预留调度算法的研究。网格系统的资源有限，针对越来越多 的预留请求，如何进行合理的资源分配、尽可能接受更多的请求，减少请求拒 绝率，达到资源利用率最大化是非常关键的问题。 ( 3 ) 网格资源预留接纳控制算法的研究。如何提高接纳控制算法的效率， 降低预留响应时间，以及如何根据系统特定目的对相应预留请求进行接纳控制 一直以来都是研究的重点。 ( 4 ) 针对那些预留任务和排队任务共用的资源弓 入资源预留机制后，排 队任务的等待时间剧增，如何在尽可能在不牺牲队列效率的前提下尽可能满足 资源预留成为急需要解决的问题。 1 5 论文章节设置 本论文详细介绍了网格、网格资源预留理论，并对网格环境下的资源预留 体系结构以及资源预留调度算法以及机制进行了定的研究。全文正文主要分 为六章。 第一章主要介绍了本论文的研究背景和国内外在网格资源预留机制方面的 研究现状，并提出了本论文要研究的问题。 第二章主要介绍了网格q o s 和资源预留的有关理论知识，包括资源预留体 系结构、在网格系统中的地位和作用以及资源预留的关键技术。 第三章提出了一种抢占式资源预留机制，并详细讨论了该机制中资源预留请 求参数和过程，抢占式资源预留的思想，抢占条件以及抢占式资源预留的接纳控 4 硕士学位论文 第一章绪论 制算法。 第四章在分析网格资源预留调度算法r b 和r s p b 的优缺点的基础上提出 了一种改进的基于多q o s 的资源预留调度算法i r s p b 。 第五章针对那些预留任务和排队任务共用的资源，提出了一种兼顾排队任 务的资源预留机制，达到了在保证排队任务效率的前提下尽可能满足预留请求 的目的。 第六章总结了全文，并对文章的后续研究进行了展望。 硕士学位论文 第二章网格资源预留 第二章网格资源预留 2 1 网格0 0 8 概述 t- i 网格技术对科学研究、社会生活等众多领域有着广泛影响，它的出现推动了 许多高性能应用的发展，如分布式超级计算机、高吞吐率计算、数据密集型计算 等。服务质量( o o s ，q u a l i t yo f s e r v i c e ) 作为网格技术研究的重要内容之一，逐 渐成为当前国内外研究的焦点。在文献f 2 3 】中i a nf o s t e r 提出判断网格的三个准 则之一就是“提供非凡的服务质量”。网络q o s 一直以来都是计算机网络中一个 流行的研究领域。这个研究关注如何提供更可靠的网络传输服务，满足应用的传 输延时、延时抖动、分组丢失等质量保证。网格是运行在互联网络之上的，为满 足高性能网格应用端到端q o s 保证的要求，除了网络层次外，还需要在网格系 统结构上实现相应的q o s 保证。下面介绍几种典型的网格应用洲，并讨论网格 应用对q o s 的要求。 ( 1 ) 大量数据集的远程数据可视化 科学计算仿真要处理数十f g 甚至h g 的数据，有效地对这些数据进行远 程研究，可通过把可视化分解为几个管道进程来实现。举个例子：计算可在一些 机器上完成，计算结果可递交给另一台机器，由它将数据可视化并将结果以视频 流的方式发送给所有客户。这些应用对带宽、延时和抖动极其敏感，涉及的网格 资源包括存储、网络、c p u 和可视化引擎等。 ( 2 ) 海量数据传输 这类应用须将大量的数据从一个站点传输到另一个站点以存储和分析。它的 q o s 需求是数据传输必须在某个时| 日j 底线前完成，而不关心瞬时的传输速度。为 此需要对数据传输所涉及的存储系统、c p u 和网络进行协调调度，以达到极高 的总体传输率。 ( 3 ) 高性能合作环境 这些环境包括虚拟沉浸、虚拟现实系统，需要高分辨率显示以及多站点连接 和多交互形态，如音频、视频、跟踪和数据交换等。这类应用要求q o s 机制允 许描述和管理这些不同类型传输流的显示特征。 总之，为保证网格应用的端到端q o s ，需要网格q o s 机制能够满足以下要 求1 2 5 】； ( 1 ) 不同特征混合流的支持。远程可视化、科学数据分析、科学仪器在线控 制和远程沉浸等领域中的网格应用经常混合着大量不同特征的多个流，这些特征 包括带宽、延时、抖动、可靠性等。他们要求网格q o s 机制能支持这些流，并 6 硕士学位论文第二章网格资源预留 允许具有不同特征流的共存，同时需要网络q o s 技术为应用提供可靠的网络数 据传输服务的保证。 ( 2 ) 协同资源预留和分配。资源需求很大，如高带宽虚拟通道、科学仪器和 超级计算机等。需要新的概念和构造，为属于不同管理域的多种异构资源实现统 一形式的提前和立即预留，以及多资源联合分配，以满足网格应用使用资源和提 供服务时的性能保证。 ( 3 ) 安全性。网格q o s 机制应当是安全的，可使用网格中统一的安全机制， 对q o s 服务的访问进行验证、鉴别和授权，防止非法用户侵入或篡改有关预留、 策略等的信息。 ( 4 ) 轻便性。网格q o s 机制应是轻便的，尽量使用轻型的协议，不能过分 加重网格资源的负担，特别要避免频繁的通讯影响网络的性能。 ( 5 ) 强壮性和可扩展性。由于网格是一个全球规模的基础设施，连接着巨大 数目的动态网格资源，随时都有新资源加入和旧资源退出，这要求网格q o s 机 制能适应网格的动态变化，具有强壮性和可扩展性。 2 2 网格资源预留概述 网格应用程序一般都有很大的资源需求量，并且通常要求同时分配多种不同 类型的资源。由于网格中任务到达和离开具有很高的动态性，资源的可用性也具 有不确定特性，因此能否分配到合适的资源，完成用户递交的任务并达到用户所 希望的q o s 已成为一个突出的问题，其中q o s 已经不仅局限于网络带宽，而是 扩展到网格节点的处理能力和计算能力上。对一个实时应用程序来说网格能否同 时提供多种所需的异构资源、满足跨越多个组件的端到端q o s 是至关重要的。 网格下的应用实现端到端的q o s 保证有下面四个难点【碱韧； ( 1 ) 目前部署的系统缺乏支持资源预留。 ( 2 ) 实际的应用发现、预留和分配的不仅仅是单一的资源，而可能是多种复 杂资源的集合。 ( 3 ) 资源类型多种多样，包括计算机、网络、硬盘、内存等等。 ( 4 ) 资源分布在不同的管理域中，每个管理域有自己不同的资源管理策略和 机制。 资源预留是保证q o s 的关键。在当前的网格异构计算系统中，超级计算机 调度系统不能提供多个子程序能否同时执行，解决这一问题的途径就是资源预 留。而现在的多种网格资源管理模型或者缺少对异构资源的支持，仅考虑单一的 q o s 需求；或者在资源预留方面没有很合理的考虑到用户和整体的利益，为满足 单个用户而导致整体资源利用率下降；在网格资源广域分布、异构和动态的情况 7 硕士学位论文第二章网格资源预留 下这些模型都没有体现出优势。 资源预留是把特定资源的使用权在一个特定时间间隔之后从资源提供者交 给请求资源者的一个协商过程，它是经过协商后对某种特殊资源的限制性委托， 在特定时间间隔内请求者从提供者处获得资源使用权。资源的请求者可以是人通 过某一界面、命令行方式或者g u i 方式进行，也可以是某种软件代理a g e n t 。 网格资源预留需要提供两种能力：( 1 ) 它能允许用户在需要资源之前对资源 进行提前预留，或者在需要资源的那个时刻进行预留一立即预留；即时预留是提 前预留的特殊情形，其起始时间就是当前时间，因此即时预留实质上就是资源分 配，只是为了使资源预留在形式上的统一才引入即时预留的概念，在一般情况下 我们所说的资源预留指的是提前预留。然而提前预留也有自己的缺点，它不允许 系统资源超预定，会降低全局利用率，并对用户有严格的时问限制。( 2 ) 能够进 行预留、对预留操作，而不考虑底层的资源类型，这样当应用程序需要使用多种 资源环境、并同时进行预留时会简化编程。 到目前为止，有两个比较重要的网格体系结构，一个是著名网格项目g l o b u s 中i a nf o s t e r 等提出的五层沙漏结构，另一个是在以i b m 为代表的工业界的影响 下，i a t l f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务框架o g s a 脚j ( o p e n g r i d s e r v i c e a r c h i t e c t u r e ) ，提出了网格资源管理体系结构g r a m t 2 0 1 ，其中资源管理器 g r a m 使用了联合分配代理、标准的资源信息和一致的接口，支持以后计算资 源的联合分配。使得应用程序和联合分配代理能处理针对具体站点的一些变化； 但是没有提前预留、缺少对以后资源如网络、磁盘等资源类型的支持，这意味着 在对资源提出请求、尤其是计算资源以外的其它资源时，将不能保证实现所希望 的q o s 服务，并且当一些资源处于高需求状态时会极大限制资源的联合分配。 为了解决这些问题，i a i lf o s t e r 提出了支持资源预留和分配的体系结构g a r a 2 1 1 ( g l o b u sa r c h i t e c t u r ef o rr e s e r v a t i o na n da l l o c a t i o n ) 。 2 3 资源管理体系结构g r m a 图2 1 是网格资源管理体系结构图。它包括三个主要的部分：i n f o r m a t i o n s e r v i c e ，l o c a lr e s o u r c em a n a g e r s 以及c o - a l l o c a t i o na g e n t s 。其中应用任务向 c o a l l o c a t i o na g e n t s 提交相应的q o s 要求( 例如资源属性、任务完成截至时间等 等) ，c o - a l l o e a t i o na g e n t s 查询i n f o r m a t i o ns e r v i c e 找到满足相关q o s 的资源，并 执行一定的策略来协同分配资源以满足应用的q o s 要求。分配完成后，返回应 用任务的句柄，用户可以利用此句柄监控任务的执行。其中各个组成部分的功能 如下： s 硕士学位论文：第二章网格资源预留 图 l 资源管理体系结构g r m a i n f o r m a t i o n s e r v i c e ：使用l d a p ( 轻量目录访问协议) 对满足条件的资源进 行发现和信息收集，例如当前负载、可用性情况和网络连通性等等。 c o a l l o c a t i o n a g e n t ：从应用程序处得到计算的描述，使用g i s 启发，得到 应用程序具体知识，产生资源需求，并协同分配资源。在任务执行前必须得到全 部所需资源，任何资源出错都会导致任务失败，全局错误。 g r a m ：处理远程应用程序的资源请求、分配所需的资源，并管理活动的作 业，是网格计算环境中的任务执行中心；同时根据计算资源的情况把资源的使用 情况和可用性状态动态更新到m d s ( m o n i t o r i n ga n dd i s c o v e rs e r v i c e ) 。它通过提 供标准的a p i 以及基于不同现在已有的资源管理系统( l s f n q e ) 的实现， g r a m 实现了整个网格统一、与底层平台无关的资源管理系统，建立起一个抽 象层。 g r m a 的优点有： ( 1 ) 用协同分配代理策略进行资源收集管理。 ( 2 ) 标准的资源信息和一致的接口，使得应用程序和协同分配代理能处理针 对具体站点的一些变化。 缺点有： ( 1 ) 没有提前预留。这意味着在对资源提出请求时不能保证达到所希望的 q o s ，一些资源在处于高需求状态时会限制进行协同分配。 ( 2 ) 缺少对异构资源类型的支持。在应用程序申请多个( 种) 资源时，如网 络、磁盘空间等，将不能提供端到端的q o s 保证。 ( 3 ) c o - a l l o c a t i o n 在等待全部所需资源时候会造成资源浪费，想探测出一种 资源出错非常困难，如果分配失败，则所有已启动的任务必须全部终止 9 硕七学位论文第二章网格资源预留 ： 2 4 资源预留体系结构g a r a i a nf o s t e r 、c a r lk e s s e l m a n 等人在资源管理体系结构g r m a 基础上提出了支 持资源预留和分配的体系结构g a r a ( 见图2 2 ) 以实现端到端的q o s 保证。它 的特点主要是： ( 1 ) 将预留资源与计算元素( 例如进程、网络流、内存块) 看作同样的实体， 独立地进行创建、监测和管理。 ( 2 ) 以统一的形式支持不同的资源类型( 例如网络、c p u 、内存、硬盘) 和 底层的机制( 例如网络中的r s v ps i g n a l m g 、不同的服务带宽b r o k e r s 、a t m 虚 电路) 。 ( 3 ) 分层结构，使得资源集的发现、预留、分配和管理可以被包装在 c o r e s e r v a t i o na g e n t s 和c o - a l l o c a t i o na g e n t s 中。它由各级应用编程接口a p i 、 g l o b u s 网格安全体系框架( g s i ) 和各种资源管理器r a m 组成，通过统一的接口， 对不同类型的网格资源执行提前和立即预留、控制和监控的操作，保证端到端的 q o s 。 图2 - 2g a r a 体系结构图 g a r a 引入了c o r e s e r v a t i o na g e n t 的实体，它负责发现能够满足端到端q o s 要求的资源集，但它仅仅是预留这些资源，而不负责分配这些资源。当用户指定 q o s 要求后，c o - r e s e r v a t i o na g e n t 查询i n f o r m a t i o ns e r v i c e ，并向相应资源的 g r m a ( t h eg l o b u sr e s e r v a t i o na n da l l o c a t i o nm a n a g e r ) 发送预留请求，预留成 功后，返回一套预留句柄。在g a r a 中，c o a l l o c a t i o na g e n t 的任务很简单，它 接受c o - r e s e r v a t i o na g e n t 传递过来的预留句柄，然后为这些预留任务分配资源 集。 ：硕士学位论文第二章网格资源预留 c o 啪s e r v a t i o na g e n t 在g a r a 中扮演一个非常重要的角色，它为应用任务和 资源之间提供桥梁，构建一套既能匹配用户q o s 要求，又能符合资源提供者制 定的本地策略的资源。g a r a 并不限制c o r e s e r v a t i o na g e n t 的设计。a g e n t 可以 连接单个应用，代表这个应用作预留决策；也可以是一个全局的面向系统的 “b r o k e r ”，为大量的用户和应用提供预留服务。 g a r a 中预留过程为： ( 1 ) 应用任务创建预留请求，发送给c o r e s e r v a t i o na g e n t ，该请求可以预留 单个( 种) 资源或者协同预留多个( 种) 资源，即每个请求中可以包括多个子请求。 每个子请求都包含了相应的q o s 参数( 开始时间、结束时间、资源属性、资源 量等) 。 ( 2 ) c o - r e s e r v a t i o na g e n t 接收到预留请求后，从信息服务器查询到符合属性要 求的资源集。 ( 3 ) c o r e s e r v a t i o na g e n t 向这些资源的预留和分配管理器g r a m 发出预留请 求。 ( 4 ) 每个g r a m 根据时隙表信息和接纳控制策略或者预留调度策略来判断 是否接受此预留请求。反馈预留结果给c o - r e s e r v a t i o na g e n t 。 ( 5 ) 如果预留请求的每个子请求都被接受，则此预留成功，返回给应用任务 一个预留句柄。该句柄以后可以用来监控预留任务的状态。当预留任务提交时， c o a l l o c a t i o na g e n t 根据其预留句柄分配预留的资源，并返回对象句柄。 ( 6 ) 如果预留不成功，则重新选取另外的资源集，重复( 3 ) - ( 4 ) 。 ( 7 ) 如果找不到满足预留要求的资源集，则请求应用任务降低q o s 要求，或 者拒绝此预留请求。 g a r a 提供了应用编程接口a p i ，用户端可以通过这些a p i 去创建或者取消 预留以及对象，还可以查询预留状态等。下面列出的是常用的a p i 。 r e s e r v a t i o n - h a n d l e2c r e a t e r e s e r v a t i o n ( r e s o u r c e - m a n a g e r - c o n t a c t , r e s e r v a t i o n - s p e e i f a t i o n ) 创建预留请求 o b j e e t - h a n d l e = c r e a t e o b j e e t ( r e s o u r e e - m a n a g e r - e o n t a c t , r e s e r v a t i o n - h a n d l e , o b j e e t - s p e e i f i c a t i o n ) 为预留成功的任务创建资源对象 r e s u l t - - c a n e e l r e s e r v a t i o n ( r e s e r v a t i o n - h a n d l e ) ，取消预留 r e s u l t - - c a n e e l o b j e e t ( o b j e e t - h a n d l e ) 取消创建的资源对象 n e w - r e s v - h m t d l e = m o d i f y r e s c r v a t i o n ( r e s e r v a t i o n - h a n d l e ，n e w - r e s e r v a t i o n - s p e c i f i c a t i o n ) 修改预留要求 r e s u l t - = r e g i s t e r c a u b a e k ( h a n d l e , e a l l b a e k - f u n c t i o n , c a l l b a e k - a r g u m e 哟请求返回预留任 务的状态，用于监控预留任务 硕士学位论文第二章网格资源预留 2 5 预留任务状态图 预留任务从预留请求到运行结束期间可以分为不同的状态，它们的状态转换 图例如图2 - 3 ，这些状态描述如下： r e q u e s t e d ：预留的初始状态，表示预留请求的开始。 a c c e p t e d ：预留请求成功。 r e j e c t e d ：由于预留请求冲突或者提交过期等原因导致预留不成功。 c o m m i t t e d 预留任务在过期时间以前提交到资源上。 c h a n g er e q u e s t ：用户在任务开始运行前更改预留要求，如果成功，则此 预留被新的预留所代替，否则不变。 a c t i v e ：预留的开始时间已到，资源开始执行此预留任务。 c a n c e l l e d ：用户或系统在预留开始运行前取消预留。 c o m p l e t e d ：预留的结束时间已到，完成预留。 t e r m i n a t e d ：用户或系统在预留结束前中止一个正在执行的预留任务。 初始状态 状态 末状态 图2 - 3 资源预留的状态转换图 一个预留从申请到完成要经历申请、接受、提交等状态，在此着重讨论其中 的请求