（计算机软件与理论专业论文）基于ogsa的资源调度的研究.pdf

河海大学硕士学位论文 基于o g s a 的资源调度的研究 摘要 资源调度作为网格中任务与资源之间的一座桥梁，其主要作用在于使得这些 任务能够得到最优化的服务以及使得整个网格系统的效率达到最高( 例如最大吞 吐率等) 。由于传统的资源调度算法m i n m i n 和m a x m i n 作为启发式的调度算法， 并没有考虑到任务的服务质量( q o s ) 。本文研究工作是基于开放式网格服务体 系( o g s a ) 资源调度的算法改进，采用任务等级、资源等级、任务期望等级的 量化方法，给出了一种基于q o s 的资源调度算法，解决了原有算法对于高q o s 任务运行时间过长或长时间处于等待状态的问题。 本文工作是在分析o g s a 体系构架及其技术的基础上，对现存在调度模型进 系统研究，总结出o g s a 资源调度的完整模型，分析了m i n m i n 和q o sg u i d e d m i n m i n 算法现有调度算法的基本原理，分析结果表明其在任务存在q o s 要求 时调度时间过长的不足。本文提出综合运用任务等级、资源等级和任务期望等级 的量化指标对现有算法进行改进，给出了一种基于q o s 的资源调度算法。最后 采用模拟器g r i d s i m 对给出的算法进行了仿真试验，试验结果表明改进算法对于 要求高的任务能够有很好的支持。 关键词：网格、o g s a 、资源调度、m i n - m i n 、q o s 河海大学硬士学位论文基于o g s a 的资源调度的研究 a b s t r a c t r e s o u r c es c h e d u l i n ga sab r i d g eb e t w e e nt a s k sa n dr e s o u r c e si ng i i di t sm a i nr o l ei s t om a k et h e s et a s k sc a nb eo p t i m i z e ds e r v i c e s ，a n dm a k et h ew h o l eg r i ds y s t e mt o a c h i e v em a x i m u me f f i c i e n c y ( e gm a x i m u mt h r o u g h p u t , e t e 。) a st r a d i t i o n a lr e s o 蜮 s c h e d u l i n ga l g o r i t h mm i n m i na n dm a x - m i na sah e u r i s t i cs e h e d u l i n ga l g o r i t h m s , t a k en oa c c o u n to ft h em a n d a t eo ft h eq u a l i t yo fs e r v i c e ( q o s ) ，t h i sp a p e ri sb a s e d o nt h er e s e a r c h i n go fo p e ng r i ds e r v i c e sa r c h i t e c t u r e ( o g s a 、r e s o u r c es c h e d u l i n g a l g o r i t h m t h et a s kl e v e l s ，t h er e s o u r c e sl e v e l s ，t h et a s ke x p e c t i n gl e v e l sh a v eb e e n g i v e ni nt h eq o s b a s e dr e s o u r c es c h e d u l i n ga l g o r i t h m i tc a l l a v o i dt h ep r o b l e m w h i c hc a u s e db yt h eo r i g i n a la l g o r i t h mf o rl l i g hq o st a s ko p e r a t ef o ral o n gt i m eo ra l o n gp e r i o do ft i m ew a i t i n g ， t h i sp a p e ri sb a s e do nt h ea n a l y s i so fo g s as y s t e ma r c h i t e c t u r ea n dt e c h n o l o g ya n d t h ee x i s t i n gs c h e d u l i n gm o d e li n t ot h es y s t e m i ts u m m e du pt h ei m e g r i 锣o fr e s o u r c e s c h e d u l i n gm o d e li no g s a i ta l s oa n a l y s i st h em i n - m i na n dq o sg u i d e dm i n - m i n t h ee x i s t i n gs c h e d u l i n ga l g o r i t h m s ，t h er e s u l t so f t h ea n a l y s i si n d i c a t et h ee x i s t e n c eo f t h em a n d a t eo fi t sq o sr e q u i r e m e n t ss c h e d u l i n gal o n gt i m ed e f i c i e n c i e s t h i sp a p e r p r e s e n t st h ei n t e g r a t e du s eo ft h e t a s kl e v e l s ，t h er e s o u r c e s l e v e l sa n dt h et a s k e x p e c t i n gl e v e l sq u a n t i t a t i v ei n d i c a t o r so ft h ee x i s t i n ga l g o r i t h mi m p r o v e m e n t s ，i n t h i sp a p e r , aq o s b a s e dr e s o u r c es c h e d u l i n ga l g o r i t h m f i n a l l yu s i n gt h es i m u l a t o r g r i d s i mg i v e na l g o r i t h ms i m u l a t i o nt e s t t e s tr e s u l t ss h o w e di m p r o v e da l g o r i t h mf o r d e m a n d i n gt a s k sc a n b ev e r yg o o ds u p p o r t k e y w o r d s ：g r i d , o g s a ，r e s o u r c es c h e d u l i n g ，m i n - m i n , q o s u 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ； 学位论文使用授权说明 2 0 0 7 年6 月1 0 日 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 论文作者( 签名) ：2 0 0 7 年6 月l o 日 基于o g s a 的资源调度的研究 第一章绪论 基于o g s a 的资源调度的研究 第一章绪论 1 1 网格计算及其资源 全球网格研究的领军人物、美国阿岗( m g o 眦e ) 国家实验室的资深科学家、美 国g l o b u s 项目的领导人i a nf o s t e r 曾在1 9 9 8 年出版的网格：2 l 世纪信息技术 基础设施的蓝图一书中这样描述网格：“网格是构筑在互联网上的一组新兴技 术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一 体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人 们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人们透明地 使用计算、存储等其他资源。”【1 l 2 0 0 0 年，l a nf o s t e r 在网格的剖析这篇论文中把网格进一步描述为“在动 态变化的多个虚拟组织间共享资源和协同解决问题。”【2 】 2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准一文 中，限定网格必须同时满足三个条件：( 1 ) 在非集中控制的环境中协同使用资源； ( 2 ) 使用标准的、开放的和通用的协议和接口( i a nf o s t e r 认为目前只有g l o b u s 才 算得上标准协议) ；( 3 ) 提供非平凡的服务。这三个条件非常严格，许多现有的技术 都被排除在了网格之外，如p 2 p ( p e e rt op e e r ) 、s u ng r i de n g i n c 、c o n d o r 、e n t r o p i a 等。 可见，网格的本质特点就在于资源的共享和协同解决问题。它首次将资源作 为了联通的主体，将应用作为服务的主要对象，不同于w e b ，更不同于i n t e m e t ， 因此它又被称为下一代的i n t e r n c t 。其发展过程如图1 1 所示。 基于o g s a 的资源调度的研究第一章绪论 图i 1 网络发展示意图 网格计算是利用网格资源共享的特性将互联网上分散在不同地理位置的电 脑组织成一个“虚拟的超级计算机”进行复杂的科学计算的新型计算模式。这样 组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一 个是能充分利用网上的闲置处理能力。 网格在将这样的想法变成事实的同时也面临着许多不同的困难，其中最主要 的一点就是，网格中的资源是动态的、多样的、自治的。要想整合这样的资源去 完成一定的工作，必然是一个复杂的过程。这就要求网格系统必须对应这样的资 源给出合适的解决方案。 1 2 网格的资源调度 在网格环境下，满足某个任务要求的计算资源可能不止一个，但是该任务在 这些资源上执行获得的性能、付出的代价可能不一样。同样都是满足条件的资源， 但提供给使用者的服务质量会存在差异，有时这种差异会很大。资源调度首先要 根据任务的需求，发现满足条件的计算资源；然后从满足条件的计算资源中根据 主要因素或者选择策略选择一个合适的资源，分配给该任务；任务获得满足条件 的资源之后，可以在这个资源上运行，并在资源本地的资源管理机制的管理之下； 任务在资源执行结束之后，把占用的资源还给网格管理机构，网格资源管理模块 把任务执行结果和有关信息告诉任务提交者。 但是在网格计算环境中，计算资源分属于不同地域的虚拟组织，数量巨大， 种类繁多，并伴随着负载动态变化和软硬件失效的情况。对于一个要对这样的资 源进行调度的系统，从应用的角度来说，用户关注的是它给应用带来的等待时间、 2 基于o g s a 的资源调度的研究第章绪论 执行时问等指标；从系统的角度来说，管理员关注的则是它导致的系统吞吐率、 负载平衡等指标。这两方面的指标有时候并不能达到完全一致，这就给资源调度 带来了多种可能性。出现了种类繁多的调度算法。 1 2 1 网格的资源调度算法 由于网格资源所具有的特点以及网格应用的复杂性，以前针对传统的分布式 计算的调度算法已经不适用于网格环境中的资源调度f 3 1 。因为少数、小规模的任 务调度存在p 算法4 1 ，大量的调度问题还是n p 完全问别5 1 ( n p 完全问题是指尚 未找到具有多项式时间复杂性算法的问题) 。特别是那些用来进行大吞吐量的分 布式系统，多样性的资源使统一的分配算法很难适用，资源的分布、归属等一系 列问题导致需要很多的分配策略。因此，提出一个高效率，通用的资源管理和资 源调度算法的就十分必要。 那么如何评价一个资源调度算法优劣呢，主要是从以下四个方面：最优跨度 ( o p t i m a lm a k e s p a n ) 、服务质量q o s ( q u a l i t yo f s e r v i c e ) 、负载均衡( l o a d b a l a n c i n g ) 、经济原贝l j ( e c o n i m i ep r i n c i p l e s ) t 6 1 。 最优跨度 跨度是网格资源调度最常见、最主要的调度目标。它指的是一个用户的所有 任务的调度时间，即从执行第一个任务开始，到所有任务执行完成所花的时间的 总和。跨度越短，证明该调度算法越好，拥有最短跨度的跨度称为最优跨度。从 节约时间、充分利用资源的角度来考虑，以最优跨度为目标是大多数资源拥有者 和网格用户的共同目标。 服务质量 网格用户在选择资源时，可能会对资源的某些方面( 如c p u 速度、网速、 存储空间等) 有特殊的要求，他们希望尽可能的有好的服务来满足需要。这些要 求都将包含在用户提交的任务中，并且以q o s 的形式显示出来。在资源调度时， 网格将根据任务中的q o s 要求，选择合适的资源进行调度，充分满足用户的需 求。本文的优化就是在原有的算法上以此为基点展开的。 负载均衡 在开发并行和分布计算应用时，负载平衡是一个关键问题。网格系统更进一 步扩展了这个问题。网格资源调度是涉及交叉域和大规模应用的调度。解决好系 统的负载均衡是一个非常重要的问题。 经济原则 网格环境中的资源在地理上是广泛分布的，而且每个资源都归属于不同的组 织，都有各自的资源管理机制和政策。根据现实生活中的市场经济原则，不同资 3 基于o g s a 的资源调度的研究第一章绪论 源的使用费用也应是不相同的。市场经济驱动的资源管理与资源调度必须使消费 双方( 资源使用者和资源提供者) 互惠互利，才能使网格系统长久地发展下去。 现有资源调度算法的目标是使跨度最小，但最优调度算法属于n p 完全问题 1 5 1 。寻找最优调度算法所需的执行时间均随着资源数及计算节点数目的增加而呈 指数级增长，因此，只有在极少数情况下( 对任务和计算节点模型加以严格限定) 才存在有效的最优调度算法。为获得可行的调度方案，我们经常采用一些非最优 算法进行调度，虽然不能保证获得最优解，但可以快速获得最优调度的近似解或 可行解。通常采用的有代表性的近似方法有基于图论的分配算法、数学规划法、 专家系统方法以及启发式算法等。前三种方法都基于一组己知的资源配置和任务 要求，根据具体的算法或规则求出任务分配方案，求解过程较为复杂，且不适应 网格环境下资源动态改变频繁的情况。 启发式算法指：系统事先不具备解决问题的知识，只是在环境中试着解决问 题，并利用对一些间接影响系统的、易于计算或监控的特殊参数观察由此产生的 环境变化，获得环境反馈信息，然后再根据这些反馈信息调整自己解决问题的模 型，自到达到某种标准( 时问或精度) 的近似最优解。由于启发式方法可以快速、 有效地得到近似最优调度方案，因此在分布环境任务调度中被广泛使用。但启发 式算法不能保证得到问题的最优解，并且没有性能保证。 1 2 2 资源调度算法研究现状 围绕资源调度算法，国内外都做了大量的研究，提出了一些比较成熟的调度 算法，如下所示： ( 1 ) o l b ( o p p o r t u n i s t i cl o a db a l a n c m g ) ：任意地将每一个任务，分配到 一个空闲地机器执行【7 】【8 】1 9 】。 ( 2 ) u d a ( u s e r - d i r e c t e da s s i g n m e n t ) ：任意地将每一个任务，分配到具有 最好预期执行时间的机器执行【7 】【8 i 。 ( 3 ) f a s tg r e e d y ：任意地将每一个任务，分配到具有最小完成时间的机器 执行i ，j 。 ( 4 ) m i n m i n ：在该算法中，先要算出每一个任务在每个机器上的最短完 成时间。所有任务中，拥有最小完成时间的任务将被选出来，分配到对应的机器 执行，将这个任务删除，重复上述工作，直至所有任务都被分配1 7 】1 8 】【9 】f o i l l ”。 ( 5 ) m a x r a i n ：m a x m i n 算法与m i n m i n 算法类似，还是要先算出每一个 任务在每个机器上的最短完成时间。在所有任务中，拥有最大完成时间的任务将 被选出来，分配到对应的机器执行，将这个任务删除，重复上述工作，直至所有 任务都被分配【7 】【8 l t g 1 2 】【l3 1 。 4 基于o g s a 的资源调度的研究 第一章绪论 ( 6 ) g r e e d y ：贪婪算法是m i n m i n 算法和m a x r a i n 算法的结合，通过使 用某种解决方案，将两个算法结合起来1 7 1 1 9 1 ( 7 ) g a ( t h eg e n e t i ca l g o r i t h m ) ：遗传算法是用来寻找比较大的解决方案 的一个算法，它是对已给问题的染色体进行操作，而最初的染色体是随即产生的。 一个染色体可以由任何一个算法产生，当它由m i n - m i n 算法产生，它就被称之为 以m i n m i n “播种” 1 4 1 1 1 5 j f l 6 i m 。 ( 8 ) s a ( s i m u l a t e da n n e a l i n g ) ：模拟退火算法是一种每次都考虑一个可能 的解决方案的重复技术，是广泛使用的解决优化组合问题的算法之一。它的最大 有点是能避免问题的解落入局部最小。模拟退火采用循环搜索来寻找问题的最优 解【：1 8 】【1 讲。 ( 9 ) g s a ( t h eg e n e t i cs i m u l a t e da n n e a l i n g ) ：遗传模拟退火算法是遗传算 法和模拟退火算法的结合。总的来说与遗传算法相似，只是在选择过程中，使用 模拟退火算法来决定接受还是舍弃新的染色体，同时保留最好的解f 1 8 j 例。 ( 1 0 ) t a b u ：t a b u 算法是一种循环搜索技术，不同的是它在问题的解空间 里记录了已经搜索过的空间，以避免重复搜索邻近的区域【1 5 】【1 8 1 1 2 “。 a t ：a 算法是经典的状态空间搜索算法，在许多任务分配问题中均有应用。 这是一种树搜索算法，根节点是空节点，而中间节点代表部分解，即任务组的一 个子集和节点的映射关系，而也节点表示完整点1 1 8 1 1 2 0 t 。 从文献 2 2 1 中的实验分析表明，一般情况下，o l b 、u d a 、m a x ，m i n 、s a 、 g s a 和t a b u 算法的性能比不上m i n m i n 、g a 、和a + 算法，后三种算法在完成 时间上的差异不超过1 0 ，g a 正常都会比m i n m i n 算法有很小的提高，因为 g a 算法是以m i n m i n 算法播种的。在后三种算法中，m i n m i n 算法是最快的算 法，g a 算法比m i n m i n 要慢，a + 是最慢的。对一个1 6 个资源，5 1 2 个任务的 网格环境，m i n - m i n 算法的执行时间差不多是l s ，g a 算法的执行时问是3 0 s ， 而a 算法的执行时间要1 2 0 0 s 。 m i n - m i n 算法是一个简单、快速的算法，并且性能比较好。g a 算法使用 m i n - m i n 算法来播种染色体，也是因为它有比较好的性能。m i n - m i n 算法的缺点 是只考虑到完成时间方面的要求，在算法目标的其他方面几乎没有考虑，因此这 种算法只是在理论情况下是比较好的。在文献【3 】，考虑到q o s 的情况下，算法 显然不能合理地安排任务的调度，因此在文献【3 】中提出了q o sg u i d e dm i n - m i n 算法，在网格资源调度过程中，引入了q o s 这个评判标准，但是很显然0 0 s g u i d e dm i n m i n 算法只是很简单地在原有算法的基础上加上了q o s 的概念，在 对应简单的带有q o s 的任务集时能够有效工作，但是如果任务集中的任务之间 存在着巨大的差异，那么这种算法就不能够有效的区分任务是高是低，从而使得 基于o g s a 的资源调度的研究第一章绪论 算法的m a k e s p a n 过大。本文所要研究的就是如何改进现有的算法，使得对于任 务具有不同的q o s 的情况能够得到理想的调度结果。 1 3 本文工作 本文计划在研究o g s a 下的资源调度体系的基础上，根据源模型，加入q o s 的概念，采用任务等级、资源等级、任务期望等级的量化方法，将任务、资源在 分配前定级，将不同级别的任务与资源放在一起，按照从高到低的顺序分配。这 样不同等级的任务就能够得到不同等级的资源的，从而解决高q o s 任务得不到 高等级资源的问题，使得对于有q o s 的任务调度能够在跨度、负载方面能够有 所提高。 本文研究计划步骤如下： ( 1 ) 研究o g s a 下的资源调度模型。主要是给出算法所作用的大环境。 ( 2 ) 研究现有的资源调度算法，主要是m i n m i n 和q o sg u i d e dm i n - m i n 算 法，找出现有算法的不足之处，再结合现有的技术，面向普遍的计算网格提出针 对性的解决方案。 ( 3 ) 针对前面给出的方案，研究现有仿真工具，选择合适的工具仿真实验， 在实验结果基础上进行论证分析，以证明所给方案确实解决了原有算法所存在的 缺陷并找到改进算法的不足之处。 1 4 内容组织 本文将按照以下顺序进行组织。 第一章引言给出本文的研究背景，研究意义和文章组织顺序。 第二章o g s a 下的资源调度模型：将给出o g s a 下的资源调度的完整模型， 从o g s a 的体系结构，到o g s a 下的资源管理系统，最后是处于资源管理系统 中的资源调度。并将改进算法在模型中的可行性进行讨论。 第三章基于q o s 的资源调度算法将具体介绍改进算法的具体内容。 第四章算法的仿真试验给出仿真实验的过程和结果分析。 第五章结束语主要对本文工作做出总结，给出研究工作的不足之处。 6 基于o g s a 的资源调度的研究第二章o g s a 下的资源调度模型 第二章o g s a 下的资源调度模型 本章研究o g s a 的资源调度模型。按照结构上的包含关系先后研究了o g s a 的体系结构以及作为其实现体的g t 3 ，支撑资源调度模块的资源管理系统的结构 和资源调度算法所存在的资源调度模块。通过对整个调度模型的研究，分析资源 调度模块在整个o g s a 中所处的位置以及与其相关联的结构，为下面调度算法 的研究和改进提供可行的研究方向。 2 1 网格的体系结构 网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功 能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持网格 有效运转的机制。 网格体系结构可以说是一个“分”与“合”的统一体。网格是一个整体的概念， 网格体系结构的作用在一定程度上就是对于网格的剖析。所谓的“分”是指网格体 系结构必须能够标识出网格的基本组成成分，能够清楚地说明网格整体是由哪些 关键部分结合在一起而形成的，还能够对各部分的功能、目的和特点等进行清晰 地描述。在“分”的基础上，网格体系结构还要进一步描述“a ，的功能，即在充分 了解网格的各个部分的作用机理、作用方式的基础上，将这些部分按照一定的方 式进行组织和集成，形成一个具有特定功能的整体，对外提供服务。 到目前为止，比较重要的网格体系结构有两种，一种是f o s t e r 等在早些时候 提出的五层沙漏结构【2 3 1 【2 4 】；另一种是在以i b m 为代表的工业界的影响下，在考 虑到w e b 技术的发展与影响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务 结构1 2 5 1 ( o p c ng r i ds e r v i c e sa r c h i t e c t u r e ：o g s a ) 。本文的研究主要是基于o g s a 迸行的。 2 1 1 开放式网格服务体系( o g s a ) 如果说五层的沙漏结构是基于协议的网格体系结构，那么o g s a 就是基于 服务的网格体系结构。它是在原来“五层沙漏结构”的基础上，结合最新的w e b s e r v i c e 技术提出来的。 o g s a 包括两大关键技术：网格技术和w e bs e r v i c e 技术，把原来按照两条 路线进行的研究活动归纳到一条主线上来。以服务为中心是o g s a 的基本思想， 在o g s a 中一切都是服务【2 “，主要突出从网格用户的角度看上去的网格系统结 构是什么样子。 7 基于o g s a 的资源调度的研究第二章o g s a 下的资源黻模型 在o g s a 结构中，将一切都抽象为服务，包括计算机、程序、数据、仪器 设备等。这种观念，有利于通过统一的标准接口来管理和使用网格。在o g s a 中，服务的概念更广泛，包括各种计算资源、存储资源、网络、程序和数据库等。 简而言之，一切都是服务。将一切都抽象为服务有利于通过统一的标准接口来管 理和共享网格上功能各异的资源。服务可以实现资源共享与资源管理、任务调度、 网格安全等，还可以访问网格上的各种分布式资源。在o g s a 中，可以基于简 单的基本服务，形成更复杂、更高级、更抽象的服务。 o g s a 结构如图2 3 所示。 i 开放网捂服务基础结构( o g s i ) f w e b 服务 圈圉圉囡曰圈 图2 3 0 g s a 结构 网格应用程序层 o g s i 层 w e b 服务层 物理和逻辑资源层 ( 1 ) 物理和逻辑资源层 资源的概念是o g s a 以及通常意义上的网格计算的中心部分，如图，物理资 源主要可分为三类，分别是服务资源、存储资源、网络资源、其中几乎包含了一 切可以由网络调用的资源类型。在物理资源之上是逻辑资源，其通过虚拟化和聚 合物理层资源来提供额外的服务，比如工作流、数据库、文件系统、词典等。 ( 2 ) w e b 服务层 由于o g s a 是基于服务的概念提出的网格体系结构，所以在o g s a 中所有 的资源，不论是物理的还是逻辑的，都被建模为服务。o g s i 规范定义了网格服 务并建立在标准w 曲服务技术之上。o g s i 利用诸如x m l 与w e b 服务描述语言 ( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ，w s d l ) 这样的w e b 服务机制，为所有网 格资源指定标准的接口、行为与交互。o g s i 进一步扩展了w e b 服务的定义，提 8 基于o g s a 的资源调度的研究 第二章o g s a 下的资源调度模型 供了动态的、有状态的和可管理的w e b 服务的能力。这在对网格建模时是必不 可少的步骤。 ( 3 ) 基于o g s a 架构的网格服务层( o g s i 层) w e b 服务层及其o g s i 扩展为基于架构的网格服各提供了基础设施，g g f 目 前正在致力予在诸如程序执行、数据服务和核心服务等领域中定义基于网格架构 的服务。随着这些新架构的服务开始出现，o g s a 已变成更加有用的面向服务的 架构( s o a ) 。本文所研究的资源调度就是由该层所要提供的服务。 ( 4 ) 网格应用程序层 丰富的基于网格架构的服务正在不断被开发出来，使用一个或多个基于网格 架构的服务的新网格应用程序亦将出现。这些应用程序构成了o g s a 架构的第 四层。 虽然o g s a 是基于服务的概念被提出的，但是o g s a 的实现离不开五层结 构中所制定的协议，o g s a 通过协议分层来对功能进行划分。提供更好的代码重 用和服务接口等特性。事实上，每一层都需要协议来提供对相关服务的访问，包 括资源管理，数据存取，资源发现等。 2 1 2g l o b u st b o l k i t3 0 2 0 0 3 年符合o g s a 规范的g l o b u s t o o l k i t3 0 ( g t 3 ) 发布，这标志着o g s a 已经从一种理念、一种体系结构，走到付诸实践的阶段了。g t 3 提供了一个完整 的开放网格服务基础设施( o g s i ) 实现，它的许多功能重构成与o g s i 兼容的 服务。g t 3 将服务发现、程序执行任务的提交、监控和可靠的文件传输，定义成 与o g s l 兼容的服务。其它如数据传递、副本定位和授权等服务也尽量构建成与 o g s i 相兼容。并且g t 3 定义了一组关于使用w e b 服务描述语言( w s d l ) 和扩 展标识语言( x m l ) 模式的约定与扩展，以便启用有状态服务。 下面给出g t 3 的结构图，从图中我们可以看出g t 3 的整个结构图分为5 层。 g t 3 的核心层，主要是实现了网格服务的接口和行为。在o g s a 的体系结构中 一切都是以服务的形式出现的，描述网格服务逻辑层次如图2 4 所示。 9 基于o g s a 的资源调度的研究 第二章o g s a 下的资源调度模型 图2 4 描述网格服务逻辑层次不意图 安全层( g t 3s e c u r i t ys e r v i c e s ) ：安全是基于网格的应用中重要的因素。g t 3 s e c u r i t ys e r v i c e s 可以帮助限制访问我们的网格服务，那样就只有经过审核的客 户端才能使用我们的网格服务。除了通常的安全措施( 在w e bs e r v i c e 后面放一个 防火墙等等) ，g t 3 还向我们提供了更多例如s s l 和x 5 0 9 数据认证的安全技术。 这一层有安全会话服务s e c u r ec o n v e r s a t i o ns e r v i c e 。 基本服务层( g t 3b a s es e r v i c e s ) ：这层实际上包含了一整套很多有意义的服 务：资源发现、资源监控、资源调度等。这些服务都是网格应用中的基础服务， 通过使用这些服务我们可以实现诸如任务的远程提交、资源状态的监控、文件的 远程传送等功能。本文研究的资源调度就处于g t 3 的这个层面上，其主要功能 由g t 3 所提供的一个服务功能集合体g r a m 上。 数据服务层( g t 3d a t as e r v i c e s ) ：这层包括复制管理( r e p l i e am a n a g e m e n t ) ， 这个功能在必需处理大量数据的应用中很有用。当处理大量数据时，不需要关心 完整的数据是否都已经下载，只需要处理一小部分数据。复制管理可以对所使用 的数据子集进行跟踪。 1 0 基于o g s a 的资源调度的研究第二章o g s a 下的资源调度模型 其他应用服务层( o t h e rg r i ds e r v i c e s ) ：在g t 3 中所有的网格服务都运行在 g l o b u s 的容器中，在运行的后台中可以看到以上所列出的所有服务，当然用户 也可以根据需要在容器中部署自己所开发的网格服务。 物理逻辑资源层：主要是给以上各层提供支持。 2 2o g s a 的资源管理 资源是网格中的主要对象，网格的目的就是要管理好网格中的各种资源，为 需要资源的用户提供透明一致的访问接口。资源管理需要解决的问题有资源的描 述、资源的命名、资源的发现和管理等。 2 2 1 网格资源 资源是网格中所有被主体请求使用的实体的总称。网格中包含有多种形式、 功能各异的资源，除了万维网上传统意义的资源之外，还包括天文望远镜、电子 显微镜、环境监控探测器、无线通信设备等。资源共享是网格的一个主要特征， 因此资源管理是网格的基本功能模块f 2 7 1 。 2 2 1 1 资源定义 网格资源指所有能够通过网格远程使用的实体，包括计算机软件、计算机硬 件、设备和仪器等。除了这些物理资源之外，在网格设备旁工作的人员也是一种 资源，为了和其他资源加以区别，称为人类资源。人类资源包括人的知识、能力 等多种因素，是网格上最具有伸缩性的资源。本文主要研究的是在计算网格中的 资源调度，所以所指资源范围缩小在计算机的硬件资源上，主要是处理器，存储 器、硬盘等。 2 2 1 2 资源特点 网格中的资源具有如下特点1 ： ( 1 ) 异构性 网格中的资源种类繁多，功能各异，访问接口也各不相同。例如，有的机器 运行w i n d o w s 操作系统，有的机器运行l i n u x 操作系统，即使运行同一个操作 系统，其运行的操作系统版本也不一样。 ( 2 ) 动态性 网格中的资源可以自由地随时加入和离开网格系统，网格资源的可获得性是 随时间的变化而动态变化的，网格资源的负载也是动态变化的。 ( 3 ) 自治性 基于o g s a 的资源调度的研究第= 章o g s a 下的资源调度模型 网格资源有自己的本地管理机构或处在本地管理机构的管理之下，网格资源 或强或弱的有本地自治能力。 ( 4 ) 二分特性 网格资源最终都是由具体的资源拥有者提供的，除了一部分专用的网格资源 是专门提供给网格用户使用之外，大部分的资源都同时作为网格用户可以使用的 网格资源和资源拥有者自己使用的本地资源。 2 2 2 资源管理的目的 网格的资源管理要把网格中分散的各种资源管理起来，使多个用户可以共享 使用网格中的同一个资源，一个用户可以根据业务需要同时或先后使用网格中的 多个资源，而不需要用户付出额外的劳动。其目的总结起来有以下三点： ( 1 ) 为用户提供访问资源的简单接口，将实际使用资源的具体细节隐藏起 来，网格用户看到的是经过抽象的逻辑资源，物理资源是看不到的。 ( 2 ) 协调资源的共享使用，既要支持多个用户请求同一个资源的需求，也 要支挣一个用户请求使用多个资源的需求。而在这个过程中到底使用什么样的策 略就是本文所要研究的重点。 ( 3 ) 资源管理器还要代替用户去使用资源，并建立安全的网格资源使用机 制。 2 2 3 资源管理的功能 资源管理除了管理资源的使用过程之外，更重要的是管理资源的生命周期。 资源的整个生命周期包括从资源的注册、共享到注销的整个过程，资源的全生命 周期如图2 5 所示。全生命周期管理资源是网格资源管理必须具备的功能。 1 2 基于o g s a 的资源调度的研究第二章o g s a 下的资源调度模型 图2 5 资源全生命周期图 下面每一个标号对应图中的数字。 网格资源开始生命周期的第一步是向资源管理器注册自己。 资源管理器把资源的注册信息写到资源信息数据库中。注册的结果在资源 信息数据库中有了自己的信息( 上面一条虚线) 。注册之后的资源就变成了网格 资源。 o 用户需要资源时，向资源管理器提出请求。 资源管理器资源信息数据库中获得匹配资源的信息，返回给用户，用户获 得了资源信息( 下面一条虚线) 。 o 有了资源信息，用户就可以同资源之间进行各种交互。 如果资源不想继续在网格上生存。可向资源管理器发出请求注销自己，资源 信息数据库中该资源的信息被相应地清除，该资源作为网格资源的生命周期就结 束了。当用户再次请求资源时，就不可能再获得该相应资源的信息了。 为了管理资源的整个生命周期，资源管理器需要具备许多功能，但是其中有 一些功能是必需的，有一些是可选的，概括起来讲，一个可以管理资源全部生命 周期的资源管理器需要提供以下一些基本功能： ( 1 ) 资源注册。资源管理器为各种资源提供描述标准和接口来实现资源注 船，使资源能够被网格上的用户发现并使用。 ( 2 ) 资源发现。为资源请求者提供描述资源需求的方式，能够根据资源需 求描述在资源信息数据库中查找满足需求的资源信息并返回给请求者。 ( 3 ) 资源部署。有的资源是动态部署的，在使用之前需要部署到资源的运 行环境或容器中。 基于o g s a 的资源调度的研究 第二章o o s a 下的资源调度模型 ( 4 ) 资源代理。在用户和资源之间充当一个中间环节，代替用户完成某些 操作，在资源上为合法的用户设置好使用资源的环境参数，转接两者之间的交互 信息，并对信息格式进行转换。 ( 5 ) 资源注销。资源提出注销请求之后，对请求的合法性进行审核，确认 请求有效之后，从资源信息数据库中删除该资源的信息。 全生命周期的资源管理是实现网格资源管理的前提，资源管理要达到自己的 目标需要其他的模块提供帮助，如信息管理、数据管理、安全通信、监控等在资 源的全生命周期的管理过程中都是要需的。资源管理的全生命周期状态转移如图 2 6 所示。 退出 注销 注销 图2 6 资源管理的全生命周期状态转移 图2 6 中画出的是资源在网格上的最基本状态，其中“可用”状态在资源提供 者本地的管理之下又可分为多个状态，在此不再细分，这里的四个状态都是处在 网格资源管理器管理之下的不同状态。 2 2 4g t 3 的资源管理结构 管理系统由受管对象和管理者构成。受管对象是网格上的一个个资源，管理 者是网格资源管理器，网格资源处在资源管理器的管理之下。资源管理器对资源 的管理并不意味着剥夺资源拥有者的控制权，而是按照资源拥有者的意愿去行 事。资源管理器对资源的管理仅仅是管理资源拥有者授权的管理。因此资源的控 制权仍然在资源拥有者手中，资源管理器管理的仅仅是资源拥有者授权的那部分 功能。 2 241g r a m 的体系结构 g t 3 中有一些服务被合在一起成为g r a m 2 8 1 。其主要功能是任务提交以及 资源管理。g r a m 体系结构的组件如图2 7 所示1 。尽管这个体系结构显得很 1 4 基于o g s a 的资源调度的研究第二章o g s a 下的资源调度模型 复杂，实际上它是一组良好的组件在功能上的聚集。这个机构的另一个优点是客 户端不在体系机构的复杂性之列。 图2 7 g r a m 的体系结构 g r a m 体系结构的主要组件； ( 1 ) 主控主机环境和用户主机环境 这个概念允许功能的分离，同时对每个环境支持的功能提供一个增强的抽 象。主控主机负责提供聚集资源状态状况的信息，以及管理它的用户主机的启 动和开始服务，这是与客户端的直接接触点。用户主机环境( u h e ) 为执行任务 提供特定的抽象功能和安全性。所有的任务都在u h e 中执行。 ( 2 ) 主控管理任务工厂服务 这个工厂始终是可用的，并且负责获取客户端对聚集资源的查询和订阅请 求。这个工厂通过聚集提供者为资源状态和资源的通知管理聚集的服务数据。 基于o g s a 的资源调度的研究 第二章o g s a 下的资源调度模型 ( 3 ) 虚拟主机重定向处理程序 这是一个核心的组件，负责重定向所有对u h e 的调用。这些调用包括任务 的创建以及对创建的任务服务调用任务操作。 ( 4 ) s t a r t e ru h e l a u n e hu h e 在客户端请求执行一个任务的过程中，虚拟主机引擎将调用定向到启动器。 这个j a v a 类负责安全映射、用户验证以及确保任务的执行，从而虚拟主机可以 将调用重定向给正在执行的任务服务。如果用户主机没有启动或者运行，那么它 利用l a u n c hu h ej a v a 类提供的帮助，根据用户的证书启动这个主机。 ( 5 ) 管理的任务工厂服务( m j f ) ，管理任务服务 m j f 服务提供一个c r e a t e s e r v i c e 方法，用于接受r s l 特定的任务。然后m j f 为用户创建一个管理任务实例。它作为一个本地的调度程序，监控它的状况并发 送通知。除此之外，m j s 将启动两个文件流工厂服务，一个用于生成任务的s t d o u t ， 另一个用于生成任务的s t d e r r 。 ( 6 ) 文件流工厂服务文件流服务 这是两个为任务执行管理数据的有用服务。工厂服务创建两个文件流服务： s t d o u t 和s t d e r r ，它们中的每一个都有两种服务数据结果：流目标的u r l 和一个 用来说明活动的标记。 ( 7 ) 网格资源身份映射器( g l u m ) g r i m 服务在u h e 中执行，用于创建一个用户主机证书。这个用户主机证 书用于m j s 服务端和客户端相互的身份认证。 ( 8 ) 资源信息提供者服务( r i p s ) 一个特殊的通知服务，提供调度系统、文件系统、主机等的数据。本文主要 研究的就是资源信息提供者服务中的调度系统。 2 2 4 2g r a m 的任务提交以及通信机制 ( 1 ) 任务提交 用户利用创建一个管理任务服务来启动任务的调度。这个过程包括以下步 骤。 客户端知道主控主机环境以及主控管理工厂服务。它向m h e 中的主控工厂 服务发送一个请求用于创建一个任务。 虚拟主机重定向处理程序利用s t a r t e r l a u n c hj a v a 类管理这个请求；它创建 用户主机系统和( 或) 与之连接。必须清楚的一点是，这些进程都是在用户 证书下创建的。一旦u h s 可用，重定向处理程序