（教育技术学专业论文）基于网格的资源调度的研究.pdf

摘要 摘要 资源调度技术是网格核心服务之一。良好的资源调度能有效地协调和分配网 格资源，有效降低网格计算的总执行时间和总耗费量，从而使网格达到最大性能。 本文首先分析了网格特点、网格体系结构、网格资源调度过程，对目前的网 格资源调度算法进行了分析，根据对国际上相关网格仿真工具的研究和分析，选 择c n i d s i m 作为网格仿真工具，通过实践对g r i d s i m 进行了详细的分析；接着分析 了基本遗传算法，根据网格计算环境中资源调度的特点，基于遗传算法设计了网 格计算环境下资源调度策略，证明了本文中资源调度策略的合理性和收敛性；最 后将调度策略纳入到g r i d s i m 网格计算仿真平台进行了系统测试，测试了算法的性 能，通过实验分析了遗传算法对调度策略的影响，结果表明本文中的资源调度策 略提高了调度性能。 关键词：网格遗传算法g r i d s i m 资源调度 a b s t r a c t a b s t r a c t r e s o u r c e ss c h e d u l i n gi so n eo fc o r et e c h n o l o g i e so fg r i dc o m p u t i n g o n eg o o d r e s o u r c e ss c h e d u l i n gc a ne f f e c t i v e l yi m p r o v ea d j u s t i n ga n da s s i g n i n gg r i dt a s k s ，a n d d e e a s eg r i dc o m p u t i n gt o t a lt i m e ，g r i dc o m p u t i n gc a np e r f o r mp e r f e c t l y r e s o u r c e s s c h e d u l i n gi sg r e a t ei m p o r t a n ti ng r i dc o m p u t i n g a tf i r s t ，t h e p a p e rp r e s e n t s g r i dc o m p u t i n ge n v i r o n m e n t 、g r i dc o m p u t i n g c h a r a c t e r i s t i c s t h ep a p e rs u m m a r i z e sa l g o r i t h m sf o rr e s o u r c e ss c h e d u l i n gs t r a t e g y , a n d p r e s e n t st h ep r o b l e m sw h i c h t h es t r a t e g i e so fr e s o u r c e ss c h e d u l i n gt o 班dc o m p u t i n ga t p r e s e n t t h ep a p e rp r e s e n t s t h e s i m p l eg a ( g e n e t i ca l g o r i t h m ) a f t e rs t u d y i n g s i m u l a t o r so fb o t hh o m ea n da b r o a d ，t h ep a p e rs e l e c t st h eg r i d s i ma st h es i m u l a t o r , a n a l y s e st h eg r i d s i mi nd e t a i lb yp r a c t i c e s e c o n d l y , b a s e do l l 班dc o m p u t i n g e n v i r o n m e n t sc h a r a c t e r i s t i c so fr e s o u r c e ss c h e d u l i n g ，t h ep a p e rd e s i g n st h es t r a t e g y u n d e rt h eg r i dc o m p u t i n ge n v i r o n m e n tb a s e do ni m p r o v e dg a , p r o o f st h ea s t r i n g e n c y o fs t r a t e r y , a n dt e s t st h ep e r f o r m a n c eo fs t r a t e g yo fr e s o u r c es c h e d u l i n gi ng r i d s i m t h er e s u l ti n d i c a t e st h a tt h es t r a t e g yp r o p o s e db yt h i sp a p e rc a ni m p r o v et h eg r i d p e r f o r m a n c e k e yw o r d ： g r i dc o m p u t i n g g ag r i d s i mr e s o u r c e ss c h e d u l i n g 声明 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文( 保密的论文 在解密后遵守此规定) 。 导师签名：毪魁 绪论 第一章绪论 1 1 引言 网格的思想早在1 9 6 0 年就被提出，但是对网格的大规模研究只是近十几年的 事，而网格的概念提出于9 0 年代中期，用于表达在高端科学和工程上分布式计算 的一种基础构造形式。从此，在相关基础上，取得了相当大的成就，简单的讲， 网格就是把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、 数据资源、信息资源、知识资源和专家资源的全面共享。这种计算模式是利用互 联网将分散在不同地理位置的计算机组织成一个“虚拟的超级计算机”，其中每一 台参与计算的计算机就是一个“节点”，而整个计算机系统由成千上万个“节点” 组成“一张网格”。所以这种计算模式叫做网格计算。这种构建在互联网上的一 组新兴技术为科技人员和普通老百姓提供了更多的资源功能和交互性，提供大家 方便的使用各种计算资源的能力。 目前网格处于高速发展时期，美国开发了c o n d e r 、l e g i o n 、g l o b u s 等比较有 影响的软件；在欧洲有欧洲数据网格、荷兰网格、爱尔兰网格等；亚洲有亚太网 格( 亚洲和太平洋地区网格研究的基础设施) ；n i n f 是日本正在实施的全球计算基 础设施项目；印度将开发一个称为i g r i d 的网格。 在我国，网格的研究列入国家“8 6 3 ”计划，中国科学院计算机技术研究所从 1 9 9 6 年开始网格技术的研究，2 0 0 0 年开发了连接国内8 个曙光计算机中心的网络， 2 0 0 1 年提出了织女之星网格计划。国内其它一些大学和研究所也开展了网格技术 的研究。目前已经开始用g l o b u s 工具集构建和使用网格1 。 1 2 论文研究背景 1 2 1 网格资源调度研究现状 网格的核心服务是网格的重要组成部分，是连接网格底层和高层功能的纽带， 是协调整个网格系统有效运转的中枢，资源调度技术是网格核心服务之一。一个 良好的资源调度能有效地协调和分配网格资源，有效降低网格计算的总执行时间 和总耗费量，从而使网格达到最大的性能。资源调度技术对网格系统的应用是至 关重要的。目前网格环境下的资源调度主要在改进调度算法上。著名的g l o b u s 网 格环境着重处理了资源发现和标识问题，但在任务的提交和调度算法方面不是很 完善。采用命令行手动对任务进行提交，采用轮循方法对资源进行调度，容错性 2 基丁：网格的资源调度的研究 差，没有考虑负载平衡。比较老的经典算法有m i n m i n 2 1 吲川，s u f f e r a g e 吲等。根据 网格计算资源调度系统具体的特点，传统调度算法不能很好的适应网格资源调度 的要求。目前，已有许多科研组织对网格资源调度进行了研究。下面进行简单介 绍： c o n d o r 6 “1 嗍：为了充分利用网格资源的空闲时间来为用户服务，因此c o n d e r 使用的调度算法相对简单一些，定义了数据模型- - c l a s s i f i e d a d v e r t i s e m e n t ，来描述 资源特性和表达用户需求。调度分为匹配( m a t c h i n g ) 和声明( c l a m i n g ) ，在匹配 期间，m a t c h m a k e r 获得最适合任务的资源，之后通知用户及服务提供者，二者之 间再次进行声明以确立它们的关系。c o n d e r 被设计用于高吞吐率计算。 n i m r o d 吲：此系统主要为用户在需求满足的情况下提供经济计算模式，目前， n i m r o d 主要的算法为d e a d l i n ea n db u d g e tc o n s t r a i n e d ( d b c l s c h e d u l i n ga l g o r i t h m ，其 能够根据任务完成时间以及花费预算进行资源调度，根据问题的侧重点不同，还 有d b ct i m eo p t i m i z a t i o n 、d b cc o s to p t i m m m i o n 和d b cc o s t t i m eo p t i m i z a t i o n 三 种分支。 a p p l e s ”：a p p l i c a t i o nl e v e ls c h e d u l i n g 简称为a p p l e s ，p a r a m e t e rs w e e p t e m p l a t e 是a p p l e s 中一用户级的中间件，主要目标为将资源以最有效形式调度 到任务上，使得任务以较高效率完成，p a r a m e t e rs w e e pt e m p l a t e 提出了一个自适 应算法来实现此目标，在此算法中w o r kq u e u e 、m i n m i n 、m a x m i n 、s u f f e r a g e 等 调度策略都可使用，所针对的应用主要是p a r a m e t e rs w e e pa p p l i c a t i o n ，针对 p a r a m e t e rs w e e pa p p l i c a t i o n 中存在任务共享输入文件的情况，c a s a n o v a 等对 s u f f e r a g e 算法进行了改进，提出了新的调度策略- - x s u f f e r a g e ，经实验表明，随着 共享文件的增大，x s u f f e r a g e 的优越性越明显。 随着网格的不断发展，在资源调度领域不断有新的挑战出现。在一些网格应 用中，有些应用要求在能够提供一定服务质量( q o s ) 的资源上进行，而有些应用 则在资源能提供的q o s 方面没有要求。 本文在参考了大量经典算法和网格调度特点的基础上，针对资源调度中的最 优跨越度问题，将网格结构特点和调度算法相结合，提出了基于遗传算法的一种 新的资源调度策略，用于提高网格资源调度性能。 1 2 2 遗传算法进行资源调度的可行性分析 遗传算法是目前三种典型的拟生态算法之一( 其它两种为蚁群算法和免疫算 法) 。遗传算法来源自然进化思想，是一种分布式、启发式搜索算法。 遗传算法主要用于解决诸如t s p 问题( t r a v e l i n gs a l e m a np r o b l e m ) ，j s s p 问 题( j o ps h o p p i n gs c h e d u l i n gp r o b l e m ) ，g c p ( g r a p hc o l o r i n gp r o b l e m ) 等组合优 绪论 3 化问题。而网格计算中的资源调度在本质上也是组合优化问题。因此从解决问题 的角度讲遗传算法适合于解决资源调度问题。 遗传算法具有很强的并行性和天生的分布式特性。而网格资源具有很强的分 布式特征，并且将作业分配给资源执行总是并发进行的，遗传算法的这些特性为 解决网格计算中的资源调度问题提供了便利。 遗传算法具有较强的健壮性，对初始化条件要求不高，运行过程中无须干预 的特点，这些特点使得遗传算法在复杂的网格环境下更容易控制。 因此遗传算法适合于解决网格计算环境下的资源调度问题。 1 3 本论文主要工作 基于遗传算法原理提出了适合网格计算环境的基于遗传算法的网格资源调度 策略，并将其作为网格资源调度技术的核心策略来更合理的调度网格资源，通过 网格仿真环境g r i d s i m 对其进行了性能测试和分析，论文主要工作为： 1 解析网格计算环境，明确网格计算特点、分析了网格体系结构及g l o b u s 调 度设计，归纳网格计算中的资源调度原理、特点、组织模式、体系结构和调度过 程，对以前调度算法进行了分析。 2 解析基本遗传算法。 3 根据对国内外相关网格仿真工具的研究和比较，选择g r i d s i m 作为仿真工 具，解析了g r i d s i m 体系结构及其主要实体，重点分析了g f i d s i m 中b r o k e r s 体系 结构，通过实践说明了g d d s i m 的安装，如何使用g r i d s i m 创建网格环境和对资源 调度的模拟。 4 根据网格计算环境对资源调度的要求，基于遗传算法设计了网格计算环境 下的资源调度策略，通过理论证明资源调度策略的收敛性。 5 将本文中基于遗传算法的网格资源调度策略纳入到g r i d s i m 网格计算仿真 平台进行系统测试，测试了算法的性能，研究了遗传算法中各参数的设置对调度 性能的影响，选取了在遗传算法中能够优化调度策略性能的参数。结果显示本文 资源调度策略能够优化资源调度策略中的跨越度问题，并提出了本文下一步需要 解决的问题。 1 4 论文组织结构 本文共分六章： 第一章分析了本文的研究背景，网格以及网格调度的研究现状，提出了一种 新的基于遗传算法的网格资源调度策略，遗传算法进行资源调度的可行性分析， 阐述了本文的主要工作，以及文章组织结构。 4 基于网格的资源调度的研究 第二章分析了网格特点、体系结构以及著名的网格中间件g l o b u s 的调度设 计。 第三章详细分析了一般情况下的网格资源调度，对目前的调度算法进行了分 析 第四章遗传算法基本理论。 第五章分析了国际上几种常见的网格仿真工具，选择g r i m s i m 作为网格仿真 平台，分析了g r i d s i m 的体系结构及其主要的实体，通过实践说明了如何安装 g r i d s i m ，利用g r i d s i m 如何创建网格环境和资源调度的模拟。 第六章提出了基于改进的遗传算法的网格资源调度策略，通过理论证明了本 文中采用基于遗传算法的资源调度策略的合理性和收敛性，使用g r i d s i m 对其进行 了仿真和性能测试，并对结果进行了分析。 第二章网格的特点及其体系结构 5 第二章网格的特点及其体系结构 本章分析了网格的特点，网格体系结构，重点分析了网格体系结构中g l o b u s 中间件的调度设计。 2 1 网格的特点 2 1 1 分布与共享性 分布性是网格的一个最主要的特点。网格的分布性是指网格的资源是分布的。 分布的网格一般涉及资源类型复杂，规模较大、跨越地理位置范围较广等。因为 网格资源是分布的，因此基于网格的计算一定是分布式计算，在网格分布式环境 下，需要解决资源与任务的分配和调度问题，安全传输与通信问题。网格资源虽 然是分布的，但却是可以共享的。网格上的资源可以提供给网格上的任何使用者。 共享是网格的目的，解决分布资源的共享问题是网格的核心，分布是网格硬件物 理上的特征，而共享是在网格软件支持下实现的逻辑上的特征，这两者对网格来 说都十分重要”“。 2 1 2 自相似性 网格的局部和整体之间存在着一定的相似性，局部往往在许多地方具有全局 的某些特征，而全局的特征在局部也有一定的体现。网格的自相似性在网格的建 造和研究过程中有重要的意义。 2 1 3 动态性和多样性 对于网格来说，决不能假设它是以策划多年不变的，原来拥有的资源或者功 能在下一时刻可能会出现故障或者不可用：而原来没有的资源，可能随着时间的 推移会不断地加入进来，网格的动态性包括动态增加和动态减少两个方面的含义。 网格资源是异构和多样性的，在网格环境中可以有不同体系结构的计算机系统和 类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资源之间 的通信和互操作问题。 2 1 4 自治性和管理的多重性 网格上资源，首先是属于某一个组织或者个人的，网格资源的拥有者对资源 基于网格的资源调度的研究 具有最高级别的管理权限，这称为自治性；由于资源要建立相互之间的连接，所 以网格也必须接受统一管理，即网格的管理有多重性。 2 2 网格体系结构 网格体系结构1 1 2 1 是划分网格系统基本组件、指定系统组件的目的与功能、以 及说明组件之间如何相互作用的技术。到当前为止，比较重要的网格体系结构有 两个，一个是f o s t e r 等人在早些时候提出的五层沙漏结构，然后就是在以i b m 为 代表的工业界的影响下，在考虑到w e b 技术的发展和影响后，f o s t e r 等结合w e b s e r v i c e 提出的开放网格服务结构o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 1 3 1 。 2 2 1 五层沙漏结构模型 五层沙漏结构”4 的主要特点是结构简单、层次清楚。此结构侧重于定性的描 述而不是具体的协议定义，这有助于从整体上理解网格计算。五层沙漏结构并不 提供严格的规范，不是对全部所需协议的完整罗列，是对该结构中各部分组件的 通用要求进行定义，结果是一个开放的、可扩展的体系结构，提供虚拟组织结构 的解决方案。 五层沙漏结构是从g l o b u s 系统中抽象出来的，对网格的初步形成影响十分广 泛。五层沙漏结构一个很重要的思想就是以“协议”为中心，同时强调服务和a p i 、 s d k 等的重要性。它类似于传统的t c p i p 网络协议栈，将网格分为五个互相关联 而不等的层次。在五个层次中，资源层和汇聚层大大地拓展了网络应用层的功能， 对传统网络中的许多应用层问题进行了封装，因而功能进一步强大，并为用户提 供更加透明的使用手段，下面分别介绍五层沙漏结构各层的功能及其特点： 网 格 体 系 协 议 1 各层的功能 应用层 汇聚层 1r 资源层 1r 连接层 二 叵 图2 1 五层沙漏结构与l a r e m e t 协议的对比【1 l 网 络 协 议 体 系 结 构 第二章网格的特点及其体系结构 7 五层沙漏模型按照模型中各组件中与其共享资源的距离远近，将对共享资源 进行操作、管理和使用的功能分散在五个不同的层次中，越向下层就越接近物理 的共享资源，与特定资源相关的成分就比较多；越向上层就越感觉不到共享资源 的细节特征，也就是说上层是共享资源的更加抽象表示，因此就不需要关心与底 层资源相关的具体实现问题。上述模型在网格底层( 即构造层) 和网格高层( 即 应用层) 对网格行为和状态作了较少规定，从而形成了沙漏的中间部分。 五层沙漏结构的五层由上至下分别为构造层、连接层、资源层、汇聚层、应 用层。 构造层( f a b r i c ) ：基本功能为控制局部资源，向上提供访问这些资源的接口。 构造层资源可以是计算资源、存储资源、目录、网络资源以及传感器等。广域分 布的计算机、工作站、机群、w e b 服务器、数据库服务器和超级计算机系统是构 造层的物理资源，它们本身附带的文件系统、通信系统构成了构造层的逻辑资源。 构造层应该实现的基本功能包括查询机制( 用来发现资源的结构和状态等信息) 、 控制服务质量的本地资源管理能力等。 连接层( c o n n e c t i v i t y ) - 基本功能是实现资源间的通信。它定义了核心的通信 和认证协议，用于网格的网络事务处理之中。通信协议允许在构造层资源之间交 换数据，提供包括传输、路由、命名等功能。建立在通信服务之上的认证协议提 供加密的安全机制，用于识别用户和资源。 引 图2 2 连接层的协议组成与层次关系“” 资源层( r e s o u r c e ) ：主要功能是实现对单个组织内的资源共享。资源层建立在 连接的通信和认证协议之上，定义的协议包括安全初始化、监视、控制单个资源 的共享操作、审计及付费等。资源层协议只考虑单个的局部资源，忽略了全局状 态和跨越分布资源集合的原子操作。资源与连接协议形成了沙漏模型的瓶颈部分， 因此这个协议集合要小，而且尽量标准化。这些协议要能够抓住涵盖不同资源类 型的基本共享机制，但是又不能对高层协议的类型和性能有约束。 汇集层( c o l l e c t i v e ) ：主要功能是协调多个资源组织间的资源共享，而资源层的 主要功能则是实现“单个虚拟组织”的资源交互共享。汇聚层协议与服务描述是 资源的共性，并不涉及资源的具体特征，说明不同资源集合之间是如何相互作用 的。由于汇聚层协议在资源层通用目的协议的基础上实现更高级的应用。因此资 基于网格的资源调度的研究 源协议必须是通用的，而且可以广泛使用。 应用层( a p p l i c a t i o n s ) ：本层是在虚拟环境中存在的。从应用程序员的观点看 网格结构，应用是根据在任意层次上定义的服务来构造的。在每层都定义了协议， 以提供对相关服务的访问，这些服务包括资源管理、数据管理、资源发现等。在 每一层，可以将a p i 定义为与执行特定活动的服务交换协议信息的具体实现。这 里的应用可以调用更高级的框架和库调用。 2 五层沙漏结构的特点 ( 1 ) 共享：传统的共享只是局限在交换文件，而这里则更强调对计算机、软件、 数据及其他资源的直接访问。共享是一种随时间变化的动态的共享，而不是静态 的共享。因此是深层次、广泛的、动态的、具有多种形式的有条件受控制的共享。 ( 2 ) 互操作：互操作也就是资源的间接访问。从而实现资源的共享。没有互操 作机制的保证，动态虚拟组织的形成是不可能的，而且可以形成的虚拟组织的类 型是非常有限的。 ( 3 ) 以“协议”为中心：为了实现特定的操作而定义的分布式元素之间交互 的方式，以及交互过程中交换的信息的结构。共享需要互操作，而互操作需要定 义协议，因此五层沙漏机构特别重视协议的定义。 ( 4 ) 服务：服务是由它使用的协议和实现的行为定义的。标准协议使得定义标 准服务( 如对计算的访问、存取资源、资源发现、协同调度、数据复制等) 更加 容易。 ( 5 ) 强调服务与a p i s d k 的重要性：在五层沙漏结构中，同时还提供a p i ( a p p i c a t i o np r o g r a m m i n gi n t e r f a c e ) 和s d k ( s o f td e v e l o p m e n tk i t s ) ，使得在建立 网格应用时可以在抽象的基础上提高编程的级别。开发者能够在复杂、动态执行 的环境中开发高级的应用。借助于a p i 、s d k 就可以加速代码开发，实现代码共 享，以及增强应用的可移植性。a p i 、s d k 是附属于协议的，而不是协议的替代。 可见，以资源共享协议和资源间的通信协议为核心，网格环境实现了广域范 围内的资源共享和协同工作，将面向网络的计算机推进到了一个新的阶段。 计算网格体系结构中的连接层、资源层和汇聚层的功能需要有架构在资源层之 上、应用层之下的网格中间件实现。 2 2 2 开放网格服务体系结构 开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c e s a r e h t e c t u r e ) 是g l o b u s 鲥d f o r u m4 的重要标准建议，是继五层沙漏结构之后最重要的一种网格体系结构。它 与五层沙漏结构最大区别在于，它不向沙漏结构以协议为中心，而是以服务为中 心。这里的服务是指具有特定功能的网格化实体，包括各种计算资源、存储资源、 第二章网格的特点及其体系结构 9 网络、程序、数据库等等。在o g s a 中，实现的不再是对资源的共享，而是对服 务的共享。从资源到服务的共享，这种抽象将资源、信息、数据等统一起来，有 利于灵活的、一致的、动态的共享机制实现”“。 1 g l o b u s 网格中间件 在网格计算研究领域，研究、开发高质量的网格中问件是一个很重要的课题。 网格中间件一般被认为是在操作系统和应用之间的软件层，它可以屏蔽网格资源 的异构性，为上层应用提供一个统一的资源示图，使得在开发、布置网格应用的 时候不需要底层异构网格资源的特性，只需要调用网格中间件提供的各种标准接 口，对网格应用的开发、执行变得简单易行而且可靠有效。目前，许多网格研究 项目几乎都是着力于开发能够集成现有的异构资源和服务的中间件。典型的计算 网格中间件研究项目如g l o b u s 和k g i ，其中g l o b u s 项目中开发的g l o b u s 工具 包已经在许多网格项目中得到了广泛应用。 g l o b u s 项目是目前国际上具有影响的网格计算研究，g l o b u s 工具包已经成为 构建网格环境事实上的标准。g l o b u s 是美国a r g o n n e 国家实验室的研发项目，在 初始阶段，全美有十多所大学和科研机构参与了该项目的研究工作。g l o b u s 对信 息安全、资源管理、信息服务、数据管理以及应用开发环境等网格计算的关键技 术进行广泛的研究，开发出了能在多种平台上运行的网格计算工具包软件( g l o b u s t o o h d t ) ，可以用来帮助规划和构建大型的网格实验和应用平台，开发适合大型网 格系统运行的网格应用。目前，g l o b u s 工具包已在n a s a 网格( n a s aw g ) 、欧 洲数据网格( d a t a 鲥d ) 、美国国家技术网格( n t g ) 等众多项目中得到应用。 为了有效的支持网格计算环境，g l o b u s 工具包实现了以下四方面的功能”： ( 1 ) 资源管理功能 网格计算中涉及到大量的，异构的资源，因此g l o b u s 工具包应当能够提供一 套统一的、可扩展的管理机制来管理远程系统中的计算和通信资源，并使得它们 在并行和分布式计算过程中能协同合作。 ( 2 ) 数据管理和访问功能 在一些分布式的科学和工程应用中，往往需要访问大量的数据，因此，如何 管理数据使得对数据的访问简易、有效。是g l o b u s 工具包必须解决的一个问题。 ( 3 ) 信息服务功能 在分布式环境下的高性能计算往往得益于对计算机、网络等资源以及适合于具 体应用的协议、算法的选择和配置，这样需要有相关资源最新的、精确的信息来 支持，因此，g l o b u s 工具包必须能够提供高质量的信息服务。 ( 4 ) 安全功能 网格是一个广域的分布式系统，安全问题是用户最关心的问题之一。它通常包 含许多不同域的计算机资源，每一个域都有各自的安全策略，所以，g l o b u si 具 1 0 基丁：网格的资源调度的研究 包必须能够提供一套可以处理这种复杂情况的安全机制。 为了实现以上提到的四方面功能，面向计算机网络的g l o b u s 工具包主要组成 部分包括： ( 1 ) 安全基础设施( g r i ds e c u r i t yi n f r a s t r u c t u r e ，g s i ) 负责广域网络安全下的安全认证和加密通道，提供单点登陆、远地身份鉴别功 能、数据传输加密功能等。 ( 2 ) g l o b u s 资源分配管理( g l o b u sr e s o u r c ea l l o c a t i o nm a n a g e r , g r a m ) 负责远程应用的资源请求处理、远程资源调度处理、远程任务管理等工作，是 网格计算环境中的任务执行中心。 ( 3 ) 元计算目录服务( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ，m d s ) 主要完成对网格计算环境中信息的发现、注册、查询、修改等工作，提供对网 格计算环境的一个真实、实时的动态反映，是网格计算环境中信息服务中心。 ( 4 ) 全局二级存储( g l o b u s a c c e s st os e c o n d a r ys t o r a g e ，g a s s ) 支持应用程序对远程文件i ，o 操作； ( 5 ) 网格f t p 服务( g r i d f l 限) 一个高效、安全、可靠的数据传输协议，针对高宽带的广域网络环境进行了优 化，是网格计算环境中数据传输工具； ( 6 ) g l o b u s 复制管理( g l o b u sr e p l i c am a n a g e m e n t ) 负责对数据的复制进行管理，减少数据访问开销，以提高应用程序执行效率。 目前，许多网格系统的资源调度都是基于g l o b u s 平台进行的。在调度过程中， g l o b u s 各组件为上层调度程序提供必要的信息与服务。在基于g l o b u s 的网格资源 调度框架下，m d s 为调度程序提供调度必须的资源信息；调度程序作出调度决定 后，g r a m 按照调度指令为相应的任务分配资源；通过g a s s ，系统可以对资源 进行远程i 0 操作，例如文件的存取。另外g s i 被用来进行授权与认证操作，确 保计算的安全性。 o g s a t ”1 体系结构是以下两项技术为支撑的：一是以上提到的g l o b u s t o o l k i t ， 作为应用于科学和工程计算的网格技术解决方案而被广泛采用；二是w e b 服务， 已经成为访问网络应用的通用标准框架。 1 g l o b u st o o l k i t g l o b u s 项目是目前国际上最有影响的与网格计算相关的项目之一，g l o b u s 协 议作为自己软件已经在互联网( w w w g l o b u s o r g ) 上公开，其网格计算工具集g l o b u s t o o l k i t 也成为构建网络系统的一个重要标准。g l o b u st o o l k i t 是一个开放源码的工 具集，具有开放的体系结构，支持网格及网格应用的构建。它解决了安全、信息 发现、资源管理、数据管理、通讯、错误检查和可移植性等问题，目前正在被数 百个站点和数十个全球的主要网格项目所使用。除了作为科学和工程项目的核心， 第二章网格的特点及其体系结构 它还是引导r r 工业建造重要的商业网格产品的基础。工具集以组件的形式提供出 来，既可以独立使用，也可以组合在一起开发应用程序。由于每个组织都有自己 的运作方式，多个组织之间的合作会受到数据库、计算机或者网络等资源不兼容 的阻碍。g l o b u st o o l k i t 试图去掉这些阻止无缝合作的障碍，它的核心服务、接口 和协议使用户访问远程资源如同访问本地资源一样，并在本地同步持有对资源使 用者和使用时间的控制。 它以o g s a 结构为基础，目前提供开放的o g s a ( o p e n g r i ds e r v i c e i n f r a s t r u c t u r e ) 的源代码实现，将原来g l o b u st o o l k i t 2 ( g t 2 ) 中已实现的组件改 变成遵守o g s a 规范的服务，同时能够创建新的遵守o g s a 规范的服务。g t 3 提 供了与g t 2 主要特性相同的组件，包括：提供网格安全的网格安全基础设施g s i ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) ，支持一次登陆、委托和信任值映射；提供远程作业 提交和控制的网格资源分配和管理协议g r a m ( g r i dr e s o u r c ea l l o c a t i o na n d m a n a g e m e n t ) 及其门户( g a t e k e e p e r ) 服务，进行安全、可靠的远程服务创建和管 理；提供高性能安全的数据传输的g r i d f t p ；以及为系统和服务信息提供一致接口 的元目录服务m d s ( m e t ad i r e c t o r ys e r v i c e ) ，通过软件状态注册、数据建模和一 个本地注册( g r a m 报告器) 实现信息发现，包括系统配置信息和状态信息等。 这些组件为面向服务的体系结构提供了基本元素，但相对0 g s a 而言通用性较差。 o g s a 对g l o b u st o o l k i t 最重要的技术贡献在于可扩展性和可管理性。以前版 本的g l o b u st o o l k i t 软件( g t 2 ) 中包括的是一套预先定义好的服务，它们在很大 程度上是相互独立而不具备通用性的，一个服务的开发、使用或者管理不会对其 他服务的开发、使用和管理提供任何帮助。o g s a 结构和o g s i 设施为网格服务提 供了一个通用的框架，通过通用的接口对服务加以使用和管理，利用这些服务建 造系统和应用程序非常便利。 2 w e bs e r v i c e w e b 服务也是一种重要的分布式计算模式，不同于分布式计算环境d c e ( d i s t r i b u t e dc o m p u t i n ge n v i r o n m e n t ) 、公共对象请求代理结构c o r b a ( c o m m o n o b j e c tr e q u e s tb r o k ea r c h i t e c t u r e ) 、j a v a 远程函数调度r m ( r e m o t em e t h o d i n v o c a t i o n ) 等方法，它关注于i n t e r u e t 的标准( 例如x m l ) ，解决异构的分布式计 算问题。所谓w e b 服务，是指在商业需求下由企业分布的在线应用服务，其他公 司或应用软件能够通过i n t e m e t 来访问并使用这些应用服务。它是基于网格的、分 布式的模块化组件，遵守具体的技术规范，能与其他兼容的组件进行互操作，可 以在w e b 中描述、发布、查找以及调用。 w e b 服务的核心是在广域网上将各种应用连接起来，借助于w e b 标准i n t e m e t 从一个通信网络进一步发展成一个应用平台。w e b 服务标准正在由w 3 c 和其他标 准进行定义，并构成了新的主要工业动力( 例如m i c r o s o f t 的n e t 技术，m m 的 1 2 基于网格的资源调度的研究 动态电子商务和s u n 开发的s u n o n e ) 的基础。w e b 服务中重要的标准包括简单 对象访问协议s o a p 、w e b 服务描述语言w s d l 、w s i n s p e c t 、通用描述、发现和 集成u d d i 等。 s o a p 提供了在服务者和服务请求者之间进行消息传递的方法。s o a p 是一种 x m l 有效载荷的简单封装机制，定义了一个远程过程调用r p c 规范和一个消息传 递规范。s o a p 独立于底层的传输协议，其有效载荷可以在h i r p 、f t p 、j a v a 消 息服务( j m s ) 以及其他类似的传输协议上进行传输。w e b 服务可以对到达底层软 件组件的多种访问机制加以描述。s o a p 只是形式化w e b 服务调度的一种方法。 w s d l 是将w e b 服务描述为一系列端点( e n d p o i n t ) 集合的x m l 文档，这些 端点对两类消息进行操作，一类是面向文档的消息型有效载荷，一类是r p c 型有 效载荷。根据消息结构和简单的消息交换( 操作) 序列，用一种与具体语言无关 的抽象方法定义了给定服务的接口，然后将其绑定到具体的网络协议和数据编码 格式上，从而完成对一个端点的定义。多个相关联的具体端点捆绑在一起定义抽 象的端点( 服务) 。w s d l 具有可扩展性，允许采用多种不同的消息格式和网络协 议来描述节点和具体的消息表示。 w s - i n s p e c t i o n 包括一个简单的x m l 语言和对服务提供者发布的服务描述信 息进行定位的相关规范。一个w s i n s p e c t i o n 语言( w s i l ) 文档可以包含一个服 务描述的集合和其他服务描述源的链接。一个服务描述通常是指一个w s i l 文档 的u r l ，也可以是对u d d i 站点上一条目的引用。一个链接通常是指向另一个 w s i n s p e c t i o n 文档的u r l ，也指对u d d i 条目的引用。通过w s i n s p e c t i o n ，服务 提供者创建了一个w s i l 文档并使其网络可达。服务请求者使用标准的基于w e b 的访问机制来获取这个文档，并了解服务提供者所发布的服务。w s i l 文档可以以 不同的索引格式进行组织。 s e r v i c er e g i s t r y s e r v i c e 心叩s t o r 卜i n a s e 毗e 胁v ；d o r 图2 3w e b 服务构架【1 9 1 u d d i 定义了w e b 服务的目录结构，提供了在w e b 上描述并发现商业服务的 框架，通过服务注册以及使用s o a p 访问这些注册信息实现其目标。 第二章网格的特点及其体系结构 w e b 服务是一系列标准的综合，而许多标准正在制定中，w e b 服务利用这些 标准提供了一个松散耦合的分布式计算环境，在w e b 服务模型中，每个相对独立 的、具有不同功能的w e b 服务被提供出来，用户通过s o a _ p 来访问这些服务。w e b 服务使用面向服务结构s o a ( s e r v i c eo r i e n t e d a r c h i t e c t u r e ) ，如图2 3 所示，该构 架由三个参与者和三个基本操作构成。三个参与者分别是服务提供者、服务请求 者和服务代理。当服务请求者需要调用该服务时，它首先到服务代理提供的目录 上去搜索该服务，得到如何调用该服务的信息，然后根据这些信息去调用服务提 供者发布的服务，在w e b 服务体系中，使用w s d l 来描述服务，u d d i 来发布、 查找服务、而s o a p 用来执行服务。 w e b 服务框架十分有利于构建o g s a 体系，主要表现在以下两个方面。首先， 要实现异构环境下对服务的动态发现和组合，需要一种机制能够注册和发现接口 的定义及端点实现的描述，而且能够基于特定接口绑定动态生成代理，通过提供 一个标准机制使得接口定义及其在特定绑定中的具体实现( 传输协议和数据编码 格式) 相分离。w s d l 能够支持上述需求。其次，w e b 服务被广泛的采用，基于 w e b 服务的框架能够利用大量的工具和已有的服务，例如可以对不同的语言生成绑 定的w s d l 处理器、位于w s d l 之上的工作流系统、以及w e b 服务的主机环境等。 使用w e b 服务并不意味着任何情况下都能使用s o a p 进行通信。 o g s a 最突出的思想就是以”服务”为中心，在o g s a 框架中，将一切都抽象为 服务，包括计算机、程序、数据、仪器设备等，这种观念有利于通过统一的标准接 口来管理和使用网格，w e b s e r v i c e 提供了一种基于服务的框架结构。但 是，w e b s e r v i c e 面对的一般都是永久服务，而在网格应用环境中，大量的是临时性的 短暂服务，比如一个计算任务的执行等，考虑到网格环境的具体特点，o g s a 在原来 w e b s e r v i c e 服务概念的基础上，提出了网格服务( g r i d s e r v i c e ) 的概念，用于解决服务 发现、动态服务创建、服务生命周期管理等与临时服务有关的问题，基于网格服 务的概念，o g s a 将整个网格看作是网格服务的集合，但是这个集合不是一成不变的， 是可以扩展的，这也反映了网格的动态特性 2 2 3g l o b u s 调度 g l o b u s 忙”工具包是g l o b u s 最重要的实践成果，g l o b u s 环境中包含的资源管 理者组件g r a m 和动态协同分配代理( d u r o c ) 用来提供与系统相关的调度。 在g l o b u s 思想中，一个资源管理者提供一个访问界面来把任务提交到特定的 物理资源上，g r a m 负责远程应用的资源请求处理、远程任务调度处理、远程任 务管理等工作，负责对r e s o u