（计算机软件与理论专业论文）网格计算环境下的关联任务调度研究.pdf

南柬邮电大学硕士研究生学使论文摘要 摘要 网格计算是下一代分布式计算技术，它为解决大规模的、复杂的计算提供了平台。要 实现高效的网格计算需要解决许多问题，任务调度就是其中之一。网格任务调度的主要目 标是在任务与资源之间寻找最佳的匹配策略，调度任务的执行，使系统资源得到充分的利 用。由于网格环境中资源的多样性、自治性和动态性，使得其任务调度比传统环境下的调 度要复杂得多。因此，网格任务调度一直是网格研究的难点和热点之一。 本文以网格计算环境下的关联任务调度为研究内容，分析了网格任务调度已有的研究 成果及特点，提出了关联任务调度算法r t s a 及其改进算法i r t s a ，并用g r i d s i m 仿真工 其对算法进行了仿真。 所提出的关联任务调度算法将资源的综合性能用蚂蚁的信息素来表示，在关联任务中 识别关键任务，采用合理的任务资源匹配机制，将关联任务分配到符合任务需求且性能较 好的资源中加以执行，从而缩短关联任务并行执行的总时间。此关联任务调度算法由改进 的蚂蚁算法、改进的关键路径算法和任务资源匹配算法这三部分组成。其中，改进蚂蚁算 法用于寻找每个关联任务的候选资源集；改进的关键路径算法用于找出关联任务中的关键 任务；任务资源匹配算法的作用是根据任务的优先级依次为任务分配合适的资源，减少执 行任务的资源的数量，提高任务的执行效率。仿真结果证明了算法的有效性。 关键词：刚格；关联任务；调度算法 南京邮电大学硕士研究生学锻论文 a b s t r a c t a b s t r a c t a st h en e x tg e n e r a t i o nd i s t r i b u t e dc o m p u t i n gt e c h n i q u e ，g r i dc o m p u t i n gp r o v i d e sa p l a t f o r m f o r s o l v i n gl a r g e s c a l e a n d c o m p l i c a t e dp r o b l e m s i n o r d e rt o i m p l e m e n t h i g h - e f f i c i e n c yg r i dc o m p u t i n g ，l o t so fp r o b l e m sn e e dt ob es o l v e d ，o n eo ft h e mi s t a s k s c h e d u l i n g t h em a i nt a r g e t so ft a s ks c h e d u l i n gi ng r i da r ef i n d i n gt h eo p t i m u mm a t c h i n g s t r a t e g i e sf o rr e s o u r c e sa n dt a s k s ，s c h e d u l i n gt a s ke x e c u t i o n , a n dm a k i n gt h er e s o u r c e sb eu s e d f u l l y b e c a u s et h er e s o u r c e si ng r i da r ed i v e r s e ，a u t o n o m o u sa n dd y n a m i c ，t h et a s ks c h e d u l i n gi n g r i di sm o r ec o m p l i c a t e dt h a nt h a ti nt r a d i t i o n a le n v i r o n m e n t ，a n di ti sah a r da n dh o tt o p i ci n g r i dr e s e a r c hf i e l d s t h i st h e s i sf o c u s e so nt h er e l a t e dt a s ks c h e d u l i n gi ng r i d i ta n a l y z e ss e v e r a le x i s t i n g s c h e d u l i n gm e t h o d sa n dt h e i rc h a r a c t e r i s t i c s ，p r o p o s e st h er e l a t e dt a s ks c h e d u l i n ga l g o r i t h m ( r t s l ) a sw e l la st h ei m p r o v e dr e l a t e dt a s ks c h e d u l i n ga l g o r i t h m ( i r t s l ) ，a n ds i m u l a t e st h e a l g o r i t h r ab yt h es i m u l a t o rg r i d s i m t h ea l g o r i t h mu s e sa n tp h e r o m o n et oe x p r e s st h es y n t h e t i c a lp e r f o r m a n c eo fr e s o u r c e ，f i n d s c r i t i c a lt a s k si nr e l a t e dt a s k s ，a d o p t sar a t i o n a lm a t c h i n gm e c h a n i s mt om a t c ht h et a s l ( sa n d r e s o u r c e s ，a n da r r a n g e se a c ht a s kt ob ee x e c u t e do nt h er e s o u r c ew h i c hh a sb e t t e rc a p a b i l i t ya n d c a nm e e tt h et a s k - r e q u e s t si no r d e rt or e d u c et h et o t a lt i m eo fp a r a l l e le x e c u t i n gt h et a s k s r t s a a n di r t s aa r ea l lc o m p o s e do ft h r e ep a r t s ：i m p r o v e da n ta l g o r i t h m ，i m p r o v e dc r i t i c a lp a t h a l g o r i t h ma n dt a s k - r e s o u r c em a t c h i n ga l g o r i t h m t h ef u n c t i o no ft h ei m p r o v e da n ta l g o r i t h m i st of i n da l lt h er e s o u r c e sm e e t i n gt a s k - r e q u e s t sf o re a c hr e l a t e dt a s k ，t h ef u n c t i o no ft h e i m p r o v e dc r i t i c a lp a t ha l g o r i t h mi st of i n dc r i t i c a lt a s k si nr e l a t e dt a s k s ，a n dt h et a s k - r e s o u r c e m a t c h i n ga l g o r i t h ma s s i g n sa p p r o p r i a t er e s o u r c e st ot a s k sa c c o r d i n gt ot h ep r i o r i t yo ft h er e l a t e d t a s k si no r d e rt or e d u c et h en u m b e ro ft h eu s e dr e s o u r c ea n di m p r o v et h et a s k s e x e c u t i o n e f f i c i e n c y t h ee f f e c to ft h ea l g o r i t h m sh a sb e e nt e s t i f i e db yt h es i m u l a t i o nr e s u l t s 。 k e yw o r d s ：g r i d ；r e l a t e dt a s k ；s c h e d u l i n ga l g o r i t h m i i 南京邮电大学硕士研究生学位论文缩略词 缩略词 a c 王 c p c 烈 f c f s g g f g g g g s g 程 i r t s a l d a p m i p s n 位m n h p c e n p 0 g s a o g s i q o s r t s a s o a s o a p s a e s s e s p e c u d d i u e t v p m 黝g w s d l w 鼎 缩略词 英文全称 a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e c r i t i c a lp a t h c r i t i c a lp a t hn o d e f i r s tc o m ef i r s ts e r v e d g l o b a lg r i df o r u m g r e a tg l o b a lg r i d g r i ds c h e d u l i n g g l o b u st o o l k i t2 0 i m p r o v e dr t s a l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l m i l l i o ni n s t r u c t i o n sp e rs e c o n d m u l t i - p r o c e s sm a c h i n e n a t i o n a l h i 曲p e r f o r m a n c e c o m p u t i n g e n v i r o n m e n t n o n - d e t e r m i n i s t i cp o l y n o m i a l o p e ng r i ds e r v i c e sa r c h i t e c t u r e o p e ng r i ds e r v i c e si n f r a s t r u c t u r e q u 碰锣o fs e r v i c e r e l a t e dt a s k ss c h e d u l i n ga l g o r i t h m s e r v i c e o r i e n t e da r c h i t e c t u r e s i m p l eo b j e c ta c c e s sp r o t o c o l s c h e d u l i n ga l g o r i t h m b a s e do ne x e c u t i n g s e r i a l l y s t o r a g ee q u i p m e n t s t a n d a r dp e r f o r m a n c ee v a l u a t i o nc o r p o r a t i o n u n i v e r s a l d e s c r i p t i o nd i s c o v e r y a n d i n t e g r a t i o n u 珠te x e c u t i n g 髓m e v i r t u a lp r o c e s sm a c h i n e w e i g h t e dd i r e c t e da c y c l i cg r a p h w 曲s e r v i c e sd e s c r i p t i o nl a n g u a g e w b r i dw i d ew e b 5 2 译文 先进计算基础设旌 关键路径 关键路径结点 先来先服务算法 全球网格技术论坛 网格 网格调度器 g l o b u s 工其2 0 改进的关联任务调度算法 轻量善录访阆协议 百万条指令秒 多进程处理机 国家高性能计算环境 不确定性多项式 开放网格服务体系 开放服务基础设施 服务质量 关联任务调度算法 面向服务的体系结构 简单对象访问协议 顺序执行饪务调度算法 存储设备 性能评价标准 统描述发现和集成 任务执行时闯 虚拟处理机 有离无环加权圈 w e b 服务描述语言 万维网 南柬邮电大学硕士研究生学位论文 圈表清单 图表清单 图2 1 网格组成示意图“”一一一“一- 5 图2 - 2 网格系统的一般结构u8 图2 。3 五层沙漏体系结构与互联网协议的层次对照”9 图2 0o g s a 网格体系结构模型“l o 图2 5 面向服务的网格体系结构1 2 图3 。l 集中式任务调度“2 l 图3 2 工作站网格调度模型- 2 2 图3 。3 中心管理调度模型一”2 2 图3 4 无中心管理调度模型2 3 图3 。5 树形调度模型2 3 图4 。1 关联任务图“2 9 表4 1 图4 1 中各个任务对资源的要求3 0 图4 。2 调度框架“3l 表4 乏资源参数表3 2 表4 3 各个任务的候选资源集合3 3 表4 4e a r l i e s t ( t i ) 和l a t e s t ( t i ) 的计算结果- 3 6 表4 5e a r l y i j ) 和l a t e ( e i j ) l 拘计算结果掣3 6 图4 3 匹配调度算法流程图3 8 图4 4 任务资源匹配结果3 9 图5 1g r i d s i m 体系结构“4 4 图5 2g r i d s i m 平台和组件的详细模块化体系结构- 4 5 图5 3g r i d s i m 模拟流程4 6 表5 。l 针对图4 1 进行任务调度的结果4 7 图5 4e x e c ( t j ) 与c u 成百倍比例关系4 8 图5 - 5e x e c ( t j ) 与e 錾成十倍比例关系”4 8 图5 - 6e x e c ( t j ) 与c i j 成等比例关系4 9 表5 2 资源数冒统计表“4 9 南京邮电大学学位论文独创性声明 本入声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：b 期： 南索邮电大学顽士研究生学锻论文 第一牵引言 1 1 课题的意义 第一章引言 在过去的1 0 年中，科学计算正从主机集中转移到分布方式，近年来这一趋势更向着 网格计算的方向发展，随着网络的飞速发展，利用互联网上大量计算资源的网格计簿将成 为解决规模庞大的复杂问题的必由之路。网格的最终目标就是把整个因特网整合成一台巨 大的“虚拟超级计算机 ，从而实现计算资源、存储资源、数据资源、信息资源和专家资 源等的全面共享和协同工作【l 】。要实现高效的网格计算需要处理许多复杂的问题，其中， 任务调度问题是网格研究中必须解决的一个关键问题，也是网格应用的基础之一。离效的 任务调度策略和算法可以充分利用网格系统的处理能力，从而提高网格应用程序的性能， 以便更好地利用网格资源。 任务调度在操作系统等领域曾有过很多研究，但由于网格环境中资源的多样性、自治 性和动态性，使得其任务调度比传统环境下的调度要复杂得多。随着网格技术的发展以及 资源服务化，出现了基于服务的网格标准，虽然这在某种程度上统一了资源的呈现方式， 简化了任务调度的接豳，但网格环境中资源的自治性和动态性依然存在，而且，由于服务 所依赖的协议层次多，实际上反而增加了网格任务的响威时间，这就使得在高延迟、高动 态、高自治的网格环境下合理调度以提高网格吞吐率成为一个难题。 目前，在任务调度方面，已有人做了大量的研究，其中，最有影响的网格计算项目 s e l r i h o m e 是采用主一从模式的任务调度策略；文献 2 4 】中指出，在异构网格和分布式并 行计算环境下的大部分任务调度闯题都是n p ( n o n - d e t e r m i n i s t i cp o l y n o m i a l ) 难题；文献 【5 罐】讨论树型结构计算环境下任务调度问题，包括针对特定问题的各种类型任务的调度和 在分布式多层树结构下考虑任务通信延迟的调度等问题；文献【3 】描述了在异构树形多处理 器计算平台下，独立相同任务调度问题的复杂性，并证明了因该问题是n p 问题【9 】而不存 在可以找到最优解的多项式时闻复杂度的算法。为了获得近优解，存在许多启发式算法， 其中较为经舆的算法有m i n m i n 、m a x m i n 、遗传算法等。 罄前，豳内於对独立任务调度闽题已有较深入的研究，并取得了较好的研究成果，但 针对关联任务的调度问题却研究甚少，而关联任务的执行恰恰反映了网格中任务的特点。 本课题考虑从关联任务出发，采用单输入单输出的任务结构图，研究如何含理利用资源来 协调完成若干相关联的任务。 1 南泶邮电大学硕士研究生学位论文第一牵引言 1 2 论文的主要工作 本文以网格计算环境下的关联任务调度为研究内容。分析了网格任务调度已有的研究 成果及特点；基于独立任务的调度算法的已有研究成果，产生了借助蚂蚁算法将任务分配 给符合任务需求且性能较好的资源，从而使得这些资源能够得到充分利用的思路，在此基 础上对关联任务的调度问题加以研究，提出了一种关联任务调度算法，该算法用改进的蚂 蚁算法把资源的综合性能用蚂蚁的信息素来表示，针对不同优先级的关联任务，采用任务 资源匹配机制，将关联任务分配到相应的资源中加以执行，从而使得关联任务并行执行的 总时间较短。本关联任务调度算法分为三个步骤： 首先，根据每个任务的内在需求，查找每个任务的候选资源集。针对每个任务的需求， 可以找到若干个资源，这些资源将成为该任务的候选资源集。当候选资源集为空时，本文 将其所关联的任务视为无效任务并且不加处理。 其次，查找关键任务。本文的研究目的之一是通过减少资源间的通信来加快任务的执 行。在所有的关联任务中，存在着若干对整个工程的最短完成时间有影响的任务，如果这 些任务能得到较好的解决，将会在缩短完成时闻上起到很大作用。本文在经典的关键路径 算法上加以改进，加入任务处理时长这个量，将更加符合实际处理效果j 最后，进行任务资源匹配。在做好上述的两个准备工作后，本文设计了一个任务资源 匹配算法，在充分考虑关联任务之间的关系后，从任务的候选资源集中选取资源加以执行。 本文还利用g r i d s i m 仿真工具对算法的进行了仿真，仿真结果表明：这种设计思想更 能体现出网格的高效性、并行性和自适应性。 1 3 论文的组织 第一章引言：首先介绍了本课题的意义，确立了本文的主要研究内容；随后简要概 括了本文所徽的主要王作。 第二章网格技术简介：首先介绍了网格的演变历史及其所具有的特点，然后对网格 的体系结构偿了概括描述，最后叙述了阙格研究的现状，重点介缨了国内嬲格的研究项基 及其发展过程；最后从四个方面阐述了网格的发展趋势。 第三章霹格任务调度概述：叙述了网格调度的基本原理：分绍了任务调度的种类； 最后，对网格调度系统的结构做了一个较全面的阐述。 第四章黼格任务调度算法的研究：首先介绍了足种经典调度算法思想和癌发式调度 2 南京邮电大学硕士研究生掌能论文第一翠引言 算法；然后重点介绍了本文所提出的关联任务调度算法及其改进算法，给感了算法的设计 思想，介绍了有关算法，包括：改进的蚂蚁算法、改进的关键路径算法和任务资源匹配算 法。 第五章仿真及结果分析：介绍了主流的网格仿真工具：根据第四章的设计思想，利 用c , - r i d s i m 仿真工具对所提躐的算法进行仿真，并将其结采与使用其它算法的调度结采作 了比较，验证了所提出算法的有效性。 第六章总结与展望：对本文工作进行了总结，并指出需要进一步改进的内容。 3 南京邮电大学硕士研究生学位论文 第二章网格技术简介 2 1 网格技术概念 第二章网格技术简介 网络的出现，改变了人们使用计算机的方式，而i n t e m e t 的出现，又改变了人们使用 网络的方式。纵观互联网的发展历程，i n t e m e t 技术和w e b 技术的主要成就是实现了计算 机和网页的连通，提供收发邮件、浏览和下载网页信息等相关服务，它所关注的问题是如 何使信息传输流量更大、传输速度更快、传输更加安全，而网格技术则关注如何有效安全 地管理和共享连接到i n t e m e t 上的各种资源，并提供相应的服务，网格所关注的问题无论 从范围、程度还是本质上都已经与互联网所关心的互连阍题有了很大的不同。网格在连逶 计算机和网页的基础上，还将各种信息资源，例如数据席、软件以及各种信息获取设备都 连接成一个整体，整个网络如同一台巨大无比的计算机，向每个用户提供包括计算能力、 数据存储能力以及各种应用工具等一体化的透明服务，它强调的是全面地共享资源、全面 地应用服务。互联网新一次浪潮的实质，就是要将万维阙( w o r l dw i d ew 曲) 升华为网格 ( g r e a tg 1 0 1 ：i a lg r i d ) ，即实现w w w 到g g g 的变革。 网格作为一个集成的计算与资源环境，能够吸收各种计算资源，将它们转化成一种随 处可得的、可靠的、标准的且相对经济的计算能力，其吸收的计算资源包括各种类型的计 算机、网络通信能力、数据资料、仪器设备甚至有操作畿力的入等各种相关资源l l 硼。 网格是借鉴电力网的概念提出的，网格的最终目的是希望用户在使用网格计算能力解 决问题时像使用电力一样方便，用户不用去考虑所得到的服务来白于哪个地理位置，由什 么样的计算设施提供l l l 】。也就是说，网格给最终的使用者提供的是一种通用的计算能力。 图2 1 是对电力网和网格组成的简单对比示意图。电力网中需要有大量的变电站等设施对 电网进行调控，相应的网格中也需要大量的管理站点来维护网格的正常运行。网格的结构 及资源的调控相对来说更加复杂，需要解决的问题也更多，因为网格所关心的问题不再是 文件交换，两是如何直接访问计算机、软件、数据和其它资源，这也就要求网格具备解决 安全传输与通信实时性保障、入与系统以及人与人之间的交互等能力。网格提供的汝源是 随时间动态变化的，原来拥有的资源或者功能，在下一时刻可能就会出现故障或者拒绝被 使用，而原来没有的资源，可能随着时间的进展会不断加入进来，从而使得网格资源与任 务的分配和调度必须适应这种动态能力。 4 南京邮电大学硕士研究生学位论文 第= 章网格技术简介 图2 一l 网格缰成不惹图 从广义上讲，网格就是利用互联网或专用网络将地理上广泛分布的、异构的、动态的 资源互联起来实现资源高度共享和集成，为用户提供高性能的计算、管理及服务等功能的 一种新技术。从不同的角度出发，对网格有多种分类方法，如，按所关注的技术问题来分， 网格可以划分为计算阙格、数据网格、信息网格、知识网格、服务网格等种类；丽按应用 问题来分，网格又可分为科学计算网格、商务计算网格和个人计算网格等。欧美现行的多 数网格都属予科学计算网格，例如美国能源部的a s c ig r i d 、欧盟昀d a t ag r i d 和e s c i e n c e 、 美囡科学网格( d o es c i e n c eg r i d ) 。 网格系统中所涉及的几个主要概念如下： ( 1 ) 资源：是指一种网络实体，它们能被使用一段时间，可以或不可以更新，具有 所有者，可以给其他用户共享也可以向使用者收取费用，可能被明确命名也可能只用参数 来描述，例如磁盘空间、网络带宽、专用设备时间和c p u 时间等： ( 2 ) 任务：是资源的消费者，包括传统的计算任务和非计算任务，如文件操作和通 5 露家邮魄火学硬圭研究嫩学位论文第二鬟弼格技零弼奔 信等； ( 3 ) 作业：是按层次组织的实体，哥麓其有递翔的树型结构，鞠作业可能由予侔业 或任务构成，丽予作业本身又可能含有予作业，该树型结构的时子即是任务，其最简单形 式是哭含有一个锓务的作业( 下文中豹任务均指不可分割的原子任务 ； ( 4 ) 用户；用户是作业的生产者，它负责给资源管理系统提交作业并接收作业运行 结果； ( 5 ) 调度：是指在定时间内将任务映射到资源的过程，这里并不是将住业映射到 资源，因为作业是任务的容器，丽任务才是实际的资源消费者。 ( 6 ) 调度器：根据在运行时被指定的约束为作业输入列表计算一个或多个调度，调 度的基本单位是作业，鄂一个作业褥不是任务被提交给调度器，调度器负责一次性映射作 业内的所有任务； ( 7 ) 信息服务：负责对资源管理系统感兴趣的资源、作业、调度器或代理等的属性 信息进行描述和存储，信息服务可以采用多种方法来实现，如l d a p ( l i g h t w e i g h td i r e c t o r y a c c e s sp r o t o c 0 1 ) 、商业数据库或任何各种其它解决方案； ( 8 ) 监视器；负责跟踪作业进展，从构成作业的任务和运行该锰务的资源中获得作 业的状态，基予作业状态，监视器可执行任务控锖l 代理和调度器所提供豹调用，放丽影响 作业的重映射。 2 2 网格技术特点 2 0 0 0 年初，在w e b 技术趋于成熟、集群技术高度发展的基础上，对网格的研究、歼 发和应用快速发展起来，出现了计算蹰格和p 2 p 网络【驾两种分布资源共享技术，计算网格 着重研究高端资源( 如集群等) 的集成和利用，而p 2 p 主要研究低端资源( 如p c 机等) 的集成和利用。传统的分布式计算环境向着由i n t e r n e t 连接的异构广域环境发展，网格技 术和p 2 p 技术成为高性能计算领域中新的研究热点。国内外很多的重要科研机构都开展了 瓣格基础技术的相关研究，其有代袭的研究项霆和主要成果宥g l o b u s 、l e g i o n 、n c t s o l v e 、 a p p l e s 、c o n d o r 以及v c g a 等。 嬲格作必一种能提供动态资源共享和广泛协同工 乍的基础设施，决定了它除了具有和 以往的网络和分布式系统相同的一些特征外，还有着自身的一些特征，表现在： ( 1 分布与瓷源共享：分布是网格最搬本的特 正，网格是通过集巾分散的资源来完 成计算的，资源的共享是一种集中资源的手段。 8 查塞坚皇查堂堡主堕壅当堂垡丝塞釜三雯堕垫蕉查丝盆 ( 2 ) 高度抽象：把计算力和所有的计算资源高度抽象成为用户可见的“电源接线板 ， 其它的东西对用户透明。 ( 3 ) 自楣似：在大尺度上和小尺度上有相同或者类似的规律。 ( 4 ) 多样性：和电力网格一样，用户的需求是变化的，所以动态性是网格需要考虑 的个基本问题。 ( 5 ) 自治性与管理的多重性：网格结点内部的自治和外部的受控整合是网格的一个 特征，分层的资源需要层次化的管理，而分层来自于网格结点的归属和性能方面的考虑。 ( 6 ) 异构性：考虑到经济、商业利益、竞争的关系，未来网格环境中的系统必然是 各种异构的系统，他们或者位于不同的潮格体系结构下，或者采用不同的操作平台。网格 必须能够支持这些异构系统的通信鞠交互。 对予网格系统来说，最根本的问题是实时获得系统的结构和状态信息，通过这些信息 对网格应用进行配置，并能实时获得计算资源的状态信息。 网格系统的目标是使用户能够共享其中的计算资源并以合作的方式进行计算，为此有 两个层次的工作要做。其一是网格计算前端，主要解决最终用户通过统一的界面来使用广 域嬲上各类计算资源的闻题；其二是网格计算内孩，主要解决计算任务在广域网中各种超 级计算机上协作完成的闫题，提供一个完整的程序开发和运行环境。当用户提出计算请求 时，计算问题的执行代理在系统内部的计算资源上进行合理的调度和管理，最后缛出运行 结果并通过网格计算前端反馈给最终用户。 为了实现上述目标，必须重点解决以下几个问题： ( 1 ) 动态性：和以往的任何系统不同，网格必须支持资源和服务的动态调整和规划； 资源和服务的退出不能影响到系统的正常工作，它们的加入必须能立器浮被发现并且可用。 ( 2 ) 虚拟亿：网格服务的虚拟化必须笺提供一种将透用语义行为无缝地映射割本地 平台的能力。虚拟化使锝用户能够跨平台地对资源进行透明的一致性访闷，以及憋多个逻 辑资源实例映射到同一个物理资源上。 ( 3 ) 智能性：网格中的资源管理将比现在更加智能化，它将能随着计算环境的变化 自动地进行调节和适应，将会更加健壮，对于资源的搜索将更能满足用户的实际需求。 ( 4 ) 普适性：未来网格中的资源将不仅仅是计算机硬件，还包括一些特殊设备，贵 重仪器，甚至是家用电器。用户访闷网格服务使用的工具将不荐局限于计算机，手机、攀 上电脑及其它移动设备都将加入这一行列。 7 南京邮电大学碗研究生学位诸立萆= 章m 格技术简舟 2 3 网格体系结构 231 网格体系结构概述 网格体系结构就是关于如何建造网格的技术描述，它给出了网格的基本组成与功能， 描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持网格有效运转的机 制。图2 - 2 【”i 是网格计算环境的最一般结构，网格主要分成四层：组织层、构件中间件层、 用户中间件层和应用程序层。组织层包括计算机、网络、科学设备及其管理系统；构件中 间件包括安全访问管理、远程作业提交以及存储资源信息等服务，提供安全一致透明的远 程资源访问；用户中间件层提供高级工具，如网格资源b r o k e r 、应用开发及自适应运行时 环境；应用程序层可以是网格开发的程序，也可以使用用户中间件将传统的程序转化成网 格应用程序。用户主要与资源b r o k e r 交互，隐藏了复杂的网格计算结构。b r o k e r 的功a 是 发现用户可以访问的资源，把作业映射到资源上，准各处理的程序和数据，开始执行作业， 最后收集结果。b r o k e r 同时负责监测和跟踪作业完成的进度，自适应于网格运行时环境的 变化或资源缺失。 幽2 - 2 网格系统的一般结构 网格计算环境中充满了各种异构的分敖资源，在这样一个复杂的环境中，资源管理不 能采用传统的集中式方法，因为不可能定义系统数别的性能指标和组织访问规则。因此 常采用一些可以管理分布式资源的方法，例如：层次调度，分散调度或两者的结合。 2 32 五层沙漏体系结构 如图2 - 3 所示五层沙漏体系协议建立在互联网协议之上，以互联网协议中的通信 路由、名字解析等功能为基础，分为五层：构造层、连接层、资源层、汇聚层和应用层 8 南京邮电大学硕士研究生学位论文第二章网格技术简介 每层都有自己的服务，上层协议调用下层协议的服务。网格内的全局应用都通过协议提供 的服务调度操作系统，因此，五层沙漏体系结构是种以协议为中心的体系结构。 网格计算协议互联网协议 图2 - 3 五层沙漏体系结构与互联网协议的层次对照 构造层( f a b r i c ) 的功能是向上提供网格中可供共享的资源，它们是物理或逻辑实体， 常用的资源包括处理能力、存储系统、目录、网格资源、分布式系统、分布式计算机池以 及计算机集群等。 连接层( c o n n e c t i v i t y ) 是网格中事务处理、通信与授权控制的核心协议层，它提交的 各种资源闻的数据交换都在这一层的控制下实现，资源闯的授权验证、安全控制也在这一 j 力譬4 资源层( r e s o u r c e ) 的作用是对单个资源实施控制，与可用资源进行安全握手，对资 源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。 汇聚层( c o l l e c t i v e ) 将资源层提交的受控制资源汇集在一起，供虚拟组织的应用程序 共享或调用。为了对来自资源层的资源进行管理和控制，汇聚层提供目录服务、资源分配、 日程安排、资源代理、资源监测诊断、网格启动、负荷控制、帐户管理等多种功能。 应用层( a p p l i c a t i o n ) 是网格上髑户的应用程序，应焉程序通过各层的接口( a p p l i c a t i o n i n t e r f a c e ，a p i ) 调用相应的服务，爵通过服务调用网格上的资源来完成任务；应用程序的 开发涉及大量库函数，为便于网格应用程序的开发，需要构件支持网格计算的库函数。 g t 2 ( g l o b u st o o l k i t2 o ) 是上述五层体系结构的一个典型实现，它在异构系统互联协 议、资源管理和协同工作几个层次上解决了一些关键问题，为用户创建和部署虚拟组织和 9 冒囤 南京邮电大学硕士研究生学位论文第麓章网格技术简介 网格系统提供资源管理、信息服务、数据管理、文件传输和安全机制等基本服务。 g t 2 的服务和功能是以工具形式提供的，在灵活性和可用性方面还存在一些问题，与 其它阏格中间件如l e g i o n 、c o n d o r 1 4 1 等在不同溺格应用之间进行互操作比较困难。因此， 全球网格技术论坛( g l o b a lg r i df o r u m ，g g f ) 成立之初就开始关注网格体系结构及其服 务的标准化阀题，主要工作包括： ( 1 ) 对网格体系的本质功能进行定义、描述和分解，增强g t 的可重用性、可重配置 性和易用性。 ( 2 ) 采用面向服务的体系结构，通过定义服务接口提供网格服务，从而方便对网格 服务进行访问和组合。 ( 3 ) 融合w e b 服务标准，继承w e b 服务跨平台、松散耦合和基于消息传递等特点， 这些工作壹接导致开放网格服务体系结构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，o g s a ) 和开放 网格服务基础设施( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ，o g s i ) 的制定和发布。 2 3 3 开放网格服务体系结构 开放网格服务体系结构【1 5 l ( 如图2 - 4 ) ，即o g s a ，被称为是下一代的网格体系结构， 它是在原来“五层沙漏结构的基础上，结合最掰兹w e bs e r v i c e 技术提出来的。 o g s a 最突出的思想就是以“服务 为中心，在o g s a 框架中，将一切都抽象为服务， 包括计算机、程序、数据、仪器设备等。这种戏念，有利于通过统一的标准接口来管理和 使用网格。 | 0 6 s a 平台暇务| 0 g s i 或w s r f 宿主环境和协议绑定 r 1 r 宿主环境宿主环境 图2 - 4o g s a 网格体系结构模烈 o g s a 的两大支撑技术是w e bs e r v i c e 技术( 动态服务) 和网格技术，w e bs e r v i c e 提 供了一种基于服务的框架结构，但是，w e bs e r v i c e 面对的般都是永久服务，而在网格应 用中，大量的是临时性的短暂服务，比如个计算任务的执行等。考虑到网格环境的具体 1 0 南京邮电大学硕士研究生学位论文第二苹网格技术简介 特点，o g s a 在原来w e bs e r v i c e 服务概念的基础上，提出了“网格服务( g r i ds e r v i c e ) 的概念，用于解决服务发现、动态服务创建、服务生命周期管理等与临时服务有关的问题。 基予网格服务的概念，o g s a 将整个网格看作是“网格服务 的集合，但是这个集会不是 一成不变的，是可以扩展的，这反映了网格的动态特性。网格服务通过定义接口来完成不 同的功能，服务数据是关于网格服务实例的信患，因此网格服务可以简单地表示为群网格 服务= 接口绗为+ 服务数据 ，在目前o g s a 的定义中，只有g r i d s e r v i c e 接口是必需的， 而其它的接瞬比如n o t i f i c a t i o n s o u r c e 、n o t i f a c a t i o n s i n k 、r e g i s t r y 、h a n d l em a p 等都是可选 的。 以厨格服务为中心的模型具有如下几个优点：( 1 ) 出于网格环境中所有的组件都是虚 拟化的( v i r m a l i z e d ) ，因此，通过提供组相对统一的核心接口，所有的网格服务都基于 这些接口实现，就可以很容易地构造出具有层次结构的、更高级别的服务，这些服务可以 跨越不同的抽象层次，以一种统一的方式来看待；( 2 ) 虚拟化也使得将多个逻辑资源实例 映射到相同的物理资源上成为可能，在对服务进行组合时不必考虑具体的实现，可以以底 层资源组成为基础，在虚拟组织中进行资源管理，通过网格服务的虚拟化，可以将通用的 服务语义和行为，无缝地映射到本地平台的基础设旌上。 提到开放网格服务体系结构，就必须说说其运行环境。在o g s a 中，提供了三种运行 环境，分别是简单运行环境、虚拟运行环境以及组操作环境。这三种环境从简单到复杂， 所包含的服务从具体到抽象。用户直接提出的服务要求，一般都比较抽象和复杂，但是这 些要求可以转化为多个相对基本的服务要求，这样层层分解，直到找到基本的可以满足要 求的服务为止。 2 3 4s o a 网格体系结构 m m 定义了一个称为面向服务的体系结构【1 6 l ( s e r v i c e o r i e n t e d a r c h i t e c t u r e ，s o a ) 的 模型来描绘网格服务交互，如图2 5 所示。 在该模型中，有三个实体：服务提供者、服务请求者和服务代理。 ( 1 ) 服务提供者是提供服务功能的实体，等待为其它服务和用户提供鲞己的功能。 ( 2 ) 服务请求者是服务功能的使用者，它与服务代理进行交互，提出服务请求，以 找到满足特定计算需要的网格服务。 ( 3 ) 服务代理是维护网格服务日志或信息交换站的一个联网的服务器或系统，在服 务提供者和服务请求者之间趋联络俸用。 南墩邮电大学硕士研究生学位论文 第= 章网格技术简介 图2 5 面向服务的网格体系结构 网格服务提供者、请求者和代理之间的操作有三种：发布、查找和绑定。 ( 1 ) 发布。为了使服务可访问，需要发布服务描述以使服务请求者可以查找它，发 布服务描述的位置可以根据应用程序的要求而变化。 ( 2 ) 查找。在查找操作中，服务请求者直接检索服务描述或在服务代理中查询所要 求的服务类型。对于服务请求者，可能会在两个不同的生命周期阶段中牵涉到查找操作： 在设计时为了程序开发而检索服务的接口描述，而在运行时为了调用而检索服务的绑定和 位置描述。 ( 3 ) 绑定。在绑定操作中，服务请求者使用服务描述中的绑定细节来定位、联系和 调用服务，从而在运行时调用或启动与服务的交互。 这些模型间的交互通过相关的标准和协议来实现，如使用w s d l ( w e bs e r v i c e s d e s c r i p t i o nl a n g u a g e ，w e b 服务描述语言) 来描述服务，使用u d d i ( u n i v e r s a ld e s c r i p t i o n d i s c o v e r ya n di n t e g r a t i o n ，统一撼述发现和集成) 来发布查询服务，使用s o a p ( s i m p l eo b