（计算机应用技术专业论文）网格资源调度与管理研究.pdf

中文摘要 网格的概念和相关技术最主要是为了实现科研协作中的资源共享而提出， 最终目的是把分布在不同地理位置上的各种资源全面的整合在一起，消除信息 孤岛和资源孤岛。目前，网格己应用于商业、医药、教育、军事等诸多领域。 由于网格中的资源具有分布与共享，自相似性，动态性与多样性，自治性与管 理的多重性等特点，网格环境下资源的管理和调度成为网格系统的研究重点和 研究热点。 网格的资源管理是为实现网格系统资源共享所需提供的主要服务之一。从 为用户提供方便、高效的服务的角度来看，网格资源的管理与传统的分布式计 算环境或集群计算环境下的资源管理系统类似，应当至少具备三种功能：作业 管理、任务调度和资源管理。 网格资源调度技术是网格技术的核心之一。资源调度的任务是根据任务的 类型、所需资源、可用资源及当前系统的负载情况，安排运行日程和策略，对 系统内的任务进行动态调度，提高系统的运行效率。良好的资源调度能有效地 协调和分配网格资源，从而使网格达到最大性能。 本文首先介绍和分析了国内外较有影响力的网格项目，及国内外在网格管 理和调度技术方面研究的现状。然后，基于o g s a 标准体系结构并针对课题需 求设计了该信息网格的体系结构，提出了网格的层次多代理资源管理模型，包 括宏观的管理模型和层次多代理的模型框架。接下来，在兼顾部队指挥级别和 权限等问题的前提下，对网格内资源进行划分，分成不同管理域，提升管理域 中的管理代理，形成高层的管理域。并在g t 4 平台上实现了该网格管理系统。 对资源管理中的相关技术，包括：网格资源描述，服务接口和服务部署、作业 描述和作业提交、多代理协同等方面都进行了研究和实现。最后，在g t 4 平台 上结合c o n d o r - g 和d a g m a n 实现了网格的资源调度，并通过对调度队列的监 视，分析了网格资源调度的正确性和有效性。通过本课题相关的一些的网格服 务运行结果看，本文的资源管理调度系统是有效可行的。 关键字：网格，资源管理，调度，g t 4 ，c o n d o r - g a b s t r a c t t h ec o n c e p to f 鲥da n dr e l a t e dt e c h n o l o g i e si s p r e s e n t e d f o ra c h i e v i n g r e s o u r c e ss h a r i n gi ns c i e n t i f i ca n dt e c h n i c a lc o o p e r a t i o nm o s t l y t h eu l t i m a t eg o a li s t oe l i m i n a t ei s l a n d so fi n f o r m a t i o na n dr e s o u r c e sb yi n t e g r a t i n gt o g e t h e ra l lk i n d s o fr e s o u r c e sw h i c ha r ed i s t r i b u t e dg e o g r a p h i c a l l y a tp r e s e n t ，t h eg r i dt e c h n o l o g y h a sb e e nu s e di nf i e l d sl i k ec o m m e r c e ，m e d i c a t i o n ，e d u c a t i o n ，m i l i t a r y , e t c a sa r e s u l to ft h ec h a r a c t e r i s t i c so fg r i dr e s o u r c e sl i k ed i s t r i b u t e d ，s h a r e d ，s e l f - r e s e m b l i n g ， d y n a m i c ，h e t e r o g e n e o u s ，a u t o n o m o u s ，a n dm a n a g e m e n t sm a n i f o l da n ds 0o n ，t h e r e s o u r c em a n a g e m e n ta n ds c h e d u l i n gh a sb e c o m et h ef o c u sa n dh o ts p o t si ng r i d e n v i r o n m e n t g r i dr e s o u r c em a n a g e m e n ti so n eo ft h em a j o rs e r v i c e sw h i c ha r ep r o v i d e di n o r d e rt oa c h i e v er e s o u r c es h a r i n g f r o mt h ev i e wo fp r o v i d i n gc o n v e n i e n ta n d e f f i c i e n ts e r v i c ef o ru s e r s ，g r i dr e s o u r c em a n a g e m e n ti ss i m i l a rt ot h et r a d i t i o n a l r e s o u r c em a n a g e m e n ts y s t e m su n d e rd i s t r i b u t e dc o m p u t i n ge n v i r o n m e n ta n dc l u s t e r c o m p u t i n ge n v i r o n m e n t ，a n ds h o u l dh a v et h r e ef u n c t i o n sa tl e a s t ：j o bm a n a g e m e n t ， t a s ks c h e d u l ea n dr e s o u r c em a n a g e m e n t g r i dr e s o u r c es c h e d u l i n gt e c h n o l o g yi so n eo ft h eg r i dc o r et e c h n o l o g i e s t h e t a s k so fr e s o u r c es c h e d u l i n gi sa r r a n g i n gr u n n i n gs c h e d u l ea n ds t r a t e g i e s ，s c h e d u l i n g t h et a s k si ns y s t e m sd y n a m i c a l l ya n di m p r o v i n gt h ee f f i c i e n c yo fs y s t e m sb a s e do n t h et y p eo ft a s k s ，t h er e s o u r c er e q u i r e d ，r e s o u r c e sa v a i l a b l ea n dt h ec u r r e n ts y s t e m l o a d aw e l lr e s o u r c es c h e d u l i n gc a nc o o r d i n a t ea n da l l o c a t et h eg r i dr e s o u r c e s e f f i c i e n t l ys ot h a tt h eg r i dc a nr e a c hi t sm a x i m u mp e r f o r m a n c e f i r s t l y , f a m o u sg r i dp r o j e c t s a n dt h es i t u a t i o n so fs t u d ya b o u tr e s o u r c e m a n a g e m e n ta n ds c h e d u l i n ga th o m ea n da b r o a da r ei n t r o d u c e da n da n a l y z e di nt h i s t h e s i s s e c o n d l y , t h ea r c h i t e c t u r eo fi n f o r m a t i o n 酊db a s e do no g s ah a sb e e n d e s i g n e da c c o r d i n g t oo u rp r o j e c tr e q u i r e m e n t s ，a n dt h el a y e r e dm u l t i - a g e n t r e s o u r c em a n a g e m e n tm o d e lh a sb e e np r e s e n t ，i n c l u d i n gt h eh o l i s t i cm o d e lo f m a n a g e m e n ta n dt h ea r c h i t e c t u r eo fl a y e r e dm u l t i - a g e n t t h i r d l y , i nc o n s i d e r a t i o n o fm i l i t a r yr a n k i n ga n da u t h o r i t y , d i f f e r e n tr e s o u r c e sa r ed i v i d e di n t od i f f e r e n t p a r t i t i o n sa n dt h eh i g h e rl e v e lm a n a g e m e n tp a r t i t i o n sa r ef o r m e d m o r e o v e r , t h eg r i d l l m a n a g e m e n ts y s t e m ，m a i n l yi n c l u d i n gt h et e c h n o l o g i e sl i k er e s o u r c ed e s c r i p t i o n ， s e r v i c ei n t e r f a c e ，s e r v i c ed e p l o y m e n t ，j o bd e s c r i p t i o n ，j o bs u b m i s s i o n ，c o o p e r a t i o n o ft h em u l t i a g e n t sa n ds oo n ，i sr e a l i z e db yu s i n gg t 4 a tl a s t t h es c h e d u l i n g s y s t e mo fg n dh a sb e e nr e a l i z e db yi n t e g r a t i n gc o n d o r - ga n dd a g m a no ng t 4 p l a t f o r m t h ea v a i l a b i l i t ya n dc o l t e c t n e s so ft h es c h e d u l i n gs y s t e mi s a n a l y z e d a c c o r d i n gt om o n i t o r i n gt h ec o n d o rq u e u e t h er u n n i n gr e s u l t sa b o u ts o m e 鲥d s e r v i c e sw h i c ha r er e l e v a n tt oo u rs u b j e c ts h o wt h a to u rr e s o u r c em a n a g e m e n ta n d s c h e d u l i n gs y s t e mi sw o r k a b l ea n de r i e c t i v e k e yw o r d s ：g r i d ，r e s o u r c em a n a g e m e n t ，s c h e d u l i n g ，g t 4 ，c o n d o r - g 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得武汉理工大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 日期：4 笸：羔 | 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即：学校有权保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将 本学位论文的全部内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理 工大学认可的国家有关机构或论文数据库使用或收录本学位论 文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生c 签名磅俘导师c 签 缝日期：口j n 武汉理j 大学硕十学位论文 1 1 研究背景和意义 第1 章引言 网格( g r i d ) 这一术语于2 0 世纪9 0 年代中期借电力网( e l e c t r i cp o w e rg r i d ) 的概念提出来的【l 】，用来表述一种适用于高端科学和工程的分布式计算体系结 构。网格的概念和相关技术最初是为实现科研协作中的资源共享而提出来的， 也就是要解决需要在多个机构组成的动态虚拟组织间实现协作式资源共享的问 题。网格技术提供了共享和协调使用异构资源的机制，使得用户能够从地理上 分布或组织上分布的组件中创建出一个充分集成了各种资源的虚拟计算系统， 并能获得理想的服务质量【2 】。有了网格技术，分布式计算环境不再要求各种服 务资源位于单一组织拥有和管理的同一个自治系统中，参加协作计算的各方构 成一个虚拟组织，可以使用跨越多个自治系统的资源，协同完成工作【3 1 。 网格概念的核心就是突破了以往强加在计算资源上的种种限制，使人们可 以以一种全新的更自由、更方便的方式使用计算资源，解决更复杂的问题。网 格技术首先是突破计算能力大小的限制，其次是克服地理位置的限制，最后就 是网格打破传统的共享或者协作方面的限制【4 1 。因此，网格研究的核心目的就 是突破以往在资源共享之上的种种限制，使人们可以以一种全新的更自由、更 方便的方式使用网格资源，实现更完美的协同，解决更复杂的问题。随着互联 网技术的迅速发展和应用，以及对广域分布的资源之间的共享和协同需求的增 加，特别是电子商务( e l e c t r o n i cc o m m e r c e ) 和对异构资源采用一致性方法调 度的需求，大大推动了网格技术的发展。而网格也同益成为大规模资源共享， 任务协同，以及集成分布式系统的主流技术，广泛应用于商业、医药、教育、 军事等诸多领域。 网格的资源管理是为实现网格系统资源共享所需提供的主要服务之一。它 与传统的分布式计算环境或集群计算环境下的资源管理系统类似，其主要任务 包括：资源的组织、描述、发现、预留和调度等。然而，由于网格系统的分布 性、异构性和动态性，使得网格资源管理比分布式计算环境或集群计算环境下 的资源管理更加复杂，不仅要支持跨组织或管理域的资源调度，实时监控资源 武汉理i ：人学硕十学位论文 和作业执行的状态，而且要维护局部的站点自治，提供相应的安全支持。资源 管理目的就是要解决资源的描述、组织、管理等关键问题，它是整个网格系统 的核心。在网格环境中，资源管理系统的基本职能是组织和管理各种类型的资 源，并接受来自网格范围内网格节点的资源请求，把特定的资源分配给资源请 求者，同时合理地调度相应的资源，使请求资源的作业得以运行。 资源调度是网格管理的核心问题，它主要包括资源的组织、定位、发现、 调度、分配、确认、进程创建以及准备所需资源的其他活动。资源调度的任务 是根据任务的类型、所需资源、可用资源及当前系统的负载情况，安排运行日 程和策略，对系统内的任务进行动态调度，提高系统的运行效率。 网格环境是由大量异构资源组成，因此网格系统必须解决由于各种资源之 间的结构不同和类别不同带来的诸多问题。特别是构建应用网格时，最主要的 就是要解决网格资源的合理分配以及资源的高效调度等问题。这正是近年来网 格技术作为分布式系统领域中的一个研究热点。对网格技术尤其是其资源管理 和调度技术进行深入而广泛的探索，无论从技术本身还是应用价值方面都有非 常重要的意义。 1 2 网格研究现状 1 2 1 网格概念与分类 如果说，2 0 世纪8 0 年代出现的传统i n t e m e t 实现了计算机硬件的互联，9 0 年代出现的万维网解决的是计算机i 日j 通讯和信息的交换与共享，那么2 l 世纪初 出现的网格技术实现的就是网络上所有资源的共享，包括计算资源、存储资源、 信息资源、科学仪器等，最终实现网络虚拟环境上的资源共享和协同工作，消 除信息孤岛和资源孤岛。 1 网格概念 网格的概念来源于电力网，网格的最终目的是希望用户在使用网格计算能 力时，就如同现在使用电力一样方便【4 1 。网格希望给最终的使用者提供的是与 地理位置无关、与具体的计算设施无关的通用的计算( 广义的计算，可理解为 问题求解) 能力。对于网格来说资源提供者是计算机等网格资源，资源消费者 是使用网格计算能力求解问题的用户。和电力网类似，网格也是覆盖范围广， 武汉理工大学硕士学位论文 组成资源多样化1 5 j 。 目前对于网格还没有普遍接受的定义，但有许多人认为网格就是一种广域 范围的无缝的集成和协同计算环境【6 7 】，它把分布在不同地理位置上的各种计算 资源全面的整合在一起，不仅为用户提供了一个高性能的计算环境，而且也实 现了资源的更广泛意义上的共享。 美国计算网格项目领导人之一i a nf o s t e r 这样描述网格【2 】：网格是构筑在互 联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感 器、远程设备等融为一体，为科技人员和普通百姓提供更多的资源、功能和交 互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格的功能 则更多更强，它能让人们透明地使用计算、存储等其它资源。 国内专家对网格的描述f 4 】：网格是一个集成的计算与资源环境，或者说是 一个计算资源池，旨在利用互联网把分散在不同地理位置的电脑组织成一台“虚 拟的超级计算机”，实现计算资源、存储资源、数据资源、信息资源、软件资源、 通信资源、知识资源、专家资源的全面共享。它建立在网络之上，最终实现网 络虚拟环境上的资源共享和协同工作，消除信息孤岛和资源孤岛。 此外，还有许多研究人员从另外的角度提出了网格的定义。关于网格的定 义如此之多，主要是由于【4 】：网格功能具有多面性，不同的定义者看问题的角 度和侧重点不同；网格是面向问题求解的，不同的问题求解者对网格提出的要 求不同，对网格的理解自然也不同；网格还处于发展阶段。 2 网格分类 网格根据其体系结构及目标，主要可以分为计算网格、数据网格、服务网 格、信息网格等。计算网格是狭义上的网格，包括分布式超级计算、高性能计 算，是强调计算力获取、管理等的网格；数据网格是“数据超网”，其目标是开 发出新一代速度更快、承受能力更大的数据网格，解决互联网上提供的大量异 构数据的共享，是强调数据存储、管理、传输、处理的网格；服务网格基于第 三代互联网技术，其目标是满足任意时空“按需取 的服务，协同运算及多媒 体服务，是强调应用服务集成的网格；信息网格是强调信息存储、管理、传输、 处理的网格。此外还有强调数据存储的存储网格，强调知识存储、管理、传输、 处理的知识网格，强调语义解析的网格，实现语义互操作的语义网格等。 根据应用的种类及网格计算求解问题的特点，人们又提出了多种名称的网 格，如以数据密集性处理为核心的核心数据网格爆1 ，以解决科学问题为核心的 武汉理j ：人学硕十学位论文 科学网格1 9 i ，以解决全球环境问题为核心的地球系统网格【1 0 , 1 1 】，以全球地球系 统模型i u j 题求解为主要目的的地球系统网格1 1 2 】，此外还有地震网格【13 1 、军事网 格【1 4 】，美州h 家航空航天局( n a s a ) 的i p g ( i n f o r m a t i o np o w e rg r i d ) t 1 5 1 等行 业网格。 1 2 2 国外研究现状 美国足网格技术的倡导者，也是目前网格技术的引领者。在网格技术开发 和网格示范系统方面，美国已有了多年丰富的资源积累，有影响力的网格系统 如g l o b u s i1 6 】、l e g i o n 1 7 】、c o n d o r t l 8 】等。 g l o b u s 是一个多研究机构联合开发的项目，它力图实现计算网格结构，来 提供对高性能远程计算资源普遍的、可靠的、一致性的访问。目前的g l o b u s 可以认为是计算网格技术的典型代表和事实上的规范，g l o b u s 是目前网格技术 的旗舰产品。g l o b u s 对信息安全、资源管理、信息服务、数据管理以及应用开 发环境等网格计算的关键理论和技术进行了广泛的研究，开发出能在多种平台 上运行的网格计算工具包软件( g l o b u st o o l k i t ，g t ) ，目前的最新版本是 g t 4 2 1 。该工具包能够用来帮助规划和组建大型的网格试验和应用平台，开发 适合大型网格系统运行的大型应用程序。 l e g i o n 是一个网格中间件，它通过连接计算机网络、工作站、超级电脑以 及其它的计算资源组成一个虚拟的系统，屏蔽了不同的计算机系统架构、操作 系统和资源的物理位置。l e g i o n 提供异构系统的无缝集成，并通过把系统中所 有组件封装成对象来实现元计算环境。l e g i o n 的目标是充分利用不断增长的网 络带宽的同时，并不危及网络安全，而且不需要用户对不兼容的平台和计算机 架构做额外的处理。 c o n d o r 是一个软件系统，它创造了一个大吞吐量计算环境，可以有效地利 用网络中能相互通讯的工作站计算力。c o n d o r - g 可以理解为g l o b u s 中的一种 作业提交机制，或者理解为是w e b 作业提交入口。c o n d o r - g 也可隶属于c o n d o r 系统的作业管理部分。c o n d o r - g 为c o n d o r 提供面向网格环境的一个接口，通 过c o n d o r - g ，用户可以访问远程资源上的资源和进行作业管理，并可以及时地 监视作业的远程执行情况。 此外，欧洲也是网格研究和建设非常活跃的地区，已经启动了多个网格研 究项目。欧洲数据网格( e u r o p e a nd a t ag r i d ) 是欧盟支持的一个项目，目标是 4 武汉理1 = 大学硕十学位论文 建设提供计算强度大、共享超过1 0 1 4 b 数据的大规模分布式数据库的下一代计 算基础设施。 另外世界上比较著名的网格项目还有是德国联邦教育和研究部资助的 u n i c o r e 项目，荷兰网格，爱尔兰网格，欧洲网格计算数据库，俄罗斯科学 网格，n o r d u 网格，日本的n i n f 和b r c i h s 项目等。 1 2 3 国内研究现状 我国在网格研究方面的研究启动较晚。近年来，网格研究在我国也得到了 迅速发展，在网格研究上的投入也连年增长。 国家在九五期间就资助了“8 6 3 ”重点项目“国家高性能计算环境”【l 9 1 。 该项目由中科院计算所联合了十几家科研单位共同参与，其目标是建立一个分 布式环境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中 心通过i n t e m e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在 此基础上开发了多个计算型的网格应用系统，取得了一系列研究成果。 目前，我国正在进行的比较大的网格项目有五个。 中国国家网格f 2 0 】专项由国家8 6 3 高技术研究发展计划资助，旨在建立面向 企业、高等院校、科研机构、政府部门的国家高性能计算环境。主节点采用自 行研制的、面向网格的高性能计算机。若干工业、服务业、科学研究以及资源 环境领域的网格应用投入运行，实现资源共享、协同工作。专项的主要任务包 括：建设中国国家网格实验床( c n g f i d ) ；建立具有4 万亿次以上计算能力的 网格主节点；支持网格应用以及维护网格系统运行的网格软件；开发具有代表 性的网格生产性应用。 中国教育科研网格c h i n a g f i d t 2 l 】计划是教育部“十五”2 1 1 工程公共服务体 系建设的重大专项，受国家高技术研究发展计划( 8 6 3 计划) 项目支持。其目 标是将广泛分布在中国教育科研网c e r n e t 和高校中的异构海量资源集成起 来，实现c e r n e t 环境下资源的有效共享，消除资源孤岛，提供有效的服务， 形成为国家科研教学服务的大平台。 e s c i e n c e t 2 2 】网格研究计划是国家基金委员会投资1 5 0 0 万的大型网格项目。 该项目建设以网络为基础的科学活动环境，目标是利用网络技术将地理上位置 不同的计算设施、存储设备、仪器仪表等集成在一起，建立面向网络服务的通 用基础支撑环境，实现i n t e m e t 上计算资源、数据资源和服务资源的有效聚合 武汉理工大学硕十学位论文 和广泛共享，从而建立一个能够实现区域或全球合作或协作的虚拟科研和实验 环境，支持以大规模计算和数据处理为特征的科学活动。 国内其他著名的网格项目包括国家投资2 0 0 0 万建立的中国空间信息网格 ( s p a t i a li n f o r m a t i o ng r i d ，s i g ) ，以及上海市科委投入9 0 0 万元，并带动资金 5 0 0 0 万元，为期两年重大科技攻关项目上海信息网格( s h a n g h mg r i d ) 等。 1 3 课题来源及本文的主要工作 本文的研究来源于一个特定领域的信息网格预研课题，侧重于研究该领域 信息的协同处理等技术，具有一定军事应用背景。本文建立在充分分析该信息 网格特定用户与特定的物理资源、逻辑资源的基础上，所做主要工作如下： 1 研究现有网格体系结构及架构，特别是o g s a 体系结构。并分析课题中 的信息网格特性，设计了适应本课题的信息网格体系结构和信息网格构建框架。 2 研究当今世界上较有影响力的网格项目中所使用的资源管理策略和资 源调度算法等，分析其各自的原理、特点、应用范围、组织模式、体系结构、 局限不足等。 3 使用g l o b u s 资源规范语言描述该信息网格异构资源，使用w e b 服务描 述语言描述网格服务，以及w 曲服务部署描述器部署网格服务资源。网格底层 使用t c p i p 、h t t p 、s o a p 等协议进行通信支持，使用g l o b u s 监视和发现服 务发现和监控资源，通过索引服务进行资源注册。以上所述各项工作是网格资 源管理和调度的基础。 4 在本文设计的网格体系结构框架上，设计了层次化、基于多代理的信息 网格的资源管理与调度系统模型框架，对本课题网格进行管理域划分和分层。 同时，规划了管理代理的功能，设计了管理代理的体系结构。 5 采用g t 4 作为网格中间件平台，结合g t 4 中本地资源分配管理器组件 实现网格资源管理。并采用动态协同分配器实现管理域多代理协同。然后，使 用c o n d o 卜g 作为网格资源调度模块，并针对本课题相关管理策略，实现了采 用与有向无圈图策略结合的资源管理域调度软件模块，实现信息网格资源的管 理与调度的基本功能。 6 武汉理t 大学硕f j 学位论文 1 4 本文的组织结构 本文一共分五章，各个章节主要内容如f ： 第l 章首先介绍了本文的研究背景和研究意义，探讨了网格的类别和定义， 介绍了现有网格的分类情况，然后对国内外嘲格的研究现状进行了综述，特别 是对世界上很有影响力的网格项目进行了介绍。接着介绍了本课题的来源以及 本文所做的主要工作。最后是全文的组织结构。 第2 章中主要是对网格的关键技术进行介绍。首先分析了网格的特点，然 后着重介绍网格的两种较为流行和成熟的体系结构，分析了各个体系结构的特 点和不足。接着，对网格资源管理和调度技术进行介绍和分析。首先给出了资 源管理的定义，明确了资源管理的任务，综合介绍了当今世界范围网格项目中 影响力较大的并且是较成熟的网格资源管理系统，分析了其各自特点。然后介 绍了当今世界范围网格项目中影响力较大的并且是较成熟的网格资源调度器， 以及较流行的多种资源调度策略或算法，并分析了各自特点。 第3 章对本课题所研究的信息网格，首先设计了网格的体系结构，接着设 计了其基于多代理的分层管理域体系结构和整体框架，并设计了该网格资源管 理代理系统的体系结构。然后介绍了g l o b u s t o o l k i t 4 平台，给出了该层次多代 理的管理系统在g t 4 平台上实现框架和工作流程，给出了网格资源描述、服务 接口定义、服务部署、作业描述、作业提交、d u r o c 多代理协同的等资源管 理问题的解决。并在g t 4 平台下结合进行了网格服务编程，通过具体服务实例 实现网格资源的管理与调度。 第4 章介绍了c o n d o r - g 调度器与g l o b u s 协同工作原理，并针对网格资源 调度中的两种典型( 单作业调度和有依赖关系的作业调度) ，在g t 4 平台上结 合c o n d o r - g 与d a gm a n a g e r 实现了资源的调度。并通过对作业的监视，分析 了调度的过程和有效性。 第5 章是结论部分，对全文进行了总结和分析，提出了研究的不足，并进 行了展望。 7 武汉理工大学硕十学位论文 第2 章网格技术 i a nf o s t e r 认为网格必须同时满足三个条件【2 3 】：在非集中控制的环境中协同 使用资源；使用标准的、开放的以及通用的协议和接口；提供非平凡的服务。 网格与计算机网络不同，计算机网络实现的是一种硬件的连通，而网格能实现 应用层面的连通【2 4 1 。网格的局部与整体之间存在着一定的相似性，局部往往在 许多地方具有全局的某些特征，而全局的特征在局部也有一定的体现1 2 5 j 。另外， 网格系统必须能够解决异构资源之间的通信和互操作问题【2 6 ，2 7 1 。并且，网格的 管理具有多重性【2 8 1 。综合而言，网格主要有以下特点【4 】： 1 分布性与共享性 分布性是网格一个最主要的特点。首先，网格的资源是分布的，各种计算 机、数据库、设备和资源是分布在地理位置互不相同的多个地方，资源类型复 杂，规模较大。由于资源是分布的，所以基于网格的计算是分布式计算而不是 集中式计算。在网格这一分布式环境下，需要解决资源与任务的分配和调度问 题，安全传输与通信问题，实时性保障问题，人与系统以及人与人之间的交互 问题等。网格资源虽然是分布的，但它们可以充分共享，即网格上的任何资源 都可以提供给网格上的任何使用者。共享是网格的目的，解决分布资源的共享 问题是网格的核心内容。分布是网格硬件在物理上的特征，而共享是在网格软 件支持下实现的逻辑上的特征。 2 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂的系统都具有这种 特征，网格就是这样。网格的局部和整体之间存在着一定的相似性，局部往往 在许多地方具有全局的某些特征，而全局的特征在局部也有一定的体现。除了 相似性之外，整体和部分之间必然也有不同的地方。 3 动态性与多样性 。 网格不是一成不变的，资源和功能都会随时间而变化。网格的动态性包括 动态增加和动态减少。对于资源动态减少或资源出现故障的情况，要求网格能 够及时采取措施，实现任务的自动迁移，做到对高层用户透明或尽可能减少用 户的损失。资源的动态增加需要提高网格的扩展性。在网格的设计与实现阶段， 8 武汉理1 二大学硕十学位论文 必须考虑到新的资源能否很自然地加入到网格中来，并且可以和原来的资源融 合在一起，共同发挥作用。网格扩展要求体现在规模、能力、兼容性等方面， 规模扩展后相应的管理软件也应该能够满足扩展性要求，网格软件的升级要能 够向下兼容。网格资源是异构和多样的。在网格环境中可以有不同体系结构的 计算机系统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不 同类别资源之问的通信和互操作问题。 4 自治性与管理的多重性 网格上的资源首先是属于某一个组织或个人的，因此网格资源的拥有者对 该资源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自主 管理能力，这就是网格的自治性。但是网格资源也必须接受网格的统一管理， 否则不同的资源就无法建立相互之间的联系，无法实现共享和互操作，无法作 为一个整体为更多的用户提供方便的服务。因此网格的管理具有多重性，一方 面它允许网格资源的拥有者对网格资源具有自主性的管理，另一方面又要求网 格资源必须接受网格的统一管理。 2 1 网格体系结构 网格体系结构就是关于如何建造网格的技术，它描述了网格的基本组成和 功能，以及各个组成部分之间的相互关系和网格的运行机制。到目前为止，比 较重要的网格体系结构有两个【2 9 】：一个是i a nf o s t e r 等人在早些时候提出的五 层沙漏模型；第二个是在以m m 为代表的工业界的影响下，考虑到w e b 技术 的发展与影响后，i a nf o s t e r 等结合五层沙漏结构和w e bs e r v i c e 提出的丌放网 格服务体系结构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，o g s a ) 3 0 , 3 1j 。最新的网格 发展是2 0 0 4 年由i b m 、g l o b u s 联盟和h p 共同提出的网络服务资源框架 ( w s r e s o u r c ef r a m e w o r k ，w s r f ) 【3 2 1 。 2 1 1 五层沙漏结构 五层沙漏结构1 2 3 1 将对共享资源进行操作、管理和使用的功能分散在五个不 同的层次，由下至上分别为构造层( f a b r i c ) 、连接层( c o n n e c t i v i t y ) 、资源层 ( r e s o u r c e ) 、汇聚层( c o l l e c t i v e ) 和应用层( a p p l i c a t i o n ) 。如图2 1 所示。 9 武汉理工大学硕士学何论文 图2 1 五层沙漏结构 五层沙漏结构的特点就是简单，主要侧重于定性的描述而不是具体的协议 定义，容易从整体上进行理解。其显著的特点就是“两头大，中间小”。在这五 层结构中，资源层和连接层是模型的瓶颈部分，向上服务汇聚层和应用层，向 下映射到构造层。在五层沙漏体系结构中，最基本的思想就是：以协议为中心， 强调服务与a p i 和s d k 的重要性。 2 1 2 开放网格服务体系结构 开放网格服务体系结构( o p e ng r i ds e r v i c ea r c h i t e c t u r e ，o g s a ) ，由g l o b a l g r i df o r u m ( g g f ) 的o p e ng r i ds e r v i c e si n 疗a s t r u c t u r e ( o g s i ) 工作小组于2 0 0 2 年6 月制定的，g l o b u st o o l k i t3 是o g s a 标准的第一个主要实现。它包括两大 关键技术，即网格技术和w e bs e r v i c e 技术。o g s a 是在五层沙漏结构的基础 上，结合w e bs e r v i c e 技术提出来的，并且解决了两个重要问题标准服务 接口的定义和协议的识别。o g s a 最基本的思想就是以“服务”为中心。在o g s a 框架中，将一切抽象为服务，包括各种计算资源、存储资源、网络、程序、数 l o 武汉理工大学硕士学位论文 据库等等。o g s a 致力于实现以下目标：跨分布式异构平台管理资源；交付无 缝的服务质量( q u a l i t yo fs e r v i c e ，q o s ) ；为自治管理解决方案提供公共基础； 定义开放的、已公布的接口；利用行业标准的集成技术。 如果说五层沙漏结构是以协议为中心的“协议模型”，那么o g s a 就是以 服务为中心的“服务结构。o g s a 体系结构也是一种层次结构，如图2 2 所示。 o g s a 平台服务 ( 公共管理模块、服务域名、策略、安全、登记、计量等) 妒 ；o p e ng r i ds e r v i c ei n f r a s t r u c t u r e 。( 0 g s i )。 g一r ，“。 1 l r 艨二竺议鞭，1 i rk 赢二 i 宿主环境 i| 宿主协议 图2 2o g s a 体系结构 这种体系结构的核心是o g s i 和o g s a 核心平台服务3 3 , 3 4 l 。高层的应用和 服务使用这些底层的核心平台组件和o g s i 来构成资源共享网格的部分。 o g s i 通过与宿主环境和协议的绑定，提供了基础的底层构造。o g s a 平台服 务则在o g s i 的基础上提供一系列标准的服务，包括公共管理模块、服务域名、 策略、安全、登记、计量等。o g s a 已经成为网格体系结构的标准之一【3 5 1 。 2 2 网格资源管理技术 资源是网格中的主要对象，资源管理是网格的核心任务之一，为需要资源 的用户提供透明一致的访问接口。其基本功能就是接受具有存取权限的用户的 资源请求，并为其在网格资源池内分配特定的资源。网格资源管理系统就是为 请求寻找可匹配的资源，并使这个请求的任务在这个资源上运行1 3 6 - 3 8 】。资源管 理需要解决的基本问题包括资源的描述、资源的命名、资源的发现和资源的统 武汉理t 大学硕十。产何论文 一管理等。网格资源管理的一个重要方面就是进行资源的抽象，把资源的具体 细节对访问者隐藏起来，提供一个抽象的统一对象。由于网格的分布性、异构 性、动态性、自治性，使得网格环境下的资源管理变得十分复杂和具有挑战性。 2 2 1 网格的异构资源 资源是网格中所有可以被主体请求使用的实体总称，网格中包含有多种形 式、功能各异的资源。网格资源是指所有能够通过网格远程使用的实体，包括 计算机软件、计算机硬件、设备和仪器等。计算机软件资源包括系统软件、应 用程序、数据等：计算机硬件资源包括处理器、存储器、硬盘以及其他计算机 设施；设备和仪器包括通信介质、天文望远镜、显微镜、传感器等。除了物理 资源之外，在网格设备旁工作的人员也是一种重要的资源，称为人类资源。人 类资源包括人的知识、能力等多种因素，是网格上最具有伸缩性的资源。资源 所有者可向其他使用资源的人收费，资源可共享或独占，可被清晰地定义，或 用参数描述【3 引。 因此，网格意义下的资源共享已经不是原来的计算机之间的文件交换和远 程登录了。它是指直接访问计算机、软件、数据、设备和仪器等资源。可以说 用户面对的网格是资源、协议和规范的有机集合。其中资源实体本身是协议、 规范和策略的基础。把网格上的资源和用户请求进行匹配，为合法用户提供简 单的共享使用接口，把适合的可用资源提供给用户使用是网格资源管理的核心 内容。 无论是简单的计算机系统还是复杂的集群系统、并行系统、分布式系统都 存在着不同的资源，内存是资源，磁盘空间是资源，计算周期也使资源。资源 根据能否移动的特性，分为：可移动资源，不可移动资源。根据能否重复使用 的特性，分为：可重复使用资源，不可重复使用资源。根据是否可复制的特性， 分为：可复制资源，不可复制资源【加1 。另外资源也可以分为物理资源和逻辑资 源。以往系统中的资源无论是种类的多样性方面，还是功能的多样性方面都不 能和网格资源相比。网格资源具有如下特点： 1 异构性。网格中的资源种类繁多，功能各异，访问接口也不尽相同，本 地管理系统不同，共享规则不同。 2 动态性。网格中的资源可以自由地随时加入和离开网格系统，网格资源 的可获得性是随时间的变化而动态变化的，一个网格资源贡献给网格用户使用 1 2 武汉理工大学硕士学位论文 的能力是随时间变化而动态变化的，网格资源的负载也是动态变化的。 3 自治性。网格资源有自己的本地管理机构或处在本地管理结构的管理之 下，网格资源或强或弱的有本地自治能力。网格管理系统必须尊重本地管理者， 迁就本地管理策略，不能把网格的意愿强加到资源上，更不能替换本地管理系 统。 4 二分性。网格资源最终都是由具体的资源拥有者提供的，除了一部分专 用的网格资源是专门提供给网格用户使用的之外，大部分的资源都同时作为网 格用户可以使用的网格资源和资源拥有者自己使用的本地资源。网格用户远程 使用资源不能损害资源拥有者和本地用户的利益。 网格资源的特点决定了网格资源管理所应该具备的功能和特点。即要隐藏 网格资源的原型，为用户提供统一的访问接口；屏蔽网格资源的动态性，保证 用户请求的访问质量；尊重资源的本地管理机制和策略，同时使资源很好地为 网格服务：仔细审查网格用户的请求，确保网格资源的安全和资源拥有者的利 益。 2 2 2 网格资源描述技术 资源描述是资源共享、资源发现等关键环节的重要信息。资源描述信息把 不同的用户、不同的应用、不同的资源联系起来。资源描述有两种不同的作用， 一种是联系资源请求者和资源中介者之间的作用，一种是联系资源和资源中介 者之间的作用。在前一种情况