（计算机软件与理论专业论文）基于globus的网格资源管理研究.pdf

摘要 摘要 随着第三次互联网浪潮的到来，i n t e m e t 上的资源越来越丰富，汇集了成千 上万的计算资源、数据资源、软件资源、 成了生产、传播和使用知识的重要载体。 各种数字化设备和控制系统等，共同构 如何在浩瀚的资源中进行整合，消除信 息孤岛，以统一的界面操作各种异构的资源成为资源共享首要解决的问题。网格 就是资源的联合加上资源的虚拟化，从而快速方便地使用网络资源。网格计算技 术正在成为影响信息技术下一个高潮的最重要的核心技术，从而推动新一代计算 机应用。 五层沙漏模型，o g s a 和o g s i 等网格计算体系结构的提出，促进了网格计 算的标准的统一，为网格计算的实际应用提供了良好基础。特别是w s r f 规范的 提出，使得网格计算平台与现有系统的交互更加方便。g l o b u st o o l k i t 是g l b o u s p r o j e c t 开发的网格工具包，由于其被大量使用和研究，已经成为事实上的网格标 准。目前g l o b u st o o l k i t 的最新版本是4 0 ，实现了w s r f 规范。 网格资源管理系统是网格计算系统的重要组成部分，从为用户提供方便、高 效的服务的角度来看，它与传统的分布式计算环境或集群计算环境下的资源管理 系统类似，应当至少具备三种功能：作业管理、任务调度和资源管理。网格资源 分配管理器g r a m ( g r i d r e s o u r c ea l l o c a t i o nm a n a g e r ) ，是网格资源管理系统的代 表，定义了一种资源管理层次化体系结构，在其核心层中g r a m 定义了资源层协 议和a p i 以便客户能安全地实例化计算任务。c o n d o r 把自身出色的作业管理功能 和g l o b u s 的域间安全通信协议及远程批处理系统的标准化访问协议相结合，就形 成了c o n d o r - g 软件系统，使得c o n d o r 系统的用户也可以很方便的使用g l o b u s 资源。 g l o b u s 作为事实上的网格基础平台，基于g l o b u s 进行网格服务开发是当前 开发网格应用系统主要手段。它提供了网格系统的基础服务和a p i 函数，可以构 建复杂的网格应用系统。该文介绍各种网格计算体系结构及其演变过程，研究网 格资源管理的原理和实现方式，讨论g l o b u s 的编程模型和g r a m 资源管理服务 编程，以及c o n d o r - g 作业调度系统的使用等。此外，结合研究课题内容，阐述 如何利用网格技术实现教育资源的透明共享，构建基于网格的在线考试系统实现 电子科技大学硕士学位论文 学校间的题库资源的共享；提出网格在线考试系统的网格作业调度系统设计方案。 关键字：网格计算，网格资源管理，g r a m ，c o n d o r - g i i a b s t r a c t a b s t r a c t w i t ht h et h i r dh t e m e tw a v ec o m i n g ，t h er e s o u r c e si nt h ei u t e m e ta r er i c h e rt h a n b e f o r e ，i n c l u d i n gt h o u s a n d so fc o m p u t i n gr e s o u r c e s ，d a t ar e s o u r c e s ，s o f t w a r er e s o u r c e s ， a n dm a n yd i g i t a ld e v i c e s ，c o n t r o l l i n gs y s t e m s t h e s er e s o u r c e sa r et h ei m p o r t a n t c a r r i e r sf o rp r o d u c i n g ，s p r e a d i n ga n du s i n gk n o w l e a g e b e f o r ev e ec a ns h a r e t h e s e r e s o u r c e si ne f f e c t ，h o wt oi n t e g r a t et h er e s o u r c e s ，a v o i dt h ei n f o r m a t i o ni s l a n d sa n du s e t h ec o m m o ni n t e r f a c et oo p e r a t et h ed i f f e r e n tr e s o u r c e ss h o u l db es o l v e df i r s t t h eg r i d i st h es o l u t i o nf o rt h ec o m b i n a t i o na n dv i s u a l i z a t i o no fr e s o u r c e s t h eg r i dc o m p u t i n g i sb e c o m i n go n eo ft h em o s ti m p o r t a n tt e c h n o l o g i e so ft h en e x ti tw a v e ，a n dp r o m o t e s n e w a p p l i c a t i o n s t h ec o m i n go u to ft h eg r i dc o m p u t i n ga r c h i t e c t u r e s ，s u c ha sf i v e - t i e rs a n d g l a s s m o d e l ，o g s a ，o g s ia n ds oo n ，s p e e d su pt h eu n i f i c a t i o no ft h es t a n d a r d so fg r i d c o m p u t i n g ，w h i c hs e tu pt h ef o u n d a t i o nf o rt h ep r a c t i c a la p p l i c a t i o n so fg r i dc o m p u t i n g e s p e c i a l l y t h ec o m i n go u tw i t hw s r fs p e c i f i c a t i o nm a k e sg r i dc o m p u t i n gp l a t f o r m i n t e g r a t i n gt h ec u r r e n ts y s t e m se a s i l y t h eg r i dt o o l k i tg l o b u si sd e v e l o p e db yg l o b u s p r o j e c t a si ti su s e da n dr e s e a r c h e df r e q u e n t l y ，g l o b u sh a sb e c o m et h ea c t u a ls t a n d a r d o fg r i dc o m p u t i n g t h en e w e s tv e r s i o no fg l o b u st o o l n ti s4 0 ，w h i c hi m p l e m e m st h e w s r fs p e c i f i c a t i o n t h eg r i dr e s o u r c em a n a g e m e n ts y s t e mi st h ei m p o r t a n tc o m p o n e n ti ng r i d c o m p u t i n gs y s t e m i tr e s e m b l e st h et r a d i t i o n a lr e s o u r c em a n a g e m e n ts y s t e m su n d e r d i s t r i b u t e dc o m p u t i n ge n v i r o n m e n ta n dc l u s t e rc o m p u t i n ge n v i r o n m e n t ，s u p p o r t i n g t h r e ef u n c t i o n s ：j o bm a n a g e m e n t ，t a s ks c h e d u l ea n dr e s o u r c em a n a g e m e n t g r i d r e s o u r c ea l l o c a t i o nm a n a g e r ( g r a m ) i so n eo ft h em o s tp o p u l a r 鲥dr e s o u r c e m a n a g e m e n ts y s t e m s ，w h i c hd e f i n e st i e ra r c h i t e c t u r ef o rr e s o u r c em a n a g e m e m i n s i d e t h ec o r et i e r ，i td e f i n e st h er e s o u r c et i e rp r o t o c o la n da p it oh e l pt h ec l i e n t sc r e a t e c o m p u t i n gt a s k c o n d o r - gi n t e g r a t e sc o n d o r se x i m i o u sj o bm a n a g e m e u tf u n c t i o n si n t o g l o b u s s e c u r ec o m m u n i c a t i o na m o n gd o m a i n sp r o t o c o la n ds t a n d a r dr e m o t eb a t c h p r o c e s ss y s t e ma c c e s sp r o t o c o l ，a n dh e l pt h ec o n d o ru s e r st o u s eg l o b u sr e s o u r c e s i i i 电子科技大学硕士学位论文 c o n v e n i e n t l y a sg l o b u si st h ea c t u a lb a s i cp l a t f o r mo fg r i dc o m p u t i n g ，d e v e l o p i n gg r i ds e r v i c e b a s e do ng l o b u si st h em a i nm e t h o dt ob u i l dg r i da p p l i c a t i o ns y s t e m t h eg l o b u s t o o l k i tp r o v i d e sb a s i cs e r v i c e sa n da p it ob u i l dm o r ec o m p l e xg r i dc o m p u t i n gs y s t e m t h i s p a p e r i n t r o d u c e st h ea r c h i t e c t u r e so fg r i dc o m p u t i n ga n dt h e i re v o l u t i o n ； r e s e a r c h e st h et h e o r yo fg r i dr e s o u r c em a n a g e m e n ta n di t si m p l e m e n t a t i o n ；d i s c u s s e s t h ep r o f a m m i n gm o d e lo fg l o b u sa n dg r a m ，a n dh o wt ou s et h ec o n d o r gj o b s c h e d u l es y s t e m f u r t h e r m o r e ，b a s e do nt h er e s e a r c ht o p i c ，t h i sp a p e re x p o u n d sh o wt o u s et h eg r i dc o m p u t i n gt e c h n o l o g yt os h a r et h ee d u c a t i o nr e s o u r c e st r a n s p a r e n t l ya n d b u i l da no n l i n ee x a ms y s t e mb a s e do ng r i dt os h a r et h ee x a m i n a t i o np a p e r si nd i f f e r e n t s c h o o l s f i n a l l y ，s e to u tt h es o l u t i o no ft h eg r i dj o bs c h e d u l es y s t e mi n s i d et h eo n l i n e e x a ms y s t e m k e y w o r d ：g r i dc o m p u t i n g ，g r i dr e s o u r c em a n a g e m e n t , g r a m ，c o n d o r - g i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：敷癯退 日期：衣一。g 年，月雪日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：蚀缝渔 导师签 日期： 旨越 年月 日 第一章引言 1 1 网格计算技术概述 1 1 1 什么是网格计算 第一章引言 2 0 世纪9 0 年代，i n t e m e t 的飞速发展成为时代的亮点，i n t e m e t 是人们沟通信 息和协同工作的不可缺少的工具，极大的提高了生产效率，形成了一个新的产业 信息产业。随着技术的发展，i n t e m e t 上的资源越来越丰富，汇集了成千上万 的计算资源、数据资源、软件资源、各种数字化设备和控制系统等，共同构成了 生产、传播和使用知识的重要载体。现在的问题不在于信息资源的匮乏，而是在 于如何在浩瀚的资源中进行整合，消除信息孤岛，以统一的界面操作各种异构的 资源。于是，人们思考如何将物理上互连的众多资源汇聚起来，联合提供服务， 网格就是资源的联合加上资源的虚拟化，从而快速方便地使用网络资源。网格技 术正在成为影响信息技术下一个高潮的最重要的核心技术，从而推动新一代计算 机应用。 与此同时，高性能计算的应用需求也越来越高，使其计算能力不大可能在单 一计算机上获得，因此，必须通过构建“网络虚拟超级计算机”或“元计算机” 来获得超强的计算能力。2 0 世纪9 0 年代初，根据i n t e m e t 上主机大量增加但利 用率并不高的状况，美国国家科学基金会( n f s ) 将其四个超级计算中心构筑成一个 元计算机，逐渐发展到利用它研究解决具有重大挑战性的并行问题。它提供统一 的管理、单一的分配机制和协调应用程序，使任务可以透明地按需要分配到系统 内的各种结构的计算机中，包括向量机、标量机、s i m d 和m i m d 型的各类计 算机。n f s 元计算环境主要包括高速的互联通信链路、全局的文件系统、普通 用户接口和信息、视频电话系统、支持分布并行的软件系统等。元计算被定义 为“通过网络连接强力计算资源，形成对用户透明的超级计算环境”，目前用得 较多的术语“网格计算( g r i dc o m p u t i n g ) ”更系统化地发展了最初元计算的概念， 它通过网络连接地理上分布的各类计算机( 包括机群) 、数据库、各类设备和存储 设备等，形成对用户相对透明的虚拟的高性能计算环境，应用包括了分布式计算、 电子科技大学硕士学位论文 高吞吐量计算、协同工程和数据查询等诸多功能。网格计算被定义为一个广域范 围的“无缝的集成和协同计算环境”。网格计算模式已经发展为连接和统一各类 不同远程资源的一种基础结构。 以前，谈起网格的时候，总把它想得像电力网一样，“插上插头”就能源源不 断地获得计算能力。现在，网格早已远远超出了计算的范畴。除了计算网格外， 数据网格、仪器网格、虚拟现实网格、服务网格、信息网格、知识网格等，将网 格应用扩展到方方面面。正是通过各种各样的网格应用研究，人们看到了网格的 远大前景，同时也看到了它在某些方面存在的不足，并因此不断调整着网格前进 的方向。网格的五个主要应用领域是：分布式超级计算、分布式仪器系统、数据 密集型计算、远程沉浸和信息集成。网格就是利用互联网把分散在不同地理位置 的电脑组织成一台“虚拟的超级计算机”，实现计算资源、存储资源、数据资源、 信息资源、软件资源、存储资源、通信资源、知识资源、专家资源等的全面共享。 其中每一台参与的计算机就是一个节点，就像摆放在围棋棋盘上的棋子一样，而 棋盘上纵横交错的线条对应于现实世界的网络，所以整个系统就叫做“网格”了。 在网格上做计算，就像下围棋一样，不是单个棋子完成的，而是所有棋子互相配 合形成合力完成的。传统互联网实现了计算机硬件的连通，w e b 实现了网页的连 通，而网格试图实现互联网上所有资源的全面连通。 目前，网络计算正处于发展阶段，没有一个十分确切的定义，但一般的理解 是： “网络计算”就是把网络连接起来的各种资源和系统组合起来，实现资源共 享、协同工作和联合计算，为用户提供基于网络的各种综合性服务。中科院计算 所李国杰院士认为：“网格不同于国外正在搞的i n t e m e t 2 或下一代i n t e r n e t ( n g d ， 网格可以称作是第三代i n t e r n e t ，其主要特点是不仅仅包括计算机和网页，而且包 括各种信息资源，例如数据库、软件以及各种信息获取设备等，它们都连接成一 个整体，整个网络如同一台巨大无比的计算机，向每个用户提供一体化的服务。” 协议标准化作为使异构系统间交互操作和公共基础设施成为可能的一种方 法，前面定义的网格，其本质可以用一个简单的指标来鉴别，根据这个指标，网 格实际上是这样一个系统 1 】： 1 协调非集中控制资源网格整合各种资源，协调各种使用者，这些资源 和使用者在不同控制域中，比如，个人电脑和中心计算机；相同或不同公司的不 同管理单元；网格还解决在这种分布式环境中出现的安全，策略，使用费用，成 第一章引言 员权限等问题。否则，只能算本地管理系统而非网格。 2 使用标准，开放，通用的协议和界面网格建立在多功能的协议和界面 之上，这些协议和界面解决认证，授权，资源发现和资源存取等基本问题。否则， 只算一个具体应用系统而非网格。 3 得到非平凡的服务质量网格允许它的资源被协调使用，以得到多种服 务质量，满足不同使用者需求，如系统响应时间，流通量，有效性，安全性，及 资源重定位，使得联合系统的功效比其各部分的功效总和要大得多。 网格系统的有着以下特点【1 ； 1 异构性( h e t e r o g e n e i t y ) 网格可以包含多种异构资源，包括跨越地理分布的多个管理域。构成网格计 算系统的超级计算机有多种类型，不同类型的超级计算机在体系结构、操作系统 及应用软件等多个层次上可能具有不同的结构。 2 可扩展陛( s c a l a b h i t y ) 网格计算系统初期的规模较小，随着超级计算机系统的不断加入，系统的规 模随之扩大。网格可以从最初包含少数的资源发展到具有成千上万资源的大网格。 由此可能带来的一个问题是随着网格资源的增加而引起的性能下降以及网格延 迟，网格必须能适应规模的变化。 3 可适应性( a d a p t a b i l i t y ) 在网格中，具有很多资源，资源发生故障的概率很高。网格的资源管理或应 用必须能动态适应这些情况，调用网格中可用的资源和服务来取得最大的性能。 与一般的局域网系统和单机的结构不同，网格计算系统由于地域分布和系统的复 杂使其整体结构经常发生变化：网格计算系统的应用必须能适应这种不可预测的 结构。 4 结构的不可预测性 动态和不可预测的系统行为。在传统的高性能计算系统中，计算资源是独占 的，因此系统的行为是可以预测的。而在网格计算系统中，由于资源的共享造成 系统行为和系统性能经常变化。 5 多级管理域 3 电子科技大学硕士学位论文 由于构成网格计算系统的超级计算机资源通常属于不同的机构或组织并且使 用不同的安全机制，因此需要各个机构或组织共同参与解决多级管理域的问题。 1 1 2 网格计算的应用 网格技术凭借其独特的计算力联合和分布式计算模式，在科学研究、企业信 息处理、电子政务、个人娱乐、教育领域等方面拥有广泛的应用前景。 “众人拾柴火焰高”，中国的这句老话成了网格计算( g r i dc o m p u t i n g ) , q q , 现并 蓬勃发展的最好注脚。网格计算利用分布式( d i s t r i b u t e dc o m p u t i n g ) 计算机网络处 理大计算量任务，可以最大限度地利用现有网络的计算力，而不必为增加信息处 理能力而添置新的设备；通过租用网格网络的计算力，可以实现许多以前因为计 算力不够，或者因为增加计算力导致成本过高的商业应用。对于一项技术来说， 其出发点和落脚点都应该指向应用，以应用推动网格发展也是发展网格技术的一 个指导思路。事实上，网格技术的应用离我们的生活并不遥远，在我们社会生活 的各个领域、各个层面都有应用。 应用之一：科学研究( e - - s c i e n c e ) 现在科学研究的问题空前复杂化，而学科研究所需要的运算资源常常是捉襟 见肘。复杂科学领域的计算通常以超级计算机作为数据处理中心，超级计算机虽 然处理能力强大，但是其本身的造价极其高昂，并不是所有的研究机构都有能力 配备。网格技术的出现，最大程度地提高了现有网络计算资源的利用率。目前， 利用网格提高现有资源利用率主要有两种办法。一是利用网格技术可以将各个实 验室的超级计算机连接起来，形成一个“强强联合”的超级信息处理中心。如美 国国家科学基金会正在建立的“分布式兆兆级网格( t e r a g r i d ) ”，利用网格技术将 伊利诺州立大学超级计算中心、圣地亚哥大学超级计算中心、阿贡国家试验室和 加州理工学院计算中心连接起来，形成一个处理能力约为每秒1 3 。5 万亿次浮点操 作，存储容量接近7 0 0 兆兆字节的“巨无霸”计算中心，以供许多领域的研究机 构使用。另外一种方式就是通过互联网，利用互联网个人用户的闲置计算机，进 行科学研究。这种方式最为著名的项目就是寻找外星生命的计划s e t i h o m e 。 应用之二：企业信息处理( e - - b u s i n e s s ) 最近，m m 推出一个新的计划，该计划称，为帮助软件厂商开发新的应用程 序，并测试现有的应用程序，i b m 为这些软件厂商提供i b m 网格运算服务器的 4 第一章引言 免费存取权。拥有免费存取权的软件开发人员可以利用i b m 网格服务器的强大运 算资源，快速完成新开发的软件所必需的调试及模拟运算，从而缩短程序从开发 到应用的周期，提高软件的开发速度。 当然，这只是网格计算力出租的一个例子。网格专家描绘的是这样的一幅画 面：等网格的触角深及到互联网的每一个角落时，从互联网获得网格的运算资源 就会像从电网上获取电力那么简单，只需要支付少量费用，就可以租用这台“超 级信息处理中心”为自己工作。现在很多企业为了保证其业务不问断地运转，大 多部署了价格不菲的大型i t 系统，这些i t 设备除了在少数的业务高峰时间可以 得到充分利用外，大部分时间都是闲置的，这些闲置资源无疑导致了企业运行成 本的增加。一个强大的可租用虚拟系统，可以让用户完成以前难以承担的任务， 其生产成本却不会有明显的增长。 应用之三：电子政务- - g o v e r n m e n t ) 电子政务不仅仅是利用互联网来宣传政府的计划和服务，也不只是停留在政 府文件的“网页化”幕j 用互联网传达信息只是电子政务的初级阶段，利用互 联网进行日常性的政府办公才是真正意义上的电子政务。 网格技术一方面可以整合和管理分散在各部门的信息化资源，实现各个政府 部门之间数据的无缝交换，消除“信息孤岛”，打破电子政务资源共享的瓶颈；另 一方面，网格技术的分布式工作模式，可以有效地实现在网络虚拟环境下的协同 办公，提高政府的工作效率、增强为公众服务的能力。也就是看中了网格技术在 电子政务建设方面的优势，2 0 0 3 年7 月上海市政府与i b m 中国公司签署了网格 计算合作谅解备忘录，旨在利用网格技术解决上海信息港建设中出现的问题，诸 如部门之间的信息化资源分散、跨部门协作缺乏标准，部门间资源共享与协作困 难，通过资源的整合，提高信息化建设的整体成效，开了国内利用网格计算技术 推动电子政务发展的先例。相信随着网格技术的进一步发展，网格在电子政务方 面的应用会越来越广泛。 应用之四：个人娱乐( e - - e n t e r t a i n m e n t ) 随着互联网的发展，网络视频点播与在线游戏已经成为个人娱乐重要的一环。 使用网格可以为游戏开发商和服务供应商提供可扩展的、高弹性的基础设旋以运 行大型多入游戏。美国游戏基础设施提供商b u t t e r f l y n e t 公司目前使用的就是m m 的网格计算服务器。该服务器利用了网格技术自恢复特性，能够无缝隙地将所玩 电子科技大学硕士学位论文 的游戏转到最近的可用服务器上，实现了用户资源的统一调动、统一保存，极大 提高了游戏运行和服务的可扩充性。 应用之五：教育领域饵- - e d u c a t i o n ) 将分布在教育领域中的图书馆数字资料、数字博物馆、论文、高等院校多媒 体及课件和数字教学视频等各种海量信息资源集成起来，建立一个教育信息网格， 覆盖各个地区，提供统一的、高效的信息服务，提供主动学习方法和交互式的教 学方式，使在家学习和交流成为现实。同时，教育网格还可以提供人们在网络上 作模拟实验。 1 1 3 网格计算的发展现状 美国对网格的研究始于九十年代中期。由美国自然科学基金会( n f s ) 资助的网 格项目n c s a ，n p a c i 和t e r a g r i d ，美国宇航管理局( n a s a ) 构造的网格计划 i p g ( i n f o r m a t i o n p o w e r g r i a ) ，美国国防部( d o d ) 的h p c m p 网格，美国能源部( d o e ) 的d o es c i e n c eg r i d 网格和连接三大国家实验室( l l n l ，l a n l ，s n l ) 的a s c ig r i d 网格，欧洲的d a t a g r i d ，日本的n i n f 等，都是有影响的网格研究计划。 国际上的网格研究采用开放源码、公开合作的模式。全球网格论坛 g g f ( g l o b a lg r i df o r u m ) 是目前主要的合作组织0 a t t p ：w w w g r i d f o r u m o r g ) 。g l o b u s 是最有影响的网格研究计划，主要成员是美国a r g o n n e 国家实验室、芝加哥大学、 南加州大学、i b m 公司等。主要研究任务分4 个方面：网格基础理论和关键技术 研究；软件及工具的开发；试验平台的建立；网格应用的开发。g l o b u st o o l k i t 是其最重要的成果，提出了开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c e a r c h i t e c t u r e ) 的详细框架，并提交给g g f 讨论、细化，最终成为网格标准。 从各国的投资来看，美国政府用于网格技术基础研究经费则已达5 亿美元。 美国军方正规划实施一个宏大的网格计划，叫做“全球信息网格g i g ( g l o b a l i n f o r m a t i o ng r i d ) ”，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军和 海军陆战队已启动了一个耗资1 6 0 亿美元历时8 年的项目，包括系统的研制、建 设、维护和升级。英国政府已投资1 亿英镑，用来研制“英国国家网格( u k n a t i o n a l g r i d ) ”。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目 标一致的研究开发计划。h p 、i b m 、m i c r o s o f t 、s u n 等公司最近取得共识，支持 电子科技大学硕士学位论文 的游戏转到最近的可用服务器上，实现了川户资源的统一调动、统一保存，极大 提高了游戏运行和服务的可扩充性。 应用之五；教育领域饵- - e d u c a t i o n ) 将分布在教育领域中的图书馆数字资料、数字博物馆、论文、高等院校多媒 体及课件和数字教学视频等各种海量信息资源集成起来，建立一个教育信息网格， 覆盖并个地区提供统一的、高效的信息服务，提供主动学习方法和交互式的教 学方式，使在家学习和交流成为现实。同时，教育恻格还可以提供人们在网络上 作模拟实验。 11 3 网格计算的发展现状 美国对网格的研究始于九十年代中期。由美国自然科学基金会o 旺s ) 资助的网 格项目n c s a ，n p a c i 和t e r a g r i d ，美国宇航管理局( n a s a ) 构造的网格计划 i p g ( i n f o r m a t i o n p o w e r g r 如，美国国防部( d o d ) 的i - i p c m p 网格，美国能源部( d o e ) 的d o es c i e n c eg r i d 网格和连接三大国家实验室( l l n l ，l a n l ，s n l ) 的a s c ig r i d 网格，欧洲的d a t a g r i d ，日本的n i n f 等，都是有影响的网格研究计划。 国际上的网格研究采用开放源码、公开合作的模式。全球网格论坛 g g f ( g l o b a l g r i d f o r u m ) 是目前主要的合作组织( h t t p ：f t w v g r i d f o r u mo r g ) 。o l o b u s 是最有影响的网格研究计划，主要成员是美国a r g o n n e 国家实验室、芝加哥大学、 南加卅i 大学、i b m 公司等。主要研究任务分4 个方面：网格基础理论和关键技术 研究i 软件及工具的开发；试验平台的建立；网格应用的开发。g l o b u st o o l k i t 是其最重要的成果，提出了开放网格服务体系结构o g s a ( o p e no d ds e r v i c e a r c h k e c t u r e ) 的详细框架，并提交给o g f 讨论、细化，最终成为网格标准。 从各国的投资来看，美国政府用于网格技术基础研究经费则已达5 亿美元。 美国军方正规划实施一个宏大的网格计划，叫做“全球信息网格g i g ( g l o b a l l n f o r m a t i o ng r i d ) ”，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军和 海军陆战队己启动了一个耗资1 6 0 亿美元历时8 年的项目，包括系统的研制、建 设、维护和升级。英国政府已投资1 亿英镑，用来研制“英国国家网格( u k n a t i o n a l g r i d ) ”。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目 标致的研究开发计划。h ，、i b m 、m i c r o s o r 、s u n 等公司最近取得共识，支持 标致的研究开发计划。h ，、i b m 、m i c r o s o r 、s u n 等公司最近取得共识，支持 第一章引言 x m l 、s o a p 、u d d i 等万维网标准，从而更有利于开发新一代的网格应用。其 目的是将因特网上的资源和信息汇聚在一起，组合成企业和消费者所需要的服务。 国内方面，从1 9 9 9 2 0 0 3 年，中科院计算所联合江南计算所、国防科大等十 几家科研单位，共同承担了8 6 3 重点项目“国家高性能计算环境( n h p c e ) ” 的研发任务。该项目旨在建立一个计算资源广域分布、支持异构特性的计算网格 示范系统，把我国8 个高性能计算中心通过i n t e r n e t 连接起来，进行统一的资源 管理、信息管理和用户管理，并在此基础上开发了多个网格应用系统。由教育部 支持、清华大学牵头的重点项目“先进计算基础设施( a s i ) ”也进行了部门内的网 格计算试验。最近，国家8 6 3 计划开始启动新一轮网格研究项目，重点建设以北 京、上海为中心的网格计算系统，突出网格应用。项目包括五个子课题：战略与 系统综合研究；应用网格；网格软件；面向网格的高性能计算机；网格结点。 1 1 4 网格计算相关组织 1 全球网格论坛 全球网格论坛( g l o b a lg r i df o r u m ，g g f ) 是一个网格技术论坛的国际组织，是 由网格论坛和欧洲网格论坛，以及亚太网格社区合并而成的。通过发表网格指南、 网格标准，网格开源代码等来推动和发展网格技术及其应用。到目前为止，包括 g g f 在内，全世界共有超过4 0 0 个组织从事网格技术方面的研究，其中包括科学 研究机构、大学以及商业组织。 g g f 组织由不同的工作领域所组成，而不同的领域又有不同的领域又有对应 的研究组和工作组，工作组是g g f 的主要活动中心。主要的研究领域有：1 、应 用及环境编程；2 、体系结构；3 、数据；4 、信息系统及运行；5 、对等桌面网格； 6 、调度及资源管理；7 、安全。 2 万维网联盟 万维网联n ( w 3 c ) 是一个国际性组织，通过开发保证互操作性的通用协议推 动万维网的发展。该组织目前有来自世界各地的大约4 5 0 个成员，它对万维网的 成长做出了杰出的贡献，得到了国际社会的广泛认可。网格计算中，关于互操作 的大部分标准和规范，比如x m l 、s o a p 、w s d l 等都是该组织的工作成果。 3 g l o b u s 项目 7 电子科技大学硕士学位论文 g l o b u s 项目是一个多机构的研究工作，它旨在为计算网格创建基本的基础设 施以及高级服务。g l o b u s 现在已经发展成为在不同种类的虚拟组织间进行资源共 享( 硬件、软件以及应用等) 的基础设施。通过尽可能地增加的重要应用的病菌和 峰值计算性能，这些网格在无需考虑资源和用户双方的空间分布的情况下仍体现 欺很高的创造性。 4 c o n d o r 和c o n d o r g 项目 c o n d o r 是一种利用计算作业的空闲工作站的工具。在作业大体上不需要进行 相互通信的情况下，c o n d o r 非常适合于参数研究和大吞吐量的计算。c o n d o r 和 g l o b u s 的集成就形成了c o n d o r - g 系统，使得c o n d o r 用户也可以使用g l o b u s 资 源。 1 2 研究问题简介 1 2 1 网格资源管理系统 网格资源管理系统是网格计算系统的重要组成部分，从为用户提供方便、高 效的服务的角度来看，它与传统的分布式计算环境或集群计算环境下的资源管理 系统类似，应当至少具备三种功能：作业管理、任务调度和资源管理。即用户通 过作业管理功能向网格系统提交作业，为作业指定所需资源，删除作业并监测作 业的运行状态；用户提交的作业由任务调度功能按照作业包含的各个任务的类型、 所需资源、可用资源等情况安排运行日程和策略：资源管理功能确定并监测网格 资源状况，收集作业运行时资源占用情况等信息。然而，由于网格系统的分布性、 异构性和动态性，使得网格资源管理比分布式计算环境或集群计算环境下的资源 管理更加复杂，不仅要支持跨组织或管理域的任务调度，实时监控资源和作业执 行的状态，而且要维护局部的站点自治，提供相应的安全支持。因此需要建立适 应于网格这种复杂环境的特殊的资源管理系统模型，研究其特征及功能，为具体 实现网格资源管理系统提供必要的指导，从而满足网格系统的用户服务需求和为 网格系统其它服务组件提供支持。 网格的关键组件有安全服务、数据管理、资源管理、信息服务，其中“资源 管理”是指控制网格资源和服务怎样向包括用户、应用或服务在内的其他网格实 体提供可用能力的一组操作。传统意义上的“资源”表示的是某种物理实体，例 第一章引言 如计算机、网络或者存储资源等，而“网格资源”代表的是在网络环境下的可以 被共享和利用的任何能力，网格资源管理的一个重要方面就是对这些资源进行抽 象，把资源的具体细节对网格访问者隐藏起来，提供一个抽象的统一对象。网格 的核心优势在于能发现、分配并协商使用网络可以到达的范围内的各种能力 包括计算机提供的计算服务、软件提供的应用服务、网络提供的带宽或者存储系 统提供的存储空间等，资源管理就是要对这些处理过程进行管理：定位网格资源、 协调对资源的使用、使用资源提供的服务并监控其状态。网格资源管理的目的就 是要在网格资源提供者和资源消费者之间建立一种共同的协议，通过该协议资源 提供者同意提供用于代表资源消费者执行的某项任务的能力。因此，网格资源管 理是整个网格体系结构的核心部分，f o s t e r 等提出的五层沙漏结构中也是把资源 层f r e s o b r c e ) 和连接层( c o n n e c t i v i t y ) 定位在模型的瓶颈部分。 1 2 2g r a m 与c o n d o r g g l o b u st o o l k i t 是g l b o u sv r o j e c t 开发的网格工具包，由于其被大量使用和研 究，已经成为事实上的网格标准。g t 3 0 是o o s i ( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ) 标准的主要参考实现，于2 0 0 5 年4 月末推出的g t 4 是w s r f ( w e b s e r v i c e r e s o u r c e f r a m e w o r k ) 的实现。按g l o b u s 的定义，所有用于共享的实体都是资源，计算机、 存储器、数据、软件等是资源，分布式文件系统、缓冲池等也是资源。对于共享 丽言，有价值的不是设备本身丽是实体的接口或界面。在g 1 0 b u s 看来，现有的共 享方案，比如互联网、b 2 b 、a s p 、s s p 、j a v a 、c o r b a 、d c e 等，要么在共享 配置的灵活性上、要么在共享资源种类上不能完全满足虚拟组织的需要。同时， g l o b u s 并不试图取代现有技术，而是希望在现有技术之上建立更高层次的共享。 这两个版本的g l o b u st o o l k i t 都提供了网格资源分配管理器g r a m ( g r i dr e s o u r c e a l l o c a t i o nm a n a g e r ) ，是网格资源管理系统的代表，定义了一种资源管理层次化体 系结构，在其核心层中g r a m 定义了资源层协议和a p i 以便客户能安全地实例 化计算任务。g r a m 协议可分层映射进任何资源管理系统从而抽象了作业提交过 程，它最常用的功能就是作业提交和作业控制，并使用g s i ( n 格安全基础设施) 提供用户和资源之间的相互认证。 c o n d o r 是由美国威斯康辛大学研究开发的一个全新的计算密集型作业的资 源管理系统。该系统由作业管理和资源管理两部分组成。作业管理部分负责管理 用户作业。用户可以通过它了解作业队列，提交新的作业，或者查询作业完成的 9 电子科技大学硕士学位论文 情况等。资源管理部分监视资源的可用情况，进行资源的分配与调度等。在资源 管理部分中，c o n d o r 系统不同于以往分布式计算系统的集中控制模型。系统中资 源所有者拥有对该资源使用的最高优先权，他可以根据自己的实际情况，制定资 源使用策略，其他用户提交给系统执行的作业不会妨碍资源所有者对其资源的使 用。此外，c o n d o r 还具备其它一些优点，如支持多种平台、支持检查点和进程迁 移、支持远程系统调用、c o n d o r 池之间可以互连、c o n d o r 池可以动态扩充等。由 于g l o b u s 项目是目前国际上最有影响的与网格计算相关的项目之一，c o n d o r 把 自身出色的作业管理功能和g 1 0 b u s 的域间安全通信协议及远程批处理系统的标 准化访