（计算机系统结构专业论文）基于计算经济的网格资源管理研究.pdf

重庆大学硕士学位论文 中文摘要 摘要 随着计算机性能的不断提高和网络通讯技术的迅猛发展，应用需求日益朝着 高性能、大规模、多样性、多功能的方向发展，要求将地理上分布的、异构的各 种高性能计算资源、存贮资源、数据资源和其他特殊资源通过高速网络连接起来， 实现高性能联合计算，共同解决重大应用问题，称为网格计算技术。 资源管理是网格系统的核心内容。它包括资源的组织、定位、发现、调度、 分配、确认等活动。资源管理提供了管理的功能和概念，根据预先定义好的标准 通过资源管理软件来确保资源的合理分配和使用，以最终达到资源共享的目的。 由于网格系统在逻辑上连接了属于不同所有者和组织的多重资源，因而资源管理 的好环直接影响网格系统的成败。开展网格资源管理关键技术的研究具有非常重 要的现实意义。 本文主要研究基于计算经济的网格资源管理模型。在市场经济环境中，资源消 费者希望最小化费用，而资源提供者希望最大化投资回报。这就需要网格系统提 供合适的工具和服务来使资源交易双方表达它们的需求。在通用网格系统中，资 源提供者和消费者之间的关系不同于专用网格中通常固定的情况，它是动态变化 的。即资源提供者和资源消费者在网格系统中的角色是根据实时需要不断变化的， 包括资源提供者和消费者动态的加入和退出。由此，实行以商业为媒介的资源交 换是解决网格资源动态管理问题的一个突破方向。基于计算经济的网格资源管理 利用供求原则来对资源的提供者和消费者进行协调以保证双方均获得最大收益。 首先讨论了网格技术的概念、发展阶段和国内外研究现状，详细阐述了网格资 源管理的相关知识、技术特点；探讨了网格资源管理模型的设计思想、功能需求 及其发展概况。在此基础上，提出基于计算经济的网格资源管理模型和基于经济 学效用函数的资源调度策略，详细阐述了此模型各模块的功能、设计过程和工作 流程。在g r i d s i m 的基础上设计了资源管理模拟器e g r i d s i m 。在j 2 s d k1 5 0s e 版本下编码实现e g r i d s i m 的基本功能，并在w i n d o w s 平台上做模拟对比实验。 实验结果表明，e o r i d s i m 资源管理模型在资源利用率、机器负载均衡、满足用户 q o s 需求，费用预算等方面都优于传统的g r a c e 模型。 关键宇：网格，计算经济，资源管理，g r i d s i m ，g r a c e ，效用 重庆大学硕士学位论文英文摘要 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fc o m p u t e rs c i e n c ea n dn e t w o r kt e c h n o l o g y , t h e d e m a n d sf o rh i g hp e r f o r m a n c e , l a r g e - s c a l e ，d i v e r s i t ya n dm u l t i f u n c t i o n a l i t yo f a p p l i c a t i o n sb e c o m em o r ea n dm o l - eu r g e n t l y i no r d e rt og e th i 曲c o m p u t i n g p e r f o r m a n c ea n ds o l v ec o m p l i c a t e dp r o b l e m s ，as p e c i f i ct e c h n o l o g yi n t e n d st oc o n n e c t t h eh i g h - p e r f o r m a n c ec o m p u t i n gr e s o l t u * g e s ，s t o r a g er e s o u r c e s ，d a t a “舯r 嘟a n do t h e r i c s o u r c e s ，w h i c ha f cg e o g r a p h i c a ld i s t r i b u t e da n dh e t e r o g e n e o u s ，t h r o u g hh i g h s p e e d n e t w o r k t h i st e c h n o l o g yi sc a l l e d 鲥dc o m p u t i n g r e s o u r c em a n a g e m e n ts t a n d si nt h ec o l eo f g r i ds y s t e m i ti n c l u d e st h ea c t i v i t i e so f o r g a n i z i n g , l o c a t i n g , d e t e c t i n g , s c h e d u l i n g , d i s t r i b u t i n g , c o n f i r m i n gl e s o l l r c 髂，p r e p a r i n g a n dc r e a t i n gp r o c e s s e sf o rt h ec e s o u i c e s r e s o u r c em a n a g e m e n tm o d e lo f f e r st h e f u n c t i o n sa n dc o n c e p t so f m a n a g e m e n t i no r d e rt or e a c ht h eg o a lo f r e s o u r c e ss h a r i n g , a d m i n i s t a a t o r sn e e dt oe n s u r et h er a t i o n a la u o e a t i n ga n da c c u r a t eu s i n gr e s o u r c e sb y t a k i n ga d v a n t a g eo f t h em a n a g e m e n ts o f t w a r ew h i c hb a s e do np r e - d e f i n e ds t a n d a r d st o m a n a g et h o s el - 1 目3 0 u r c e s b e c a u s eg r i dl o g i e a l l yc o n n e c t sm u l t i p l ek i n d so fr e s 0 1 1 r e , e s w h i c hb e l o n gt od i f f e r e n to r g a n i z a t i o n sa n do w n e r s ，l e s o l l r l t em a n a g e m e n tm o d e l d e t e r m i n e st h es u c c e s so fg r i ds y s t e md i r e c t l y r e s e a r c h i n g0 1 1t h ek e yt e e h n o l o g i e so f 鲥d i e s o u i c em a n a g e m e n th a sp r a c t i c a lm e a n i n g s 诵t l lg r e a ti m p o r t a n c ea n du r g e n c y t h i sd i s s e r t a t i o nm a i n l ys t u d i e st h eg r i dr e s o u l l m a n a g e m e n tm o d e lw h i c hb a s e d 0 1 1c o m p u t a t i o n a le c o n o m y i ng e n e r a lg r i ds y s t e m t h er e l a t i o n s h i pb e t w e e nn ；s o u r i 溢 p r o v i d e r sa n dc o n s u m e r si sd i f f e r e n tf r o mi ti ns p e c i f i c 鲥ds y s t e mw h o s er e l a t i o n s h i p g e n e r a l l ys t a y ss t a b l e ，i tc h a n g e sd y n a m i c a l l y a c c o r d i n gt or e a l t i m er e q u i r e m e n t s ，t h e r o l e so f r e s o u r c e sp r o v i d e r sa n dc o n s u m e r f lc h a n g ec o n s t a n t l y , a n dt h e yc a n j o i n0 1 q u i t t h eg r i ds y s t e md y n a m i c a l l y i no r d e rt ou t i m a t e l yp r o f i tb o t hs i d e so fr e s o u r i 瑚 p r o v i d e r sa n dc o n s u m e l s ，t h i sm o d e la s s o r t sw i t ht h er e l a t i o n s h i pb e t w e e np r o v i d e r s a n dc o n s u m e r sb a s e do nt h ee c o n o m i cp r i e i p l e so fs u p p l i e sa n dd e m a n d s i nt h e e n v i r o n m e n to fm a r k e te c o n o l n y , c o n s u m e r sw a n tm i n i l n u n lc o s t sa n dp r o v i d e r sw a n t m a x i n l k l n lg a i n s0 1 1i n v e s t m e n t s s oi tr e q u i r e sg r i ds y s t e mt op r o v i d ea p p r o p r i a t et o o l s a n ds e r v i c e sf o rr e s o u r c e sp r o v i d e r sa n dc o m s l l m e l st oe x p r e s st h e i rr e q u i r e m e n t s t h e r e f o r e , l e s o i l r c l 器e x c h a n g ew h i c hb a s e do ne c o n o m i c a li n t e r m e d i u mi saw a yt o r e s o l v et h ep r o b l e mo f d y n a m i cl e s 0 1 1 r c e sm a n a g e m e n t 重庆大学硕士学位论文 英文摘要 1 1 1 i sp a p e rd i s c u s s e st h ec o n c e p to f 班d ，i t sd e v e l o p m e n ts t a g e , d o m e s t i ca n d g l o b a lr e s e a r c hs t a t u sa tt h eb e g i n n i n g i te l a b o r a t e st h er e l a t e dk n o w l e d g ea n dt e c h n i c a l c h a r a c t e r i s t i c so fr e s o u r c a 。m a n a g e m e n t , d i s c u s s e st h ei d e ao fd e s i g n i n gg n dr e s o u r c e m a n a g e m e n tm o d e l ，a n de x p l a i n st h ef i m c t i o nr e q u i r e m e n t sa n dd e v e l o p m e n ts t a t u so f g r i dr e s o u r c em a n a g e m e n tm o d e l o nt h eb a s i so fa b o v et h e o r i e s ，t h eg n dr e s o u r c e m a n a g e m e n tm o d e lb a s e do nc o m p u t a t i o n a le c o n o m ya n dt h er e s o u r c e ss c h e d u l i n g p o l i c yb a s e do ne c o n o m i cu t i l i t yf u n c t i o na r ep u tf o r w a r d 1 1 1 ef u n c t i o n a l i t y , d e s i g n i n g p r o c e s sa n dw o r kf l o wo fe v e r ym o d u l ei nt h em o d e la r ee x p o u n d e di nd e t a i l a u r c em a n a g e m e n ts i m u l a t o r e g r i d s i m w h i c hb a s e do ng r i d s i ms y s t e mi sa l s o p u tf o r w a r d w ei m p l e m e n t e dt h eb a s i cf u n c t i o n so f e g r i d s i mb yj 2 s d k1 5 0s ea n d t e s t e di ti nw i n d o w sp l a t f o r m n 嵋r e s u l t so ft h es i m u l a t o rs h o wt h a tt h em o d e lo f e - g r i d s i mb e h a v e sb e t t e rt h a nt h et r a d i t i o n a lg r a c em o d e li nl e s o u r c ee f f i c i e n c y , t a s kp r o p o r t i o n , u s e rq o sn e e d sa n df i n a n c i a lb u d g e t s k e y w o r d s ：g r i d ，c o m p u t a t i o n a le c o n o m y , r e s o u r c em a n a g e m e n t , c , n d s h n , g r a c e ， u t i l i t y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重庞太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 发；， 签字日期： 学位论文版权使用授权书 年b , 92 日 本学位论文作者完全了解重废太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庞太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名：关f 1导师签名： 签字日期：1 年6 月2 日 害唾吗 签字日期：如。7 年月1 日 重庆大学硕士学位论文 1 绪论 1 绪论 1 1 课题背景 随着计算机性能的不断提高和网络通讯技术的迅猛发展，应用需求日益朝着 高性能、大规模、多样性、多功能的方向发展，要求将地理上分布的、异构的各 种高性能计算资源、存贮资源、数据资源和其他特殊资源通过高速网络连接起来， 实现高性能联合计算，共同解决重大应用问题，即广域高性能的元计算技术【1 1 ，也 称为网格计算技术伫3 1 【4 】。不同于传统的分布式计算，网格计算着重于大规模的资 源共享、创新应用，并在一定情况下定位于高性能计算。 网格是构筑在i n t e r n e t 上的一组新兴技术，它将高速互联网、计算机、大型数 据库、远程设备等融为一体，为科技人员和普通用户提供更多的资源、功能和服 务。网格技术把用通信手段连接起来的资源无缝集成为一个有机整体。它给用户 提供一种基于i n t e m o t 的新型计算平台，在这个平台上为用户的请求选择合适的服 务资源，可实现广域范围的资源共享，提供计算资源、存储资源、数据资源、信 息资源、知识资源、专家资源、设备资源的全面共享。资源共享是网格的根本特 征。 虽然网格经历了十多年的发展，出现了一些比较成功的研究成果，但还有很 多重要问题没能解决。资源管理中的调度问题就是其中之一。网格环境下的资源 广域分布、异构、动态、有多个管理域，存在不同的存取模式，所以资源的管理 和调度十分复杂，目前还没有一种通用的管理模式能够处理网格的所有应用需求。 1 2 网格概述 1 2 1 网格的概念 网格( g r i d ) 一词来自于电力网( e l c ：c q r i cp o w e rg r i d ) ，网格的最终目的是希 望用户在使用网格服务时，就如同使用电力一样方便。网格希望把整个互联网虚 拟为一台超级计算机，给使用者提供一种与地理位置无关，与具体的计算设施无 关的通用计算能力。 网格计算( g r i dc o m p u t i n g ) 的概念最初是i - w a y 项目于1 9 9 5 年提出的【5 】，其 前身是元计算( m e t a c o m p u t i n g ) 【6 】。早期的元计算被定义为在一个网络环境下用 户能够透明地获得强大的计算资源。过去对元计算的研究可以认为是网格计算的 初级阶段。还有一些与网格计算相关的概念是分布式计算( d i s t r i b u t e dc o m p u t i n g ) ， 对等计算( p e e r - t o p e e rc o m p u t i n g ) ，英特网计算( i n t e r n e tc o m p u t i n g ) ，全球计算 重庆大学硕士学位论文1 绪论 ( g l o b a lc o m p u t i n g ) ，基于w e b 的并行计算( w e b - b a s e dp a r a l l e lc o m p u t i n g ) 等。 网格以及网格计算本身还没有一个公认的定义。根据i a nf o s t e r 博士早期的定 义【2 1 ，网格是一个集成的计算和资源环境，或者说是一个计算资源池。网格能够充 分吸纳各种资源，并将它们转化为一种随处可锝的、可靠的、标准的同时还是经 济的计算能力，除了各种类型的计算机，这里的资源还包括网络通信能力、数据 资源、仪器设备等。随后，i a nf o s t e r 博士进一步指 4 1 ，网格计算关心的是：在 动态的、多机构的虚拟组织中协调资源共享和协同解决问题。 针对网格概念模糊的现象，i a nf o s t e r 提出了判断网格的三条标准 7 1 ：非集中式 协同控制资源；使用标准、开放、通用的协议和接口；提供非平凡的服务质量。 1 2 2 网格的发展阶段 网格计算的发展经历了三个阶段【8 】： 第一阶段是网格的萌芽期，开始于2 0 世纪9 0 年代早期，研究内容是关于千兆 网实验床以及一些元计算方面的工作。 第二阶段是一些早期的实验，时间大概是2 0 世纪9 0 年代中期到晚期，出现了 一些比较重要的开创性和奠基性研究项目，比如i - w a y ，( 3 1 0 b 矗9 】【埘，l e g i o n t l 2 1 等。 目前是网格计算发展的第三阶段，也是其迅猛发展的阶段。关于网格的研究、 开发和应用项目大量涌现，出现了影响很大的全球网格论坛( g g f ) 。同时网格计 算也不再局限于科学研究，工业界和学术界正致力于使网格计算在更广泛的领域 得到推广和应用。 以技术作为划分标准，d a v i d 等人把网格划分成三代： 第一代网格大致是1 9 9 5 年以前，典型代表是f a f n e r 和i - w a y 这两个项目。 这个时期的网格都是把超级计算机节点连接起来，为高性能应用提供计算资源。 元计算的概念就是这个时期提出来的。主要解决的问题是通信、资源管理和远程 数据管理。f a f n e r 发展之后出现了s e t l h o m e 和d i s t r i b u t e d n e t 的项目，i - w a y 发展之后出现了o l o b u s 和l e g i o n 等项目。 第二代网格的大致时间是从1 9 9 5 年到2 0 0 0 年。典型代表是g l o b u s 和l e g i o n 项目。尤其是g l o b u s 工具集的开发和推广，对网格的研究和发展起了显著的推动 作用。这个时期的网格要解决的问题涉及网格的异构性、可扩展性、适应性等， 网格安全问题也是研究者们关注的重点。这个时期主要工作是支持大规模数据管 理和计算任务的中间件开发，建立了面向协议和模块的网格体系结构。 第三代网格的典型代表是w e b 服务( w e bs e r v i c e ) 和开放网格服务体系结构 ( o p f i l l g r i d s e r v i c e a r c h i t e c t u r e ，o g s a ) 。w e b 服务是面向商业领域的计算框架， 其中的基本技术包括简单对象访问协议( s i m p l eo b j e c t a c c a 路sp r o t o c a l ，s o a p ) 、 2 重庆大学硕士学位论文1 绪论 w e b 服务描述语言( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ，w s d l ) 和统一描述、发 现与集成( u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r ya n di n t e g r a t i o n ) 。这个阶段网格主要特 点是面向服务的网格结构。2 0 0 2 年2 月发布的开放网格服务体系结构( o g s a ) 把w e b 服务和网格计算结合起来，建立了以服务为核心的网格体系结构。 1 3 国内外研究现状 1 3 1 国外研究现状 网格计算掀起了全球范围的研发热潮，具有代表性的研究项目和成果主要有 g l o b u s 9 , 1 0 , 1 1 、l e g i o n t l 2 1 、n i m r o d c 1 3 1 、b o n d 【1 4 1 、a p p l e s 和c o n d o d l 5 1 等。 目前，网格研究已经从美国和欧洲推广到了世界各地，各个国家和地区都投入 了大量的人力和物力进行网格技术研究和网格基础设施建设。英国政府已投资l 亿多英镑，建设英国国家网格；美国政府用于网格技术基础研究的经费已经超过5 亿美元：欧盟也投入巨资建设欧洲数据网格和欧洲网格；亚洲的中国、日本、泰 国、韩国和马来西亚等国也开始了网格研发和建设工作。美国军方目前正在实施 “全球信息网格”计划，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军陆 战部队已经启动了一个耗资1 6 0 亿美元，历时8 年的项目，包括网格系统的研制、 基础设施的建设、维护和升级等多方面的工作。 网格研究始于美国。美国的网格研究最初是从科研机构开始的，美国的多家研 究机构开展了与网格相关的研究工作，研发了c o n d o r ，l e # o n ，g l o b u s 等有重大 影响的网格软件和工具。 g l o b u s 网格中间件已经在世界范围内得到了一定程度的使用。他对全球的网格 研究开发工作起到了巨大的推动作用。该项目开发的是一个面向科学计算的网格 软件基础设施，利用该网格中间件把地理位置上分布的资源集成起来。该项目研 究网格计算的关键理论，开发支持网格计算的工具软件和网格应用程序，帮助规 划和组建大型的网格实验平台。g t o b u s 研究的关键理论包括资源管理、网格安全、 信息服务、数据管理等。工具软件是g l o b u s 最重要的成果，它的目标是能够在各 种平台上运行。2 0 0 3 年发布了第三版，2 0 0 4 年初发布了3 2 版本，在2 0 0 5 年发布 了4 0 版本。 l e g i o n 是美国弗吉尼亚大学的一个基于对象的元系统软件项目，始于1 9 9 3 年。 它的目标是为用户提供单一、一致的虚拟机模型。l e g i o n 支持透明调度、数据管 理、容错、站点自治和多种安全机制。在l e g i o n 内，所有的实体都是对象，包括 硬件实体和软件实体。每一个对象由它的类对象定义和管理，类对象的作用相当 于管理者，它除了定义实例之外，还制定管理策略。 c o n d o r 是威斯康星麦迪逊大学的研究项目。它是一个专用的计算密集型负载 3 重庆大学硕士学位论文 1 绪论 管理系统，提供队列机制、调度策略、优先级方案、资源监控、资源管理等功能、 用户向c o n d o r 提交自己的作业后，c o n d o r 把作业放在队列中，并根据一定的策略， 选择合适的时间在合适的节点上运行用户提交的作业。作业运行过程中，它监控 作业的运行过程；作业运行结束时，通知提交作业的用户。用户提交的作业可以 是串行作业，也可以是并行作业。 此外，比较著名的网格项目还有应用层调度( a p p l e s ) 、d o c t 、p u n c h 、 e n t r o p i ap c 等。 美国已经有不少的商业公司加入到网格研究的行列，多家大公司都纷纷宣布各 自的网格战略计划。毋m 和g l o b u s 提出的开发网格服务体系结构正在赢得大家的 认可，对未来网格研究将产生重大影响。微软目前正在研发一个名为 b i g t o p 的网 格计划【1 2 】，以使开发人员能够相对快捷的创造一套松耦合分布式操作系统组件。 微软在这个项目中没有把少数几台高性能系统紧密连接在一起，而是通过松散连 接大量性能适中的计算机系统来达到同样的效果。o r a c l e 将网格技术融入到其最新 版本的数据库中，并将其数据库命名为o r a c l e1 0 g ，其中的g 就是代表支持网格 的意思。 欧洲也是网格研究和建设非常活跃的地区，已经启动了多个网格研究项目，其 中的欧洲网格和数据网格是由多个国家参与的研究项目。 欧洲网格的基本目标是建立一个给用户提供安全、简单、透明访问欧洲范围内 信息资源的平台，为欧洲的科学研究服务。欧洲数据网格( e u r o p e a nd a t ag r i d ) 是欧盟支持的一个项目。其目标是建设提供计算强度大、共享超过1 0 1 4 b 数据的大 规模分布式数据库的下一代计算基础设施。u n i c o r e 是德国联邦教育和研究部资 助的一个项目，它的目的是提供一套软件，允许用户向远程高性能计算机提交自 己的作业，而不需要知道远程机器的操作系统、数据存储格式、管理策略和过程。 除此之外，欧洲比较有名的网格项目还有荷兰网格、爱尔兰网格、欧洲网格计 算数据库、饿罗斯科学两格、n o r d u 网格等。 在亚洲，网格的研究和应用也在很多国家和地区开展起来。 日本是亚洲开展网格研究比较早的国家之一，已经进行了多个项目的研发。 n i n f 是日本正在实施的全球网格计算基础设施项目。它允许用户访问包括硬件、 软件和数据在内，分布在广域网上的资源。b r i c h s 是日本的另一个研究项目，它是 一个性能评价系统，允许在典型的高性能全球计算环境上分析和评价不同调度策 略。它能够模拟全球计算系统的不同行为，尤其是网格的行为和资源调度算法的 行为。 此外，韩国、泰国、印度等国家也积极开展了多项网格研究工作。 4 重庆大学硕士学位论文1 绪论 1 3 2 国内研究现状 近年来，网格研究在我国得到了迅速发展，在网格研究上的投入也连年增长。 国家在九五期间就资助了 8 6 3 重点项目“国家高性能计算环境”【l6 1 。该项目由中科 院计算所联合了十几家科研单位共同参与，其目标是建立一个分布式环境下支持 异构平台的计算网格示范系统。它把我国的8 个高性能计算中心通过i n t e r n e t 连接 起来，进行统一的资源管理、信息管理和用户管理，并在此基础上开发了多个计 算型的网格应用系统，取得了一系列研究成果。十五期间，国家设立了“8 6 3 ”重大 专项“高性能计算及其核心软件”，计划在2 0 0 2 年到2 0 0 5 年期间投资“8 6 3 ”计划经 费1 亿元，并吸引地方政府、应用部门和产业界2 3 倍的配套资金。目前，正在进 行的较大的网格项目有5 个i l ”。 中国国家网格【l s 】由国家8 6 3 高技术研究发展计划资助，旨在建立面向企业、高 等院校、科研机构、政府部门的国家高性能计算环境。主节点采用自行研制的、 面向网格的高性能计算机。若干工业、服务业、科学研究以及资源环境领域的网 格应用投入运行，实现资源共享、协同工作。专项的主要任务包括：建设中国国 家网格实验床( c n g r i d ) ；建立具有4 万亿次以上计算能力的网格主节点；支持网 格应用以及维护网格系统运行的网格软件；开发具有代表性的网格生产性应用。 中国教育科研网格c h i n a g r i d t l 9 】计划是教育部“十五”2 1 1 工程公共服务体系建 设的重大专项，受国家高技术研究发展计划( 8 6 3 计划) 项目支持。该项目由1 2 所大学联合推出，到网格建成时，它将在教育科研网上把全国1 0 0 所2 1 1 建设重 点大学的资源广泛共享。中国教育科研网格的目标是将广泛分布在中国教育科研 网c e r n e t 和高校中的异构海量数据集成起来，实现c e r n e t 环境下资源的有效 共享，消除资源孤岛，提供高校的网格服务，成为国家科研教学的大平台。 e s c i e n c e 网格研究计划是国家基金委员会投资1 5 0 0 万的大型网格项目。该项 目建设以网络为基础的科学活动环境，目标是利用网格技术将地理上分布的计算 设施、存储设备、仪器仪表等资源集成在一起，建立面向网络服务的通用基础支 撑平台，实现i n t e r n e t 上计算资源、数据资源和服务资源的有效聚合和广泛共享， 从而建立一个能够实现区域或全球协作的虚拟科研和实验环境，支持以大规模计 算和数据处理为特征的科学活动。 中国空间信息网格是国家投资2 0 0 0 万建立的又一大型网格项目。空间信息网 格( s p a t i a li n f o r m a t i o ng r i d ，s i g ) 是一种汇集和共享地理上分布的海量空间信息 资源，对其进行一体化组织和处理，从而具有按需服务能力的、强大的空间数据 管理和信息处理能力的空间信息基础设施。空间信息网格有一个创新性的体系框 架，它为空间信息用户对空间数据进行信息获取、共享、访问、分析和处理等各 种需求提供了实用可行的解决思路和实施方案。空间信息网格是一个分布的网络 5 重庆大学硕士学位论文i 绪论 化环境，连接空间数据资源、计算资源、存储资源、处理工具和软件以及用户， 能够协同各种空间信息资源，完成空间信息的应用与服务。在这个环境中，用户 可以提出多种数据处理的请求，系统能够联合地理上分布的数据资源、计算资源 和处理软件等，协同完成多个用户的请求，确保来自任何空间信息源的空间信息 经过处理能在任何时候发送并服务于在任何地点、任何有需求而且有相应权限的 最终用户。 上海信息网格( s h a n g h a ig r i d ) 是上海市科委2 0 0 3 年重大科技攻关项目，计 划由上海市科委投入9 0 0 万元，并带动资金5 0 0 0 万元，为期两年。其目标是在两 年内，依托国家8 6 3 计划、国家自然科学基金、国家教育部和地方重大科研攻关 项目的最新研究成果，研究符合国际标准的信息网格体系结构和关键技术。开发 具有自主知识产权和推广价值的信息网格系统软件、应用开发环境和虚拟研究平 台，通过对虚拟组织中的计算、数据、软件等各种信息的共享和协同，建立具有 上海特色的信息网格，并初步实现交通信息网格典型应用。 1 4 主要贡献及章节安排 首先介绍网格资源管理的研究背景和国内外研究现状；其次分析网格中的资源 管理和调度策略问题，并设计了基于计算经济虚拟交易组织的网格资源管理模型； 针对此模型提出了一种基于效用函数的资源调度策略。将资源分配问题描述为一 个优化模型，其目标是在满足网格用户q o s 要求的前提下，最大化系统资源的总 效用。通过每个用户最大化各自的收益，市场达到均衡，这样就降低了计算的复 杂度，优化了网格资源调度性能，提高了资源使用效率。 章节安排如下： 第一章：介绍课题背景、网格概念及其发展和国内外的研究现状： 第二章：阐述网格计算中的资源管理和调度的相关内容； 第三章：分析基于计算经济的网格资源管理模型和调度算法； 第四章：设计基于计算经济的资源管理模型，对模块设计，工作流程做详尽的 描述；设计基于经济学效用函数的网格资源调度策略，对该算法的形式化描述， 数学推理等内容做详细的说明； 第五章：在g r i d s i m 基础上设计基于计算经济的网格资源管理模拟器 e g r i d s i m ，对模拟器的模块构造、资源算法、工作流程做详细讲解； 第六章：在j a v a 2 环境下做模拟实验，把e g r i d s i m 与经典的g r a c e 模型的 实验结果做比较，得出结论。 第七章：结束语。总结论文工作，展望下一步研究内容。 6 重庆大学硕士学位论文 2 网格中的资源管理 2 网格中的资源管理 资源管理是网格计算的核心内容。它包括资源的组织、定位、发现、调度、分 配、确认、进程创建以及准备所需资源的其他活动。资源管理提供了管理的功能 和概念，系统管理员根据预先定义好的标准通过资源管理软件确保资源的合理分 配和使用，以达到资源的有效共享和协同工作。 由于网格在逻辑上连接了属于不同所有者和组织的多重资源，因而资源管理系 统的好环直接影响网格的成败。开展网格资源管理关键技术的研究具有菲常重要 的现实意义。 2 1 网格资源管理概述 在瓷源管理中，面临的挑战有唯一验证、授权、资源访问、资源发现以及资源 调度等。网格中常用的资源包括：处理能力，存储系统、资源目录，分布式文件 系统、分布式计算机池、计算机集群等。 从为用户提供方便、高效的服务角度来看，它与传统的分布式计算或集群计算 环境下的资源管理系统类似，具有以下三种功能 作业管理、任务调度和资源管 理，即用户通过作业管理功能向网格系统提交作业，为作业指定所需资源，并监 测作业的运行情况。用户提交的作业由任务调度模块按照作业包含的各个任务的 类型、所需的资源、可用资源等情况安排运行日程和策略。资源管理功能监测网 络资源状况，收集作业运行时资源占用情况等信息。然而，由于网格系统的分布 性、异构性和动态性，使得网格资源管理比分布式计算环境或集群计算环境下的 资源管理更加复杂。不仅要支持跨组织、管理域的任务调度，实时监控资源和作 业的执行状态，还要维护局部的节点自治，提供相应的q o s 支持。因此需要建立适 应于网格这种复杂环境的特殊资源管理系统模型。研究其特征和功能，为具体实 现网格资源管理系统提供必要的指导。 2 2 网格资源 资源是网格中所有可以被用户请求使用的实体总称。网格中包含了多种形式、 功能各异的资源。资源共享是网格的一个主要特征，资源管理是网格系统的基本 功能模块。 2 2 1 网格资源的定义 网格资源指所有能够通过网络远程使用的实体，包括计算机软件、硬件、设备 7 重庆大学硕士学位论文 2 网格中的资源管理 和仪器等。计算机软件资源包括系统软件、应用程序、数据等；计算机硬件资源 包括处理器、存储器、硬盘以及其他计算机设施：设备和仪器包括通信介质、天 文望远镜、显微镜、传感器等。除了物力资源之外，操作网格设备的工作人员也 是一种重要的资源，即人力资源。 网格意义下的资源共享指能直接访问计算机软件、硬件、数据、设备和仪器等 资源。有效的管理各种类型资源，为合法用户提供简单的共享使用接口是网格资 源管理的中心任务之一。 2 2 2 网格资源的使用 用户面对的网格就是资源、协议、规范的有机集合。其中资源实体是协议、规 范的基础。把网格上的资源和用户请求进行匹配，把适合的可用资源提供给用户 使用是网格资源调度的核心内容。把一个用户或应用程序与其所请求的资源联合 起来需要经过资源注册、资源请求、资源发现、资源分配、资源使用、资源回收 等过程。 网格资源注册是向注册中心登记网格资源存在且可以被他人使用的过程。在此 过程中，需要确定资源的使用接口、描述资源的功能、确定资源共享策略等。资 源请求者要遵循特定的接口规范提出资源请求，否则网格将无法理解请求的是什 么资源。资源的描述要采用统一的描述框架和描述形式，这样才可以实现交互访 问。现在已经有了一些描述某种资源或某一类资源的办法，但其描述功能和使用 范围都非常有限。在统一的描述方法出现之前，不同项目的研究人员或不同资源 的使用者都需要描述自己的资源，造成了多种描述方法的出现。在这种情况下， 只要采用统一的描述方法向注册中心注艇资源，就可以实现在注册中心涉及的资 源范围内的交互。在不同的注册中心之间交换信息时，遵循共同的中间交换格式， 也可以实现两个注册中心之问的交互。 资源的发现是为请求者找到合适的资源的过程。资源的分配则是在资源本身的 共享策略的基础上进行的，资源的共享必须根据特定策略进行。分配给用户的资 源在使用完之后，网格要进行资源回收，以便分配给其他的网格用户使用。 2 2 3 网格资源的特点 在网格中，广义的资源可以是任何能为用户所共享的软件和硬件，比如处理器 周期、打印机和其他设备、网络带宽、数据库等。以往系统中的资源无论是种类 的多样性还是功能的全面性方面都不能和网格系统中的资源相比。网格资源具有 一些以往系统中的资源所不具备的特点： 分布性 网格中的资源在地理上是分布的。在规模最大的全球网格中，资源分布在全世 界。所以网格无法采用集中式资源管理，只能采用完全分布的资源管理方式； 重庆大学硕士学位论文 2 网格中的资源管理 自主性 网格中资源的所有权和管理权是分散的。资源管理必须尊重资源所有者的自主 权。网格资源有自己的本地管理机构或处于本地管理机构管理之下。网格管理系统 必须尊重本地管理者，遵循本地管理策略，不能替换本地管理系统； 异构性 网格中的资源通常是异构的。因为不同所有者很可能使用不同硬件、软件和管 理策略。网格中资源的种类繁多，功能各异，访问接口也不尽相同，本地管理系 统不同，共享规则不同； 动态性 网格资源的状态是不断变化的。资源本身通常不是专用于网格，还可能有非网 格应用，资源所在机器的负载情况难以预测。网格中的资源可以自由地加入或退 出网格系统。网格资源的可获得性和提供给网格用户的使用能力是随时间变化而 动态变化的。 使用的二分性 网格资源的服务最终都是由具体的资源所有者提供的。除了专门提供给网格用 户使用的那部分资源之外，大部分的资源都同时作为网格资源和资源所有者自己 使用的本地资源存在。网格用户远程使用资源不能损害资源所有者和本地用户的 利益。 网格资源的特点决定了网格资源管理机制应该具备的功能和特点。即要隐藏网 格资源的异构性，为用户提供统一的访问接口；要屏蔽网格资源的动态性，保证 提供给网格用户的服务质量；要遵循资源的本地管理机制和策略，使资源更好地 为网格服务；要仔细审查网格用户的请求，确保网格资源的安全和资源所有者的 利益。 从上述特点可知，有效管理大量网格资源是十分困难的任务。 2 3 网格资源管理分析 网格资源管理模块就是要把网格中分散、异构的各种资源有效管理起来，使资 源请求者可以共享使用网格中的资源。一个资源请求者可以根据业务需要同时或 先后使用网格中的多个资源，而不需要资源请求者付出额外的工作。 2 3 1 资源管理的目的 网格资源管理的目的，总结起来有如下几点： 为网格用户提供访问资源的简单接口。 将网格资源的具体细节隐藏起来，网格用户看到的是个经过抽象的资源描 述。资源的物理细节一般都是很复杂的，但是经过抽象处理之后，复杂的技术细 9 重庆大学硕士学位论文 2 网格中的资源管理 节都被隐藏了； 协调网格资源的共享使用。 资源管理系统既要支持多个资源请求者使用同一个资源，也要支持一个资源请 求者使用多个资源。多个资源请求者使用同一个资源一般是采用先来先服务 ( f c f s ) 的排队策略，还可以采用时间片轮换的分时共享策略，或是