（计算机软件与理论专业论文）网格资源管理关键技术研究.pdf

摘要 摘要 网格是利用互联网技术把分散在不同地理位置上的多种资源，包括计算资源、 存储资源、通信资源、软件资源、信息资源、知识资源等全面连通与统一分配、 管理及协调起来，通过逻辑关系组成一台“虚拟超级计算机”。由于网格环境中资源 的分布性、异构性、动态性以及自治性等特性，使得网格资源的有效管理较之传 统的分布式网络更加复杂。因此，网格资源管理成为网格的重要研究方向。 本文在对网格资源管理的现状进行了系统、全面地分析与总结的基础上，深 入细致地研究了网格资源管理的四个关键技术，主要工作分为如下四个方面： ( 1 ) 提出了一种基于移动a g e n t 的网格资源管理模型。针对网格资源存在的 分布性、异构性、动态性以及自治性等特点，充分发挥移动a g e n t 的自治性、智 能性等优势，有机的将两者结合起来，为网格资源管理提供了一种新的管理模型 和一种有效的管理方法。 ( 2 ) 提出了一种基于语义的层次化网格资源组织模型。针对现有网格资源组 织模型存在的扩展性较差、占用带宽多等问题，在基于移动a g e n t 的网格资源管 理模型中，引入语义树的资源组织方式，将网格资源按照资源的语义相关性进行 聚类，再将聚类结果按照树状结构进行组织，这种资源组织模型占用带宽少，提 高了资源搜索效率，为网格资源发现奠定了良好的组织基础，通过仿真实验验证 了本模型的有效性。 ( 3 ) 提出了一种基于本体的网格资源发现策略。针对现有资源发现方法中存 在的可靠性差、效率低下等问题，在基于移动a g e n t 的网格资源管理模型中，提 出基于本体的资源发现策略。该策略摈弃传统网格资源发现机制中的对称的请求 与资源描述方式，采用非对称方式来描述请求和资源，并依据提出的一组规则， 在s e m a n t i c o b j e c t s 平台下生成网格中的资源本体、请求本体以及策略本体。采用 此本体规范参与网格组织的资源与用户请求的描述，从而使得网格资源管理系统 能够从语义上对资源与用户请求进行描述，从而优化资源与用户请求之间的匹配。 该策略有效的解决了资源发现中可靠性差的问题，同时在很大程度上提高了系统 的资源发现效率。 ( 4 ) 提出了一种基于改进的并行遗传算法的网格资源调度策略。针对现有资 源调度存在单点失效、通信开销较大以及调度算法效率相对低下等问题，在基于 摘要 移动a g e n t 的网格资源管理模型中，结合遗传算法的基本理论，充分利用遗传算 法固有的分布式与并行性特征，来解决网格资源调度中具有的很强的分布式特征 以及网格作业分配中的并发特性。并且遗传算法具有较强的健壮性，对初始化条 件要求不高，运行过程中无须干预等特点，使得遗传算法在复杂的网格环境下更 容易控制。因此遗传算法适合于解决网格计算环境下的资源调度问题。进一步地， 使用改进的并行遗传算法来提高资源调度效率。 关键词：网格资源管理、移动a g e n t 、语义、本体、遗传算法 a b s t r a c t a b s t r a c t g r i di st ou s ei n t e r n e tt e c h n o l o g yt oc o n n e c t ，a s s i g n ，m a n a g ea n dc o o r d i n a t et h e d i f f e r e n tr e s o u r c e sw h i c ha r eg e o g r a p h i c a l l yd i s p e r s e di nd i f f e r e n tl o c a t i o n s ，i n c l u d i n g c o m p u t i n gr e s o u r c e ，s t o r a g er e s o u r c e ，c o m m u n i c a t i o nr e s o u r c e ,s o f t w a r er e s o u r c e , i n f o r m a t i o nr e s o u r c ea n dk n o w l e d g er e s o u r c ee t c a n da l lt h er e s o u r c e sc o m p o s ea v i r t u a ls u p e r c o m p u t e rv i at h el o g i cr e l a t i o n s i tm a k e st h ee f f e c t i v em a n a g e m e n ta n d s c h e d u l i n go fg r i dr e s o u r c em o r ec o m p l e xt h a nt r a d i t i o n a ld i s t r i b u t e dn e t w o r kd u et o t h ed i s t r i b u t i o n ，h e t e r o g e n e i t y , d y n a m i c ，a u t o n o m ya n do t h e rc h a r a c t e r i s t i c so fg r i d r e s o u r c e c o n s e q u e n t l yt h eg r i dr e s o u r c em a n a g e m e n tb e c o m e sa ni m p o r t a n tr e s e a r c h d o m a i ni ng r i dr e s e a r c h b a s e do nas y s t e m a t i c a ls u m m a r yo f r e l e v a n tw o r k so ng r i dr e s o u r c em a n a g e m e n t ， t h i sd i s s e r t a t i o nf o c u s e s0 nf o u rk e yt e c h n o l o g i e si ng r i dr e s o u r c em a n a g e m e n t n l e m a j o rc o n t r i b u t i o n so ft h i sd i s s e r t a t i o na lea sf o l l o w s ： ( 1 ) sd i s s e r t a t i o np r o p o s e sag r i dr e s o u r c em a n a g e m e n tm o d e lb a s e do nm o b i l e a g e n t i tu t i l i z e s t h e a u t o n o m ya n di n t e l l i g e n c eo fm o b i l ea g e n tt om a n a g et h e d i s t r i b u t e d ，h e t e r o g e n e o u s ，a u t o n o m o u sa n dd y n a m i cg r i dr e s o u r c e i ti san e w m a n a g e m e n tm o d e la n daf e a s i b l em a n a g e m e n tm e t h o d ( 2 ) t h i sd i s s e r t a t i o np r e s e n t sah i e r a r c h yg r i dr e s o u r c eo r g a n i z a t i o nm o d e lb a s e d o ns e m a n t i c s t h e r ee x i s t sp o o re x p a n s i b i l i t y , o v e r l o a db a n d w i d t he t c i nc u r r e n tg r i d r e s o u r c eo r g a n i z a t i o nm o d e l t os o l v et h e s ep r o b l e m s ，t h i sd i s s e r t a t i o ni n d u c t st h e s e m a n t i ct r e eo r g a n i z a t i o nm a r l r l e rt oo r g a n i z et h eg r i dr e s o u r c eb a s e do nt h eg r i d r e s u r c ec l u s t e r i n gr e s u l ti nt h em o b i l ea g e n t - b a s e dg r i dr e s o u r c em a n a g e m e n tm o d e l t h em o d e lp r o v i d e sag o o do r g a n i z a t i o ni n f r a s t r u c t u r et ot h eg r i dr e s o u r c es e a r c h 1 1 1 e d i s s e r t a t i o nv a l i d a t e st h ev a l i d i t yo ft h em o d e lv i ae x p e r i m e n t ( 3 ) t l l i sd i s s e r t a t i o np r o p o s e sag r i dr e s o u r c es e a r c hs t r a t e g yb a s e do no n t o l o g y t h e r ee x i s t sp o o rr e l i a b i l i t ya n dl o we f f i c i e n c yi nc u r r e n tg r i dr e s o u r c es e a r c hm e t h o d s 乃es t r a t e g yi n d u c t so n t o l o g yt o c o m p l e t et h eg r i dr e s o u r c es e a r c hi n t h em o b i l e a g e n t - b a s e dg r i dr e s o u r c em a n a g e m e n tm o d e lt os o l v e t h e s ep r o b l e m s a n di td i s c a r d s t h et r a d i t i o n a ls y m m e t r i c a lr e q u e s t r e s o u r c ed e s c r i p t i o ni ng r i dr e s o u r c es e a r c ha n d i i i a b s t r a c t 一 u t i l i z e sm ea s y l l l m e t r i c a lr e q u e s t - r e s o u r c ed e s c r i p t i o nm a m l e r i t c a l lc o n s 仉l c tt h e r e s o u r c e so n t o l o 戥唧e s to n t o l o g ya n ds t r a t e g yo n t o l o g yb a s e d o nas e to tp r o p o s e d n 1 1 e si nm es e r n 枷c o b j e c t sp l a t f o r m t h er e s o u l c ea n d i i s c r si nt h eg r i dc 锄p r e s 咖 t h e i ri n f 0 册a t i o na c c o r d i n g t ot h eo b t a i n e do n t o l o g yt oo p t i m i z et h em a t c h b e 似c e nt h e 脚u r c e sa 1 1 d 唧e s t t h es t r a t e g yc a n r e s o l v et h ee x i s t i n gp r o b l e m si nc u h e n tg r i d r e s o 、】r c es e a r c hm e t h o d sw e l l ( 4 ) t h i sd i s s e r t a t i o np r e s e n t s ag r i dr e s o u r c 冷s c h e d u l es t r a t e g y b a s e do na n i m 口r o v e dc o a r s eg r a i ng e n e t i ca l g o r i t h m i nt h em o b i l ea g e n t - b a s e d 嘶d r e s o u r c e m a n a g e m e n tm o d e l t h e r ee x i s t ss i n g l ep o i n to f f a i l u r e ，h i g hc o s to fc 0 删m l n l c a 乜o n a n dl o we f f i c i e n c yo fs c h e d u l ea l g o r i t h mi nc u r r e n tg r i dr e s o u r c es c h e d u l e t o s o l v e t 1 1 e s ep r o b l e m s ，t h es t r a t e g yi n d u c t st h e b a s i ct h e o r yo fg e n e t i ca 1 9 0 d m m 甜l du t l l l z e s1 t s d i s t r i b u t e da i l dp a r a l l e lc h a r a c t e r st os o l v et h es t r o n g d i s t r i b u t i o na n dp a r a l l e l i n 啪d r e s o _ i l r c es c h e d u l i n 昏d u et 0t h es t r o n gr o b u s t ，l o wr e q u i r e m e n tf o r t h ei n i t i a lc o n d i n o n 锄dn o 咖e n emn l l m i n gp r o c e s so ft h eg e n e t i ca l g o r i t h m ，i t c a nc 0 饷 o l 也e 啪d r e s o u r c esc _ h e d u l i n gw e l l f a r t h e rt h es t r a t e g yu t i l i z e st h ei m p r o v e dc o a r s e 莎a l n 毋啪e t l c a l g o r i t h m t oe n h a n c et h es c h e d u l i n ge f f i c i e n c y k e y w 。r d s ：矾dr e s o u i c em a n a g e m e n t , s e m a n t i c ，m o b i l e a g e n t , 。n t o l 。g y , g e n e t i c a l g o r i t h m i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：堕堡日期：2 _ 0 0 8 i ie j je l 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 日期：础年f 月i fe l 第一章绪论 1 1 课题背景及意义 第一章绪论 i n t e r n e t 的产生与发展，对人们的思维方式、工作模式以及生活理念都产生了 巨大的影响与冲击。i n t e m e t 发展已经历了三代：第一代i n t e m e t 是把世界各地的 计算机用t c p i p 协议连接在一起，以e m a i l 为主要应用；第二代i n t e m e t 是通过 w e b 信息浏览以及电子政务应用等信息服务，实现了全球网页的连接；正在经历 的第三代i n t e r n e t 试图实现互联网上所有资源的全面连通，包括计算资源、存储资 源、通信资源、软件资源、信息资源以及知识资源等，这就是网格应用【l 捌。不同 于传统的分布式计算，网格着重于大规模的资源共享、创新应用，并在定情况 下定位于高性能计算。近年来，随着网格产业化进程的加速，网格在商业界的巨 大反响更是加速了网格的发展。因此，对网格的研究具有重要的理论研究意义和 实际应用价值。 目前，网格系统解决的主要问题包捌4 5 】：资源管理、数据管理、信息管理、 公共管理、通信与安全管理以及界面管理等，系统功能划分如图1 1 所示。 图1 - 1 网格系统功能划分 其中，数据管理主要管理数据的存储、表示以及副本等；信息管理则是为网 格中的活动提供相应依据；公共管理包括用户的管理、网格的监控以及记账等； 通信与安全管理则是保证网格上的各项活动是合法的；界面管理负责用户和网格 电子科技大学博士学位论文 之间信息的转换与表现；资源管理是网格系统的核心功能，它包括资源管理模型 的建立、资源的组织、发现、定位和调度等涉及网格资源的管理。其中，资源管 理模型的建立、资源的组织、发现与调度又构成资源管理中的关键技术。这也是 本文重点研究的四个关键技术，如图1 1 中阴影部分所示的四个模块。 对网格中的资源的有效管理是实现高性能联合计算，共同完成重大应用的关 键。在网格环境中，由于网格系统的分布性、异构性和动态性，使得网格资源管 理比分布式计算环境或集群计算环境下的资源管理更加复杂，不仅要支持跨组织 或管理域的任务调度，实时监控资源和作业执行的状态，而且要维护局部的站点 自治，提供相应的q o s 支持。因此需要建立适应于网格这种复杂环境的特殊的资 源管理模型，研究其特征及功能，并基于此模型，提供良好的资源组织模型，实 现高效的资源发现策略以及较优的资源调度策略，为具体实现网格资源管理系统 提供必要的指导，从而满足网格系统的用户服务需求和为网格系统其它服务组件 提供支持。 综上所述，网格资源是网格系统的管理对象，也是系统的财富，资源管理是 网格系统的核心功能，如何管理好网格资源是网格系统能否成功应用的关键，因 此，对网格资源管理的关键技术进行研究，解决网格资源动态分布在异构的自治 系统中，实现网格资源的高效共享，在理论研究和实际应用方面都具有重要的意 义和价值。 1 2 国内外研究现状 网格资源管理系统作为网格系统的重要组成部分，正愈来愈受到业界研究者 的重视。目前在国际上比较有影响力的网格资源管理系统有以下六个： ( 1 ) g l o b u s 6 】的资源管理是通过g l o b u s 工具包与局部系统上运行的调度器进 行交互来实现的。工具包由一组组件组合而成，它定义了网格所要求的服务。g l o b u s 的资源管理系统主要由四部分组成【6 】：元计算目录服务组件m d s ( m e t a c o m p u t i n g d i r e c t o r ys e r v i c e ，) ，该组件基于轻量级目录访问协议l d a p ( l i g h t w e i g h t e dd i r e c t o r y a c c e s sp r o t o c 0 1 ) ，可提供对系统状态信息的分布式访问；资源规范语言r s l ( r e s o u r c es p e c i f i c a t i o nl a n g u a g e ，) 用于资源管理各个组成部分之间进行资源需求 信息的交换；资源分配管理器g r a m ( g l o b u sr e s o u r c ea l l o c a t i o nm a n a g e r ) 为各 种不同的资源管理工具提供了标准的接口，提供资源定位和进程管理；动态更新 请求在线协同分配器d u r o c ( d y n a m i c a l l yu p d a t e dr e q u e s to n l i n ec o a l l o c a t o r ) 2 第一章绪论 提供协同资源分配服务。资源代理和协作分配程序使用g r a m 与m d s 确定某些 应用可获得的资源。g l o b u s 的接口提供基于规则的资源选择、资源特性查询以及 通知机制，而建立在g l o b u s 工具包之上的某些高级服务与应用程序能够使用接口 提供的这些机制对可获得使用的资源进行有效的配置，并能适应运行期间资源的 数量与服务质量的动态变化的情况。如某应用程序在某计算机上执行计算并把数 据通过广域网送到远程显示设备上。启动时，该应用确定可用资源量以及根据网 络性能合适地配置其计算与通信结构，如确定在传输过程中对某些数据实施压缩， 而其它数据不压缩。在运行期间，通知机制允许该应用适应网络服务质量的变化。 ( 2 ) l e g i o n t 9 , 1 0 的资源管理借用了面向对象的概念和管理，采取层次化系统 结构，命名空间采用图模式，提供服务质量( q o s ) ，目录服务采用联合文件系统 ( f e d e r a t e df i l es y s t e m ) 。采用定期推送实现资源信息发布，基于查询实现资源发现。 l e g i o n 采用任务包的调度方法，最大优点是实现了与w w w 的接口。l e g i o n 采用 非透明的消息传递方法。更为重要的是它们都具有很好的可扩充性即支持实现的 灵活性，正是对象模型提供了自然的方法使它们获得这种灵活性。如在l e g i o n 中， 考虑到并不存在一个能令所有用户都满意的安全策略，因此l e g i o n 没有提供一个 固定的安全策略，而让用户根据自己的实际需要做出某种折衷后实现自己的安全 策略或经过对象的继承使用现有的策略。出于同样的考虑，l e g i o n 从调度到容错 都提供给用户每一个机会，所以l e g i o n 的关键模型是完全可扩充的。 ( 3 ) n e t s o l v e l l l 】的资源管理主要依赖用户通过a p i 访问网格资源。用户面对 的是“单机 模型，而并行环境的设置、数据的分布、服务器的定位以及分配等 问题均由代理和服务器去处理。由于服务器可以工作在各种环境下，所以能够针 对其具体环境实施优化，尽可能充分地利用服务器所处的各种平台特性，完全不 必有用户的参与。而代理作为一个资源代理所完成的任务是使得客户机仅集中于 确定问题，而服务器仅集中于处理问题。 ( 4 ) a p p l e s 1 2 】的资源管理是基于代理方法的一个应用层调度系统。它的目 标是提供一种机制和规范实现自适应的、动态的任务调度。所采用的方法是对每 个系统组件在应用执行中的影响进行评估，以增强应用的性能。调度决策是基于 动态资源的有效性与性能信息，由应用性能模型以及用户说明实现调度。其调度 服务包括：资源适应性评估、资源选择、数据分布、任务分配和监控。并且在网 格环境中的分布式资源上，结合静态与动态的信息，决定一个特定的应用调度【l 引。 a p p l e s 使用n w s t l 4 】以使系统能够适应资源的动态变化，每个a p p l e s 使用静态与 动态的应用和系统信息去选择可行的资源配置并且评估它们的性能。然后a p p l e s 电子科技大学博士学位论文 与相关的资源管理系统相互作用以实现应用任务。a p p l e s 代理并不是资源管理系 统，他们依赖于g l o b u s 和l e g i o n 等其它系统去完成所要求的功能，因此每个a p p l e s 代理其服务作为一个中间件并且提供一个应用管理系统，它为在网格环境中的应 用程序动态的获得与协调一个定制的调度程序。a p p l e s 系统展示出动态信息与资 源选择能够被使用在一个适应性的调度策略中，以此达到使用静态的调度技术改 进执行性能。 ( 5 ) n i m r o d f l 5 17 】是一个可用于网格中间件系统之上的全局资源管理和调度系 统，支持根据应用的完成期限和价格预算选择资源和调度，主要用于能够与这些 中间件系统并存的计算经济网格体系结构g r a c e ( g r i da r c h i t e c t u r e f o r c o m p u t a t i o n a le c o n o m y ) 中。在资源组织和发现上，使用其它中间件系统的方法。 n i m r o d 旨在解决在一组分布式的计算资源上完成大量参数的模拟仿真应用，每个 模拟具有不同的参数集。在n i m r o d 中由资源管理系统提交作业到所选择的计算机 上。n i m r o d 提交作业，这些作业被添加到目标计算机的作业队列中，在该计算资 源上作业被依次运行，并且把结果返回到n i m r o d 。n i m r o d 提交作业到管理系统， 而不是主动支持作业的分布，减少了应用程序的复杂度。n i m r o d 对网格计算领域 的主要贡献是作业任务的传输以及网格系统的以用户为中心的观点。n i m r o d g 是 n i m r o d 的新版本，它建立在g l o b u s 环境上，因此可以利用g l o b u s 的功能定义作 业的运行时间与代价等。 ( 6 ) c o n d o i l l 8 , 1 9 】是一个高吞吐量计算环境，用来管理集群系统，已被扩展到 网格环境c o n d o r - g 2 0 1 。其采用平面结构的机器组织，c l a s s a d 语言的资源描述， 分层关系的命名空间，集中式查询资源发现机制以及定期推送资源信息采用集中 式调度，不提供q o s 。其中最重要的是c o n d o r 池，其中存放的是对用户所申请资 源的缓存。一个c o n d o r 系统中可以有多个c o n d o r 池，每个池都采用平面型架构。 c o n d o r 收集器提供资源信息存储服务。每台机器上要有一个c o n d o r 资源代理，周 期性地将该机器上的服务广播给收集器。用户代理负责将用户的资源需求广播给 收集器。c o n d o r 匹配器向c o n d o r 收集器查询资源情况，按照供求情况统一分配资 源。资源供求信息用c o n d o r 分类广播语言进行描述。用户代理可以将资源需求广 播到多个c o n d o r 池中，使得计算任务可以有效地利用分布于不同c o n d o r 池中的 资源。一个c o n d o r 池实际上可以分为两部分：作业管理和资源管理。c o n d o r - g 只 提供了作业管理部分，而资源管理部分交给g l o b u s 中间件来完成，以获得最佳的 网格性能。 此外，国内比较有影响力的网格项目包括：中国国家网格、中国教育科研网 4 第一章绪论 c h i n a g r i d 、e s c i e n c e 网格研究计划、中国空间信息网格等。这些网格项目均着重 于网格环境的搭建以及网格计算能力的提高，它们对网格资源管理的研究还相对 较少。因此，作为网格系统核心问题的网格资源管理的研究也势必成为它们下一 步的研究重点。 1 3 当前网格资源管理存在的问题 虽然g l o b u s 等网格项目对网格应用提供了较好的支持，但是包括g l o b u s 在 内的很多网格系统在资源管理上仍存在以下六方面的问题： ( 1 ) 现有网格资源组织模型存在扩展性较差、缺乏灵活性等问题。随着网格 的发展，资源数量逐渐壮大。网格的资源组织模型常常为系统的规模设置了上限， 资源急剧增加时，可能带来性能的下降。资源的组织方式是影响网格可扩展性的 主要因素。 ( 2 ) 现有资源发现方法存在可靠性差、资源发现效率低下等问题。在传统的 单计算机系统和机群系统中，资源的分布比较集中，任务在使用资源之前可以快 速、可靠的进行资源定位，资源的查找操作对系统性能的影响很小。在网格中， 由于资源的广域分布以及现有i n t e m e t 存在的带宽和延迟限制以及网络的不可靠 性，广域范围内的资源定位将在很大程度上影响系统的性能，并且在资源发现过 程中经常搜寻到与网格任务执行关系不大的冗余资源。因此，需要一种有效的资 源查找方法解决广域资源的准确快速定位问题。已有的一些资源发现方法难以适 应网格的规模。穷举算法在最坏的情况下遍历所有结点，其时间复杂度难以容忍： 集中查找算法用一个信息结点专门存放所有资源结点的位置信息，将会形成性能 瓶颈：路由转发算法【2 1 】中每个结点维护全局其它所有结点的路由，路由表占用空 间较大，资源更新的开销也会很大，特别是在资源状况频繁变化的情况下问题尤 为突出。 ( 3 ) 现有资源调度存在单点失效、通信开销较大以及调度算法效率相对低下 等问题。已经提出的大量调度算法往往基于一些对网格系统不现实的模型假设【2 2 j 。 典型的假设包括通信无开销、任意处理机通过网络直接相连、处理机具有无限多 的端口、通信链路任何时候可供任意多对结点同时独占网络带宽、网络容量无限、 处理机专用等。因此，基于这些假设而设计的调度算法在现实的网格计算环境应 用时将导致性能急剧下降。此外，在网格环境下，满足网格任务要求的资源可能 不止一个，且该任务在不同资源上运行获得的性能、付出的代价都不一样。因此， 电子科技大学博士学位论文 选择好的调度策略对整个网格资源管理系统具有至关重要的作用。 ( 4 ) 现有资源管理系统无法适应资源供需的动态变化。已有的资源管理技术 在考虑负载变化的同时很少考虑资源能力的变化，而网格要求资源管理技术必须 要实现对于资源供需动态变化的自适应，能够在线动态调整资源管理策略。 ( 5 ) 现有资源管理没有服务质量保证机制。在网格中，当用户查找资源时， 可能会查到多个符合要求的资源。要在这些资源中选择一个最合适的资源，需要 考虑资源的服务质量，判定哪一个资源最符合要求。已有工作缺乏对服务质量约 束的灵活处理，已有的资源管理技术虽然都追求高服务质量和资源利用率、尽量 降低作业的平均响应时间，但是并不能保证作业的平均响应时间能够低到某个具 体的程度，因而只能向用户提供尽力而为的服务，没有服务质量保证机制。因此， 对基于服务质量的资源选择机制值得进一步研究。 ( 6 ) 现有资源发现的安全性很少考虑。因为网格资源来源繁多，又频繁出入， 有些不可避免地带有恶意性，由于对使用恶意资源所带来的损失估计不足，现有 方法很少考虑资源发现的安全性。 针对上述问题，本文首先针对网格资源的分布性、异构性、自治性及动态性等 特点，提出一种基于移动a g e n t 的网格资源管理模型：在此基础上，致力于解决 上述问题中的前三个问题，针对每种问题的特点，提出了完整而有效的解决方案。 1 4 本文的主要研究内容及安排 本论文主要围绕网格资源管理的关键技术进行了较深入的分析与研究。全文 共分为七章，各章节的安排如下： 第一章为绪论。首先阐述了本文的选题背景及意义，然后描述了网格资源管 理的国内外研究现状，并指出了当前网格资源管理中存在的问题，最后概述了本 文的主要研究工作以及安排。 第二章概述了网格以及网格资源管理的相关基础知识。 第三章针对网格资源存在的分布性、异构性、自治性以及动态性等特点，充 分发挥移动a g e n t 的自治性、智能性等优势，有机的将两者结合起来，提出了基于 移动a g e n t 的网格资源管理模型，为网格资源管理提供了一种有效的解决途径。 第四章在深入分析现有网格资源组织方式存在的扩展性较差、占用带宽多等 问题的基础上，在基于移动a g e n t 的网格资源管理模型中，引入语义树的组织方 式，提出了一种基于语义的层次化网格资源组织模型。它将网格资源聚类后按照 6 第一章绪论 树状结构进行组织，这种资源组织模型具有较好的扩展性，且能够占用较少的带 宽，提高了资源搜索效率，为网格资源发现奠定了良好的组织基础，通过仿真实 验验证了本模型的有效性。 第五章在总结现有网格资源管理模型中资源发现机制存在的可靠性差、效率 低下等问题的基础上，提出了一种基于本体的网格资源发现策略。它使用非对称 描述方法描述网格中的各种资源与请求，并依据提出的一组规则，在 s e m a n t i c o b j e c t s 平台下生成网格中的资源本体、请求本体以及策略本体。采用此 本体规范参与网格组织的资源与用户请求的描述，使得网格系统能够从语义上对 资源与用户请求进行描述，从而优化资源与用户请求之间的匹配。该策略有效的 解决了可靠性差的问题，同时在很大程度上提高了资源的发现效率。 第六章在深入分析现有网格资源管理模型中资源调度存在单点失效、通信开 销较大以及调度算法效率相对低下等问题的基础上，结合遗传算法的基本理论， 提出一种基于改进的并行遗传算法的网格资源调度策略。它充分利用遗传算法固 有的分布式与并行性特征，来解决网格资源调度中较强的分布式特征以及网格作 业分配中的并发特性，为网格资源调度提供了一种较优的调度方法。 第七章总结了全文的主要成果，并指出了本研究领域值得进一步研究的工作。 7 电子科技大学博士学位论文 2 1 网格概述 第二章网格资源管理相关技术概述 2 1 1 网格的定义 网格( g r i d ) 是把地理位置上分散的资源集成起来的一种基础设施。通过这种 基础设施，用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要 的资源【4 j 。分布式资源和通信网络是网格的物理基础，网格上的资源包括计算机、 集群、计算机池、仪器、设备、传感器、存储设施、数据、软件等实体，另外， 这些实体工作时需要的相关软件和数据也属于网格资源。 网格，一种未来计算基础设施蓝图【l 】一书中把网格描述为：“网格是构筑 在互联网上的一组新兴技术，它将高速互联网、计算机、大型数据库、传感器、 远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和服务。 互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格则能提供更多更 强的功能，它能让人们共享计算资源、存储资源和其它资源。网格资源除了包括 能够通过网络使用的一般资源外，还包括在网格设备旁边工作的人力资源。有人 把网格看成是未来的互联网，国外媒体常用“下一代互联网 、“国际互联网2 、 “下一代万维网 等词语来描述网格相关技术。 2 1 2 网格资源和服务 网格环境中的资源包括处理器、存储系统、目录、分布式文件系统、分布式 计算机池、计算机集群、应用软件、数据、信息、知识以及天文望远镜、雷达和 家用电器等设备与仪器，并具有面向用户和透明性的特点。用户可以在不考虑资 源位置的情况下，方便地使用资源。此外，资源也具有动态演化的特性。服务则 是通过网络使能的实体，用于提供访问某种资源的能力，例如读取文件和创建进 程等。服务通常以接口的形式提供，在网格环境中通过协议进行请求，而资源共 享则通过服务实现。在网格环境中，服务是一种重要的资源，可以被看作一种网 格应用组件。通过选取和结合使用适当的服务，开发人员能够快速地构建大规模 分布式应用，这就产生了所谓的面向服务的网格应用s o g a ( s e r v eo r i e n t e dg r i d 第二章网格资源管理相关技术概述 a p p l i c a t i o n ) 。 2 1 3 虚拟组织 对于大型的应用项目而言，往往需要由多个组织协同完成，这些组织通过网 格计算环境形成一个统一的虚拟组织v o ( v i r t u a lo r g a n i z a t i o n ) 【7 , s 】，各组织拥有的 计算资源、存储资源等各种资源可以被v o 中的成员共享，并且各成员可以方便 地协同完成各种分布式应用和工作。此处关注的共享不是简单的文件交换，而是 解决商业领域、科学领域和工程领域中出现的协作式问题以及资源交易策略所需 的对计算机、软件、数据和其它资源的直接访问。因此，资源提供者和用户有必 要拥有对资源共享的高度控制权，它们清晰地定义哪些资源可共享，允许谁使用 这些资源以及什么条件下资源可共享等。由这些共享规则定义的一组个体和或机 构形成了v o 。v o 的实例包括应用服务提供商和存储服务提供商等。各成员和资 源可随时加入或退出v o ，因此，成员和组织之间的存在时间、拥有的权限以及资 源数量、类型等都会动态变化。这使得v o 中的实体，包括用户、成员、资源和 组织等，需要保持一种动态的关系。 2 i 4 网格计算环境 网格资源和虚拟组织共同组成了网格环境。网格环境中通常存在着多个虚拟 组织，而且他们处于不断变化中。这是因为：对单个虚拟组织而言，往往是为了 执行某个协同任务而创建，当任务完成时则被撤消，因此，其生命周期通常是有 限的。网格环境为各种虚拟组织的应用提供基础设施，以管理异构的共享资源， 支持高效、安全和可靠的服务。 2 2 网格资源管理概述 资源是网格中的主要对象，网格的目的就是要管理好网格中的各种资源，为 需要资源的用户提供透明统一的访问接口。资源管理需要解决的问题有资源的描 述、资源的命名、资源的发现与管理等。资源管理的一个重要方面就是进行资源 的抽象，把资源的具体细节对访问者隐藏起来，提供一个抽象的统一对象。 9 电子科技大学博士学位论文 2 2 1 网格资源 资源【4 】是网格中所有可以被主体请求使用的实体总称。网格中包含有多种形 式、功能各异的资源，除了万维网上传统意义上的资源之外，还包括天文望远镜、 电子显微镜、环境监测探测器、无线通信设备等。资源共享是网格的一个主要特 征，因此资源管理是网格的基本功能模块。 2 2 1 1 资源的定义 网格资源指所有能够通过网格远程使用的实体，包括计算机软件、计算机硬 件、设备和仪器等 4 1 。计算机软件资源包括系统软件、应用程序、数据等；计算机 硬件资源包括处理器、存储器、硬盘以及其它计算机设施；设备和仪器包括通信 介质、天文望远镜、显微镜、传感器等。除了物力资源之外，在网格设备旁工作 的人员也是一种重要的资源，称为人类资源。人类资源包括人的知识、能力等多 种因素，是网格上最具有伸缩性的资源。 网格意义下的资源共享已经不是原来我们所熟悉的计算机之间的文件交换和 远程登录了，它指直接访问计算机、软件、数据、设备和仪器等资源。管理好各 种类型的资源，为合法用户提供简单的共享使用接口是资源管理的中心任务之一。 可以说用户面对的网格是资源、协议和规范的有机集合。其中资源实体本身 是协议、规范与策略的基础。把网格上的资源和用户请求进行匹配，把适合的可 用资源提供给用户使用是网格资源管理的核心内容。把一个用户或应用程序与所 请求的资源联合起来需要经过资源注册、资源请求、资源发现、资源分配、资源 使用、资源回收等过程。 资源注册是向注册中心登记资源存在且可以被他人使用的过程。在此过程中， 需要确定资源的使用接口、描述资源的功能、确定共享策略等。资源请求者要遵 循特定的接口规范提出资源请求，否则网格无法理解请求的资源是什么。资源的 描述要采用统一的描述框架与描述形式，这样才可以实现交互访问。现在已经有 了一些描述某种资源或某一类资源的方法，但其描述功能和使用范围都非常有限。 在统一的描述方法出现之前，不同研究项目的人员或不同资源的使用者需要描述 自己的资源，造成了多种描述方法的出现。在这种情况下，只要向同一个注册中 心注册的资源采用统一的描述方法，就可以实现在注册中心涉及的资源范围内的 交互。在不同的注册中心之间交换信息时，遵循共同的中间格式交换，也可以实 现两个注册中心之间的交互。这是和网格技术所倡导的与平台以及具体实现无关 1 0 第二章网格资源管理相关技术概述 的精神相一致的作法。资源的发现是为请求者找到合适的资源的过程。资源的分 配则是在资源本身的共享策略的基础上进行的，资源的共享使用必须根据策略进 行。分配给用户的资源在使用完之后，网格要进行回收，以便分配给其它的网格 用户使用。 2 2 1 2 资源的特点 无论是简单的计算机系统还是复杂的集群系统、并行系统、分布式系统都存 在着不同的资源。内存是资源，磁盘空间是资源，计算周期也是资源。传统系统 中的资源从种类、功能的多样性两方面都不能和网格系统中的资源相比。网格资 源具有一些传统系统中的资源所不具备的特点。其特点总结如下【4 】： ( 1 ) 分布性。网格资源是由分布在不同地理位置、不同计算能力的计算机、 各类数据库、共享运算和存储，即计算资源、高级仪器资源、数据资源、信息资 源、知识资源乃至专家资源( 智能资源) 组成的。因此，这种具有分布特征的网 格跨越的地理范围相对比较广，规模巨大，涉及的资源类型复杂。 ( 2 ) 异构性。网格中的资源种类繁多，功能各异，访问接口也不尽相同，本 地管理系统不同，共享规则不同。 ( 3 ) 动态性。网格中的资源可以自由地随时加入