（计算机软件与理论专业论文）网格资源管理的研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：簪芝互 e l期： n 公、牛、心 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版，允许论文被查阅和借阅：本人授权山东大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：亏盟导师签名： 山东大学硕士学位论文 摘要 网格计算是近年来得到快速发展的广域网络计算技术。研究人员试图将很 大范围上地理分布的异构计算机系统集合在一起形成一个大规模的计算平台， 我们称之为网格( g r i d ) 。通过这种平台，用户能够方便、快捷地使用自己需要 的资源而不必了解其中的细节。网格系统提供给用户的除了廉价、高效的高性 能计算以外，还包括合作存取各种数据信息，广域多媒体应用等等。然而，由 于网格是个新的研究领域，网格环境相对于一般网络环境有着更为复杂的特 征，如存在多管理域和站点自治，系统的动态性、异构性和通信延迟的不确定 性更高，硬件和软件两个层次上都存在异构性等等。因此，实现有效的网格计 算还有很多需要解决的问题，具体包括资源调度和管理、系统安全、编程模式、 性能评测和数据存取等。其中，在网格环境里如何有效地管理资源和调度计算 是影响网格计算是否成功的最重要因素之一。由于资源在广域网上的分布性、 异构性以及存在着不同的存取和花费模式，使得网格环境下的资源管理变得十 分复杂和具有挑战性。 本文试图从网格资源的特点出发，寻求一种更加合理的网格资源管理模型 和更加有效的调度策略。本文深入地分析了网格资源管理的现状，总结了目前 网格资源管理技术中的不足之处，提出了基于a g e n t 的“中心管理- 本地协 调分配 网格资源管理模型； 在前人的工作基础上，本文的主要研究工作及创新如下： ( 1 ) 本文介绍了网格的概念，体系结构，功能特征，研究项目及其相关 技术。a g e n t 技术成为与网格技术互相结合的主流技术，已经成为下一代网络 服务体系的重要组成部分。 ( 2 ) 本文深入地分析了网格资源管理的现状，总结了目前网格资源管理 技术中的不足之处。在此基础上，提出了基于a g e n t 的“中心管理一本地协 调分配”网格资源管理模型。 ( 3 ) 深入探讨了在基于a g e n t 的“中心管理本地协调分配”网格资源 管理模型中网格域管理结构，及其各层次a g e n t 的功能和相互协作的过程。 关键词：网格；资源管理；a g e n t 7 山东大学硕士学位论文 a b s t r a c t g r i dc o m p u t i n gi saf a s td e v e l o p i n gw i d en e t w o r kc o m p u t i n g t e c h n i q u e t h e r e s e a r c h e r st r yt oi n t e g r a t eg e o g r a p h i c a l l yd i s t r i b u t e dc o m p u t e rs y s t e mt oal a r g e s c a l ec o m p u t i n gp l a tf o r mn a m e d ”g r i d a c c o r d i n gt oi t u s e r sc a nu s er e s o u r c e s t h e i rn e e d e dc o n v e n i e n t l yw i t h o u tk n o w i n gt h ed e t a i lp r o c e d u r e t h eg r i dp r o v i d e s u s e r sa l lk i n d so fd a t ai n f o r m a t i o na n dm u l t i m e d i aa p p l i c a t i o ni na d d i t i o nt ol o w c o s ta n dh i 曲p e r f o r m a n c ec o m p u t i n g h o w e v e r , g r i dc o m p u t i n gi san e wr e s e a r c h f i e l da n dg r i de n v i r o n m e n th a sm o r ec o m p l e xf e a t u r e st h a ng e n e r a ln e t w o r k ，a s r e s o u r c e sa r ea u t o n o m o u s ，o w n e db yd i f f e r e n ti n d i v i d u a l so ro r g a n i z a t i o n sa n d m o r ed i s t r i b u t e d ，t h ed e t e r m i n i s mi nc o m m u n i c a t i o n s d e l a yi s n o th i g h ，t h e i s o m e r i s mi nt h eh a r d w a r ea n dt h es o f t w a r et w ol e v e i sa n ds oo n i no r d e rt o i m p l e m e n te f f i c i e n tg r i dc o m p u t i n gm a n yp r o b l e m sm u s tb es o l v e di n c l u d i n g r e s o u r c em a n a g e m e n ta n ds c h e d u l i n g , s y s t e ms e c u r i t y , p r o g r a m m i n gs c h e m e ， p e r f o r m a n c ee v a l u a t i o n ，d a t aa c c e s se t c t h e nh o wt om a n a g ea n ds c h e d u l e r e s o u r c e si ng r i de n v i r o n m e n ti so n eo ft h ek e yf a c t o r st h a td e t e r m i n ew h e t h e rt h e g r i dc o m p u t i n gc a ng e tah i g hp e r f o r m a n c e a st h er e s o u r c e sa r eg e o g r a p h i c a l l y d i s t r i b u t e da n dh e t e r o g e n e o u si ng r i de n v i r o n m e n t ，r e s o u r c em a n a g e m e n tb e c o m e s m o r ec o m p l e xa n dc h a l l e n g i n g t h et h e s i si sl o o k i n gf o ram o r er e a s o n a b l eg r i dr e s o u r c em a n a g e m e n tm o d e l a n dm o r ee f f i c i e n ts c h e d u l i n gp o l i c yb a s e do nt h ec h a r a c t e r i s t i c so fg r i dr e s o u r c e s t h i sa r t i c l et h o r o u g h l yh a sa n a l y z e dt h e g r i d r e s o u r c em a n a g e m e n tp r e s e n t s i t u a t i o n ，a tt h es a m et i m e ，s u m m a r i z e di nt h ep r e s e n tg r i dr e s o u r c em a n a g e m e n t t e c h n o l o g yd e f i c i e n c y , p r o p o s e dag r i dr e s o u r c em a n a g e m e n tm o d e lb a s e do n a g e n t ”t h ec e n t r a lm a n a g e m e n t - l o c a lc o o r d i n a t i o na s s i g n m e n t ” b a s e do np r e v i o u sr e s e a r c h ，t h em a j o rr e s e a r c hw o r k sa n di n i t i a t i v ep o i n t si n t h i sa r t i c l ea r e ： f i r s t l y , t h i st h e s i si n t r o d u c e dt h eg r i d sc o n c e p t ，i t ss y s t e ms t r u c t u r e ，i t s f u n c t i o nc h a r a c t e r i s t i c ，i t sr e s e a r c hp r o j e c ta n di t st h er e l a t e dt e c h n o l o g y t h e 8 山东大学硕士学位论文 a g e n tt e c h n o l o g yh a sa l r e a d yb e c a m et h ei m p o r t a n tc o n s t i t u e n to ft h en e x t g e n e r a t i o nn e t w o r ks e r v i c es y s t e ma st h em a i ns t r e a mt e c h n o l o g yt h a tu n i f i e sw i t h t h eg r i dt e c h n o l o g ym u t u a l l y s e c o n d l y , t h i st h e s i st h o r o u g h l ya n a l y z e d t h e p r e s e n tg r i d r e s o u r c e m a n a g e m e n ts i t u a t i o n ，s u m m a r i z e dt h ed e f i c i e n c yo f t h eg r i dr e s o u r c em a n a g e m e n t t e c h n o l o g yi nt h ep r e s e n t i nt h i sf o u n d a t i o n ，p r o p o s e dt h e c e n t r a lm a n a g e m e n t l o c a lc o o r d i n a t i o na s s i g n m e n t g r i dr e s o u r c em a n a g e m e n tm o d e lb a s e do na g e n t f i n a l l y ，t h o r o u g h l yd i s c u s s e dt h eg r i dt e r r i t o r ym a n a g e m e n ts t r u c t u r ei nt h e c e n t r a lm a n a g e m e n t l o c a lc o o r d i n a t i o na s s i g n m e n t g r i dr e s o u r c em a n a g e m e n t m o d e lb a s e do na g e n t ，t h ea g e n t sf u n c t i o na n dm u t u a l l yc o o p e r a t e sp r o c e s si n e a c hl e v e l s k e y w o r d s ： g r i d ；r e s o u r c em a n a g e m e n t ；a g e n t 9 山东大学硕士学位论文 第一章绪论 1 1 本文的研究对象、目的和意义 近年来，i n t e r n e t 技术、高性能计算机技术和高速网络技术都有快速的发展， 把地理上分布的各种异构资源作为一个统一的计算系统来使用成为了可能。由 此构成了统一的计算系统，即网格系统。 网格( g r i d ) f 1 ，2 1 是当今计算机科学领域新兴起的一项有很高学术价值和 应用价值的研究课题。众所周知，高性能计算已经成为许多科学和工程实践的 关键技术。科学家们也越来越多地使用超级计算机来研究复杂现象，例如可以 用来预测复杂的非线性现象，或者是在做实验之前，就可探索物理参数的变化 规律，甚至还可以用来模拟现实世界中所发生的某些事件。然而，尽管超级 计算机的能力在不断增长，仍然有许多应用无法实现。因这些应用往往需要处 理能力强大的超级计算机的支持，但是超级计算机造价极高，通常只有一些国 家级的部门，如航天、气象等部门才有能力配置这样的设备；另一方面，某些 应用对计算的要求非常高，即使是现在最大的超级计算机也无法提供它们所需 的资源，这时就需要将高性能计算依托i n t e m e t 或其他高速网络将遍布世界 各个角落的能力千差万别的计算资源联结在一起，形成大规模的几乎可以无限 扩展的计算能力。 网格”是一个由硬件和软件系统组成的架构，它可以提供可靠的，协调的， 无处不在的和低廉的高端计算能力”【l 】。比如由美国n s f ( 国家自然科学基 金) 支持建设的网格计算系统- d t f ( d i s t r i b u t e dt e r a s c a l e f a c i l i t y ) 就是一个 较为成功的网格计算项目。通过分布在不同地点的高性能计算设备的接入， d t f 可以很容易的扩充计算能力和存储能力，同时也便于各地的研究者进行 协同工作。d t f 所拥有的每秒1 3 6 万亿次的计算能力大约是“深蓝”超级计算 机的1 0 0 0 倍，强大的计算和存储能力使其能够满足如生命科学、大气分析、 高能物理等众多领域对高性能计算的要求。由此看来，网格的研究具有很强的 现实意义。 上个世纪八十年代末期，c a s a l 3 】项目的研究人员首先提出了元计算和元 i o 山东大学硕士学位论文 计算机的概念，元计算是计算网格思想的最初原型。1 9 9 7 年l o 月美国国家基 金( n s f ) 宣布了面向2 l 世纪的“计算科学联盟”重大基金项目g r i d 。该项 目计划以美国全国范围内的网格计算为目标，在全国范围内建立一个高级计算 的基础底层结构，以实现大区域的高性能并行与分布式计算，在大范围内由高 速网络把分布在各地的计算资源和数据资源连接在一起，解决宇宙学、生物工 程等科学领域的计算问题。 近十年来，计算网格的研究己取得了阶段性的成果，如g l o b u s 【4 i 具包等。 网格计算是目前越来越重要的计算机科学研究领域，是关系科研、经济、社会、 国防的重要国家基础设施，在国内外都引起了广泛的关注，也是中国i t 界跟 踪世界先进技术潮流的一个主战场。 目前，计算网格的研究工作已经大大超出了g r i d 计划最初的设想。其目 标已经不仅限于为解决大规模科学计算，工业界与学术界正联合使网格在更广 泛的领域得到推广和应用。 许多研究项目的研究结果表明，网格确实是一个可行的高性能分布式计算 模型，同时也展示了许多急需解决的挑战性问题。如何有效地管理资源和调度 计算是影响网格计算是否成功的最重要因素之一。由于资源在广域上分布、本 质上异构、由不同的个人或组织拥有、有不同的存取和花费模式、负载和可用 性动态变化，网格环境下的资源管理十分复杂和具有挑战性。而人们试图实现 使应用能够便利地从一个大范围的、分布的资源池中获取所需的各种资源。因 此，资源管理和调度是网格计算环境的核心和灵魂。 从微观角度而言，资源管理体系结构和应用调度机制会对网格系统应用执 行的效果产生重要影响；从宏观角度而言，资源管理问题的有效全面解决是网 格系统走向实际运用的一个关键因素。因此，对于计算网格资源管理问题的研 究，对当前和未来计算网格的发展和应用都将具有重要的理论意义和实践价 值。 1 2 当前网格资源管理研究的不足之处 尽管g l o b u s 等网格项目对网格应用提供了较好的支持，但是包括g l o b u s 在内的很多网格系统在资源管理上仍存在以下问题【5 】【6 j 】： ( 1 ) 对多资源联合分配没有提供支持或支持很弱。这正是网格首要的问 山东大学硕士学位论文 题，目前已有的联合分配方法需要全局系统状态信息，通信开销较大，而且没 有很好地解决如何在分布自主的资源管理决策之间实现协调一致的问题，不能 确保向应用提供相互匹配的服务。 ( 2 ) 无法适应资源供需的动态变化。已有的资源管理技术在考虑负载变 化的同时很少考虑资源能力的变化，而网格要求资源管理技术必须要实现对于 资源供需动态变化的自适应，能够在线动态调整资源管理策略。 ( 3 ) 资源管理没有服务质量保证机制。已有的资源管理技术虽然都追求 高服务质量和资源利用率、尽量降低作业的平均响应时间，但是并不能保证作 业的平均响应时间能够低到某个具体的程度，因而只能向用户提供尽力而为的 服务，没有服务质量保证机制。 ( 4 ) 资源管理以用户作业为基本对象。资源管理者需要为每一个作业保 存一份调度信息，在进行资源调度时必须同时处理多份这样的调度信息，导致 资源管理的开销大。 ( 5 ) 资源提供者的报酬问题。必须要考虑资源拥有者的利益，对其提供 的资源做出补偿，为其提供共享资源的动机。 1 3 本文的解决方案和主要创新点 本文在比较几种比较典型的网格资源管理模型( 层次模型、抽象所有模型 和市场模型) 的基础上，提出了一种融合多种模型优点的混合模型一基于移动 a g e n t 的“中心管理一本地协调分配 资源管理模型。其基本思想是： 1 使用a g e n t 技术作为网格资源管理逻辑抽象和实现的工具。将网格中 的实体抽象为代理，进而将网格看成一个由多类代理构成的系统； 2 给出基于a g e n t 的“中心管理本地协调分配”网格资源管理模型与 系统的结构。定义多个层次的a g e n t ，从用户提交任务到任务执行完毕都是由 a g e n t 完成。给出多a g e n t 合作实现网格系统资源管理功能的完整工作过程。 本文在分析网格资源管理的特点，及现有资源管理技术应用于网格环境的 不足的基础之上，讨论了使用a g e n t 实施网格资源管理的合理性，并在此基础 上提出了一种适合网格环境的基于a g e n t 的“中心管理一本地协调分配 资 源管理模型。 1 2 山东大学硕士学位论文 本文组织结构 本文共分六章，各章安排如下： 第一章绪言 第二章网格技术概论 第三章网格环境下的资源管理 第四章a g e n t 技术简介 第五章基于a g e n t 的网格资源管理模型 第六章结束语 1 3 山东大学硕士学位论文 第二章网格技术概论 2 1 网格技术简介 网格( g r i d ) ，就是一个集成的计算与资源环境，或者说是一个计算资源 池。网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠 的、标准的同时还是经济的计算能力。除了各种类型的计算机，这里的计算资 源还包括网络通信能力、数据资料、仪器设备甚至是人等各种相关的资源。 2 1 1 网格定义和分类 美国网格之父i a nf o s t e r 定义“网格是构筑在因特网上的一组新兴技术， 它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体， 为科技人员和百姓提供更多的资源、功能和交互性。因特网主要为人们提供电 子邮件、网页浏览等通行功能，而网格功能更多更强，能让人们透明地使用计 算、存储等其他资源 。“网格就是在缺少中央控制、没有全知者( o m n i s c i e n c e ) 以及强的信任关系的情况下能够协同使用地理分布的各种资源。蹦所关心的共 享不仅仅是简单的文件交换，更强调直接对计算机、软件、数据以及其它资源 的直接访问，且这种共享是高度可控的，需要在资源提供者和消费者之间详细 的定义什么可以被共享、哪些人可以共享、在什么条件下可以共享。一阴 通常网格系统可以大致分为计算网格( c o m p u t a t i o n a lg r i d ) 、数据网格 ( d a t ag r i d ) 和服务网格( s e r v i c eg r i d ) 三类【8 】： 计算网格是一个能够提供可依赖的、一致的、普遍的和廉价的高端计算 能力的硬件和软件底层，有着更高的计算能力，又可以分为分布式超级计算 ( d i s t r i b u t e ds u p e r c o m p u t i n g ) 和高吞吐量( h i g ht h r o u g h p u t ) 计算两类。 数据网格是用来提供从多个广域分布的数据源合成新的信息底层的系 统，典型的应用包括从多个信息源得到相关信息的数据挖掘以及处理分布数据 的各种物理高能实验。 服务网格提供单机所不能提供的各种服务，又可以分为需求( o n d e m a n d ) 网格、合作( c o l l a b o r a t i v e ) 网格和多媒体( m u l t i m e d i a ) 网格等。 1 4 山东大学硕士学位论文 2 1 2 网格资源和服务 网格环境中的资源包括处理器、存储系统、目录、分布式文件系统、分布 式计算机池、计算机集群、应用软件、数据、信息、知识以及天文望远镜、雷 达和家用电器等设备和仪器，并具有面向用户和透明性的特点。用户可以在不 考虑资源位置的情况下，方便地使用资源。此外，资源也具有动态演化的特性。 服务则是通过网络提供访问某种资源的能力，例如读取文件和创建进程等。服 务通常以接口的形式提供，在网格环境中通过协议进行请求，而资源共享则通 过服务实现。在网格环境中，服务是一种重要的资源，可以被看作一种网格应 用组件l 。通过选取和结合使用适当的服务，开发人员能快速地构建大规模 分布式应用，这就产生了所谓的面向服务的网格应用( s e r v i c e o r i e n t e d g r i d a p p l i c a t i o n ，s o g a ) 。 2 1 3 网格的特征和主要研究方向 由于网格计算技术基于分布计算技术发展而来，因此两者有许多公共特 性。然而，由于网格计算概念的真正和特别的问题是解决在动态、异质的多管 理策略虚拟组织中的协同资源共享问题，因而网格计算环境具有和分布计算环 境不同的如下特性：f 9 】： ( 1 ) 自治的多策略组织 网格计算环境必须支持采用不同管理策略的多个组织之间的互操作，同时 保留各个组织的自治性。这是网格计算和分布计算最本质的区别之一。 ( 2 ) 资源的协同共享 网格计算概念的真正和特别的问题是资源共享，以消除资源孤岛。这种共 享具有协同性，它以资源互连为基础，既包括资源使用时不同用户因时间、空 间和权限等差异引起的协商，也包括资源的组合，通过互连、组合和协作解决 用户需要解决的问题，产生具有附加值的新服务、数据和信息等资源，从而满 足用户的新需求。 ( 3 ) 可伸缩性 在一个网格计算环境中，采用面向对象的细粒度设计往往会导致对象的数 量以百万计，甚至更多。因此，如何组织这些对象，以便方便高效行查找和定 山东大学硕士学位论文 位是网格计算环境必须要考虑的一个关键问题，即网格计算环境必须是可伸缩 的。 ( 4 ) 动态性 组成网格计算环境的各组织的自治性导致了其具有动态性。由于资源提供 者拥有相应资源的最高权限，他可以随时决定将资源加入或退出环境，以及替 换或升级资源，因而资源状态，包括可用性与运行速度等动态属性随时可能发 生变化。 ( 5 ) 适应性 各自治组织提供的资源往往已经在遗留系统中，因而网格计算技术要大规 模商用还必须提供适应性支持，即必须在尽量不破坏遗留系统的前提下为应用 提供单一的分布资源全局视图并汇聚各种分布的自治资源成为一个统一的环 境。 ( 6 ) 异构性 网格资源是多种多样的，分布的同种资源在体系结构等多个层次上也可能 不同。 ( 7 ) 可扩展性 随着网格系统的完善，资源逐步增多，网格必须能够适应规模的变化。 ( 8 ) 容错性 在广域环境下，网格环境中的协同任务往往需要使用多个共享的相关服 务，网格必须提供一个可靠的容错功能。 ( 9 ) 安全性 只有安全问题得到充分的解决，网格才会真正进入日常的商业领域中。 ( 1 0 ) 通信时间不可预测 由于通信带宽等资源都是共享的，因此通信延迟更为不确定。 目前网格的主要研究方向有以下几个方面【1 0 1 ： ( 1 ) 资源调度和管理：在不干扰各局域调度系统的前提下，网格调度程 序须能够和各局域调度系统进行交互。目前的调度问题可大致可分为三类：一 类集中于如何有效地调度相互独立的一组任务；另一类试图采用资源预留 ( a d v a n c e dr e s e r v a t i o n ) 和协同分配( c o - a l l o c a t i o n ) 的方法以解决并行任务的 执行问题；另外，采用经济机制配置网格资源也是目前研究热点之一。 1 6 山东大学硕士学位论文 ( 2 ) 系统安全：单点登录、授权、局域安全系统整合等网格认证需求； ( 3 ) 用户服务：集中在好用性方面，及针对用户层次而提供相应的技术 支持等； ( 4 ) 数据存取：需解决命名透明性、位置透明性、协议透明性和时间透 明性等问题： ( 5 ) 编程模式：目前仍没有一致意见认为哪种编程模式最适合网格环境； ( 6 ) 性能评测； 2 1 4 网格系统主要功能 网格计算环境要求不影响各结点本地管理的自治性，不改变原有的结构， 保证用户和远程结点的安全性，允许远程结点加入或退出系统，尽量使用已存 在的标准的技术，以便与已有的应用兼容，并能提供可靠的容错机制。一个理 想的网格系统应可以构建在当前所有硬件和软件平台上，给用户提供完全透明 的计算环境，它把众多同、异构的资源变成同构的虚拟计算资源提供给用户。 因此，网格需要有以下主要功能特征1 1 l ： ( 1 ) 体系结构 定义网格系统的组成方式，说明如何整合现有的自治系统。 ( 2 ) 信息服务 网格的资源是动态变化的，为了任何情况下都能向用户提供资源的全局访 问，需要提供一种能迅速、可靠地获取网格资源、服务、状态的机制，保证所 有用户能使用所有资源。 ( 3 ) 名称服务 如同i n t e r a c t 的d n s 服务，网格名称服务给网格中所有资源提供统一的 名称空间。 ( 4 ) 安全及授权 安全机制是网格成功的关键，要实现真正的商用，网格必须解决安全问题。 ( 5 ) 系统状态和容错 为了提供一个可靠的、健壮的网格系统，系统应该提供资源监视工具。 ( 6 ) 资源管理和调度 1 7 山东大学硕士学位论文 网格必须对网格中的各种资源进行有效的管理和调度，且该操作对用户来 说是透明的。 ( 7 ) 计算付费和资源交易 网格需要提供人们共享其资源的动机。同时，资源管理系统根据资源性能 价格比和用户需求调度最合适的资源。 ( 8 ) 界面和编程工具 网格应提供多种工具以构造良好的开发环境，提供直观易用的、与平台无关的界面 2 2 网格研究的几个关键方面 2 2 1 网格体系结构 建立网格的首要任务是建立科学、合理的网格体系结构。网格体系结构是 关于如何建造网格的技术和规范的定义，包括划分和定义网格的基本组成部 分、定义各部分的功能、描述不同部分之间的关系以及把这些不同的部分集成 在一起的方法。 网格可以简单划分为分布式资源、网格系统和网格用户三个层次。网格系 统( 网格中间件) 处在分布式资源和用户中间，作为用户和资源之间的一个桥 梁，主要作用是把用户和资源联系起来，提供用户对资源的透明使用，支持全 方位的资源共享。网格底层是网格的资源层，是分布式资源的集合，是建立网 格的基础。网格资源层是构成网格系统的硬件基础，它包括各种计算资源，如 超级计算机、贵重仪器、可视化设备、应用软件等，这些计算资源通过网络设 备连接起来。网格资源层仅仅实现了计算资源在物理上的连通，但从逻辑上看， 这些资源仍然是孤立的，资源共享问题仍然没有得到解决。因此，必须在网格 资源层的基础上通过网格中间件层来完成广域计算资源的有效共享。网格中间 件层是指一系列工具和协议软件，其功能是屏蔽网格资源层中计算资源的分 布、异构特性，向网格应用层提供透明、一致的使用接口。网格中间件层也称 为网格操作系统( g r i do p e r a t i n gs y s t e m ) ，它同时需要提供用户编程接口和相 应的环境，以支持网格应用的开发。顶层是应用层，这一层的需求就是网格系 统要提供的功能，也就是网格系统要达到的目的。网格应用层是用户需求的具 1 8 山东大罕坝士字侄记又 体体现。在网格操作系统( 网格中间件) 的支持下，网格用户可以使用其提供 的工具或环境开发各种应用系统。能否在网格系统上开发应用系统以解决各种 大型计算问题是衡量网格系统优劣的关键。 匦至习 l 物理层分布式资源l 2 2 2 网格管理 信息管理 图2 1 网格体系结构 在网格系统建设中，网格信息管理是网格系统的中心，任何网格活动都是 在网格信息管理模块提供的信息基础上进行的。网格信息管理模块对网格信息 的收集、存储、查询及更新等进行处理。不同应用目的的网格有不同的信息特 点，因此需要根据实际需求开发合适的信息管理模块。 信息通过信息服务向信息需求者提供。为了保证信息的正确获取，必须做 到信息的表示和信息的获取请求表示与具体的平台无关。也就是说，信息的表 示与信息服务的实现平台和提供服务的环境无关；信息的表示可以被访问者使 用的任何平台所理解，请求者可以从任何平台使用任何程序设计语言开发的客 户端应用访问信息服务能够提供的信息。用x m l 格式接受和提供信息是信息 服务的发展趋势。他可以消除因对表达的不理解而带来的歧义。如日期的表示： “0 2 一0 6 一0 3 ，可以有多种理解，但是如果表示为x m l 格式： 0 2 0 6 1 9 山东大学硕士学位论文 0 3 就不会产生歧义。但要保证双方能够识别标记，因而需要双方遵循相同或 兼容的模式。 网格信息一般有集中存储和分散存储两种形式，各有优劣。一般来说，信 息在其生命周期中不发生变化或更新频率远低于读取频率的信息称为静态信 息，否则称为动态信息。前者可以集中存储，后者一般应该分散存储。存储方 式对访问者透明。 信息服务一般涉及信息注册、更新、查询、注销和分发等，u d d i 、l d a p 、 加s 及x m l 等都是与之相关的技术。 资源管理 资源是网格中可以被请求使用的实体的总称，既有w e b 上传统意义的资 源，也有仪器设备、存储设备及计算能力等。资源管理一个重要的方面就是进 行资源的抽象，把资源的细节对访问者隐藏起来，提供一个抽象的统一对象。 资源管理需要解决的问题是资源的描述、命名及发现和管理等。 数据管理 数据是网格上的重要资源，具有可以复制、移动、压缩或加密传输等特点。 数据可以被无限的复制，建立副本，可以通过缓存( 其他资源是不可以缓存的) 加快访问速度。由于数据和其他资源的特性区别，通用的资源管理模型不能够 很好的管理数据资源，需要研究专门的数据管理机制，进行数据传输( 并行传 输、容错传输、第三方控制传输、分布传输及汇集传输等) 、数据存储( 分布 存储、聚集存储、缓存存储等) 、副本管理( 副本创建、一致性维护及删除移 动等) 。g l o b u s 提供了构建数据网格的组件。 通信与安全 由于网格中进行交互的双方一般都处在不同的地理位置上，因此需要高 山东大学硕士学位论文 效、安全的通信完成网格任务。网格通信需要保证信息的机密性、完整性和不 可抵赖性。同时，访问控制也是网格环境中必须的安全机制，保证网格资源的 安全访问。 用户界面 用户界面包括图形用户界面、命令行用户界面和应用开发界面等。 作业管理 作业是用户代码、数据及相应资源描述信息的集合。用户一般是通过提交 作业的方式使用网格资源，作业管理是负责管理网格作业全生命周期的模块， 包括作业描述、作业调度、作业进程间通信及死锁处理等。 2 2 2 3 网格系统管理 网格系统管理主要包括用户管理、系统监控和记帐。 传统方式下，用户使用资源需要在资源上建立帐号，如果m 个用户使用 n 个资源，就会有m 六n 个关系需要建立和维护，可扩展性很差。网格环境 下资源和用户数量很大需要一种高效的网格用户管理机制。用户管理包括用户 创建、登陆、授权及变更等。 网格系统监控是对资源状态的监控，及时获取资源的状态信息，以便根据 资源的状态有效地使用资源。监控系统在保证了系统的健壮性和可用性的同 时，保证了系统资源的有效管理。 对于免费资源，记帐信息可以实现对网格的预测。对于收费资源，可以作 为收费的依据，或者根据记帐信息来监控资源的恶意占用。网格银行 ( g r i d b a n k ) 安全的网格记帐和支付系统。 2 2 4 网格性能评价 建立科学合理的性能评价指标是进行性能评价的首要问题。评价指标 应该反映系统的主要特征；评价方法是评价一个系统的重要因素，因系统而异。 2 l 山东大学硕士学位论文 i i i 皇量曹寰皇曼曼曼量皇量皇量曼皇鲁皇曩量曼曼曼曼曼量量量皇量量量量曼曼量暑寡鼍皇曼皇量| 置曼詈鼍皇曩量鼻蔓量量曼量喜量一 经过系统评价，如果发现系统中存在影响性能的因素，就应该进行系统优化， 以达到系统最初的设计日标。b r i c k s 是日本东京大学技术学院主导开发的一个 评价全局高性能计算系统调度算法和框架的性能评价系统，包括全局计算环境 和调度单元两大部分，允许模拟资源调度算法、编程模型、网络拓扑及服务器 模式。 2 2 5 网格系统需要解决的问题 网格计算建立在网络之上，但是网格计算的问题是无法仅仅靠网络技术解 决的。为了实现网格的广泛应用，还必须解决下列问题【1 2 1 ： ( 1 ) 解决目前互联网的数据传输能力不足问题。 二 ( 2 ) 通过法律手段解决网上资源共享中的知识产权、相互信任和报酬等 问题。 ( 3 ) 网格应具有高性能和友好的界面，必须提供方便有效的高质量服务。 ( 4 ) 保障网格系统的安全性。包括一次认证问题、授权问题、资源共享 的保密问题等。 ( 5 ) 进一步解决网格的动态适应性、可扩展性，及资源的动态配置等资 源管理问题。 2 3 网格的发展现状与前景 2 - 3 1 网格发展的现状 2 311 国外网格研究现状 网格有重要战略意义及广阔的应用前景，已成为投入巨大资金的研究热 点。美国政府在网格技术的基础研究上，每年投入的经费高达5 亿美元。美国 能源部d o e 、美国国家科学基金n s f 都有网格研究项目。美国物理网格 g “e h y n ( g r i dp h y s i c sn e t w o r d ) 计划建立每秒千万亿次级别的计算平台，用 于数据密集型计算。美国军方正在实施的全球信息网格g i g ( g l o b a l i n f o r m a t i o ng r i d ) 预计在2 0 2 0 年完成。 另外，英国政府宣布投资l 亿英镑用以研发英国国家网格u kn a t i o n a l 山东大学硕士学位论文 g r i d 。欧洲还有d a t ag r i du n i c o r em o l 等网格研究项目正在开展。韩国政 府也已经正式宣布建立第三代网络基础之国家网格基本计划，计划在五年内把 分散的高性能电脑通过网络连接起来并加以利用。日本也有相应项目开展。 主要i t 厂商为获取网格领域的控制权也展开了积极的竞争。2 0 0 2 年8 月，i b m 宣布投入四十亿美元，启动“网格计算创新计划一，研发网格技术， 与g l o b u s 组织合作，把g i o b u s 标准与支持商用的万维网服务标准结合起来， 开发开放的网格计算标准o g s a 【1 3 1 ，将网格由科学计算扩展到商业应用。s u n 公司宣布推出新的g r i de n g i n e5 3 软件的b e t a 测试版，该软件使企业内的 计算机连接更为方便。s u n 目前也启动了以g r i de n g i n e 分布资源管理软件为 基础的开放源代码策略。m i c r o s o r 的研究部门也积极参与相关项目，包括容 错远程文件系统f a r s i t e 和分布系统m i l l e n i u m 的建设。而在对等计算领域， i n t e l 最为积极，这是因为c p u 是i n t e l 的主要收入来源和核心竞争力所在， 而对等计算技术的主要用途之一是充分挖掘连接在网络上的成千上万个p c 的 处理能力和存储能力，以处理一些需要大型机，甚至超级计算机才能承担的任 务。 2 3 1 2 我国网格研究现状 我国的研究起步较晚，相关工作开始于1 9 9 8 年。由于网格是一项刚起步 的研究，因此在关键技术的研究方面与国外差距不大，基本处于相同起跑线上。 教育部早在2 0 0 0 年，就支持李三立院士进行先进计算基础设施a c i 北京 上海试点工程，取得阶段性成果。教育部将要将百所重点高校的高性能计算机 用网格连接起来，进而建设一个覆盖全国主要高校的网格。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会 ，确认将网格 的研究和应用列为“8 6 3 计划 的一个专项，随即成立了专项专家组，其投资 高达3 亿，主要是进行网格各方面的研究。 2 0 0 2 年底，上海市宣布将投入两个多亿建设e - i n s t i t u t e ，其中网格是重点， 将把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享资源， 协同教学科研。 现在，我国的研究主要集中于中科院计算所、国防科大、江南计算所和清 山东大学硕士学位论文 华大学等几家在高性能计算方面有较强实力的研究单位。目前正在进行或已经 完成的网格研究项目有：8 6 3 计划支持的“中国网格( c h i n a g r i d ) 、“中国教 育科研网格 、“仿真网格、“织女星网格 、清华大学的先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算所为主的国家高性能 计算环境n h p c e ( n a t i o n a lh i 曲p e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 。 2 3 2 网格研究的前景 作为一种新型计算技术，网格的未来还存在着很多的不确定性，资源管理、 通信、安全等方面的技术还很不成熟。但网格作为并行和分布计算技术的发展 方向是确定的。近年来网格的研究呈现出了以下的趋势【1 4 】： ( 1 ) 标准化趋势 网格需要依赖标准协议才能共享和互通。目前，全球网格论坛g g f 、对 象管理组织o m g 、寰球网联盟w 3 c 、及g l o b u s 项目组等诸多团体都试图争 夺网格标准的制定权。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目组和m m 共同提出了一个全新的网格标准o g s a ，即开放网格服务体系 结构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 。o g s a 把g l o b u s 标准与以商用为主的 w e bs e r v i c e s 的标准结合起来。o g s a 标志着网格已经从学术界开始向商业界 发展，而且从一个封闭的世界走向了开放的环境中。 o g s a 得到业界的广泛支持，微软等几家单位从一开始就宣称支持 o g s a 。目前，o g s a 已经广为接受。 2 0 0 3 年1 月1 3 日，符合o g s a 规范的g l o b u st o o l k i t3 0 ( a l p h a 版) 在 第一届g l o b u sw o r l d 会议上发布，目前至2 0 0 5 年4 月，已经发布其第四版 g l o b u st o o l k i t4 0 。这标志着o g s a 已经从一种理念，走到付诸实践的阶段了。 ( 2 ) 技术融合趋势 目前已有多种分布式计算技术和产品，1 9 8 7 年s u n 公司推出了开放网络 计算( o p e nn e t w o r kc o m p u t i n g ) ，1 9 8 9 年分别出现了o s f 的d c e 和对象管 理组织o m g 的c o r b a ，1 9 9 6 年微软推出了d c o m ，这些机制互不兼容。在 o g s a 之前的各种