（计算机应用技术专业论文）网格体系结构与资源管理框架的研究.pdf

摘要 网格技术是近几年研究较为热门的一项技术，它把整个互联网整合成一台巨大 的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源等的全 面共享。网格体系结构是关于如何构建网格的技术，是设计网格系统最重要的基础 性研究工作，它需能够标识出网格的基本组成成分，能够清楚地说明网格整体是由 哪些关键部分结合在一起形成的，还必须能够对各个部分的功能、目的、特点等进 行清晰地描述，使人们能够了解各个组成部分的作用。同时，网格最重要的作用就 是如何把分布在不同地域的不同资源进行整合，因此如何设计一个合理、有效的资 源管理框架和机制也是网格系统的研究重点之一，在这个资源管理框架下资源的调 度是最关键的。 本文首先介绍了网格技术的概念，综述了近几年来网格技术的发展，分别阐述 了网格体系结构和网格资源管理的研究现状及其在网格研究中的重要性。由于网格 系统是将属于不同个人和组织的资源从逻辑上组合在一起，因此选择一个合适的资 源管理模型来管理网格中的各类资源是非常重要的。不同的模型对网格系统整体可 扩充性和可靠性的影响是不同的，本文在对网格资源管理模型研究现状分析的基础 上，提出了一种基于经济机制的s e r v i c e a g e n t 网格资源管理模型。该模型以服务 a g e n t 为基础，结合了a g e n t 动态自主性和服务的松散耦合优点，同时运用经济学 的市场机制和交易理论，提出了本模型下的资源发现机制、分配选择机制和交易机 制，以及基于议价交易机制的b a r g a i n i n g算法，实现资源的优化管理，使_min m i n 资源提供者和使用者满足各自利益，达到网格市场上的双赢。并采用s i m g r i d 工具 包对该模型和算法进行了仿真，验证了算法的合理性和高效性。 同时，针对网格体系结构研究过程中存在的问题，从网格资源使用和功能管理、 面向用户操作以及网格系统自身特性等角度分别设计了相应的架构，并且综合考虑 这三种架构思想的各个因素，提出了基于s o a 的三维信息网格体系结构( 3 d g i a ) ， 并对其中一些关键技术和问题进行了研究。最后将该三维信息网格体系结构应用到 海洋信息网格集成系统的软件框架上。 关键字：网格体系结构；3 d g i a ；资源管理模型；议价机制；b a r g a i n i n g _ m i n _ m i n a b s t r a c t t h eg r i dt e c h n o l o g yi sah o tt e c h n i q u ed e v e l o p e di nr e c e n ty e a r s ，w h i c hi n t e g r a t e w o r l d w i d ei n t e r n e tr e s o u r c ei n t oav i r t u a ls u p e r c o m p u t e r , a c c o m p l i s hc o m p u t er e s o u r c e ， s t o r a g er e s o u r c e ，d a t ar e s o u r c e ，i n f o r m a t i o nr e s o u r c e ，a n dk n o w l e d g er e s o u r c et of u l l s h a r ei ng l o b a l t h er e s e a r c ho fg r i da r c h i t e c t u r ei st h eb a s eo f 加ds y s t e m sd e s i g n i t s h o u l ds i g nt h ec o m p o n e n t so f 鲥ds y s t e m ，i l l u m i n a t et h ek e yp a r t s ，a n dd e s c r i b et h e f u n c t i o n s ，t h ep u r p o s e s ，a n dt h ec h a r a c t e r i s t i c so ft h e s ep a r t s t h em o s ti m p o r t a n t f u n c t i o no f 鲥di sa s s e m b l i n gt h ed i s t r i b u t e dr e s o u r c e si ns o m ed i f f e r e n ta r e a s i ti ss o p i v o t a lt h a ta ne f f e c t i v er e s o u r c em a n a g e m e n tf r a m e w o r ka n dm e c h a n i s ms h o u l db e d e s i g n e d t h i sp a p e rf i r s t l yi n t r o d u c e st h ec o n c e p t i o no f 鲥d ，s u m m a r i z e st h er e c e n t d e v e l o p m e n to f 鲥di n r e c e n ty e a r s ，a n d e x p a t i a t e st h ei m p o r t a n c e o ft h e 鲥d a r c h i t e c t u r ea n dr e s o u r c em a n a g e m e n tf r a m e w o r ki nt h es t u d yo fg r i d a na p p r o p r i a t e m o d e li sc r u c i a lf o rm a n a g i n gt h ed i v e r s er e s o u r c e si ng r i de n v i r o n m e n t t h e r e f o r e ，a s e r v i c e - a g e n tg r i dr e s o u r c em a n a g e m e n tm o d e lb a s e do ne c o n o m i cm e c h a n i s m si s p r o p o s e d i ti sb a s e do ns e r v i c e a g e n t ，w h i c hc o m b i n e st h ed y n a m i ca g e n tw i t hl o o s e c o u p l i n go fs e r v i c e t h em a r k e te c o n o m i c sm e c h a n i s m sa n dt r a d et h e o r i e ss u c ha s r e s o u r c ed i s c o v e r ym e c h a n i s m ，r e s o u r c ea l l o c a t i o nm e c h a n i s ma n db a r g a i n i n gm i n _ m i n b a s e do nb a r g a i n i n gm e c h a n i s m ，a r ea l s op r e s e n t e dt oa c h i e v et h eo p t i m a la l l o c a t i o no f g r i dr e s o u r c e ss ot h a tp r o v i d e r sa n dc o n s u m e r sc o u l dm a x i m i z et h e i ro w ni n t e r e s t sa n d t r yt or e a c ht h ew i n w i no b j e c t i v ei ng r i dm a r k e t a tl a s tw es i m u l a t eo u ra l g o r i t h mw i t h t h e a i do fs i m g r i dt o o l k i ta n d v e r i f yt h a to u ra l g o r i t h mi sr e a s o n a b l ea n d e f f i c i e n t w i t hr e g a r dt ot h ep r o b l e m si nt h er e s e a r c ho fg r i da r c h i t e c t u r e ，c o r r e s p o n d i n gk i n d s o fs t r u c t u r e sa r ed e s i g n e df r o mt h r e ep o i n t so fv i e w , s u c ha st h e 曲dr e s o u r c e su s e & f u n c t i o nm a n a g e m e n t ，u s e r - o r i e n t e do p e r a t i o na n dt h eg r i dc h a r a c t e r i s t i c s a f t e ra l l f a c t o r sc o n s i d e r e d ，t h ea r c h i t e c t u r er e c o n s t r u c t e da n dap r o t o t y p eb a s e do ns o an a m e d 3 - d i m e n s i o n a li n f o r m a t i o ng r i da r c h i t e c t u r e ( 3 d i g a ) i sp r o p o s e d a n dt h e nd o e st h e r e s e a r c hf o rs o m ee s s e n t i a lt e c h n o l o g i e s ，s u c ha s 鲥ds e r v i c ep r o x y , t h er e s o u r c e i n t e g r a t i o np o o l ，s e r v i c ef a c t o r ya n ds oo n f i n a l l yt h e3 - d i m e n s i o n a li n f o r m a t i o n 酊d a r c h i t e c t u r ei sa p p l i e dt ot h eo c e a ni n f o r m a t i o ng r i di n t e g r a t i v es y s t e mf o rp r a c t i c e k e y w o r d s ：g r i da r c h i t e c t u r e ；3 d g i a ；r e s o u r c em a n a g e m e n tm o d e l ；b a r g a i n i n g m e c h a n i s m ；b a r g a i n i n g _ m i n _ _ m i n 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本 人在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方 式标明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) ：必对 硼年f 只秘e t 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学 有权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版， 有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书 馆被查阅，有权将学位论文的内容编入有关数据库进行检索，有权将学 位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。 本学位论文属于 1 、保密() ，在年解密后适用本授权书。 2 、不保密( ) ( 请在以上相应括号内打“4 ) 作者签名：义吏耐日期：少9 年厂月幽日 导师签名：日期：调明 第一章绪论 1 1 研究工作的背景 第一章绪论弟一早珀t 匕 网格是一个新出现的概念，代表了一种先进的技术和基础设施，是继i n t e m e t 之后的又一次重大的科技进步。在1 9 6 9 年冷战时期，美国国防部高级研究计划局 利用数据包交换技术和开放式体系结构，组建了a r p a n e t ，这是因特网( i n t e m e t ) 的先驱；1 9 9 0 年，b e m e r s l e e 在欧洲原子核研究中心( c e r n ) 工作时，为了高能 物理研究的需要，发明了万维网( w w w ) ；而从1 9 9 3 年开始，c e r n 计划建立一 个新型而巨大的粒子对撞机，它所产生的数据量将是原来的1 0 0 0 倍，用传统的万 维网技术已无法应付。因此，高性能计算技术和互联网技术得到进一步融合，产生 了网格( g r i d ) i i 】。 网格技术旨在使互连网上所有资源，包括计算资源、存储资源、通信资源、软 件资源、信息资源、知识资源等，实现全面共享与协同工作，使整个i n t e r n e t 整合 成一台巨大的超级计算机，为用户提供“即连即用式的服务。 1 1 1 网格的概念 网格的概念是借鉴电力网提出来的【2 1 。人们在用电的时候，只要插上插头就能 源源不断地获得电力，根本就不用管这个电是水力发的电、火力发的电、还是核能 发的电，也不用管这些电站位于何处。而网格技术的最终目标，也就是让网格用户 在使用网络资源的时候就如同现在使用电力一样方便，不用关心资源的地理位置和 具体设施形式。 网格是一个集成的计算与资源环境，或者说是一个计算资源池，其能够充分吸 纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标准的、经济的计算 能力。因此，网格技术是以资源共享为目的，支持对可计算资源的远程和并发访问， 用高速网络连接地理上分布的可计算资源所组成的一个具有单一系统映像的高性 能计算和信息服务环境i 引。网格的目标是实现网络虚拟环境下的高性能资源共享和 协同工作，消除信息孤岛和资源孤岛。它的作用是将分散在网络上的信息及信息存 储、处理能力以合理的方式“粘合”起来，形成有机的整体，以提供比任何单台高 网格体系结构与资源管理框架的研究 性能计算机都强大得多的处理能力，实现信息的高度融合和共享。 1 9 9 8 年，i a nf o s t e r 和c a r lk e s s e l m a n 首次对网格进行定义1 1 】：计算网格是一种 由硬件和软件构成的信息技术基础设施，它能提供可靠的、可协调的、可扩展的和 廉价的高端计算能力的访问。 2 0 0 1 年，i a nf o s t e r 等人进一步深化定义了网格计算和它的基础构件是作为支 持动态的、分布式的v o ( v i r t u a lo r g a n i z a t i o n ) 的不同资源的共享和协作的系统。 定义了网格的基本属性，以及介绍了网格协议和服务的关键要求。也即，连接协议 ( c o n n e c t i v i t yp r o t o c 0 1 ) 要关注通信与认证；资源协议( r e s o u r c ep r o t o c 0 1 ) 要关注 对单个资源的协商访问；汇集协议和服务( c o l l e c t i v ep r o t o c o la n ds e r v i c e s ) 则要关 注多个资源的协作使用。 2 0 0 2 年7 月2 2 日，i a nf o s t e r 在 g r i dt o d a y ) ) g l o b a lg r i d 周报上，从三 个方面更清晰地定义网格，限定网格必须同时满足三个条件【i 】： ( 1 ) 在非集中控制的环境中协同使用资源。一个网格能集成和协调资源与用 户在不同的控制域之内的活动。例如，使用集中计算的用户桌面，同一公司的不同 的管理部门，或者不同的公司等；同时，网格能解决包括安全、策略、付款、成员 资格以及出现的各种问题。 ( 2 ) 使用标准的、开放的和通用的协议与接口。即一个网格是由多用途协议 和接口来构建的，该协议将能解决诸如鉴别、授权、资源发现和资源访问等一些基 本问题。这里强调上述这些协议和接口的标准化和开放性是很重要的。 ( 3 ) 提供非平凡的服务质量( q o s ) 网格允许它的资源被协调使用，以提供 各种各样的服务质量，如反应时间、容许能力、可利用性和安全性，还有协作配置 多重资源类型以满足复杂的用户要求等服务质量，这种组合系统的效用大于该系统 的部分的总和。 经过近几年的研究和发展，网格已经从最初的以“计算力”资源的共享和集成 为主的计算网格研究扩展到能解决数据处理能力的数据网格；进行信息资源无缝共 享的信息网格；比信息网格具有更高一级表现形式的知识网格；以及各类面向领域 的应用网格研究，如交通信息网格、天文网格、制造网格、医疗网格以及本文所提 出的海洋信息网格( o i g ：o c e a n i n f o r m m i o ng r i d ) 等。 因此，本文认为，网格的发展趋势应该是集成的系统，是集成现有各类不同功 第一章绪论 能网格，如计算网格、数据网格、信息网格等，并将这些资源进行全面整合，最终 形成集计算资源、存储资源、数据资源等各类资源于一身的多功能超级虚拟服务器。 1 1 2 网格的特点 网格具有异构性、可扩展性、动态自适应性以及自治性等特剧4 】： ( 1 ) 异构性 网格系统由分布在i n t e m e t 上的各类资源组成，这些资源是异构的，即它们的 计算机体系结构、操作系统、网络布局等可能存在着差异，如何实现异构机器或机 群之间的协作和转换是网格计算的首要问题。 ( 2 ) 可扩展性 网格计算系统初期的计算规模较小，随着超级计算机系统的不断加入，该系统 的计算规模也随之扩大。要保证网格资源规模不断扩大、应用不断增长的情况下， 不会导致网格计算性能的降低。 ( 3 ) 动态自适应性 网格的动态性是指网格设备的增加与减少，不影响网格其它部分的功能与性 能，网格可以自动迁徙相关资源或服务到其它部分，而不影响网格的应用性能。 自适应性指在网格计算中，某个或某些资源出现故障或问题，不应该影响整个 服务的质量，因此需要动态监视和管理网格资源。 ( 4 )自治性 网格资源是属于资源所有者的，所有者有权决定资源是否向网格开放，以及向 谁、怎么公开。网格资源是否为网格接受并被用户租用，要取决于网格及其用户， 用户有权决定自己使用谁的网格资源。i n t e m e t 网络提供的服务，如f t p 、网页、 e m a i l 等，都是需要精确定位( 根据i p 地址或者域名等) 的服务。而网格提供的服 务则是完全透明的，用户不需要知道服务提供者在哪里、如何提供等问题。 1 1 3 网格的范畴与分类 由于网格所涉及问题的多样性和复杂性，目前学术界对其具体的范畴和分类也 还没有达成共识。通过对网格的发展研究，本文总结出网格的系列发展，如图1 1 所示； 4 一 嘲格体系结构与资源管理框架的研究 图l - 1 网格分类图 ( 1 ) 计算网格：是为解决单机计算能力远不能满足大规模计算需求问题。它 是一种分布式计算的基础设施，目前比较成熟的计算网格有：c a c m s ，s fe x p r e s s ， 以及其他众多军事应用网格等。 ( 2 ) 数据网格：主要是用于数据的网络传输、存储、分析等领域。在大规模 计算环境下，不但对计算能力有较高的要求，对数据的传输和存储也提出了挑战， 通常要求提供t b 级别甚至p b 级别的海量数据服务。目前较典型的数据网格是欧 洲原子能机构所建立的d a t a g r i d 。此外，美国的g r i p h y n ( g r i dp h y s i c sn e t w o r k ) 也是一个与d a t a g r i d 类似的物理数据网格。 ( 3 ) 信息网格：它是服务网格的一种重要形式，其功能是对网格中的信息资 源进行无缝共享，提供跨越网络的信息散布和逻辑集成，所追求的目标是做到信息 服务一步到位的发布和调用，用户可以通过单一接口获取所需要的信息。目前比较 著名的信息网格有：美国n a s a 的i p g ( i n f o r m a t i o np o w e rg r i d ) ，n c s a 的 i g r i d ( i n t e m a t i o n a lg r i d ) ，以及中科院计算所的织女星网格( v e g a ) 1 7 j 等。 ( 4 ) 知识网格：它是服务网格的一种高级形式，是具有比信息网格更高一级 表现形式的智能网格系统。它提供在网格平台下的智能支持、决策支持等功能。 ( 5 ) 面向领域的网格：除了以上几种基本的网格形式外，根据求解问题的具 体特点及其行业特征对网格进行面向领域或行业的分类，比如以解决科学问题( 如 生物信息学、化学等) 的计算网格1 8 1 ，以地理信息系统模型创建为目标的地理信息 网格 9 , 1 0 a 1 1 ，以及教育网格【12 1 、交通信息网格【1 3 , 1 4 1 、天文网格【15 1 、金融网格【1 6 】、校 第一章绪论 园网格【1 7 1 、医疗网格【1 8 1 明以及本文提出的海洋信息网格等众多的行业性网格。 1 1 4 网格的应用 网格是互联网上一组新兴技术，将高速互联网、高性能计算机、大型数据库、 远程设备等融为一体，为用户提供更多资源、功能和交互性，强大的网格技术被用 于广泛的应用领域。 i i 4 i 网格在科学研究领域的应用【2 】 ( 1 ) 分布式计算：目前遇到的许多科学与工程计算问题是无法在一台超级计算机 上解决的，因此需要更多的超级计算机一起来完成。网格可以把分布式的超级计算 机集中起来，协同解决复杂的大规模问题。从集中计算到分布计算是网格功能的重 要体现。 ( 2 ) 高吞吐率计算：高吞吐率计算关心的是几个月、一年甚至几年完成的计算量， 而人们大多数情况下恰恰关心的就是在一段相对较长时间内解决问题的多少，而对 短期内求解问题的多少并不十分关心：对于这样的问题，可以利用c p u 周期窃取 的技术，将大量空闲计算机的计算资源集中起来，提供给对时间不太敏感的问题； 作为计算资源的一种重要来源。 ( 3 ) 分布式仪器系统：是指用网格管理分布在各地的贵重仪器系统，提供远程访 问仪器设备的手段，提高仪器的利用率，大大方便用户的使用。在网格出现之前， 人们就试图通过网络访问一些仪器设备或仪器数据，但当时的软硬件环境都不成 熟，只能实现一些低要求应用罢了，而网格将分布式仪器系统变成了一个非常易于 管理和有弹性的系统。 ( 4 ) 数据密集型计算：对于数据密集型问题，数据的采集地点、处理地点、分析 与结果存放地点等往往都不同，而该类问题的求解又会产生很大的通信和计算需 求，这就需要网格能力。 1 1 4 2 网格在社会经济生活领域的应用 ( 1 ) 基于广泛信息共享的人与人交互。网格的出现可以改变原来人与人之间交流 受到地理位置、交互能力、共享对象等条件的限制。 ( 2 ) 更广泛的资源贸易。计算能力闲置的机器可以共享出来，通过网格让更多的 人来租用。 6 一 网格体系结构与资源管理框架的研究 1 1 4 3 网格在其他领域的应用 ( 1 ) 生命科学：在生命科学研究领域，面临着包括海量数据的分析、移动、挖掘 等挑战，并且随之而产生的对于数据的安全性问题，对于非标准化格式数据的查询 问题。网格技术的出现在一定程度上提供了解决这些海量数据问题的途径。 ( 2 ) 金融系统服务：网格计算技术为解决非常复杂的金融模型实现精确的求解提 供有利条件。 ( 3 ) 高等教育：网格在不同虚拟组织间实现资源共享，并提供教育和研究机构进 行交流与合作。 ( 4 ) 工程服务：包括汽车业和空间站等进行协作设计与数据分布测试。 ( 5 ) 政府部门：主要集中于提供等同的访问政府所设置的各级代理上的大量数据， 为快速访问各代理，来解决政府部门间的紧急问题提供了平台。 1 1 5 网格研究现状 网格技术的研究开始于9 0 年代初期，是由远程计算和分布式计算的应用研究 发展而来。目前网格计算已不再仅仅局限于科学研究，工业界与学术界联盟，共同 致力于使网格计算在更广泛的领域得到推广和应用。网格不仅是推进尖端科学的重 要基础设施，而且是i t 与生物技术和纳米技术融合不可或缺的基础，因此，世界 各国正在积极地实施国家网格项目。 1 1 5 1 国外的研究现状 网格的研究前沿主要在美国和欧洲。网格技术起源于美国通过网络使用超级计 算机的研究，所以，在网格技术开发和网格示范系统方面，美国已有了多年丰富的 资源积累。美国用于网格技术基础研究的经费已经超亿，其中包括由美国军方规划 实施的一个宏大的网格计划，称为“全球信息网格( g l o b a li n f o r m a t i o ng r i d ) ”，预 计在2 0 2 0 年完成。另外，g l o b u s 是美国阿尔贡国家实验室( a n l ) 和s o u t h e r n c a l i f o m i a 大学信息科学学院( i s i ) 以及c h i c a g o 大学为主的研发项目，目前全美有 1 7 所大学和研究机构参与了该项目。g l o b u s 对资源管理、网格安全、信息服务及 数据管理等网格计算的关键理论进行研究，开发能在各种平台上运行的网格计算工 具软件( t o o l k i t ) ，帮助规划和组建大型的网格试验平台，开发适合大型网格系统运 行的大型应用程序。g l o b u s 开发的一个源码开放的t o o l k i t ，目前已经发行了第四版。 第一章绪论 7 网格研究的另一个前沿是欧洲。英国2 0 0 0 年出台了一项称为e s c i e n c e 的计划， 其目标是利用i t 技术来促进和加速科学研究活动。特别是，英国政府正在积极推 动以网格为基础的项目，以便实现分布在世界各地的昂贵计算机、实验室设备和大 规模数据集的共享。作为英国的网格基础设施，目前已在全国确定了9 个国家 e - s c i e n c e 中心，并且正在建设通过高速网络连接高性能计算机的网格。这一网格应 用跨越高能物理、基因组学、生物技术、蛋白质结构解析、医疗保健、环境、气候 学、天文学、化学和材料等许多领域。领导e - s c i e n c e 计划的j o h nt a y l o r 说：“就英 国而言，网格是参与全球科学研究的重要基础设施。除了英国的项目以外，欧洲 正在实施的网格项目有：德国的网格体系结构( u n i c o r e ) 、意大利国家核物理研究 所网格和荷兰基于网格的阿姆斯特丹虚拟实验室等。 另外，在日本i t 实验室里，2 0 0 1 年开始实施一个旨在建设虚拟实验室的项目。 在这个项目中，日本原子能研究所、理化研究所和其它研究机构参与通过通信网络 利用超级计算机的共同研究环境。凭借2 0 0 1 年追加的预算资金，日本实施了更多 以网格为导向的项目，如产业技术综合研究所网格研究中心的建立、东京工业大学 校园网格的建设。2 0 0 2 年，由大阪大学领导的生物网格项目启动，东京大学、德岛 大学、理化研究所等机构也开始建设生物网格。2 0 0 3 年，日本开展全面的网格建设 活动，努力创造世界最高水平的网格，而“商业网格 项目是开发软件应用使网格 可以进行灵活服务的一次尝试。现在，日本实施的超级s i n e t 项目，使日本有关大 学和国立研究所的计算中心都被连接到高速网上，形成构建网格的重要基础设施。 1 1 5 2 国内的研究现状 在我国，网格研究项目主要以中科院、清华大学、华中科技大学、上海交通大 学等科研机构和高校为主。其中主要的大型网格项目包括的以中科院为主的“国家 高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) ，由清 华大学牵头、教育部支持的重点项目“先进计算基础设施北京上海试点工程a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) ”，以及中国国家网格( c n g r i d ) ，8 6 3 空间 信息网格，国家自然科学基金委网格( n s f cg r i d ) ，中国教育科研网格( c h i n a g r i d ) ， 上海网格( s h a n g h a i g r i d ) 等。 ( 1 ) 国家高性能计算环境 国家高性能计算环境( 办称国家计算网格) 是国家级高性能计算和信息服务的 网格体系结构与资源管理框架的研究 战略性基础设施，它将在全国范围内为相关行业提供各种一体化的高性能计算环境 和信息服务。特别是在以下三方面凸现优势：在国土资源方面：在过去几十年 里，我国的各类国土资源部门，包括国土资源部、水利部、林业部、核工业部、地 矿部、测绘局、气象局、海洋局等部门花费了大量财力收集各种地下、地面、大气 的资源数据，但这些国家的宝贵财富和资产目前由于零碎地分散在很多地方，共享 困难，利用率很低，将这些数据组织起来放在网格上供全国研究和使用将有很多好 处；在高性能计算方面：计算网格的建立有利于国家高性能计算中心共享资源， 在诸如基础和应用基础科学研究、汽车制造、大型水电工程、石油勘探、气象气候、 航空、交通、金融、医疗卫生等领域发挥更大的作用；在生物信息方面：生物 科学的信息化和全球化已成为大势所趋，我国的生命科学界对网格也有强烈呼声， 以北京大学生命学院为龙头的一些生物科研机构已经加入了相关的国际组织，并在 网格上分享现代生物信息资源以提高工作效率。 ( 2 ) 先进计算基础设施工程 先进计算基础设施工程( a c i ) 最早是由美国大力发展的一项信息领域基础设 施。a c i 的含义是把分布在不同地理位置的高性能计算机、贵重仪器、数据库等资 源用高速网络连接在一起，使这些资源看起来就像一台单一映像的虚拟机器，用户 通过a c i 共享资源、建立虚拟实验室、共同讨论以及合作开展科研项目。显然， a c i 的建设将从根本上改变计算机( 尤其是超级计算机) 使用的结构和概念。 在我国，a c i 的研究已经取得阶段性成果：由清华大学计算机系承担的“先进 计算基础设施北京上海试点工程( 简称清华a c i 系统) ”已经于2 0 0 1 年6 月通 过了国家组织的验收和鉴定。在清华a c i 系统中，清华大学研制的高性能计算机 “t h n p s c 2 与上海大学研制的高性能计算机“自强2 0 0 0 ”等六个应用节点连接 后，可以构成跨地区、跨学科的“虚拟实验室”研究环境。 清华a c i 系统是一套健全的资源管理、任务管理、用户管理及安全服务与监控 系统。在清华a c i 系统中保存了很多函数库、应用库、工具等，这可以使用户避免 很多重复工作，加快研究进度，迅速提高其研究水平。 ( 3 ) 中国国家网格 中国国家网格专项由国家“8 6 3 ”高技术研究发展计划资助，旨在建立面向企业、 高等院校、科研机构、政府部门的国家高性能计算环境。专项的主要任务包括：建 第一章绪论 9 设中国国家网格实验床；建立具有4 万亿次以上计算能力的网格主节点；支持网格 应用以及维护网格系统运行的网格软件。目前，中国国家网格的试验床环境已经建 设成8 个节点：主节点有2 个：中科院计算机网络信息中心和上海超级计算机中心， 主节点采用自行研制的、面向网格的高性能计算机，若干工业、服务业、科学研究 以及资源环境领域的网格应用投入运行，实现资源共享、协同工作。普通节点有6 个，分别是：清华大学( 北京) 、中科院应用物理所( 北京) 、中国科学技术大学( 合 肥) 、西安交通大学( 西安) 、国防科技大学( 长沙) 、香港大学( 香港) 。 ( 4 ) 国家空间信息网格 国家空问信息网格由国家“8 6 3 ”高技术研究发展计划信息获取与处理主题资助， 该主题将面向国家重大需求，结合宽带信息网、高性能计算等信息基础设施的建设 和发展，系统性地开展对地观测数据的定量化处理、网络化共享与集成应用等关键 技术研究，构建我国国家空间信息网格。从整体上提高我国空间信息获取、处理与 应用能力，实现多维多源精细空间信息一体化获取、空间信息的定量化处理、空间 信息的网络化共享与应用等三个方面的重大突破，最终推动我国遥感信息资源的社 会化与应用产业化。 ( 5 ) 中国教育科研网格 中国教育科研网格是教育部“2 1 1 工程”公共服务体系建设的重大专项。 c h i n a g r i d 由国内1 2 所大学首批参与，现已发展成2 0 多所科研院校参与的网格项 目。它将充分利用中国教育科研网( c e r n e t ) 和高校的大量计算资源与信息资源， 开发相应的网格软件。配合网络计算机的使用，将分布在c e r n e t 上自治的分布 异构的海量信息资源集成起来，实现c e r n e t 环境下资源的有效共享，消除信息 孤岛，提供有效的服务，形成高水平低成本的计算机服务平台，将高性能计算送到 教育与科研网用户的桌面上，成为国家教学科研服务的大平台中国教育科研网格 主要由公共网格服务支撑平台、校园网格平台及生物信息学网格、图像处理网格、 远程教育网格、流体力学网格和海量信息处理网格等五大专业应用网格构成。 ( 6 ) 上海网格 上海网格是上海市科委2 0 0 3 年重大项目“信息网格及其典型应用研究”的主 要内容，上海网格由上海交通大学、同济大学、上海大学、上海超级计算中心、复 旦大学、上海城市交通信息中心和华东计算技术研究所等单位合作完成。该项目设 网格体系结构与资源管理框架的研究 立了“信息网格设施环境及协议标准研究”、“信息网格系统软件开发及网格节点建 设”、“基于对等计算p 2 p 技术的协作研究平台 和“信息网格在交通信息服务中的 应用研究”四个子课题。上海网格从“面向应用、服务市民的角度出发，依托国 家“8 6 3 ”计划、国家自然科学基金、教育部和地方重大科研攻关项目的最新研究 成果，研究符合国际标准的信息网格体系结构与关键技术，开发具有自主知识产权 与推广价值的信息网格系统软件、应用开发环境和虚拟研究平台。通过对虚拟组织 中的计算、数据、软件等各种信息的共享和协同，建立具有上海特色的信息网格， 并初步实现交通信息网格典型应用。上海网格就是要通过网格技术把上海各个孤立 的信息系统资源整合起来，为公众服务。目前上海网格已经开发了一个典型的网格 应用交通信息网格。 1 1 5 3 商业应用的研究现状 目前网格技术虽主要为学术机构所控制，但企业也在陆续跟进。基因研究是网 格技术的自然应用，这一领域所需的投资很难由一家企业来承担。生物科技企业可 用网格技术来分析基因数据；医生可以用网格技术制作出病人器官的三维模型，作 为诊断疾病的辅助手段；网格可以处理来自商店现金记录或金融市场的数据流。其 他行业，如航空、保险、运输和国防，也会从网格研究应用中受益。 网格计算被誉为继i n t e m e t 和w e b 之后的“第三个信息技术浪潮 ，有望提供 下一代分布式应用和服务，对研究和信息系统发展有着深远的影响。主要i t 厂商 早就为获得网格计算的控制权展开了竞争。i b m 、h p 、微软、s u n 等公司取得共 识，支持x m l 、s o a p 、u d d i 等万维网标准，从而更有利于开发新一代的网络应 用，即万维网服务。其目的是将因特网上的资源和信息汇聚在一起，组合成企业和 消费者所需要的服务。i b m 公司在网格技术研究方面处于国际领先的地位，i b m 对 网格的投入非常巨大，该公司不仅是g l o b u s t 5 l 项目的主要赞助商之一，而且还是 o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 1 6 j 标准的主要制定者之一。i b m 用它的w | e b s p h e r e 平台和一系列中间件实现力- 维网服务，另外，i b m 最近宣布，将投资4 0 亿 美元，启动一个全公司的“网格计算创新计划”。h p 也推出了e s p e a k 万维网服务 平台。微软的路线是通过其n e t 计划和c # 语言实现力维网服务。s u n 则通过o p e n n e t w o r ke n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台来实现网格的应用。o r a c l e 公 司2 0 0 4 年9 月9 日在旧金山发布了o r a c l e1 0 9 ，这早的g 代表的正是g r i d ，而该公 第一章绪论 司以前的o r a c l e8 i 、o r a c l e9 i 中的i 却代表的是i n t e r n e t 。o r a c l e 作为全球最大的企 业软件供应商，重点看中网格技术的动态管理特性，即只要把数据交给o r a c l e1 0 9 ， 就会自动在数据库集群中分布存储它，以获取更高的数据存取性和可靠性，而且还 可以在所有节点中自动进行负载均衡，以达到更大的性能价格比。日本n t t 数据 公司从2 0 0 2 年底至2 0 0 3 年4 月，将l 万台个人电脑通过互联网连接起来，进行了 网格计算的试验。该公司利用这l 万台个人电脑分析了与治疗疯牛病( b s e ) 有关 的遗传密码，其网格计算的速度已实现每秒3 0 0 0 0 亿次，这一速度并不逊于超级大 型机的运算速度。日本富士通公司目前已开发出利用个人电脑分析蛋白质结构，从 而进行新药效果模拟试验的计算软件。此外，医药、化工、通信、电子、汽车等领 域的一些大公司，如辉瑞、爱立信、日立、宝马、联合利华、葛兰素威康、史可必 成等，都已经开始构造使用内部网格。 1 1 6 网格的发展趋势 网格技术的发展趋势是全球范围内的标准化、技术融合和大型化【2 i 】。 ( 1 ) 标准化趋势 就像i n t e r n e t 需要依赖t c p i p 协议一样，网格也需要依赖标准协议才能共享和 互通。目前，包括全球网格论坛g g f ( g l o b a lg r i df o r u m ) 、对象管理组织o m g ( o b j e c tm a n a g e m e n tg r o u p ) 、环球网联盟w 3 c ( w o r l dw i d ew e bc o n s o r t i u m ) 以 及g l o b u s 项目组在内的诸多团体都试图争夺网格标准的制定权。 g l o b u s 项目组在网格协议制定上有很大发言权，因为迄今为止，g l o b u st o o l k i t 已经成为事实上的网格标准。g l o b u s 由美国阿尔贡国家实验室数学与计算机分部、 南加州大学信息科学学院和芝加哥大学分布式系统实验室合作开发，并与美国国家 计算科学联盟、n a s a 的i p g ( i n f o r m a t i o np o w e rg r i d ) 项目、美国国家先进计算 基础设施同盟n p a c i ( n a t i o n a lp a r t n e r s h i pf o r a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 等建立了伙伴关系。一些重要的公司，包括i b m 、m i c r o s o f t 、c o m p a q 、c r a y 、s g i 、 s u n 、f u j i t s u 、h i t a c h i 、n e c 等公开宣布支持g l o b u st o o l k i t 。目前大多数网格项目 都是基于g l o b u st o o k i t 所提供的协议及服务建设的，例如美国的物理网格g r i p h y n 、 欧洲的数据网格d a t a g r i d 、荷兰的集群计算机网格d a s 2 、美国能源部的科学网格 和d i s c o m 网格、美国学术界的t e r a g r i d 等。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项 刚格体系结构与资源管理框架的研究 目组和i b m 共同倡议了一个全新的网格标准o g s a 。o g s a 把g l o b u s 标准与以商 用为主的w e bs e r v i c e s 标准结合起来，网格服务统一以s e r v i c e s 的方式对外界提供。 o g s a 的诞生，标志着网格已经从学术界的象牙塔延伸到了商业世界中，而且从一 个封闭的世界走向了开放的环境中。o g s a 从诞生起，就得到业界的广泛支持，像 微软、p l a t f o t i nc o m p u t i n g ( 一家分布式计算软件公司) 、a v a k i ( 商用网格解决方 案提供商) 、e n t r o p i a ( 基于p c 的分布式网格计算技术提供商) 等从一开始就宣布 支持0 g s a 。到目前为止，o g s a 已经广为接受，几乎所有的业界同仁都认为它就 是网格的未来。由于o g s a 是在g g f 会议上提出来的，g g f 也就顺理成章地成为 o g s a 标准化进程的领头羊。目前，g g f 有4 个研究组负责与o g s a 相关的标准 制定工作：开放网格服务体系结构工作组o g s a w g 、开放网格服务基础设施工作 组o g s i w g 、开放网格服务体系结构安全工作组o g s a s e c w g 和数据库访问与 集成服