（计算机软件与理论专业论文）网格平台gbuilder软件集成开发环境的研究.pdf

南京邮电大学硕士研究生学位论文 中文摘要 中文摘要 网格技术是一种新型的分布式计算技术，它的目标是实现网络环境上的高性能资源的 共享和协同工作，消除信息孤岛和资源孤岛。它可以作为虚拟的整体而使用在地理上分散 的计算资源，如高速互连的异构计算机、数据库、科学仪器、文件和超级计算系统等。网 格计算系统不但能便人们聚集分散的计算能力、形成超级计算的能力，而且还能使人们共 享和充分利用网络中的各种资源。 网格计算功能的实现主要是通过网格支撑软件平台来实现，软件平台主要实现几个功 能：一方面，集成网络中的资源，网络中的资源在注册中心注册，由统一的标准来描述网 络资源的功能和接口以及各资源间交互的信息和数据，客户端计算机可以到注册中- o 自动 检索所需要的服务，并形成满足要求的工作流程。另一方面，软件平台还提供了资源管理、 性能检测和安全保障机制，使得系统可以安全、稳定地运行。网格软件平台还提供了些 支持各种类型应用的常用工具，如协同工作工具、数据管理工具和分布式仿真工具等。 本文所阐述的g b u i l d e r 平台就是架构在网格支撑软件平台之上的用于快速实现网格 应用的开发平台。该平台综合采用了代码生成、适配器和工作流等技术，以良好的用户界 面和快捷、实用的工具引导用户快速地了解网格应用开发，并可以在该平台上实现中型规 模的网格应用。解决了使用传统g t 3 底层软件平台开发网格应用步骤繁琐、专业要求高、 可操作性不强等问题。该平台的实现是以插件的形式整合到e c l i p s e 中，提供了诸如新建 向导、项目管理、网格应用的快速打包部署工具等一系列插件。本文主要介绍了网格的发 展概况，e c l i p s e 插件开发的背景和语言特点，阐述了g b u i l d e r 平台原型系统的系统结构 及设计思路，详细描述了各个功能模块的实现。最后展示了g b u i l d e r 平台的功能，并在 该平台上进行网格应用的开发。 关键词：网格计算、网格开发平台、插件开发、集成开发环境 南京邮电大学硕上研究生学位论文 a b s t r a c t a b s t r a c t g r i dt e c h n o l o g ya s an e wk i n do fd i s t r i b u t e dc o m p u t i n gt e c h n o l o g ya i m st os h a r eh i g h p e r f o r m a n c e r e s o u r c e s ，a c h i e v ec o l l a b o r a t i v e l yw o r k i n g ，e l i m i n a t e si n f o r m a t i o n i s l a n da n dr e s o u r c e - i s l a n d i t c a nu s ea l l k i n d so f c o m p u t i n gr e s o u r c ea sav i r t u a lb o d y , s u c ha sc o m p u t e r , d a t a b a s e ，s c i e n c ei n s t r u m e n t ，f i l e sa n ds u p e r c o m p u t i n gs y s t e me t c t h eg r i dc o m p u t i n gs y s t e mc a nn o to n l yi n t e g r a t et h ed i s t r i b u t e dc o m p u t i n ga b i l i t yt o i n f o n ns u p e rc o m p u t i n gc a p a c i t y , b u ta l s ok e e pp e o p l ef u l l yu s i n ga l lk i n d so fr e s o u r c e i nt h e g r i d e n v i r o n m e n t ， s u p p o r ts o f t w a r ep l a t f o r mo f f e r st h ei m p l e m e n to f g r i dc o m p u t i n gi ns e v e r a lw a y s f i m t ，i tc a ni n t e g r a t e r e s o u r c e si nn e t w o r k t h er e s o u r c e sa r er e g i s t e r e di nr e g i s t r a t i o nc e n t e rw h e r et h ef u n c t i o n sa n di n t e r f a c e so f t h er e s o u r c e sa r ed e s c r i b e di nu n i f o r mc r i t e r i o n t h ec l i e n tc a na u t o m a t i c a l l ys e a r c ht h es e r v i c ei nr e g i s t r a t i o n c e n t e r , a n dt h e nf o r m i n gt h ef l o wo fw o r k s e c o n d ，t h ep l a t f o r mp r o v i d e sr e s o u r c em a n a g e m e n t ，p e r f o r m a n c e c h e c k i n ga n ds e c u r i t ys a f e g u a r d sw h i c hc a nm a k et h es y s t e mr u ni ns e c u r i t ya n ds t e a d i l y t h eg r i ds o f t w a r e p l a t f o r ma l s op r o v i d e ss o m et y p i c a lt o o l ss u c ha sc o l l a b o r a t i v ew o r k i n gt o o l s ，d a t am a n a g e m e n tt o o l sa n d d i s t r i b u t i o ns i m u l a t i o nt o o l s t h eg b u i l d e rp l a t f o r me x p o u n d e di nt h i sp a p e ri sa r c h i t e c t e do nt h eg r i ds u p p o r ts o f t w a r ep l a t f o r m t h e p l a t f o r mi sc o m p o s e do fc o d eg e n e r a t i n g ，a d a p t e ra n dw o r kf l o wt e c h n o l o g y ，i ta l s op r o v i d e sg o o du s e r i n t e r f a c ea n do n e s h o ta p p l i e dt o o l sw h i c he a il e a du s e r st ou n d e r s t a n dt h ed e v e l o p m e n to fg r i da p p l i c a t i o n q u i c k l ya n di m p l e m e n tg r i da p p l i c a t i o ni nm e d i u ms c a l e i to v e r c o m e st h es h o r t c o m i n g so f t r a d i t i o n a ls u p p o r t s o f t w a r ep l a t f o r m t h ei m p l e m e n t a t i o no ft h ep l a t f o r mi s i nf o r mo fp l u g - i ni n t e g r a t e di ne c l i p s e i tp r o v i d e s s o m ep l u g - i n ss u c ha sn e ww i z a r d ，p r o j e c tm a n a g e m e n t ，g r i da p p l i c a t i o np a c k a g ea n dd e p l o y i n gt o o l s i nt h i s p a p e r ，w ep r i m a r i l yi n t r o d u c et h ed e v e l o p m e n to fg r i d ，t h eb a c k g r o u n do fe c l i p s ep l u g - i nd e v e l o p m e n ta n d l a n g u a g ec h a r a c t e r s ，e x p a t i a l et h es y s t e ma r c h i t e c t u r ea n dt h ed e s i g nt r a i no ft h o u g h t so fg b u i l d e rp l a t f o r m p r o t o t y p es y s t e m ，d e s c r i b et h ei m p l e m e n to fe v e r ym o d u l e a tt h ee n do ft h i sp a p e r ，i td e m o sh o wt ou s e g b u l i d e r a n d t h ed e v e l o p m e n t o f g r i da p p l i c a t i o n k e y w o r d s ：g r i dc o m p u t i n g ，g r i dd e v e l o p m e n tp l a t f o r m ，p l u g 。i n d e v e l o p m e n t ，i n t e g r a t e dd e v e l o p m e n t e n v i r o n m e n t h 南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机软件与理论 研究方向：基于网络的计算机软件技术 作 者：三堕级研究生 董传杰指导教师王选笾 题目：网格平台g b u i l d e r 软件集成开发环境的研究 英文题目：t h er e s e a r c ho nt h ei d eo fg b u i l d e r 主题词：网格计算网格开发平台插件开发 集成开发环境 k e y w o r d s ： c r i dc o m p u t i n gg r i dd e v e l o p m e n tp l a t f o r m p l u g i nd e v e l o p m e n t i n t e g r a t e dd e v e l o p m e n te n v i r o n m e n t 课题来源：1 江苏省高科技重大项目“网格计算开发平台 g b u i l d e r 研究与实现”( 编号b g 2 0 1 m 0 0 4 ) 2 江苏省自然科学基金项目“基于移动代理网格计 算中关键技术研究”( 编号b k 2 0 0 3 1 0 5 ) 南京邮电大学硕士研究生学位论文 缩略词 缩略词 缩略词英文全称译文 g t 3g l o b u st o o l k i t3 g l o b u s 工具集 0 g s a o p e ng r i ds e r v i c e sa r c h i t e c t u r e 开发网格服务体系结构 w s r fw e bs e r v i c er e s o u r c ef r a m e w o r kw e b 服务资源框架 g g fg l o b a lg r i df o r u m全球网格论坛 g p ng r i dp h y s i c sn e t w o r k美国物理网格 n s fn a t i o n a ls c i e n c ef o u n d a t i o n美国国家科学基金 g g gg r e a rg l o b a lg r i d 巨大全球网格 w s d lw e bs e r v i c ed e s c r i p t i o nl a n g u a g ew e b 服务描述语言 w s d dw e bs e r v i c ed e p l o y m e n td e s c r i p t o r w e b 服务发布描述 m v cm o d e l v i e w c o n t r o l l e r 模型视图控制 i v j i b mv i s u a la g ef o rj a v a i b m 可视j a v a 开发环境 p d e p l u g - i nd e v e l o p m e n te n v i r o n m e n t 插件开发环境 j d e j a v ad e v e l o p m e n te n v i r o n m e mj a v a 开发环境 c d tcd e v e l o p m e n te n v i r o n m e n t c 开发环境 s w ts t a n d a r dw i d g e tt o o l k i t标准小窗口工具集 j n ij a v an a t i v ei n t e r f a c ej a v a 本地接口 x m le x t e n s i b l em a r k u pl a n g u a g e可扩展标记语言 o s g o p e ns e r v i c eg a t e w a yi n i t i a t i v e 开放服务主动网关 v 南京邮电大学硕士研究生学位论文日f 言 弓i 青 谦题背景 随着网络技术的快速发展，原有的i n t e m e t 网络暴露出了一些不足。人们要求更加便 捷、自由地访问网络资源，希望像使用电力资源一样随意地使用网络资源。并因此产生了 网格的概念。网格技术韵目标是实现网络环境上的商性能资源共享和协同工作，消除信息 孤岛和资源孤岛。网格环境将物理上分散的各种资源包括计算资源、存储资源、数据资源、 信息资源、知识资源、专家资源整合成一个虚拟的整体，实现这些资源的充分共享和协同。 在网格环境下整个i n t e m e t 像是一个巨型计算机，用户不必考虑资源的来源，只需要知道 资源的入口门户就可以方便的使用这些资源。 从网格技术的提出，各国都投入了大量的资金用户网格技术的研究，目前已经提出 了l e g i o n 、o l o b u s 等底层支撑工具集。但这些工具集类似于j a v a 开发中的j d k ，没能 提供良好的人机界面，在该工具集上开发需要有深入的专业知识，而且开发过程中的编码、 调试、打包、部署需要手工完成，步骤比较繁琐。因此网格技术的发展需要一个用于网格 开发的集成开发平台来简化开发步骤，提高开发速度，这也是g b u i t d e r 平台所要解决的 问题。 课霹来源及本人的i 作 本文所涉及的课题主要来源于：江苏省高新研究计划“网格计算平台g b u i l d e r 研究 与实现”。( 项目编号b g 2 0 0 4 0 0 4 ) 。江苏省自然科学基金“基于移动代理的网格计算中关 键技术的研究”( 项目编号b k 2 0 0 3 1 0 5 ) 。 本人所作的主要工作包括：( 1 ) 在g b u i l d e r 总体设计基础上进行了模块设计和功能 划分；( 2 ) 研究了e c l i p s e 插件开发机制、接口规范和插件设计流程；( 3 ) 设计人机交互 界面，提供良好的用户体验。( 4 ) 对各个功能模块的实现，以插件开发的形式实现了项目 向导、项目管理、网格服务的部署等功能。( 5 ) 在g b u i l d e r 平台上开发一个简单的网格 应用实例。 本文组织 本文主要分为五个主要章节，内容组织如下： 第一章网格计算概述，首先引入了网格计算的定义，并介绍了网格计算的产生、特 征和发展状况。最后介绍了网格计算发展中提出的两个主要的体系结构：五层沙漏结构和 o g s a 结构。 第二章开放式的开发环境e c l i p s e ，简单介绍了e c l i p s e 平台的体系结构，以及该平 查塞业皇查堂里主塑堑兰兰竺笙壅 ! ! 亘 台的各个功能模块。通过开发一个简单的插件详细介绍了在e c l i p s e 平台中开发插件的流 程。 第三章g b u i l d e r 软件的总体设计，介绍了g b u i l d e r 软件产生的背景，该平台的功能 设想。提出了g b u i l d e r 软件的体系结构，并分析了该体系结构的特点，最后根据该体系 结构将g b u i l d e r 软件划分了几个相关的组件，介绍了各个组件的功能。 第四章g b u i l d e r 软件集成开发环境的实现，根据总体设计中的体系结构，划分了 g b u i l d e r 软件的功能模块，并具体到相关的e c i i p s e 插件，并详细介绍了各个功能模块的 实现。 第五章g b u i l d e r 集成开发环境应用示范，展现了g b u i l d e r 软件的平台概貌，介绍了 各个功能模块的使用方法，并介绍了如何在该平台上开发了一个网格应用。 最后，总结了本文所作的工作，并对该课题进一步研究的重点方向和网格计算的发展 方向进行了展望。 南京邮电大学硕士研究生学位论文 第一章网格计算概述 i i 网格计算概念 第一章网格计算概述 网格技术是一种新兴的网络信息技术，它的目标是实现网络环境上的高性能资源共享 和协同工作，消除信息孤岛和资源孤岛。网格计算就是基于网格的问题求解，是一个分布 式和并行计算的支持平台，是一种无缝、集成计算和协同环境【i ，2 1 。它可以作为虚拟的整 体使用在地理上分散的计算资源，如高速互连的异构计算机、数据库、科学仪器、文件和 超级计算系统等。基于i n t e m e t 的网格计算系统不但能使人们聚集分散的计算能力、形成 超级计算的能力，解决诸如高能物理、大气、天文、生物信息和石油地质等许多重大应用 领域中的问题( 诸如虚拟核爆炸、新药研制、气象预报和环境监测等) ，而且还能使人们 共享和充分利用网络中的各种资源。简而言之，网格把整个i n t e r a c t 整合成一台巨大的超 级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全颂 共享和协同。 1 。i 。1 网格计算的产生 网格是借鉴电力网格的概念提出来的，网格的最终目的是希望用户在使用网格计算能 力时，就如同使用电力样方便。人们在使用电力时不需要知道它是哪个发电站输送出来 的，也不需要知道电力是通过什么样的发电机产生的。人们使用的是一种形式统一的“电 能”。网格也希望给终端的使用者提供与地理位置无关、与具体计算设施无关的通用的计 算能力。 网格计算的产生主要是因为目前网络技术的发展面临着以下两方面的问题：一方面 i n t e r n e t 上的终端用户在解决问题时对网络资源的数量、速度以及计算能力要求越来越 高。不少应用问题因为没有足够的网络资源可供使用而无法解决。而另一方面，虽然 i n t e r n e t 上主机不断增加，网络带宽也不断提高，但网络资源的利用率却很低，而且高 性能计算的应用需求使计算能力不可能在单一计算机上获得，人们在这方面的努力结果产 生了并行计算、集群技术、分布式计算技术，但是这些技术只能帮助人们使用一定范围的 计算资源，这个一定范围通常就是一个管理域的范围，利于这些技术所能共享的资源有限， 聚合的整体力量也不足够强。因此，必须通过构建“网络虚拟超级计算机”或“元计算 机”来获得超强的计算能力。 “网格计算”系统化地发展了最初元计算的概念，它通过 3 南京邮电大学硕士研究生学位论文 第一章网格计算概述 网络连接地理上分布的各类计算机据库、各类设备和存储设备等，形成对用户相对透明的 虚拟的高性能计算环境，应用包括了分布式计算、高吞吐量计算、协同工程和数据查询等 诸多功能。网格计算被定义为一个广域范围的“无缝的集成和协同计算环境”。网格计 算模式已经发展为连接和统一各类不同远程资源的一种基础结构。 ls m a r r 上世纪末正式提出了网格计算的概念。ls m a r r 指出网格就是“一个无缝的集 成的计算和协同环境”。f a nf o s t e r 最早在网格：一种新型计算基础架构的蓝图书中 给出了网格的基本定义：“一个计算网格是一个硬件和软件基础架构，提供可靠的、致 的、普遍的和廉价的对高端计算力的访问”。然后在2 0 0 0 年的论文网格剖析中，f o s t e r 将网格定义为“多个虚拟组织间的动态的资源共享和协同问题求解”。自从网格计算的概 念提出来之后，出现了很多网格计算的文献报道，很多商家也推出了号称支持“网格计算” 的产品。这些文献和产品中，网格计算的概念不尽相同，出现了“些许混乱”。为此f o s t e r 在2 0 0 2 年的专栏文章中指出判断是不是网格计算的三个准则，即：协作资源，不需要中央 控制；使用标准的、开放的、一般用途的协议和接口；交付一定的服务质量。网格正式作 为一个新的课题进入了人们的视野。 1 1 2 网格计算的特性 网格计算技术是高性能计算技术与公布式计算技术相结合的产物，它除了具备分布式 系统的基本特性分布性和共享性之外，还具有自相似性、资源类型多、多层次上的异 构性i 一。 f i ) 分布性和共享性：分布性是网格的一个最主要的特点。网格的分布性首先是指冈格 的资源是分布的。组成网格的计算能力不同的计算机，各种类型的数据库乃至电子图书馆， 以及其它的各种设备与资源，是分布在地理位置互不相同的多个地方，而不是集中在一起 的。分布的网格所涉及的资源类型复杂，规模较大，跨越的地理范围较广。 a 数据收集 b 投据收集 c 敷据蛙理 d 实验验证 e 鲭裳可程 f 结粜瓷布 图1 1 网格的分布性 因为网格资源是分布的，因此基于网格的计算一定是分布式计算丽不是集中式计算。 在网格这一分布式环境下，需要解决资源与任务的分配和调度问题，安全传输与通信闯题t 4 南京邮电大学硕士研究生学位论文 第一章网格计算概述 实时性保障问题，人与系统以及人与人之间的交互问题等。 如图l ，l 所示，个问题的求解需要从a 和b 两个不同的地方获取数据，然后将这 些数据送到专门的机构c 进行数据的分析和处理，对于处理后的结果，需要进一步在d 处通过实验进行验证，并利用e 处的高级可视化设备进行结果显示，而问题最终得到的 结果可能是在f 处进行公布。这一问题求解过程涉及到了a 、b 、c 、d 、e 、f 六个不同 的地方，这些地方有可能相距千万里之遥，甚至有些时候还需要一些移动设备的介入，这 些都说明了网格的分布性特征。 网格资源虽然是分布的，但它们却是可以充分共享的。即网格上的任何资源都可以提 供给网格上的任何使用者。共享是网格的目的，没有共享便没有网格。解决分布资源的共 享问题是网格的核心内容。这里共享的含义是非常广泛的，不仅指一个地方的计算机可以 用来完成其他地方的任务，还可以指中间结果、数据库、专业模型库以及人才资源等各方 面的内容。 分布是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻辑上的特征， 这两者对于网格来说都是十分重要的。 ( 2 ) 自相似性：网格的局部和整体之间存在着一定的相似性，局部往往在许多地方具 有全局的某些特征，而全局的特征在局部也有一定的体现，这就是网格的自相似性。 比如可以在一个实验楼里建立一个小规模的实验网格，然后可以把整个学校的多个实 验网格联系起来形成一个全学校的教学科研网格，不同学校之间的内部网格可以互连起来 形成一个高校之间的网格联盟，这一网格联盟又可以成为全国网格的一个部分。这些网格 都会有各自的计算中心，只不过在计算能力上有所差别而已：它们也都需要管理缩点，只 不过越大规模的网格的管理结点要有越多和越强大的管理功能而已。这种整体和部分之间 的相似性可以在多个阶段看到。网格的自相似性在网格的建造和研究过程中有重要的意 义。 ( 3 ) 资源类型多，多层次上的异构性：对于网格来说，决不能假设它是一成不变的。 原来拥有的资源或者功能，在下一时刻可能就会出现故障或者不可用：而原来没有的资源， 可能随着时间的推移会不断地加入进来。网格的动态性包括动态增加和动态减少两个方面 的含义。网格资源的动态变化特点要求网格管理必须充分考虑并解决好这一问题，对于网 格资源的动态减少或者资源出现故障的情况，要求网格能够及时采取措施，实现任务的自 动迁移，做到对高层用户透明或者尽可能减少用户的损失。 网格资源的动态增加需要提供网格的扩展性问题，也就是说在网格的设计与实现时， 必须考虑到新的资源能否很自然地加入到网格中来，并且可以和原来的资源融合在一起， s 堕塞塑皇奎堂堕主翌壅竺兰竺丝兰 塑二兰塑璺生墨塑垄 共同发挥作用。网格扩展要求体现在规模、能力、兼容性等几个方面。一开始网格的规模 往往不是特别大，不需要也不可能一步到位，但是网格应该能够允许对它自身进行多种形 式的扩展，网格规模扩展后网格的相应管理软件也应该能够满足扩展性的要求，网格软件 的升级要能够向下兼容。 网格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机系统和类别不 同的资源，因此网格系统必须能够解决这些不同结构、不同类别资源之间的通信和互操作 问题。正是因为异构性或者说资源多样性的存在，为网格软件的设计提出了更大的挑战， 只有解决好这一问题，才会使网格更有吸引力。 ( 4 ) 系统的自治性、多个管理区域：自治性主要表现在网格上的资源首先属于某个组 织或个人，网格应该允许资源拥有者对他的资源拥有自主的管理能力，这就是网格的自治 性。另外，网格资源必须接受统一管理，没有资源的相互联系、共享和互操作就没有办法 为更多的用户提供方便的服务。而网格计算的多个管理区域体现在网格管理的多重性， 方面允许资源的拥有者有自主管理权限，同时又必须接受网格的统一管理。 1 2 网格技术的发展 网格的发展经历了三个阶段：第一阶段是网格的萌芽阶段，开始于9 0 年代早期，研 究内容是关于千兆网试验床以及一些元计算方面的工作；第二阶段是一些早期的试验，时 间大概从9 0 年代中期到晚期，出现了一些比较重要的开创性和奠基性的研究项目，比如 i - w a y 、g l o b u s 、l e g i o n 等；目前是网格计算的迅速发展阶段，关于网格的研究、开发和 应用项目大量出现，出现了影响很大的组织全球网格论坛g g f ，同时网格计算也不再仅 仅局限于科学研究，工业界与学术界联盟，正致力于使网格计算在更广泛的领域得到推广 和应用。 1 2 1 网格计算的现状 目前，对网格的研究已经在世界范围内如火如茶地展开。各国政府和大公司近年来纷 纷投入巨资开展网格相关的研究开发工作。 美国是网格研究起步最早的国家。也是目前在网格研究方面走在最前列的国家。美国 政府每年投入高达5 亿美元的经费以进行网格基础方面的研究。美国能源部支持的科学网 格) 羽6 2 2 m b p s 的e s n e t 网格连接了能源部的两台超级计算机网格计算能力达到每秒5 万亿 次，存储能力达到1 3 千万亿字节。美国国家科学基金( n s f ) 支持的t e r a 0 打d 将连接位于五个 s 堕室些皇奎兰堡主堕茎竺兰堡笙壅 兰二童旦壁生兰坚堡 不同地点的超级计算机，达到每秒2 0 万亿次的计算能力，并能存储和处理近i 千万亿字节 的数据。t e m g r i d 最大特色是连接网格的专用网络带宽将达到惊人的4 0 g b p s 。美国物理网 格g p n ( g r i d p h y s i c s n e t w o r k ) 计划建立每秒千万亿次级别的计算平台，用于数据密集型计 算。美国军方正在实施的全球信息网格( g i gg l o b a li n f o r r n a t i o ng r i d ，预计在2 0 2 0 年完成。 美国多家研究机构开展了与网格相关的研究工作，并开发t l e g i o n 、g l o b u s 等比较有 影响的软件和工具。其g l o b u s 软件已经在世界范围内的许多项目中被采用。在2 0 0 2 年的 2 月，i b m 与o l o b u s 共同发表了o g s a ( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) ， 勾勒了 g l o b u st o o l k i t3 0 的蓝图b j 。o g s a 主要是将w e bs e r v i c e s 、数据库存取、j 2 e e 等技术 规范纳入网格计算。初步的规范已经公布在网络上供大家评估建议。 美国也建成了多个科研网格和教育网格，并已在运行当中。i b m 研究中心使用g l o b u s 技术构建了自己的“蓝色网格”，该网格将分布在美国、以色列、瑞士、日本和英国的i b m 研究和开发实验室的超级计算机连接在起，实现资源的共享和利用，同时也能对网格服 务和解决方案进行测试和原型实验。美国国家科学基金( n s f ，n a t i o n a ls c i e n c e f o u n d a t i o n ) 于2 0 0 1 年9 月发起了一个创新计划，投资1 2 0 0 万美元，计划花3 年的时间 构建和部署个先进的网格服务平台。到目前为止，它已经发布了一个中间件包，包括 c l o b u s 工具包、c o n d o r g 和n w s ，使得美国的科研人员、工程师和教育工作者能够使用 该网格。 f g - 曲u s 服务：a w a k e l 所支持的其他服务应用层： l o g i n 、c o r b a 、h p c g l o b u s 元计算抽象 g i o b l 兰到l 兰纠l 竺纠冒圈园 异构，地理上分布的设备和网络 元计算试验床 ! ：竺：f i g u s t o l 图1 2g l o b u s 工具包结构 图1 2 展示了g l o b u s 工具包的结构。该创新计划设有网格研究、集成、部署小组和 企业桌面集成技术小组。此外，美国军方也在规划实施一个宏大的网格计划，叫做“全球 信息网格”( g l o b a li n f o r m a t i o ng r i d ) ，预计在2 0 2 0 年完成。美国政府用于网格技术 7 查室堕皇查兰堡圭堕墅竺兰堡垒苎 蔓二皇堕堑生苎堡堕 基础研究的经费已达5 亿美元。产业界如i b m 已宣布投入1 0 0 亿美元，启动“按需计算” 计划( 0 nd e m a n dc o m p u t i n gi n i t i a t i v e ) ，这个计划由i b m 资深科学家w l a d a w s k y b e r g e r 领导，其主要内容是网格计算( g r i dc o m p u t i n g ) 与自主计算( a u t o n o m i cc o m p u t i n g ) 。 h p 和s u n 等其他跨国公司也纷纷提出各自的网格技术研究计划。 欧洲方面，英国政府投资1 亿英镑，用以研发“英国国家网格”。另外欧洲还有d a t a g r i d 、 u n i c o r e 、m o l 等网格研究项目工f 在开展。其中，d a t a g r i d 涉及到欧盟的2 0 几个国家，是 一种典型的“大科学”应用平台。它是欧盟支持的一个项目涉及到中间件、基础设施、 应用和管理四个方面。欧洲还建成了欧洲网格计算数据库，它由查找数据库和计算机数 据库两部分组成。前者包含进行网格计算和相关活动的欧洲超级计算中心、组织、项目、 研究小组和人员的有关信息，后者存储了欧洲所有可以在研究活动中使用的超级计算机。 日本与韩国的网格计划也已经启动，并各自成立了全国网格论坛。日本n t t 数据公 司联合i n t e l 、s g i 等，在2 0 0 2 年中期开展7 为期6 个月的网格计算试验。试验将连接 日本家庭、企业和学术机构的1 0 0 万台p c ，集合处理能力将达到每秒6 5 万亿次浮点运 算。2 0 0 2 年1 1 月，日本产业技术综合研究所网格计算研究中心宣布，在由多台个人电 脑通过网络连接组成网格计算环境下，实现了日美之间创纪录的7 0 7 m b p s 的数据传输。 韩国的网格计划之一是n , g r i d ，这个2 0 0 2 2 0 0 6 的五年计划将投资3 5 0 0 万美元，另外还 有网络和高性能计算机的投资( 每年投入为1 5 0 0 万美元) 。台湾也启动了“知识创新网格” 的三年科研计划( 2 0 0 3 2 0 0 5 ) ，总投资为3 0 0 0 万美元1 4 j 。 国内虽然起步较晚，但由于政府的高度关注，国内网格“自上而下”的进展并不慢。 目前，以中科院、硬件i t 厂商等为代表的国内先行者已经在网格方面进行了积极的探索。 2 0 0 2 年6 月，我国政府在“8 6 3 ”计划中设立了网格专项：研制中国国家网格。总体目标 是研制一台每秒4 万亿次运算能力、面向网格的高性能计算机；建设一个具有5 万至7 万亿次聚合计算能力的高性能计算环境：开发一套具有自主知识产权的网格软件：建设 2 3 个事关国计民生的应用网格；形成若干网格技术的国家标准，参与制定国际标准： 培养一批高素质的网格研究和应用人才。与此同时，联想和中科院计算所也分别推出了深 腾6 8 0 0 高性能计算机和曙光4 0 0 0 a 超级服务器；地质、气象、航空、基因、森林资源与 林业生态等七大行业的应用网格项目建设先后启动；建成了中科院、上海、清华大学等7 个网格结点；中科院计算所围绕网格路由器、网格操作系统、工具软件包、信息网格平台、 南京邮电大学硕士研究生学位论文 第一章网格计算概述 知识网格以及安全系统进行系列研发，形成了“织女星网格”品牌；联想推出“关联应 用”的网格发展战略，并已有部分产品面世。 1 。2 2 网格计算发展趋势 网格计算的研究与发展呈现出以下几种趋势： 1 专业化：网格将从支持科学计算的通用型平台发展到专业化的合作平台，如地震网 格、高能粒子物理网格。目前国内已经筹建了一些相应的专业网格平台，如地质网格，税 务网格和公安系统的刑侦网格等。 2 标准化趋势：网格应用的行业化，对应用网格的构造提出了统一行业标准的需求。 与目前关于网格软件标准化的要求类似，行业网格应用也提出了标准化的需求，一方面要 求应用开发要遵循现有的一些开放标准与协议，另一方面又要依据行业特点，制定网格应 用的一些行业标准。事实上，目前的一些应用网格实例也正试图这样做。 3 技术融合趋势：在o g s a 出现之前，已经出现很多种用于分布式计算的技术和产 品，但这些产品许多都不兼容，如l e g i o n 、n i n f , g l o b u s 等，都是各行其道、互不兼容。 目前基于x m l 的w e bs e r v i c e s 技术在各种异构平台之上构筑了一层通用的、与平台无关 的信息和服务交换设施 5 , 6 , 7 1 。将w e bs e r v i c e s 的规范加入o g s a 之后，网格的一切对外功 能都以网格服务( g r i ds e r v i c e s ) 来体现，并借助一些现成的、与平台无关的技术来实现 这些服务的描述、查找、访问、传输等功能。另一方面，网格的应用将涉及到众多学科 的交叉，需要众多学科的科研工作者相互交流合作、实现技术融合，只有这样，才能构造 出易用好用的网格应用系统。 4 大型化趋势：一方面，网格应用在资金上的投入越来越大，用于网格建设、购买 设备的资金投入很大，各国政府的投入将逐年递增，r t 公司也将投巨资发展网格技术及 应用。另一方面，依据网格的发展，从最初的企业网格、合作网格，到最终的公用基础设 施，网格最终将作为国家公用设施去建设与运营，为科学研究、国民经济和国防建设提供 服务【6 - ”。 1 3 网格体系结构 网格技术不断地发展使人们逐渐她意识到了网格体系结构的重要性。网格体系结构给 出网格的基本组成与功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻 塞室墅皇奎兰堡主塑塞兰兰壁丝苎 篓二兰婴堑生苎茎垄 画了支持网格有效运转的机制a 可以说，网格体系结构是网格的骨架和灵魂，是网格技术 中最核心的部分。目前比较有影响力的网格体系结构有f o s t e r 提出的五层沙漏结构和结合 w e bs e r v i c e 提出的开放网格服务结构o g s a 7 j ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 。 1 3 1 五层沙漏的结构 五层沙漏结构是一种早期的抽象层次结构，以“协议”为中心，强调协议在网格的资 源共享和互操作中的地位。通过协议实现一种机制，使得虚拟组织的用户与资源之间可以 进行资源使用的协商、建立共享关系，并且可以进一步管理和开发新的共享关系。这一标 准化的开放结构对网格的扩展性、互操作性、致性以及代码共享都很有好处。 五层沙漏结构从上至下分为应用层、汇聚层、资源层、连接层和构造层五个层次。在 五层沙漏结构中，最底层是构造层( f a b r i c ) ，面对的是一个个具体的物理( 也可以是逻辑 的) 资源，它通过对这些局部资源的管理，向上层提供对这些资源的管理和控制界面。构 造层的上面是连接层( c o n n e c t i v i t y ) ，主要是为下层的物理资源提供安全的数据通信能力， 这是资源之间进行互操作的前提，连接层使得孤立的单个资源之间建立了联系。连接层的 上面是资源层( r e s o u r c e ) ，它反映的是抽象的局部资源的特征，而资源层上面的汇聚层 ( c o l l e c t i v e ) 完成的功能是如何将下面以单个资源形式表现出来的资源集中起来，协调解 决多个资源之间的问题。最上面的应用层( a p p l i c a t i o n ) 和资源的距离最远，它关心的是 有什么样的资源可以由下面提供给虚拟组织，解决不同虚拟组织的具体问题。 五层结构之所以形如沙漏，是由各部分协议数量的分布不均匀引起的。考虑到核心 的移植、升级的方便性，核心部分的协议数量相对比较少( 例如i n t e r n e t 上的t c p 和 h t t p ) ，对于其最核心的部分。要实现上层协议( 沙漏的顶层) 向核心协议的映射，同时 实现核心协议向下层协议( 沙漏的底层) 的映射。按照定义，核心协议的数量不能太多， 这样核心协议就成了一个协议层次结构的瓶颈。在五层结构中，资源层和连接层共同组成 这一核心的瓶颈部分，它促进了单独的资源共享。如图1 3 所示。 网格构造层提供了丰富的资源，如计算资源、存储系统、目录、网络资源和传感器等， 通过网格协议来调度管理对这些资源的共享访问，并向上层提供访闯这些资源的接口。构 造层组件执行对局部具体资源的操作，这些操作作为高级别共享操作的结果发生在具体资 源上( 物理的或逻辑的) 。这样，在构造层上所执行的功能与所支持的共享操作就有一个 紧密的敏感的依赖关系，即构造层功能越丰富，所支持的高级共享操作就越多。 连接层的基本功能就是通信，在这一层中定义了具体网格网络传输所需要的核心通信 量耍堕! 里堑竺主堕生堂焦堡壅 蔓二主旦垫过苎塑垄 和验证协议。通信协议允许数据在构造层资源之间进行交换。验证协议建立在通信服务之 上，用来提供密码安全机制来检验用户身份和资源的合法性。通信包括传输、路由和命名。 这些协议主要是从t c p i p 协议簇得出的，如互联网协议体系的网络层( i p 、0 s p f 、i c m p ) 、 传输层( t c p 、u d p ) 、应用层( d n s 、r s v p ) 。当然，将来在考虑具体类型的动态网格通信 时可以增添新的协议。 x 一磊磊7 艨用竣 、 f = _ 求代理 ， 鬣磅断与妊拄等 箨聚堪 、篙霎塞誉嚣r 瓷源与 连接理 构造怒 图1 3 层次式网格结构 资源层的主要功能是实现对单个资源的共享。资源层建立在连接层的通信和认证协议 之上，定义的协议包括实现初始化、监视、控制单个资源的共享操作、审计以及付费等。 值得注意的是，资源层协议考虑的完全是单个的局部资源，因此忽略了全局状态和跨越分 布资源集合的原子操作( 这些问题是由汇聚层考虑的) 。资源与连接协议形成了沙漏模型 的瓶颈部分，因此这个协议集合要求小，而且尽量标准化。这些协议要能够抓住涵盖不同 资源类型的基本共享机制，但是又不能够对高层协议的类型和性能有约束。 汇聚层的主要功能是协调“多种”资源的共享，面资源层的主要功能则是与“单个” 资源的交互。汇聚层协议与服务( 包括a p f s d k ) 描述的是资源的共性，并不涉及资源 的具体特征，说明不同资源集合之间是如何相互作用的。由于汇聚层建立在资源和连接层 形成的协议瓶颈之上，因此不需要在资源上强加其它新的要求。汇聚层功能可以作为永久 的服务来进行实现，包括相关的协议以及与应用相关联的a p i s d k 。另外汇聚层组件可 以通过裁减来满足特定的用户社团、虚拟组织或应用领域的需求。一般地，用户社团的规 模越太，基于标准化基础来建造汇聚层组件协议和a p i 就越重要。 应用层是在虚拟组织环境中存在的。从应用程序员的观点看网格结构，应用是根据在 任一