（计算机软件与理论专业论文）并行计算的网格应用研究.pdf

摘要 近年来，随着i n t e r n e t 的普及和宽带技术的发展，给分布式高性能计算的 发展带来了更广阔的空间。网格计算也迅速发展起来。现在，网格技术已经跨越 了最初的原型研究阶段，正在进入实际应用。种种迹象表明，网格技术将是未来 网络的发展趋势，它的发展将不可限量。 与之同时，由于并行计算能满足人们对高速度、低成本计算技术的需求，在 高性能科学计算中己经获得了广泛的应用。但是由于其种种缺陷，在很大程度上 限制了其发展。本文主要论述的就是怎样将这两者结合起来，取长补短，使其共 同发展，并将其实现。 针对以上问题，本文首先讨论了网格计算的相关概念和介绍了开放网格服务 结构o g s a 的主要思想。开放网格服务结构o g s a 是目前最新的一种网格体系结构， 是一种以服务为中心的“服务结构”，主要突出从网格用户的角度来讨论网格系 统结构。o g s a 采用了万维网服务的w s d l 和s 0 a p 规范。遵循o g s a 标准的系统都 可以连在一块，用户可以很容易的集成、共享各种系统提供的功能。 接着分析了网格环境的层次构建，并通过讨论g l o b u st 0 0 k i t3 工具包的相 关介绍、体系结构和编程模型，提出了构建一个网格环境的基本步骤和所需文件。 广东工业大学工学硕士学位论文 利用g t 3 工具包构建的网格环境不仅可以实现信息的基本搜索和传输，还可以进 一步的构建信息的汇聚，信息的决策，以及干扰与反干扰、突袭与反突袭、控制 与反控制等高层次的信息战术。这是通过并行环境中难以达到的。 然后，本文通过对并行计算的研究，分析了并行计算在网格计算中实现所面 临的关键问题，并给出解决方案。这些问题包括主要的应用策略、任务的划分与 分配、通信方式、并发编程以及安全问题。 接着，给出了一个并行计算在网格环境中实现的主要代码，以及以n 皇后算 法为例，给出了性能分析和实验结果。 最后，本文总结了工作中的不足，给出了进一步工作的展望。 关键词：网格计算；并行计算；0 g s a ；g t 3 软件 nr e c e n ty e a r s a l o n gw i t ht h ei n t e r n e tp o p u l a r iz a t j o na n dt h ew i d e b a n dt e c h n oo g yd e v eio p m e n th a sb r o u g h tab r o a d e rs p a c ef o rt h e d is t r j b u t i o n a ih i g hp e r f o r m a n c ec o m p u t a t i o nd e v e i o p m e n t g r i dc o m p u t i n g a is or a p i d l yd e v e i o p s n o w ， t h eg r i dh a sc r o s s e dt h ei n i t i a lp r o t o t y p e r e s e a r c hp h a s e ，a n di se n t e r in gt h ep r a c t l c a ia p p ii c a t i o n a llt h es i g n s n d i c a t e t h a t t h eg r i dw i i ib e t h e f u t u r ed e v e i o p m e n t t r e n do f t h en e t w o r k a n di tw _ | l b et e c h n o i o g yd e v e i o p m e n t a p a r tf r o mt h a t d u et om e e tp e o p i e sd e m a n do fi o v r c o s tc o m p u t in g t e c h n o l o g yi nh i g h p e r f o r m a n c es c i e n t i f i cc o m p u t i n g ，h i g h s p e e dp a r a l i e c o m p u t i n gh a sb e e nw i d e iya p p ii e d b u ti t sd e f i c i e n c i e si a r g ej y ii m i t e d t sd e v e i o p m e n t t h em a i nd is c u s s i o nish o w t oi n t e g r a t e t h e t w o f o rc o m m o n d e v e i o d m e n ta n da c h i e v e si t t os o lv et h ea b o v ep r o b i e m t h ep a p e rf ir s t i yd i s c u s s e dt h er e la t e d c o n c e p t o fg r i d c o m p u t i n ga n d t h em a i n i d e ao fo p e ng r i ds e r v i c e s a r c h i t e c t u r e ( o g s a ) 。o p e ng r ；ds e r v i c e s a r c h i t e c t u r e ( 0 g s a ) is t h ela t e s t o fag ri da r c h i t e c t u r e i tis as e r v i c e c e n t e r e d ”s e r v i c es t r u c t u r e ”，a n d m a i n l yd is c u s s e st h eg r i ds y s t e ma r c h i t e c t u r eh i g h ii g h tf r o mt h e p e r s p e c tiv eo fu s e r s o g s aa d o p t e dt h ew s d la n ds o a ps t a n d a r d so fw e b s e r v i c e s t h es y s t e m s ，w h i c hf o | l o w0 g s as t a n d a r d s ，c a nb ei nap i e c e u s e r sc a ne a siy n t e g r a t ea n ds h a r eo fs y s t e mf u n c t ；o n s a n dt h r o u g hd is c u s s i o n st h er e i a t e dd is p la y s ， a r c h i t e c t u r ea n d 儿i 广东工业大学工学硕士学位论文 p r o g r a m m in gm o d e io fg i o b u st o o k i t3 ， i tm a d eu po fag r i de n v ir o n m e n t g ri de n v ir o n m e n tb yg l o b u st o o l k i t3c a nn o to n l ya c h i e v et h eb a s i cs e a r c h a n di n f o r m a t i o nt r a n s m is s i o n b u ta ls of u r t h e ru pt h ec o n g r e g a t i o na n d d e c is i o no fi n f o r m a t i o na n dh i g hi e v e iso ft a c t i c a ii n f o r m a t i o n f o r e x a m d i ei n t e r f e r e n c ea n da n t i i n t e r f e r e n c e r a i d sa n dc o u n t e r r a id s c o n t r o ia n da n t i - c o n t r o ie t c t h a t jsd j f f i c u i tt oa c h i e v et h r o u g h d a r a ll e le n v ir o n m e n t n e x t t h r o u g ht h er e s e a r c h0 fp a r alieic o m p u tn g t h ep a p e ra n aiy z e s t h ep r o b i e m ，w h i c hw ilib ef a c ei np a r a li ac o m p u t i n gi ng r i de n v ir o n m e n t a n dg iv e st h ep r o j e c t t h e s ep r o b i e mi n c i u d em a j o ra p p li c a t i o ns t r a t e g y t h ed iv i s i o na n dd is t rib u t i o no ft a s k s c o m m u n i c a t i o nm o d e ， c o n c u r r e n t p r o g r a m m i n ga n ds e c u r i t yp r o b l e m m o r e o v e r t h ep a p e rg i v e st h em a i nc o d eo ft h ei m p i e m e n to fp a r a ii e c o m p u t i n gi nt h eg r i d c o m p u t i n ge n v ir o n m e n t a n di tg i v e st h er e s u i tb y nq u e e n s e x a m p i ea n dc a r r ie so nt h ep e r f o r m a n c ea n a l y s ist ot h iss y s t e m f i n a | i y ， t h i sa r t i c i es u r 舯a r i z e st h ew o r k i n a d e q u a t e ，g iv e nt h e o u ti o o kf o rf u r t h e rw o r k k e yw o r d ：g r i dc o 爪p u t i n g ；p a r a ll ac o m p u t in g ；0 g s a ；g i o b u st o o lk i t3 第一章绪论 第一章绪论 1 1 课题背景 从第一台电子计算机e n i a c 诞生到今天的半个世纪里，计算速度已经提高了 亿倍以上。从6 0 年代至现在，计算机的发展的效率不到1 0 年就提高了1 0 倍。 计算机和计算方法的进步极大地提高了人类的计算能力，从而引起了科学方法论 的巨大变革。但是人们对高性能运算的追求是永无止境的，计算己经成必不可少 的手段。 对于数据计算、交换量大的处理往往不能在单台计算机上运行，而不得不设 法找大型计算机进行运算。然而大型计算机计算费用很高，这限制了很多科学计 算研究工作的开展。如何充分利用现有设备对大量数据进行处理己成为一个有待 解决的问题，于是网络并行计算被提出来。 网络并行计算是利用一组由网络互连的计算机同时解决一个大问题的过程。 由于高性能p c 、工作站的普及和高速网络的成熟，一组互连计算机的并行计算 能力可以超越一台高性能计算机，能满足人们对高速度、低成本计算技术的需求。 由于网络并行计算特别适合我国国清，计算成本小又具有计算大问题的能力，所 以它在高性能科学计算中己经获得了广泛的应用，包括分子动学模拟、超导研究、 分维计算、矩阵计算、物探、气象科学等。我国的并行和分布计算研究工作开始 于6 0 年代末，目前已在多方面取得了一定成果。对各种问题的计算都有了成功 的例子。“ 而现在，i t 技术发展又出现了以下的新的前景： 宽带技术的发展使得带宽的成本大大降低，大量的光纤已经应用在网络 中，可以为用户高速优质的提供数据； 分布式的信息和应用程序体系结构的部署，新的技术如w e b 服务的出现， 使得服务能够遍及整个网络； 服务器和存储器的虚拟化，使得我们能从更高的结构级别上共享信息和 数据。”1 这些便利的条件使得有效地利用大范围内分布的资源来完成以往无法完成 的应用成为可能，网格技术就是在这样的条件下被提了出来。现在，网格技术已 广东工业大学工学硕士学位论文 经跨越了最初的原型研究阶段，正在进入实际应用。 网格技术它最初实现是将不同地理位置的计算资源通过高速的互联网组成， 从而得到充分共享的资源集成和提供一种高性能计算、管理及服务的资源能力。 中国科学院计算所所长李国杰院士认为网格实际上是继传统因特网、w e b 之后的 第三个大浪潮，可以称之为第三代因特网“1 。网格是新一代的信息基础设施， 信息高速公路i n t e r n e t 是信息传输的信息基础设施；而网格计算的基础设施g r i d 是信息处理( 包括信息传输) 的信息基础设旋，网格是用来解决资源的真正共享， 使各结点大量闲置的计算资源和存储资源得到统一支配和使用。网格不是重新架 构，而是在现有的网络基础上的一个延伸。网格技术可以将大量运行有专门管理 软件的计算机相互连接起来，创建一个极其强大的虚拟计算环境，在这个环境之 下，每个机构和个人都可以订阅和运行复杂的应用程序，充分享用海量信息资源。 网格技术在成为研究热点十多年后，在众多企业的关注和努力下，逐步开始 了商业化进程。企业己经不再满足于仅仅从技术层面来讨论网格。各种网格技术 应用的解决方案也已经逐步推向市场。传统的基于软件的网格解决方案通常需要 安装在防火墙后，它不仅依赖于平台，而且相互之间还存在不兼容的通信协议， 现在新的网格的标准开放网格服务体系0 g s a 提出把网格计算与w e b 服务相结合， 实现分布式异构平台资源共享以及管理。就如同w e b 一样，在不同的操作系统的 用户都能够使用它所提供的服务。不过网格比w e b 服务的层面更加广泛，更加具 用动态性和扩展性。由于网格用户可以使用不同地域、不同操作系统的资源，这 就为高性能计算提供了更大的发展空间。总而言之，种种迹象表明，网格技术将 是未来网络的发展趋势，它的发展将不可限量。“1 1 2 本课题研究意义及价值 “ 在高性能计算方面，网络并行计算技术已经比较成熟，它所带来的高效率已 经得到社会的认可。但是，国内外研究并行计算大多停留在理论上，即使有实际 应用的，也只是针对某一具体问题的解决，程序的重用性和可移植性有很大局限。 尤其是目前并行设计环境很不完善，表现在通信、负载平衡、调试、同步等。这 些缺陷很大程度上限制了并行计算的发展。主要表现在以下两个方面： 其一、限制了用并行计算来解决问题的用户范围。目前一般情况是，并行计 算的用户就是并行计算程序员，他为了求解某种问题，用并行程序设计语言编写 第一苹绪论 出一个并行程序，让他在构建好的并行环境中运行，得出结果。而大部分时间， 这种计算能力都是处于空闲状态。而其他的程序可能为了解决同样问题，又需要 再次设计并行程序和构建并行环境。这样无疑造成了很大的浪费。 其二、限制了并行计算的规模，使复杂的并行计算程序难以达到最佳的加速 比。由于并行设计环境的不完善，并行计算的发展主要是在局域网内，这样就不 可避免的限制了并行计算的计算资源。对于某些复杂的问题，由于参与计算的计 算能力过少，所以无法发挥并行计算的真正效率。 但是并行技术对高性能计算的贡献，以及它的种种优点都是不容置疑的。怎 样解决这一问题成为了首要问题。而网格技术可以很好的解决这些问题。网格计 算在某种意义上来说就是高效分布式计算，它本身就有天然的并行性，为在网格 环境下实现并行计算提供了天然的条件。网格服务可以看成一种实现某种特定计 算的功能，这样，由多个提供网格服务的计算结点组成虚拟并行机，完成由网格 客户端应用提交的并行计算任务。现在的成果也很多，而怎样进一步的提高计算 效率和怎样将网格技术与现有的技术相结合就是问题的研究的重点所在。解决这 个问题有两方面途径： 一个方面是，如果计算能力就是资源，这就是说无论是高性能的超级计算机、 并行计算机还是通过并行虚拟机所构建成的机群系统，都是网格上可以使用的资 源。如果能把能提供高性能计算技术应用到网格环境中去，也就是说，通过将现 存的计算能力作为资源提供给网格用户使用，为网格计算创造出更多更成熟的计 算资源，从而提高了网格计算的总体性能。 另外一方面，如果将网格技术应用到并行计算中去，通过网格环境，为并行 计算提供更多，更高效的计算结点。并行计算的思想是将想解决的复杂问题划分 成为，可以并行实现的子任务，交给不同的计算结点进行计算。如果利用网格环 境中分布式异构平台计算资源来执行并行计算子任务。就可以进一步的实现计算 性能的高速处理。 这两方面途径涉及到两方面主要问题： 一方面是，这样将并行技术和网格技术无缝连接，充分利用并行计算创造的 高性能计算能力和网格技术的高通信及完善的安全技术。这个主要涉及到中间件 和接口的设计问题。 另外一方面，实现这些应用无可避免涉及到网格编程，但是使用网格工具箱 广东工业大学工学硕士学位论文 来开发个网格服务，其服务程序的设计过程是比较复杂的，方法也各式各样， 而且资料也不齐全。这样无疑给并行计算程序员编写与部署网格服务带来了很大 的阻碍。所以，如何将这一运行过程自动化、模块化，尽量使程序员无须了解底 层的网格平台的具体运作过程，就能提供或者时使用计算资源的平台就成为了当 务之急。 1 - 3 目前发展的研究现状 目前，国内外也提出了很多技术来解决这一问题，其中最常用也是比较完善 的一个就是g t 2 + m p i c h g 2 方案。“1 m p i 是在1 9 9 4 年5 月发布的信息传递库标准。m p i 标准是基于m p i 论坛成员 的参与者一致意见的，这个论坛是由4 0 多个团体组织的。这个论坛的参与者包 括厂家，研究工作者，高等院校，软件库的开发者和使用者。m p i 提供可移植性， 标准化，性能和功能。 m p i c h g 2 是m p iv 1 1 标准的网格实现，也就是从g t 中获得服务( 工件启 动，安全性等) ；m p i c h g 2 也允许耦合多重不同体系结构机器，来运行m p i 应 用。m p i c h g 2 自动地把数据转换成报文在不同体系机构的机器问传递，同时， m p i c h g 2 通过自动的为中间机器报文和卖主所提供的内部机器报文的m p i 选择 t c p 来支持多协议通信。现存的为m p i 所编写的并行程序通过g l o b u s 架构的再 编译将能执行。支持m p i 并行程序开发的是t h eg l o b u st o o l k i t2 。 g t 2 十m p i c h g 2 来支持并行计算的步骤如下： 1 ) 用户调用网格安全基础设施( g s i ) 来获得一个代理认证，以取得相关权限： 2 ) 一旦通过认证，用户使用标准的m p i r u n 命令来请求创建一个m p i 计算。 m p i c h g 2 中的这个命令的实现由资源描述语言( r s l ) 来描述； 3 ) 基于r s l 脚本提供的信息，m p i c h g 2 调用g l o b u st o o l k i t 中的动态协同分 配代理库，它用于调度和启动用户说明需要的各种机器上的应用程序； 4 ) 叫r o c 库使用g 1 0 b u s 中的资源分配管理器( g r a m ) 中的a p i 和协议来启动和 管理每台机器上的子计算，对每个子计算，d u r o c 到远程g r a l 服务器上产生 一个g r a m 请求，使用户可以获得本地认证并且与本地调度器相联系，使用户 可以初始化计算。 m p i c h g 2 将用户在网格环境下进行并行计算变为了可能，它有以下优点： 4 第一章绪论 m p i c h g 2 提供了与m p i 完全一致的并行编程界面，只不过它已经从并行 计算机扩展到了异构的网格环境，方便原来m p i 编程人员使用。 m p i c h g 2 融入了g l o b u s 的资源发现、资源分配、运行管理、安全验证 等功能，加强了对服务质量的控制。 它是一开始就由g l o b u st o o l k i t 设计者直接支持的，可以在g t 2 下工作 的很好。 但是，实验证明，这种模式存在着的不足，由于任务之间需要在网络( 非局 域网) 中进行交互，所以网络延迟的影响很大。g l o b u st o o l k i t 设计者i a nf o s t e r 自己也承认，m p i c h g 2 只是实现在网格中进行并行计算这一功能，不能改进 m p i c h 的运行效率，据他自己估计，由于需要考虑到网络的延迟，在网格中进行 m p i 并行计算要比直接使用m p i 慢1 0 左右，而且可能更多。因此，这种模式被 其本身的设计者所放弃，到了g l o b u st o o l k i t 3 以后的版本不提供在网格中支持 m p i 编程的模式了。同时m p i c h g 2 也只能在l i n u x 环境下使用，这些都极大地 限制了其发展。这样，就使得在网格环境下，进行并行计算的发展处于停顿状态。 1 4 本文的研究重点以及组织结构 本文研究重点提出一个在网格环境下实现并行计算的模型，以及将现有的并 行计算能力发布为网格计算的设想。重点从以下几个方面来讨论： 1 对于网格计算以及网格服务理论的研究。包括网格计算的各方面的体系结 构的研究。理解什么是网格计算和网格计算所要达到的目标。 2 研究0 g s a 及其相关技术。阐述了o g s a 的应用价值，详细分析了o g s a 的 基本实现g l o b u st 0 0 1 k i t 3 工具包，并利用它构建一个网格环境。 3 通过研究并行计算的思想，提出了一个在网格环境下实现并行计算的构架 以及面临的主要问题，并通过分析给出解决方案。 4 实现网格环境下的并行计算应用，并通过一个实例证明其优越性。 本文基本组织结构如下： 第一章绪论，简介本论文的研究和应用的背景及意义，说明论文的组织结构。 第二章开放网格服务体系o g s a 。重点介绍开放网格服务体系0 g s a 以及其相关 技术。 第三章网格环境的系统设计。介绍了g 1 0 b u s 项目、g t 3 工具包的相关技术以及 广东工业大学工学硕士学位论文 g t 3 工具包的编程模式，并通过研究提出了网格环境设计的基本要求和步骤。 第四章并行计算的网格应用系统设计提出了符合设计的构架，和研究的关键问 题，并通过分析给出解决策略。 第五章系统的详细设计，对第四章提出的各种功能给出初步的程序设计。 第六章算例的实现给出一个算例，对其进行实现，并对其进行性能分析 1 5 论文创新点 虽然，目前在w i n d o w s 环境下，网格环境所能实现的功能还较为浅薄。但是 上文已经提到，利用0 g s a 的具体实现g t 3 工具包建立的网格环境具有很大的发 展潜力，这也是本文采用它作为研究基础的主要原因。另一方面就并行计算系统 平台而言，自身的局限性已经限制了其发展，不过对于一个并行平台而言，它所 需达到的是为以下几个问题： 1 启动并行计算任务时，可以屏蔽异构的网格环境，本文通过网格服务数据库 来处理这一问题，对于用户来说，它只需将网格服务作为计算结点来看，无 须考虑具体的操作过程。 2 选择结点间通信方式，在这点上，本文通过对网格服务的通知接口的设计解 决这一问题。 3 任务的分配问题，本文提出了一个网格服务的动态分配策略，进一步提高了 网格环境中的并行计算的效率。 立足于并行计算更长远的发展，将计算归入“服务”概念，扩展了计算结点 的范围与形式。可以利用更多、更高效的计算功能。通过这一思想建立的并行计 算相对于前人使用的一般的局域网机群而言，具有自己显著的特点；在一定的网 络带宽前提下，并行计算以其低成本特性使得高性能计算更易于普及，虽然网格 系统平台的存在使网格并行计算牺牲了一定的计算性能，但是对于能够获得高性 能的计算结点而言，这点牺牲还是物有所值的。 具体而言，本文主要获得以下一些成果： 1 、从广度和深度对网格计算和并行计算进行了研究，明确了两方面的优缺点， 给出了一个结合两方面的具体策略和实现。 2 、采用w i n d o w s 操作系统平台，有更好的网络稳定性和广泛性。 第二章开放式网格服务结构o g s a 第二章开放式网格服务结构o g s a 2 1 网格概述 网格是一门新兴的概念，代表了一种先进的技术和基础设施，是继i n t e r n e t 之后的又一次重大的科技革命“1 。网格计算的构想来源于另一专业p o w e r g r i d ( 电 力供应商) 。p o w e r g r i d 的原意是电力供应商根据用户的需要供应电力，消费者 只需支付自己使用的那部份电费。网络计算的基本思想由此引申为像人们日 常生活中从电网中获取电能一样获取高性能的计算能力。由于网格计算还在不断 的发展和变化中，对于到底什么是网格这一思想还没有一个统一的定义。 全球网格研究的领军人物i a nf o s t e r 曾在1 9 9 8 年出版“t h eg r i d ： b l u e p r i n tf o ran e wc o m p u t i n gi n f r a s t r u c t u r e ”一书中这样描述网格：“网 格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数 据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、 功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能。而网格 功能则更多更强，让人们透明地使用计算、存储等其它资源。”在2 0 0 0 年， i a n f o s t e ：又进一步把网格描述为“在动态变化的多个虚拟机构间共享资源和协 同解决问题”。“1 也可以这样说，网格就是一个集成的计算和资源环境，或者是一个计算资源 池。网格能够充分的吸纳各种计算资源，并将它们转化成为一种随处可得的、可 靠的、标准的计算能力。换句话说，网格计算是利用互联网把分散在不同地理位 置的计算机组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就 是一个“节点”，而整个计算是由成千上万个“节点”组成的“一个网格”，所以 这种方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个 是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。这种能力可以 给用户或者说是其他的计算系统提供强有力的计算资源。 网格计算就是基于网格的问题求解“1 。从广义上来说，巨大全球网格不仅包 括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网 络计算模式，例如对等计算、寄生计算等“1 。而狭义的网格则专指计算网格，即 主要用于解决科学与工程问题的网格。同理，狭义上的网格资源，即指分布的计 7 广东工业大学工学硕士学位论文 算资源。 不管是狭义的还是广义的网格，其目的就是要利用互联网把分散在不同地理 位置的电脑组织成一台“虚拟的超级计算机”，实现计算资源、存储资源、数据 资源、信息资源、软件资源、通信资源、知识资源、专家资源等的全面共享。传 统的互联网实现了计算机硬件的连通，w e b 实现了网页的连通，w e b 服务实现了 程序和程序之间的共享，而网格则试图实现互联网上所有资源的全面连通5 1 。 如上所述可知，网格必须有以下两个重要特点，其一是能够在逻辑上共享各 种物理资源。这些网格资源本身就不是指单一的计算机资源，它还包括各种类型 的数据库、电子图书馆以及各种设备，同时这些资源往往分布在世界各个角落。 这种共享是一种广义的共享。其二，由于网格是一个始终处于变化中的网络状态， 网格的资源和它拥有的功能会动态地增加或者动态地减少，所以，网格本身的设 计就要具有很好的扩展性。同时，网格系统必须要能够解决不同结构、不同类别 的资源之间的通信和互操作问题，以及不同体系结构的计算机体系之间的兼容， 这也决定了网格具有异构性。 网格体系结构发展到目前为止，比较重要的有两个：一个是i a nf o s t e r 等专 家在早些时候提出的五层沙漏结构：这个的基本思想是基于协议的。另一个是在 以i b m 为代表的工业界的影响下，i a nf o s t e r 等专家考虑到w e b 技术的发展和 影响后，结合w e bs e r v i c e 提出的基于服务开放网格服务体系( 0 g s a ，o p e ng r i d s e r v i c e sa r c h i t e c t u r e ) 由于现在对五层沙漏结构介绍很多，这里就不再赘述。 2 2 以服务为中心的思想 开放网格服务结构0 g s a ( 0 p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 是目前最新 的一种网格体系结构。0 g s a 是由g l o b a lg r i df o r u m ( g g f ) 的o p e ng r i ds e r v i c e s i n f r a s t r u c t u r e ( 0 g s i ) 工作小组于2 0 0 2 年6 月制定的。 相对于五层沙漏以“协议”为中心的“协议结构”，o g s a 是是以服务为中心 的“服务结构”。在0 g s a 框架中，将一切都抽象为服务，包括各种计算资源、存 储资源、网络、程序、数据库等等。这种观念，有利于通过统一的标准接口来管 理和使用网格。这样相对于五层沙漏结构，不仅仅在概念上更加包容万象，同时 也使得分布式系统管理有了标准的接口和行为。它把g 1 0 b u s 标准和面向商业应 用的万维网服务结合起来，把网格计算从科学与工程应用扩展到更广泛的以分布 第二章开放式网格服务结构o g s a 式系统服务集成为主要特征的商业应用领域，建立网格服务的基本概念。o g s a 采用了万维网服务的w s d l 和s o a p 规范。遵循o g s a 标准的系统都可以连在一块， 用户可以很容易的集成、共享各种系统提供的功能。1 在0 g s a 中，为了使服务的思想更加明确和具体，它定义了“网格服务”( g r i d s e r v i c e ) ，而w e bs e r v i c e s 是网格服务的基础，也是0 g s a 的奠基石。相对于 网格服务而言，w e bs e r v i c e 提供了一种基于服务的框架结构，但是，w e bs e r v i c e 面对的一般都是永久服务，而在网格应用环境中，大量的是临时性的短暂服务， 比如一个计算任务的执行等。根据这种特点，网格服务可以简单地表示为“网格 服务= 接口行为+ 服务数据”。网格服务通过定义接口来完成不同的功能，服 务数据是关于网格服务实例的信息。这样将网格定义为可扩展的网格服务的集 合，即网格= 网格服务 ，这个集合不是一成不变的，是可以扩展的，这反映了 网格的动态特性“”。 在0 g s a 以网格服务为中心的模型中，由于网格环境中所有的组件都是虚拟 的，因此通过提供一组相对统一的核心接口，所有的网格服务都可以基于这些接 口实现，这样在同一层中若干个低级网格服务就很容易构造出具有层次结构的、 更高级别的服务，这些服务可以跨越不同的抽象层次，以一种统一的方式来看待。 同时，当对服务进行组合时，可以不必考虑具体的实现，只要以底层资源组成为 基础，就能在虚拟组织中进行资源管理。这样，通过网格服务的虚拟化，可以将 通用的服务语义和行为，无缝的映射到本地平台的基础设施之上“1 。 在这种思想下，如果一个用户需要一台指明了需求的计算机资源，网格要为 用户寻找当前可以使用的资源，可以说用户面对的是网格资源、协议和规范的有 机结合。其中资源的实体本身就是协议、规范和策略的基础。把网格上的资源和 用户的请求进行匹配，把适合的可用资源提供给用户使用时网格资源管理的核 心。把一个用户或应用程序与所请求的资源联系起来需要经过资源注册、资源请 求、资源发现、资源分配、资源使用、资源回收等过程。 而这种抽象，将有利于聚集不同的网格服务来满足虚拟组织的需要，同时虚 拟组织本身也可以定义一些新的有用的服务来扩充相关的网格服务。通过这种思 想，网格抽象出的体系结构如图2 一l 所示：“” 广东工业大学工学硕士学位论文 图2 一l ：o g s a 体系结构 o g s a 背后的基本概念是，它是一个面向服务的网格体系结构一种特殊的 w e b 服务，它提供一组遵守特定约定的定义明确的接口。这些接口解决发现、动 态服务创建、生命周期管理、通知和可管理性等方面的问题。约定解决命名和升 级问题。网格服务的标准接口包含多个绑定和实现( 比如j a v a 和c # 语言) 。 这种网格服务可以部署在不同的托管环境甚至不同的操作系统中。0 g s a 还提 供了一种网格安全机制来确保服务间所有的通信都是安全的。所有的服务( 持久 的或瞬时的) 都是用g l o b u st o o l k i t 构建的。所以，o g s a 的基本思想等于网 格结构加w e b 服务再加工具箱( t o o l k i t ) 。0 g s a 中解决了两个重要的问题，即 标准服务接口的定义和协议的识别。 由此可知，o g s a 想要实现的目标总结如下：1 ( 1 ) 跨分布式异构平台管理资源。即一定的网格能够管理其内部不同操作平 台、不用系统结构的资源，并将其整合以更好的为用户提供服务。 ( 2 ) 交付无缝的服务质量( q u a l i t yo fs e r v i c e ，0 0 s ) 。网格的拓扑结构 通常十分复杂，而且网格资源的交互往往是动态的。为了实现动态的资源交互， 有一点很重要，即网格可以提供健壮的后台服务，比如授权、访问控制和委托。 ( 3 ) 为自治管理解决方案提供公共基础。网格可以包含许多资源，还有大量 的配置组合、交互以及状态与故障模式的改变。对于这些资源来说，一些智能自 动调节与自治管理方式是必不可少的。 ( 4 ) 定义开放的、已公布的接口。o g s a 是一种由g g f 标准团体进行管理的 第二章开放式网格服务结构0 g s a 开放式标准。为j 小涮赞振的且墚作性，嗍格必殒构建在标准援口放协议z 上。 ( 5 ) 利用行业标准的集成技术。在这一点上，0 g s a 的基础就是w e bs e r v i c e 2 3 0 g s a 主要架构 o g s a 的主要架构从下至上大致由四层组成，其结构图如图2 2 所示： 资源层 图2 20 g s a 主要架构图 现在就分别说明这几层的具体功能：“1 ( 1 ) 资源层，主要包括物理资源和逻辑资源。资源的概念是0 g s a 以及通常意 义上的网格计算的中心部分。构成网格能力的资源并不仅限于处理器等目前常用 的概念。在资源层中，物理资源包括服务器、存储器和网络。物理资源之上是逻 辑资源。它们通过虚拟化和聚合物理层的资源来提供额外的功能。例如文件系统、 数据库管理员、目录和工作流管理人员等，在物理网格之上提供这些抽象服务。 ( 2 ) w e b 服务层，这一层还包括了定义网格服务的o g s i 扩展。w e b 服务层作 为o g s a 架构中的第二层，提出了一条重要的o g s a 原则：即所有网格资源( 包括 逻辑资源与物理资源) 都被建模成服务。0 g s i 规范定义了网格服务并建立在标准 w e b 服务技术之上。 o g s i 利用诸如】( i l 与w e b 服务描述语言( w e bs e r v i c e sd e s c r i p t i o n l a n g u a g e ，w s d l ) 这样的w e b 服务机制，为所有网格资源指定标准的接口、行为 与交互。0 g s i 进一步扩展了w e b 服务的定义，提供了动态的、有状态的和可管 理的w e b 服务的能力，这在对网格资源进行建模时都是必需的。 ( 3 ) 基于0 g s a 架构的网格服务层。w e b 服务层及其o g s i 扩展为下一层提供 了基础设施：基于架构的网格服务。g g f 目前正在致力于在诸如程序执行、数据 服务和核心服务等领域中定义基于网格架构的服务。随着这些新架构的服务开始 广东工业大学工学硕士学位论文 出现，o g s a 将变成更加有用的面向服务的架构( s o a ) ( 4 ) 网格应用程序层。这一层主要包括使用一个或多个基于网格架构的服务 的网格应用程序。所有这些开发出来的应用程序构成了0 g s a 架构的第四个主要 层。 上文中简述了o g s a 的主要架构，其中以w e b 服务层和基于0 g s a 架构的网格 服务层最为重要。在w e b 服务层中还包括了o g s i 的扩展，这种o g s i 扩展是为了 通过增加核心w e b 服务功能来满足网格服务需求的。0 g s i 通过在以下两个领域 引入接口和约定来扩展w e b 服务。 第一是根据网格中服务具有动态及可能瞬变的特性来扩展。在网格中，特 殊的服务实例会随着工作的分派、资源的配置与供给，阻及系统状态的变化而不 断地产生和销毁。因此，网格服务需要引入接口来管理它们的创建、销毁以及生 命周期管理。 第二就是状态。网格服务可以拥有与自身相关的属性和数据。这在概念上 类似于面向对象编程中对象的传统结构。在面向对象编程的结构中，对象有其行 为和数据，同样地，w e b 服务需要得到扩展，从而支持与网格服务相关的状态数 据。 o g s i 引入了一种网格服务的交互模型。通过提供发现、生命周期、状态管 理、创建与销毁、事件通知以及引用管理的接口，o g s i 为软件开发人员提供了 一种统一的建模和与网格服务进行交互的方式。不论开发人员正在开发的是网格 服务还是应用程序，0 g s i 编程模型都会为网格软件提供一种一致的交互方式。 在w e b 服务层，o g s i 定义的有关组件和接口如图2 3 ： 图2 3o g s i 组件和接口定义 有关组件和接口的大致定义如下： 生命周期：因为网格服务可能是瞬变的，所以网格服务实例必须是使用指定的生 命周期来创建的。用户可以根据依赖或管理该服务的组件的需要，确定和扩展任 何特殊服务实例的生命周期。生命周期机制原理大致基于这样的一种机制，即在 2 第二章开放式网格服务结构o g s a 不需要大规模分布式垃圾收集清理程序的情况下，防止网格服务无限地消耗资 源。 状态管理：网格服务可以具有状态，o g s i 规定了一个用于表示这种状态的 s e r v i c ed a t a 框架，以及一个用于检查或修改该状态的名为f i n d s e t s e r v i c e d a t a 机制。此外，0 g s i 要求每个网格服务都必须支持的s e r v i c ed a t a e l e m e n t s 中要有最低数量的状态，并要求所有服务都要实现f i n d s e t s e r v i c e d a t a 。 服务组：服务组是网格服务的集合，它们使用s e r v i c ed a t a 来建立索引以用于 特定目的。例如，用户可以使用它们来收集所定义的服务，如网格内特定群集结 点中资源的状况。 工厂：实现此接口的网格服务提供了一种创建新网格服务的方式。工厂可以创建 有限功能的临时实例，比如创建服务以表示执行特殊任务的调度程序，或者它们 也可以创建生存时间更长的服务，比如一个常用数据集的本地拷贝。所有网格服 务并不都是动态创建的，其中有些可能是作为网格中物理资源的实例被创建的， 比如处理器、存储器或者网络设备，这些也可以通过工厂来实现。 事件通知：网格服务的状态信息( s e r v i c ed a t a ) 会随着系统的运行而变化。 网格服务之间的许多交互要求系统能够动态地监控状态变化。事件通知即把一种 传统的发布和订阅范式应用于这种监控。在网格服务中支持一个接口 ( n o t i f i c a t i o ns o u r c e ) ，可以允许其他网格服务( n 0 t i “c a t i o n s i n k ) 订阅进行 变更。 h a n d l e m a p ：当工厂创建网格服务的一个新实例时，工厂会返回新实例化的服 务标识。这个标识由两部分组成：一个网格服务句柄( g r i ds e r v i c eh a n d l e ， g s h ) 和一个网格服务引用( g r i ds e r v i c er e f e r e n c e ，g s r ) 。g s h 保证无限期 地引用该网格服务，而g s r 可以在该网格服务的生命周期内发生改变。 h a n d l e m a p 接口提供一种在给定g s h 的情况下获得g s r 的途径。 2 4 基于o g s a 网格服务的接口 网格服务所用的接口有很多，它们的存在丰富了网格服务所能提供的功能。 网格服务的具体功能是有它们所提供的能力来刻画的，一个网格服务可以实现一 个或多个接口，每一个接口定义了一些操作，这些操作通过交换定义一系列消息 广东工业大学工学硕士学位论文 来激活。网格接口的层次图如图2 4 所示 图2 4 网格服务接口层次图 在目前，网格服务提供的接口还比较有限，如表格2 一l 所示，o g s a 还在不 断的完善过程之中，下一步将考虑扩充管理、安全等等方面的内容。 接口 操作 描述 f i n d s e r v i c e d a t a 查询网格服务实