（计算机应用技术专业论文）网格环境下基于多数据源的数据传输.pdf

浙江大学硕士学位论义 y8 2 817 9 摘要 数据密集型的科学与工程应用( 如计算力学数值模拟、7 i 象预测) 需要在广 域、分布式的计算环境中快速安全的传输海量的数据。因此在如何网格环境中高 效、可靠、安全的传输海量文件是网格计算中的一个关键性研究课题。 本文所构建的网格环境下基于多数据源的数据传输工具m f t p 是 m a s s l v e ( m u l t i d i s c i p l i n a r ya p p l i c a t i o n s - o r i e n t e d s i m u l a t i o na n dv i s u a l i z a t i o n e n v i r o n m e n t ) 格平台的重要组成部分。m a s s i v e 旨在构建面向多学科应用的模 拟与可视化网格环境。m a s s i v e 网格平台处于工程应用与网格中问件之间，为 用户提供。一个图形化的网格应用集成开发环境，它建立在g l o b u s t o o l k i t 中间件之 上并支持基于网格的计算流体力学与计算固体力学问题求解及可视化。 本文所论述的m f t p 利用网格环境下存在的多个数据备份r e p l i c a ，提出了 一种基于r e p l i c a 级别的并行传输方法以提高数据传输的性能。它的流程如下： 用户输入一个逻辑文件名，m f t p 调用网格的复制定位服务( r e p l i c al o c a t i o n s e r v i c e ，r l s ) 获得文件所在的实际的物理存储地址( p h y s i c a ll o c a t i o n s ) ：m f t p 利用g r i d f t p 提供的安全认证，部分文件传输，并行传输开始与用户选定的 r e p l i c a 进行安全认证并创建。个或多个数据通道，按照r e p l i c a 负载量算法决定 各个r e p l i c a 的数据传输量大小传输数据块；最后m f t p 根据各个数据块的偏移 地址重新合并文件。m f t p 在提高数据传输性能的l 司时，应用rg r i d f t p 所具有 的g s l ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) 及k e r b e r o s 安全认证机制，因此它同时具备了 g r i d f t p 所具有的安全性能。实验表明，m f t p 具有较好的数据传输性能和安全 性能。 关键字：网格计算；m a s s i v e ：g l o b u st o o l k i t ；r e p l i c a ；并行传输；g r i d f t p ； m f t p ；复制定位服务 浙江人学烦士学位论文 a b s t r a c t d a t a i n t e n s i v es c i e n t i f i ca n de n g i n e e r i n ga p p l i c a t i o n so f t e nr e q u i r et h ee f f i c i e n t t r a n s f e ro ft e r a b y t e so re v e np e t a b y t e so fd a t ai nw i d e a r e a , d i s t r i b u t e dc o m p u t i n g e n v i r o n m e n t s t h e r e f o r e ，h o wt ot r a n s f e rl a r g ea m o u n t so fd a t ae f f i c i e n t l y a n d s e c u r e l yi nt h e 鲥de n v i r o n m e n th a sb e c a m et h ek e yi s s u eo fg r i dc o m p u t i n g m f t p ，an e wd a t at r a n s f e r r i n gt o o lb a s e do nm u l t i p l er e p l i c a si nt h e 鲥d e n v i r o n m e n ti so n e i m p o r t a n tp a r t o fm a s s i v e ( m u t t i d i s c i p l i n a r y a p p l i c a t i o n s - o r i e n t e d s i m u l a t i o na n dv i s u a l i z a t i o ne n v i r o n m e n t ) g r i dp l a t f o r m m a s s i v ea i m st ou s eg r i dt e c h n o l o g yt oe s t a b l i s ha ne n a b l i n ge n v i r o n m e n tf o r d i s t r i b u t e ds i m u l a t i o na n dv i s u a l i z a t i o no fl a r g e - s c a l es c i e n t i f i ca n de n g i n e e r i n g r e s e a r c h m a s s i v eg r i dp l a t f o r mi sb u i l to nt h et o po fg l o b u st o o l k i tm a da i m st o o f f e ru s e r sa 鲥d e n a b l e dc f d ( c o m p u t a t i o n a lf l u i dd y n a m i c s ) a n dc s m ( c o m p u t a t i o n a ls o l i dm e c h a n i c s ) p r o b l e ms o l v i n g t h em f t pp r o p o s e di n t h i s p a p e ra d o p t s an e wa p p r o a c ht oi m p r o v e p e r f o r m a n c e f u r t h e rb yu s i n gr e p l i c a l e v e lp a r a l l e l i s mt r a n s f e ri ng r i d s i t s i n s t r u c t i o ns h o w e s 弱f o l l o w s m f t pi si n v o k e dw i t ht h el o g i c a li d e n t i f i e ro fag r i d d a t af i l e ，t h e nt h em f t pw i l lq u e r yt h er e p l i c al o c a t i o ns e r v i c e st of i n da sm a n y c o r r e s p o n d i n gr e p l i c a sa sp o s s i b l e s u b s e q u e n t l y ，m f t ps t a r t st oc o n t a c te a c hr e p l i c a s o u r c et os t a r to n eo rm o r es u b t r a n s f e r r i n gu s i n gs e c u r i t ya u t h e n t i c a t i o n ，p a r a l l e l t r a n s f e r ，p a r t i a lt r a n s f e ro fg r i d f t ri n t h i ss e c t i o n ，w o r k l o a dp l a c e m e n ta l g o r i t h m s d e c i d ew h e na n dw h i c hr e p l i c as h o u l dt r a n s f e rw h i c hp a r t ( o f f s e ta n dl e n g t h ) o ft h e s o u r c ef i l e d a t ai sg a t h e r e df r o mt h e s es o u r c er e p l i c a sa n de v e n t u a l l yc o m b i n e d t o g e t h e rt o as i n g l ef i l e a sw h i l ea si m p r o v i n gt h ep e r f o r m a n c eo fd a t at r a n s f e r ， m f t pa p p l y st h eg s ia n dk e r b e r o ss e c u r i t ya u t h e n t i c a t i o no ft h eg r i d f t rs oi ta l s o h a s t h es e c u r i t yo ft h eg r i d f t ec o r r e s p o n d i n ge x p e r i m e n t ss h o wt h a tm f t p i m p r o v e st h ed a t at r a n s f e rr a t ea n dr e l i a b i l i t yo ng r i d s k e y w o r d s ：g r i dc o m p u t i n g ；m a s s i v e ；g i o b u s t o o l k i t ；r e p l i c a ；p a r a l l e l t r a n s f e r ；g r i d f t p ；m f t p ；i l l s 2 第一章绪论 奉章首先介绍了本项研究的背景知识，接着简述了基于多r e p l i c a 的数据传输的 基本目标与内容，最后介绍了本文的组织结构。 1 1 研究背景 网格这个词来源于可随时随地提供电能的电力网格( e l e c t r i cp o w e rg r i d ) ，它 像汁算机和其他科技进步的产物一样，对人类的能力和社会有着巨大的影响 f 3 5 。唐格拉这样解释网格- 网格试图提供这样一种技术：人们可以把自己的微 机插入网格，以后就可以透明地使用网格上的各种计算资源，就像今天我们将任 何一种家电设备插进墙上的插座，就可啦方便地使用电一样。” 我们可以这样认为：网格就是个集成的计算与资源环境。它能够把整个甄 联删虚拟为一一台巨大的超级计算机，实现全球范围的计算资源、存储资源、数据 资源、信息资源等各种相关的广泛分布的各种资源的全面共享。 而网格计算就是基于网格的问题求解1 3 6 】。当前，已经有j ：_ f i 少成功的闷格应 用例子：综合军力表示( s y n t h e t i cf o r c e se x p r e s s ) ，简称s fe x p r e s s 1 ，它基j 二网格 模拟了多达1 0 万个战斗单位的作战场面，曾创造了该领域的世界记录；以及用 于地震模拟的科学基础设旌网n e e s g r i d 2 。 本文的研究内容从属于m a s s i v e 3 项目。m a s s i v e 也就是丽向多学科应 用的模拟与可视化网格环境。它面向的应用领域主要是计算流体力学，计算网体 力学。当前的计算流体力学问题的规模，在机理研究方面网格数达到了1 0 ( 十 亿) 量级，在l _ t k 应用方面，网格数最多也已打到1 0 ( 千万) 量级。这样的规 模，往往需要大量的计算资源。而网格计算恰恰是能提供廉价且丰富的计尊资源 的。m a s s i v e 项目的目标是支持基于网格的计算流体力学与计算固体力学问题 求解。 在计算流体力学与计算同体力学的并行数值模拟过程巾需要进行快速荡效 的数据传输，如可执行程序文件、参数文件、源数据文制、中间结果及最终结果 文件等，这些数据量可能非常人，并且其数据在网格环境中可能存在多个备份。 浙江大学顺十。学位论文 因此如何在网格环境中高性能而完全地传输海量文件就成了网格计算技术c 扣的 个关键性研究课题。 本文利用网格环境下存在的多个数据备份r e p l i c a ，提出了一种基于r e p l i c a 级别的并行传输方法以提高明络传输的性能，并实现了一个适用于网格环境的数 据传输客户端工具( m f t p ) 。实验表明，m f t p 具有较好的数据传输性能和可靠 性。 1 2 研究内容 前面提到如何在网格环境中高性能地传输海量文件已经成为网格计算技术 中的一个关键性研究课题。目前已有相当多的提高传输性能的应用技术，例如使 用多个t c p 并行流，调节t c p 流的大小【5 ，数据分布式存储，数据压缩等。实验 证明，通过恰当地使用这些技术的确可以提高网络传输的性能投其安全性。但是 这都是基于一个数据源和一个目的地之间的传输，其性能受限于数据源的传输宽 带，数据源所在点的当前状态( 例如频繁的磁盘读写操作) 以及传输链路中的网 络状况。 在网格环境中，一个数据集常常存在多个备份( r e p l i c a ) ，用户可以选择传输 性能最佳的那个r e p l i c a 来部分的解决这个问题。但这同时就引出了另个问题， 即r e p l i c a 的选择 6 】。通过选择不同的r e p l i c a ，我们可以得剑不同的传输性能， 但合理地选择一个r e p l i c a ，需要相当多的信息，例如，r e p l i c a 所在地存储系统 的性能以及两地之间的传输带宽等。当不同的r e p l i c a 之问其传输性能有明显的差 异时，这个方法有效，但当性能差异不大时，方法近似无效。 本文所提供的方法首先分析了g r i d f t p 协议，了解它有别于般f t p 的优越 特性，并在此协议的基础上利用刚格中存在的多个r e p l i c a 的并发传输解决了这个 问题。这个方法并不排斥前面所介绍的各种方法，而恰恰是在每个单独的 r e p l i c a 传输过程中组合使用了以上的各种技术。它的简单流程如下：用，。输入 个逻辑文件名，然后调用网格的文件定位服务( r e p l i c al o c a t i o ns e r v i c e ，r l s ) f 7 】获得文件所在的实际的物理存储地| e ( p h y s i c a ll o c a t i o n s ) 。j 与然如聚用户已经事 先知道文件的物理存储地址，也可以直接输入r e p l i c a 的存储地址，然后利用 g f i d f t p 提供的安全认汪，部分文件传输，并行传输开始与用户选定的r e p l i c a 联 浙汀火学坝l j 学位渔文 系并创建个或多个数据通道，并按照负载量算法决定各个r e p l i c a 的数据传输量 大小开始传输数据块，并根据数据块的偏移鬃重新合并文件。 1 3 论文的结构 全文的内容作如下安排： 第二章丰要介绍网格的基本知识，网格的成功应用例子及国内外网格研究的 现状： 筇三章首先简要的介绍了g l o b u s i 具包的状况，接下来则介绍了m a s s i v e 网格平台的各个组成部分。 第四章介绍了m f t p 的总体设计，包括g f i d f t p 及r l s 的介绍，m f t p 的结构 设计，并详细介绍了r e p l i c a 负载量算法，最后介绍了m f t p 的性能测试状况 最后一章对所作的：i ：作做了总结，并提出进一步的展望 浙江大学硕士学位论业 第二章网格介绍 这一章中作者介绍了网格的概念以及建设网格的目标和其意义、网格的发展历 程、网格的体系结构：然后作者花了较多的笔墨介绍了目前国内外网格的发展现 状，并介绍了个具体的网格应用实例：休士顿大学校园网格：最后作者介绍了 网格计算所面临的挑战和网格的关键技术。 2 1 网格的概念和目的 网格计算的直接起源为元计算( m e t a c o m p u t i n g ) 【8 】，它最早是f = 【j s m a r t 和 c a t l e t t 引入的。网格计算的概念是在i w a y 9 项目中提出柬的。虽然对网格计 算的研究已经有了很大的进步，但是到目前为止，关于什么是网格计算，还没有 一个普遍接受的定义，关于网格概念的分歧和争议依然存在。那么究竟何谓网格 计算? 1 9 9 8 年，在嘲格：一种未来计算基础设施蓝图f 1 0 】_ 书中写道：个 计算网格是个硬件和软件基础设施，此基础设施提供对高端计算能力可靠的、 一致的、普遍的和不昂贵接入。在2 0 0 0 年的一篇题为“网格剖析” 1 1 】的文章 中，提出社会和策略问题。指出网格计算关心的是：在动态的，多机构的虚拟组 织中协调资源共享和协同解决问题。其核心概念足：在一组参与节点( 资源提供 者和消费者) 中协商资源共享管理的能力，利用协商得到的资源池共同解决姥 问题。随后，人们日渐认识到：协议标准化在使异构系统间交互操作和使公共皋 础设施成为一致可能中的熏要性。由此，l a nf o s t e r 等人进步完善网格定义，认 为网格实际卜是这样满足如下三个条件的系统：1 1 2 】 l ，协调非集中控制资源。网格整合各种资源，协调各种使用者，这些资源 和使用者在不同控制域中，比如，个人电脑和中心计算机：相同或不同公司的刁j 同管理单元网格还解决在这种分布式环境中出现的安全，策略，使用费用，成员 权限等问题。否则，只能算本地管理系统而非网格。 2 ，使用标准、丌放、通用的协议和界面。网格建立在多功能的协泌和界面 之l ，这些协议和界面解决认证授权，资源发现和资源存取等基本问题。古则， 只算一一个具体应用系统而非网格。 4 浙江大学硕 学位沦文 3 ，得到非平凡的服务质量。网格允许它的资源被协调使用，以得到多种服 务质量，满足，f i 同使用者的需求，如系统响应时阍，流通量，有效性，安全性， 及资源重定位，使得联合系统的功效比其各部分的功效总和要犬得多。 我们可以认为网格存在如下三方面的含义： l ，从概念上，网格的目标是资源共享和分布协同工作。 2 ，网格是种技术。为了达到多种类型的分布资源共享和协作，网络计算 技术必须解决多个层次的资源共享和合作问题，制定刚格的标准，将i n t e r n e t 从 通讯和信息交互的平台提升到资源共享的平台。但是目前势行计算、分布计算、 中间件等现行技术远远没有鳃决多组织之间资源的共事问题，以及广域范嗣的多 系统之间联合处理和计算等网格计算所面临的关键问题。因此，网格计算技术研 究具有独特性、紧迫性和挑战性。 3 ，网格是基础设施，是通过各种网格综合计算机、数据、设备和服务等资 源的基本设施。 网格概念将根本地改变人们对“计算机心用”的看法，这是一种全新的、更 方便的计算方式，轻松实现现今解决不了的更加复杂的问题。阕格是借鉴电力网 概念提出来的，网格的最终日标是希望用户在使用网格时，就如同现在使用电力 一样方便。建设网格的意义有： 甬先是解决计算能力的限制，网格可以联合并放大全社会的计算能力，这是 目前无法想象的。 其次是解决地理位置的限制，把“全社会的计算能力”送到你的桌面。再次 是节约资源，现今的计算机资源利用率远不充分，很多应用又缺乏资源。网格不 仪可以把“资源”送到你的桌面，更可以把“应用”放到网格中完成，连“桌面” 都可以节省。 最后是网格打破了传统共享与协作力面的限制。网格以“虚拟组织”的力法， 实现了全社会范围的资源共享与服务协作。 2 2 髓格计算的发展过程与趋势 嘲格是以电网作为比拟的对象而开始建立和发展的，也就是说，炎电嘲的使 用状况即为网格计算的目标所求，那时，用户只要把设备的插头插入网格的“插 浙 】= 学碗 子忙盹z 3 ，得到非平凡的服务质量。网格允许它的资源被孙调使用，以得到多年4 t 臌 务质量，满足不回使用者舵需求，鱼【i 系统响瘟蹦阚，流通量，有效性，曩争抖， 及资源重定位，使得联合系统的功效比其各部分的功效总和要火得多。 我们可以认为网格存在如下三方的含义： i ，从概念b 嘲格的b 标是资源共享和分稚协网【作。 2 ，网格是种技术。为r 达到多种类型的分布资源共享和西作例络计算 技术必须解决多个层次的资源共享和合作问题，制定刚格的标准，将i n t e m e t 从 通讯和信息交互的平台提升到资源共享的平台。但是目前并行计算、分布“算、 巾f 日j 件等现行技术远远没宵解挟多组织之刚资源的越享问题，以及，1 域范围的多 系统之洲联合处理和计算等网格计算所面临的关键问题。冈此嘲格计算技术研 究具有独特性、紧遍性和挑战性。 3 ，网格是基础设旌，是通过各种网格综合计算机、数据、设备和搬务等资 源的基率设旌。 剐格概念将根本遣改变人们对“计算机应j ”的看法，这是一种仝新韵、蜓 方便的计算方式，轻松实现现今解决不了的更加复杂的列题。网格是借豁电力网 概念提出柬的，网格的最终目标是希望用户在使用蜘格时，就如同现存使用f h 力 一样方便。建设瑚格的意义有： 首先是解决训算能力的限制，网格，叮以联台并放大全社会的计算能力，这足 臼前光洁想象的。 其次是解决地理位簧的限制，把“全社会的i 1 - 算能力”送到你的桌嘲。冉次 是节约瓷源，现今的计算机资源利用率远不充分，很多应_ | _ j 又缺乏资源。嘲格币 仅町以把“资源”送到你的桌面，更可以把“应用”放到网格中完成，连“桌向” 都可以节省。 最后是网格打破r 传统菇享与协作 面的限制。网格以“虚拟组织”的力法， 实现了全社会范刚的资源共享与服务m 作。 2 2 翔格计算的发展过程与趋势 嘲格是以电网作为比拟的对象而玎始建奇和发展的，也城是说，类电州的任 用状况即为网格计算的f = 标所求，那时，用尸只耍把设备的插头插入网格的“捕 用状况驯为网格计算的d 标所求，那时，用户只耍把设备的插头插入网格的“插 浙 _ i 夫学硼e 学位论义 座”就可使用网格中的资源。虽然现在的嘲格计算离此目标还将甚远， _ j 它在问 题与应用的推动f 已经不断发展、中富和完善，比起最初的并行虚拟机、酯 留。 等，可以说是发展迅猛、进步长足。到目前为止， 般认为它经历t 2 2 个阶段 13 ： f a f n e r g i o b u sw e bs e r v i c e s i 强y l e g i o n o g s a 第一代1 9 9 5 年 第二代2 0 帅年第三代 图2 一l 网格技术发展阶段示意图 第。、阶段是萌芽期：2 0 世纪9 0 年代早期，主要是千兆网的实验床以及些 元计算实验； 第二阶段是实验期：2 0 世纪9 0 年代中晚期，比如i w a y 项目，学术性研 究项目g l o b u s 14 ，2 6 】、l e g i o n 15 以及一砦应用： 第三阶段是发展期：本世纪以来，出现了大量的网格计算项目，出现了影响 很大的组织一全球网格论坛g g f ( g l o b a lg r i df o r u m ) 【1 6 】，同时嘲格计算电不 再仅仅局限于科学研究，工业界与学术界联盟正致力于使网格计算在更广泛的领 域得到推广和应用。 d a v i d 等人把网格按照技术发展的顺序分为：1 9 9 5 年以前的嘲格一把超级训 算机节点连接起来以提供高性能计算服务，代表项目有l w a y ：1 9 9 5 年至2 0 0 0 年的网格一以开发支持大规模数据和计尊的中间件为稳标，以建幸勾面向、议和模 块的网格体系结构为中心，代表项目g l o b u s ，l e g i o n ：2 0 0 0 年至今的网格一以建 立而向服务的网格结构为特征，代表体系为开放网格服务结构o g s a 1 7 1 ，典犁 基础设施为o g s i 1 8 1 和w s r f 1 9 。 目前，网格已经成为全球的研究热点，发展网格被认为是下一代i n t e r n e t 的 核心任务之。从网格技术发展的总体来看，其趋势如下： l ，标准化趋势。2 0 0 4 年1 月，w e bs e r v i c e 标准与o g s a 标准的融合一w s r f 框架被提如柬了，将发展成为末来的州格新标准。 2 ，技术融合趋势。g l o b u s 项强组看到了w e bs e r v i c e s 的巨大潜力，在2 0 0 2 年迅速将g l o b u st o o l k i t 的开发转向了w e bs e r v i c e s 平台，试图用o g s a 舀：喇格 浙江人学坝卜学位论义 世界统天卜。摹于o g s a 之厉，网格的一切对外功能都以网格服务( g r i d s e r v i c e ) 来体现，并借助些现成的、与平台无关的妓术，宣 i x m l 、s o a p 、w s d i ，、 u d d l 等，来实现这些服务的描述、查找、访问和信息传输等功能。这样， 切 平台及所使用技术的异构性都被屏蔽。用户访问网格服务时，根本就无需关心该 服务是c o r b a 提供的，还是n e t 提供韵。 3 ，大型化趋势。美国政府荦在网格技术的基础研究 ：，每年投入的经费就 高达5 亿美元。i b m 在2 0 0 1 年8 月宣布，将投入4 0 多亿美元进行“恻格计算创 新计划”( g r i d c o m p u t i n gi n i t i a t i v e ) ，全面支持网格计算。i b m 成为g l o b u s 的首席 合作伙伴，还是o g s a 标准的制定者之一。英国政府宣布投资1 亿英镑，用以 研发“英国国家网格”( u k n a t i o n a lg r i d ) 。我国也拨出了上亿元的资金用于c h i n a g r i d 相关的研究。 2 0 0 0 年w e bs e r v i c e 标准经提出，就困其广泛的w e b 工业基础，立刻受 到在科研领域网格研究最成功的g l o h u s 项目关注，结合为o g s a 标准，并逐步 演化重构为网格资源框架w s r f 于2 0 0 4 年初被提泌出来。 前基于其j i 的研究 工作正如火如荼地在全球范围内开展起来。 2 3 网格体系结构 刚格体系结构就是关于如何建造网格的技术。它给出了刚格的基本组成j 功 能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了网格自效 运转的机制。到目前为止，比较重要的网格体系结构主要有两个， 。个是f o s t e r 在2 0 0 1 年提出的五层沙漏结构i 1 1 】；另个是在以i b m 为代表的i ：业界的影响 下，在考虑到w e b 技术的发展与影响后，f o s t e r 等人结合t w e bs e r v i c e 提出的 开放网格服务结( o p e ng r i ds e r v i c ea r c h i t e c t u r e o g s a ) 【1 7 】。 2 3 1 五层沙漏结构 “层沙漏结构是一种影响十分广泛的结构，该结构的一个最重要的慰想就是 以“协议”为中心，也十分强调服务 5 a p l ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 年l i s d k ( s o f l w a r ed e v e l o p m e n tk i t s l 的重要性，不过该结构主要侧重_ j - 定性的描述向 不是具体的协议定义。图2 2 是一个网格的五层沙漏结构模型。 浙江凡学硕1 一学位论文 一与疵耀赢用层 谚嚣詈篡等 譬 )嘉霎萎鬈翥_ 羹羹薹 介訾? 黧臻 图2 2 五层沙漏体系结构 3 6 1 沙漏模型是f a nf o s t e r 等人在最初的时候提出的，自底向上分别是构造层、 连接层、资源层、汇聚层、应用层。构造层连接底层的本地资源和上层，主要是 用来为上层访问本地资源提供统一接口，屏蔽各地资源的异构性；连接层定义了 核心网格事务处理所需的通信和认证协议，提供了加密的安全机制，用于识别用 户和资源；资源层的仂l 议调用构造层的功能以访问和控制本地资源：汇聚层建立 在资源层和连接层形成的协议瓶颈之上，丰要负责多种资源的共享；应用层存在 于虚拟组织中，是根据任一层次定义的服务构造的。每层的a p l 都可以看作 与特定服务交换协议信息的实现，应用可以调用更高层的框架和a p i 库。 五层沙漏结构根据各组成部分与共享资源之间的距离，将对共享资源进行操 作、管理和使用的功能分散在五个不同的层次。越往下层就越接近于物理的共享 资源，因此该层与特定资源相关的成分就比较多：越往l 层就越感觉不到共享资 源的细节特征。 h 层沙漏结构的另外一个晕要特定就是沙漏形状。其内在的含义就是因为各 部分协议的数量足不同的，对于其最核心的部分，要能够实现l 层各种协议向核 心协议的映射，同时实现核心协 义向f 层其它各种协议的映射。核心协议在所有 支持网格计算的地点都应该得到支持，因此核心协议的数量不应该太多，这样核 心协议就形成了协泌层次结构中的一个瓶颈。 浙珏大学鼬 学位论文 2 3 2 开放服务网格体系结构o g s a 玎放网格服务体系结构t o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，o g s a ) 是继五层 沙漏结构之后最重要，也是目前最新的种嗣格体系结构。o g s a 架构由四个 主要的层构成( 参见图2 3 ) 。从下到上依次为： 削2 j ，t n m 月匣_ ! 舟唧怕悴示珀俐u u 3 a l ，资源层：资源的概念是o o s a 以及通常意义上的网格计算的中心部分， 包括物理资源和逻辑资源。物理资源包括服务器、存储器和网络。逻辑资源通过 虚拟化和聚合物理层的资源来提供额外的功能。 2 w e b 服务以及定义网格服务的o g s i ( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ) 扩展：o g s al + l 所有网格资源( 逻辑的与物理的) 都被理解成服务。o g s i 见范 定义了网格服务并建立在标准w e b 服务技术之l 一。o g s i 利用诸如x m i ， w e b 服务描述语言( w e bs e r v i c e s d e s c r i p t i o n l a n g u a g e ，w s d l ) 这样的w e b 服 务机制，为所有网格资源指定标准的接口、行为与交互。o g s i 进一步扩展丁 w e b 服务的定义，提供了动态的、有状态的和可管理的w e b 服务的能j ，这 仵对网格资源进行建模时都是必需的。 3 基于o g s a 架构的服务：w e b h 日务层及其o g s l 扩展为下层提供了基 础设旌：基于架构的网格服务。g g f 臼前止在致力于在诸如程序执行、数据服 务和核o n 务等领域中定义基于网格架构的服务。随着这些新架构的服务开始眦 现，o g s a 将变成型加有用的面向服务的架构( s e r v i c eo r i e n t e da r c h i t e c t u r e ， s o a ) 。 4 ，网格应用程序：随着时间的推移，组丰富的基于嗣格架构的服务不断 u*一gg# 一 澌i l 火学碗l 学位论文 被， ：发出束，使j 小个或多个基于网格架构的服务的新网格应用程序亦将出现。 这些应用程序幸句成了o g s a 架构的第四个主要的层。 构建0 g s a 的两大支持技术是g l o b u s ；f h w e bs e r v i c e 。g l o b u s 是已经被科 学与工程计算领域广泛接受的网格技术求解方案，w e bs e r v i c e 是种标准的存 取网络应用的框架。 2 4 网格计算项目简介 2 4 1 国外网格研究现状 网格计算的重要战略意义及其广阔应用前景，使其成为当今吸引众多研究人 员和巨大资金投入的研究热点。继学术界之后，各国政府和商业界也分别启动了 一系列的研究项目。 美国政府从十年前就开始投资。1 9 9 2 年，美国开始实施高性能计算方面的 计划h p c c ，并投入巨资研究解决“巨大挑战问题”的环境、方法和技术，累 计使用的綦础研究经费已近五亿美元。美国军方更为积极。美国国防部已在规划 实施一个宏大的计划，称为“全球信息阐格”( g l o b a li n f o r m a t i o n g r i d ) ，预计 在2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军陆战队已先期启动 个1 6 0 亿美元的八年项目，包括系统的研制、建设维护和升级。英国政府已决定 投资1 亿英镑，用束建设“英国国家网格( u kn a t i o n a lg r i d ) ”。韩国政府也已讵 式宣布建立第三代网络基础之国家网格基本计划，计划在五年内把分散的高性能 电脑通过网络连接起来并加以利用。 主要i t 一商为获取该领域的控制权也展开了积极的竞争。其中，i b m 公 司立志要做网格技术的先锋。2 0 0 2 年8 月，i b m 宣布投入盼 。亿美元，寤动 一个全公司的“网格计算创新计划”，研发网格计算，与g l o b u s 组织合作，把 g l o b u s 标准与支持商用的万维网服务标准结合起来，开发开放的网格计算标准 o g s a 将网格汁算由学术界的科学计算应用扩展到商业应用。其它公司也不时 示弱。s u n 公司宣靠推出新的g r i de n g i n e5 3 软件的b e t a 测试版，该软件使 企! l k 内的计算机的连接更为方便。s u n 目前也已启动了以g r i de n g i n e 分布式资 源管l q ! 软件为旗础的开放源代码战略。m i c r o s o f t 的研究部门也积极参。j 相荚项 1 0 浙大学硕j + 学位论立 日，包括容错远程文件系统f a r s i t e 和分布式系统m i l l e n i u m 的建设。而存划等 计算领域，i n t e l 是最热心的鼓吹者，这是因为c p u 是i n t e l 的主要收入来源 和核心竞争力所在，而对等计算技术的主要用途之一一是充分挖掘连接在网络1 二的 成千上万个p c 的处理能力和存储能力，以处理一些需要大型机，甚至超级计 算机才能承担的任务。此外，s u n 也在积极推动对等计算规范j x t a 的制订。 目前国际上有影响的几个网格计算研究项目如f ： 1 ，g l o b u s o g s a ，g l o b u s 【1 4 】是美国阿岗国家实验室的研发项目，全美有1 2 所大学和研究机构参与了该项目。g l o b u s 的主要研究目标有两个，一是网格技 术的研究，涉及资源管理、安全、信息服务及数据管理等网格计算的关键理论： ：二是相应软件的开发和标准的制定，具体成果是能在各种平台上运行的网格计算 工具软件( t o o l k i t ) ，开发适合大型系统运行的大型应用程序。g l o b u s 项目还涉 及到网格应用的开发及实验床的建立，帮助规划和组建大型的网格实验平台。 g l o b u s 的最新发展是由g l o b u s 组织和i b m 在2 0 0 2 年1 2 月于多伦多 举行的g g f ( g l o b a l g r i df o r u m ，即全球网格论坛) 会议上发布的开放网格服务 o g s a 中使用的万维网服务标准包括s o a p 2 0 ，w s d l 2 1 年f iw s i l 2 2 】。引入 万维网服务后，o g s a 可支持异质环境中服务的发现和组合。 2 ，l e g i o n ，l e g i o n 1 5 】是弗吉尼亚大学的研究项目，是面向对象技术在刚格计 算领域应用的重要实例，支持透明的调度、数据管理、容错、站点自治和各种安 全选项。它将网格计算环境视为个世晃范嗣的抽致计算机，奠设计目标是让用 户在l e g i o n 环境中只感觉到“一台”大的计算机，而网格计算用户在这台大计 算机上进行程序设计。在l e g i o n 中，一切都是对象，l e g i o n 规定了对象交h 的消息格式与高级协议，通过对象的一组方法描述其接 j ，但是对编程语言和具 体的通信协议没有规定。l e g i o n 的体系结构支持反省，允许用户提供自己的类 对象来改变系统级的对象支持机制，它也定义了核心对象的接口和基本的功能， 用于支持系统的基本服务。然而，面向对象方法也面临一些问题，例如很难支持 与遗斟应用和服务的交瓦。 3 ，c o n d o r ，c o n d o r 2 3 项目j l ：发、部署和评估支持在大规模分i 卉i 资源集合 上进行高吞吐计算的机制和策略。c o n d o r 环境采用分层体系，支持串行和并行 应用。c o n d o r 中的资源提议和请求通过其分类公告语言c l a s s a d 描述。c l a s s a d 浙江人学硕卜学位论爻 使用半结构化数据模型描述资源，提供相应的查询语言以允许公告发布方在资源 提议或请求中说明约束条件。c o n d o r 可视为平板结构的计算网格。它使用采纳 了混合名字空间的可扩展模式，其存储信息的网络目录未采用x + 5 0 0 或l d a p 技术。资源发现基于资源信息周期性的“推”发布和集中式的查询，其调度器是 集中式的。c o n d o r 不支持服务质量。 4 ，d a t a g f i d 2 4 1 ，d a t a g f i d 项目基本思想是把生成的海量数据分散到全球的 计算机上进行处理，并由全球的物理学家共同进行分析。其核心中间件系统基于 g l o b u s 构造。d a t a g f i d 的主要功能包括：负载调度和管理，以适应数掘的动态 重新分配、高并发的任务数和不同国家机构的不同管理策略等：数据管理，以 支持统一的名字空间和统一的数据格式、数据的高速移动和复制、远程数据复制 实例的一致性等；系统监控，以协助制订调度策略，调接应用程序的运行性能； 构造层管理，对数量众多的基础构件提供灵活和有弹性的管理，满足严格的时间 约束条件，保证整个系统的容错性；海量存储管理，用统一的接口屏蔽不同站点 的数据存储方式和处理方式之间的差异，无缝融合分布的存储资源。 5 ，e s c i e n c e ，英国e s c i e n c e 网格被认为是最先进的网格结构。应用主要集 中在科学研究类应用；平均而言，每一个项目的人员投入( 一般在2 0 个1 ：作人 员左右) 、工作时间、科学深度和实用水平比我国的应用项目要好。整体结构还 远未调整成o g s a ，但已有o g s a 的初步共识。目前的状况是：每个应用有个 p o r t a l 入口，底层资源采用g t 2 、c o n d o r 、数据库、文件、w e bs e r v i c e 等形式， p o n a l 服务器端软件直接调用物理资源。o g s ap l a t f o r m 层面的东西还很少。 2 4 2 国内网格研究现状 国内对网格的研究始于2 0 0 0 年，与国外丰日差不到卜年的时间。但总体来看， 嘲格的研发在全球仍处于起步阶段，美国的医疗网格、英国的国家网格j 中国的 教阿网格和国家8 6 3 网格性质相似，都是研究性网格。“应凌说大家的水平都莠 不多，这也正是中国的一个机会”，i b m 中国研究及开发部总经理王玮博士如是 说。 虽然起步较晚，但由f 政府的高度重视，幽内网格“自上而下”的进麒并小慢。 日酶，以中科院、硬件i t 厂商等为代表的圈内i r l 业界已经在网格方面进行了积 浙l t 大学坝i j 学f 证论丈 极的探索。 2 0 0 2 年6 月，我国政府在“8 6 3 ”计划中设立了网格专项：研制中困困家网格。 总体目标是研制一台每秒4 万亿次运算能力、面向网格的高性能计算机：建设 个具有5 万至7 万亿次聚合计算能力的高性能计算环境；开发一套具有自主知识 产权的网格软件；建设2 至3 个事关国计民生的应用网格；形成若f 网格技术的 国家标准，参与制定国际标准；培养批高素质的网格研究和应用人才。 e 【i1 2 所大学联合推出的中国教育网格期望成为“世界上最大的教育网格”， 其目标是实现全国至少1 0 0 所大学的资源共享。应用将涵盖生命科学、图像处理、 远程教育等众多领域。 总体来说，网格计算在我国的研究与应用还比较落后，应用范围也非常有限。 目前我国的网格建设除了上海网格之外，科技部8 6 3 计划的国家网格项目和中国 教育网格的第一批网格节点也只分布在少数高校和科研机构，这在很大程度上限 制了国内网格研究与应用的发展。 2 4 3 网格应用实例 休斯顿大学( u h ) 是一个有多个校园的典型学校。休斯顿大学教师和疑t 开展了很多科学研究项目，这些项目都需要访问重要的计算资源。在化学、地球 物理学、机械：e 程、计算机科学和数学可见领域的研究人员就在那些需要进行大 量的计算教师员工之列。 为了支持这些用户，u h 组建了很多由光纤连接的大小不一的计算集群。它 的枢纽是高性能计算中心( h i g hp e r f o r m a n c ec o m p u t i n gc e n t