（计算机应用技术专业论文）局部网格研究.pdf

浙江大学硕士学位论文y7 0 0 5 3 9 文摘 目前，在许多科学研究领域、电子商务领域需要强大的计算能力支持，许多计算问题己 经无法用一台p c 机在有限的时间内完成，甚至一台超级计算机也不能在有限的时间内完成。 同时，随着互连网络带宽和传输速度的提高以及人们具有相互协作的需求，使得能够将地理 上分布很远的各种资源，如p c 机、服务器、超级计算机、存储系统、网络、数据库以及仪 表仪器等组合在一起作为一个虚拟超级计算机来使用，这样就开始出现了各种形式的分布式 计算，至j j 2 0 世纪9 0 年代演变出了网格计算。网格( g r i d ) 就是一个集成的计算与资源环境。 在网格的初期研究阶段，网格的应用主要在科学计算领域，包括高性能计算和高吞吐量计算。 随着w e bs e r v i c e 的发展和在商业上成功的应用，网格也有很大发展，其不仅要用于科学计 算，而且也要用于商业应用，目前构建的开放网格服务体系结构o g s a 需要两大技术支撑， 网格技术( 8 l l g i o b u s 软件包) 和w e bs e r v i c e 。 为了解决实验室内一些计算量需求比较大的问题，使我们想到了分布式计算，针对模拟 动态波浪这个问题，在比较各种分布式计算技术以后我们决定采用网格技术。g l o b u s t o o l k i t 是我们首选的构建网格工具包，但是对于解决像动态波浪模拟这类有限元问题，其缺 乏灵活性( 基于g l o b u s 首先要进行安全论证，而在局域网我们不需要这一步) 和对部署的任 务之间通信难以控制，因此我们提出了局部网格体系结构，其更适用于局域网内资源相对集 中和通信速度较快的特征。本文的研究工作分别建立在五层沙漏体系结构、开放网格服务体 系结构( o g s a ) 、g i o b u st o o l k i t 、i b mo p t i m a l g r i d 、g g f 提议的网格监测体系结构( g m a ) 和欧洲数据网格关系型网格监测体系结构( r g m a ) 基础之上。主要研究内容包括： ( 1 ) 提出了一种局部网格体系结构。根据五层沙漏体系结构、开放网格服务体系结构的特点 和主要应用领域，再结台局域网的特征，提出了一种局部网格体系结构。局部网格的目的是 要提供较好的网格服务质量( 包括计算速度、动态自适应调度、使用方便等等) ，并且使任 务之间的通信更加有效。在局部网格体系结构基础上提出了局部网格系统的组成模型它是 局部网格体系结构的一种实现方式。 ( 2 ) 为了对局部网格的资源和资源请求进行描述，我们简洁地分析了各种资源描述语言，选 择资源描述框架r d f 作为局部网格描述的语言，并且具体分析了资源描述框架r d f 和 r d f s c h e m a 的模型和语法。 ( 3 ) 对局部网格监测系统进行了详细的研究。首先分析t g g f 提议的网格监测体系结构然 后分析了运用在欧洲数据网格中的关系型网格监测体系结构，再结合局域网的实际情况，我 们提出了一种适用于局部网格的监测系统，并且我们详细讨论了这个监测系统的组成和工作 康理。 4 ) 提出资源需求模型和阐述如何实现资源需求的整个工作过程。在这部分里主要解决了资 绿的发现、单个资源管理以及资源之间通信的方式。特别是资源之间通信是间接通信。从两 个资源之间通信来看虽然通信速度是降低了，但是从完成整个任务来看，整体性能提高了。 5 ) 阐述了一个运用局部网格的实例，即基于局部网格的近海岸动态波浪模拟。从网格应用 昙角度，分析如何对求解问题的分割、计划编制、任务的部署和结果的收集。 总之，本论文的研究目的在于：基于局域网特征，在实验室内构建一个有效的局部网格 而为解决计算量大的问题提供计算能力的支持。 关键词：网格；局部网格体系结构；资源描述：网格监测；资源需求 浙江人学硕士学位论文 a b s t r a c t t h e r ei san e e df o rap o w e r f u lc o m p u t i n gc a p a c i t yt oa s s i s tt h es o l v i n go fs o m ec o m p l e x p r o b l e m si ns c i e n t i f i cd o m a i n o re - b u s i n e s s i nai i m i t e dt i m e ，ap e r s o n a lc o m p u t e rf p c ) i s n l ta b l e t os o l v es o m ec o m p l e xp r o b l e m s ，e v e na s u p e rc o m p u t e r m e a n w h i l e ，a sa ne m e r g i n gt h e h i g h - s p e e dn e t w o r ka n dar e q u i r e m e n tf o rt h ec o l l a b o r a t i o nb e t w e e np e o p l e l o c a t e di ns o m e d i 骶r e n ts i t e s i no r d e rt os h a r er e s o u r c e st h a ta r ed i s t r i b u t e df r o ma g e o g r a l p h i c a o r a n a d m i n i s t r a t i v ep e r s p e c t i v es u c ha sp c ，s e r v e r s u p e rc o m p u t e r , s t o r a g e ，n e t w o r k ，d a t a b a s ea n d i n s t r u m e n t av a r i e t yo fd i s t r i b u t e dc o m p u t i n gt e c h n o l o g i e sh a v eb e e ni n v e n t e d t h eg r i d a sa t e r mi nc o m p u t i n gw o r l d w a sf o r m u l a t e di nt h e1 9 9 0 s i tr e f e r r e dt oa r le n v i s i o n e da d v a n c e d d i s t r i b u t e dc o m p u t i n gp a r a d i g mw i t hc a p a b i l i t i e st ou l t i m a t e l ya s s i s ti ns e r v i n gc o m p l e xs c i e n c e a n de n g i n e e r i n gp r o b l e m sb e y o n dt h es c o p eo fe x i s t i n gc o m p u t i n gi n f r a s t r u c t u r e s d u r i n gt h e e a r l yp h a s eo fr e s e a r c h i n gg r i d ，g r i dh a sb e e na d c i p t e di ns c i e n t i f i cc o m p u t i n gd o m a i n ，i n c l u d e d h i g h - p e r f o r m a n c ec o m p u t i n ga n dh i g h - t h r o u g h p u tc o m p u t i n g a r e rw e bs e r v i c e h a sb e e n s u c c e s s f u l l yd e v e l o p i n ga n da d o p t i n gi ne - b u s i n e s s ，g r i dh a sa l s ob e e ng r e a t l yd e v e l o p i n g ，a n di t h a sb e e na d o p t i n gi nn o to n l ys c i e n t i f i cd o m a i nb u ta l s oe - b u s i n e s s c u r r e n t l yo p e ng r i ds e r v i c e s a r c h i t e c t u r e ( o g s a ) n e e d sg r i dt e c h n o l o g y ( n a m e l yg l o b u st o o l k i t ) a n dw 曲s e r v i c et os u p p o r t i t sr e a l i z a t i o n w es t a r tc oc o n s i d e rt h ed i s t r i b u t e dc o m p u t i n ga ss o m ec o m p l e xp r o b l e m sn e e dt ob es o l v e d t ob cs p e c i f i c s i m u l a t i n gd y n a m i cw a v e sc o m e so u tai o to fd a t aa n dn e e d ss o m ep o w e r f o ic p u s t os u p p o r tc o m p u t i n go fp r o b l e m a f t e ra n a l y z e ds o m ed i s t r i b u t e dc o m p u t i n gt e c h n o l o g i e s ，w e d e c i d e dt oa d o p t g r i d t oa s s i s tt h es o l v i n go f p r o b l e m f o rm a k i n gu pag r i d g l o b u st o o l k i ti s c o n s i d e r e di nt h ef i r s tp l a c e b u ti t1 a c kf l e x i b i l i t yr e s u l t e df r o ms e c u r i t yp r o c e s s i n g 山a ti s n t c o n s i d e r e db yu si nl a n a n di tc a n n o te r i e c t i v e l yc o n t r o it h ec o m m u n i c a t i o na m o n gd e p l o y e d i o b s ，s o ，w ep r o p o s eal o c a lg r i da r c h i t e c t u r ew h i c hi sm o r es u i t a b l ef o rl a n sc h a r a c t e r st h a t a r ec e n t r a l i z e dr e s o u r c e sa n dh i g h s p e e dn e t w o r k b a s e do nl a y e r e dg r i da r c h i t e c t u r e ，o p e ng r i d s e r v i c e sa r c h i t e c t u r e ( o g s a ) ，g l o b u st o o l k i t ，e u r o p e a nu n i o n sd a t a o r i d ，i b mo p t i m a l g r i d ， g m aa n dr - g m a o u rr e s e a r c hi n c l u d e s ： ( 1 ) b a s e d o nc h a r a c t e r sa n dp r i m a r ya p p l i c a t i o n so f l a y e r e dg r i da r c h i t e c t u r ea n do g s a w i t h c h a r a c t e r so fl a n ，w e p r o p o s eak i n do fl o c a lg r i da r c h i t e c t u r e i t st a r g e ti sp r o v i d i n gab e r e r q u a l i t yo fs e r v i c e ( q o s ) t h a ti n c l u d e sh i g h s p e e dc o m p u t i n g ，d y n a m i ca n da d a p t i v es c h e d u l e ，e a s y u s ea n dm o r ee f f i c i e n tc o m m u n i c a t i o na m o n g j o b s a n ds oo n w ea l s op r o p o s e dh o wt om a k e u pa l o c a lg r i db a s e do nl o c a lg r i da r c h i t e c t u r e ( 2 ) w ea n a l y z es o m er e s o u t c ed e s c r i p t i o nl a n g u a g e s f o rs e l e c t i n go n eo ft h e mi od e s c r i b e r e s o u r c ea n dr e q u e s tf o rr e s o u r c e si nl o c a lg r i d a tl a s t ，w ec o n s i d e rt h a tr d fi sb e t t e rt h a no n e s f o ro u rg r i d ，a n da n a l y z ew h a ta 陀r d fa n dr d f - s c h e m aa n dh o wt ou s et h e mt od e s c r i b e r e s o u r c e s ( 3 ) b a s e do na n a l y z i n gg r i dm o n i t o r i n ga r c h i t e c t u r e ( g m a ) p r o p o s e db yg g f a n dr - g m a u s e di ne u r o p e a nu n i o n sd a t a g r i d ，a n di n t e g r a t e dw i t hl a n sc h a r a c t e r s ，w ep r o p o s er g m ao f l o c a lg r i d ，a n dd i s c u s si nd e t a i lt h a tr - g m ao fl o c a lg r i di sh o wt oc o n s t r u c ta n dh o wt ol a i n ( 4 ) w ep r o p o s eam o d e lo f r e s o u r c er e q u i r e m e n ta n dd i s c u s sh o wt or e a l i z er e s o u r c er e q u i r e m e n t r e s o u r c e l o o k u p ，s i n g l e r e s o u r c em a n a g e m e n ta n dt h em e t h o do fc o m m u n i c a t i o na m o n g r e s o u r c e sa r e d e e p l yd i s c u s s e d d u et o i n d i r e c tc o m m u n i c a t i o na m o n gr e s o u r c e s ，d a t at r a n s f e r 浙江大学硕士学位论文 s p e e di sd e c r e a s e d a sf a ra sb e t w e e nt w or e s o u r c e sa r ec o n c e m e d h o w e v er ，t i m et h a taw h o l ej o b i sc o m p l e t e di st o w e r ( 5 ) b a s e do nl o c a lg r i d ，s i m u l a t i n gd y n a m i cw a v e si s r e a l i z e d f r o mt h ep o i n to fv i e wo f a p p l i c a t i o nl a y e ro fl o c a lg r i d ，a n a l y z eh o w t op a r t i t i o nap r o b l e m ，h o wt od om a k eu pp l a n n i n g ， h o wt od e p l o yj o b so ng r i da n dh o w t oc o l l e c tr e s u i t s i naw o r d ，o u rr e s e a r c ht a r g e ti st h a ta s s i s t i n gc o m p u t i n gc a p a c i t yf o rs o l v i n gc o m p l e x p r o b l e m st h r o u g hc o n s t r u c t i n g a ne f f e c t i v el o c a lg r i db a s e do nc h a r a c t e r so fl a ni n o u r l a b o r a t o r y k e y w o r d s ：g r i d ，l o c a lg r i da r c h i t e c t u r e ，r e s o u r c ed e s c r i p t i o n ，g r i dm o n i t o r i n g ，r e s o u r c e r e q u i r e m e n t 浙江大学硕士学位论文 1 1 课题研究的背景及意义 1 1 1 网格计算技术概述 第1 章绪论 什么是网格( g r i d ) ? 网格就是一个集成的计算与资源环境，或者说是一个计算资源池。 基于网格的问题求解就是网格计算。从狭义来说，髓格资源主要是指分布的计算机资源，而 网格计算就是指将分布的计算机组织起来协同解决复杂的科学与工程计算问题川。 网格具有以下特点：分布和共享自相似性。动态性，异构性和多样性，自主性i i i 。分 布性是指网格的物理资源是分布的。因此基于网格的计算一定是分布式计算，分布式计算体 现了资源的共享；自相似性是指局部和整体之间存在着一定的相似性；动态性包括两个方面， 一是网格在正常工作的情况下网格内的资源节点可以动态的增加和减少，二是网格节点自身 状态的变化：异构性和多样性是指网格环境中可以有不同体系结构的计算机系统和类别各异 的仪表仪器等资源：自主性是指由于构成网格的节点隶属于不同的组织域，跨组织域的资源 共享与拂周必须服从各自治域的安全和管理策略。 l 12 研究局部网格的背景 比较精确的大规模动态波浪模拟必定会产生巨大的计算量问题，这样的计算量不是一个 c p u 在一段时间内所能完成的。要产生动态的波浪，我们需要更多的c p u 协同处理问题计 算因此在模拟动态的波浪过程中同时存在着高性能计算和高吞吐量计算两大问题。为了 解决这两大问题，我们可以采用超级计算机或用集群( 机群) 来计算问题。但是超级计算机 的费用一般用户承担不起。而集群技术存着一些缺陷，其一是管理集群扩展难度较大，其= 集群对容错处理不够及时，其三搭建集群需要的计算机投入成本较大。若采用网格计算技术， 可能会把问题解决的更好。首先，网格计算技术基于资源共享的理念，其投入成本很低：其 次网格计算技术可以同时支持高性能计算和高吞吐量计算两大特性。在没有大、中型计算机 条件下，运用局部网格计算技术实现动态波浪模拟的可行性分折： 我们知道，一些基于网格计算的著名应用实例，几乎都有超级计算机或大型计算机参与 或者用的都是超级计算机。比如：大规模军事仿真s fe x p r e s s i “、模拟黑洞p j 。当然。这些 项目的计算量是非常大的是非用高性能计算机不可。但是，像我们一个普通的c a d 项目 ( 比如有限范围内近海岸的动态波浪模拟) ，在一台微机或在具有几个c p u 的多处理机上运 行是不能满足需求的( 比如计算量很大导致花费的计算时间很长) ，可是想用高性能计算机 也是不可能( 比如买不起) ，因此，基于网格计算平台来实现c a d 的技术成为我们的探索 点。 在一般情况下，大量p c 机的计算能力是闲置未用的，把这些闲置未用的计算能力通过 网格整合为可以让需要的用户使用的计算资源。p 2 p 技术在这方面运用有两个成功的典范， 一个是“t h es e a r c hf o re x t r a t e r r e s t r i a li n t e l l i g e n c e ”i j 。另一个是“h o m ec o m p u t e r se v a l u a t e a i d sd r u g s ”p j 。但p 2 p 技术的计算能力不稳定，问题分割较困难，并且其侧重点在于数据 的吞吐量，而不是侧重于高性能计算，因此对于要求高性能计算的情况下p 2 p 是往往不能 满足用户的要求。如果用网格技术从开放网格服务体系结构o g s a 来看，其是以服务为中 心的。在o g s a 中【6j ，服务包括各种计算资源、存储资源、网络、程序，数据库等等，并且 实现对服务的共享。网格服务是一种w e bs e r v i c e 的扩展，其提供了一组接口，这些接口的 定义明确并且遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题。 更重要的一点是，应用和用户能够创建临时服务，并且可以发现这些服务并得到其特性。 o g s a 的f a c t o r y , r e g i s t r y , g r i d s e r v i c e ，h a n d l e m a p 接口支持临时服务实例的创建，可以发现 浙江丈学硕士学位论文 并且描述与虚拟组织有关的服务实例。可是在支持高性能计算方面，目前基于o g s a 的 g l o b u s t o o l k i t 【j ( g t ) 远不如基于五层沙漏结构的g l o b u s t o o l k i t 。基于五层沙漏结构的g l o b u s t o o l k i t 主要用于科学高性能计算方面。g l o b u st o o l k i t 是一些通用的软件工具包运用它们组 建网格具有通用性，比较适用于组建大型的网格。而像模拟一定范围内动态波浪，如果用一 个c p u 或几个c p u 是不能很好的解决问题，那么组建一个局部网格来解决这个问题成了我们 的研究方向。开放网格服务体系结构和五层沙漏体系结构的一些重要特性，以及实验室局 域网内丈量p c 机闲置未用的计算能力和高速的网络速度，这样在没有超级计算机条件下， 为组建局部网格和实现基于局部网格的近海岸动态波浪模拟研究提供了坚实的基础。 i 1 3 局部网格研究的重要意义 网格计算是f 一代提供计算能力的方式之一，用网格技术来实现c a d 领域内高性能计 算，必将给复杂模型的模拟和仿真以及虚拟现实领域提供快速的渲染带来新的机会。 1 2 网格计算领域的研究进展情况 12 i 网格计算领域的研究进展情况 网格计算( g r i dc o m p u t i n g ) 被誉为继i n t e m e t 之后又一次网络革命，具有与i n t e m e t 一样 改变整个世界的运行方式的能力。目前网格计算还是一个崭新且正在发展的概念，相应的技 术也是日新月异【暑j 。目前，网格受到世界各国和组织的高度重视，美国、欧洲、日本等发达 国家都纷纷启动了大型网格研究计划并开展了许多论坛、实验环境和研究项目。一些大型 i t 企业也加入网格计算研究。从而将促成网格技术商业化。 全球网格论坛( g l o b a lg r i df o r u m ) 1 是目前最重要的组织之一，许多有关网格的草案都 来自于g g f 。目前，比较有影响的网格通用技术研究项目有g | o b u s1 7 ，l e g i o n t ”】，a c c e s s g r i d 川，c o n d o r “】等；网格应用研究项目主要有欧洲的数据网格d a t a g r i d ”】，美国能源部( d o e ) 的d o es c i e n c eg r i d i l ，美国宇航局州a s a1 的i n f o r m a t i o np o w e rg r i d 【i ”，美国国家科学基金 会( n s f ) 资助的t e r a g r i d | ：6 等。目前网格的研究主要在美国和欧洲。英国政府己投资1 亿 英镑，用来研制“英国国家网格( u kn a t i o n a lg r i d ) j ，。美国军方正规划实施一个宏大的 网格计划，叫做“全球信息网格( g l o b a li n f o r m a t i o ng r i d ) ”q ”，预计在2 0 2 0 年完成。随着网 格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标一致的研究开发计 划。惠普、i b m 、微软、s u n 等公司已经取得共识，支持x m l ，s o a p ，u d d i 等w e b 标准，从 而更有利于开发新一代的网络应用，b o w e b 服务。其目的是将i n t e m e t 上的资源和信息汇聚在 一起，组合成企业和消费者所需要的服务。惠普推出了e s p e a kw e b 服务平台：1 b m 用它的 w e b s p h e r e 平台和一系列中间件实现w e b 服务，并且目前已经推出了o p t i m a l g r i d ( t h e a l m a d e ns m a r t g r i dp r o j e c t ) i l 川，其具有了一定的实用性 微软是通过其n e t 计划实现w e b 服务；s u n 则通过o p e n n e t w o r k e n v i r o n m e n t ( s u n o n e ) ”1 计划和j a v a 平台来实现它 在国内织女星网格“”是中科院计算所的网格研究项目。织女星网格体系结构的基本 思想是把网格看成一台虚拟的超级计算机系统，因此织女星网格体系结构设计继承了已有计 算机系统的设计方法，即将网格看成是一台虚拟的、具有单一系统映像的计算机系统。与现 有的计算机系统类似，织女星网格也包括硬件、系统软件和应用三个组成部分基于网格服 务的概念。织女星网格将整个网格看作是“网格服务”的集合，但是这个集合不是一成不变 的，是可以扩展的这反映了网格的动态特性。网格服务通过定义接口来完成不同的功能， 服务数据是关于网格服务实例的信息，因此网格服务可以简单| 煞表示为“网格服务= 接口 行为+ 服务数据”。 国内最主要的网格论坛是中国网格信息中转站口“。 浙江大学硕士学位论文 1 2 2 网格研究项目g l o b u s 7 l ( 1 ) g l o b u s 的起源和发展 g l o b u s 发起子九十年代中期，是美国a r g o n n e 国家实验室的研发项目，全美有1 2 所大学 和研究机构参与了该项目。最初的目的是希望把美国境内的各个高性能计算中一t l , 通过 高性能网络连接起来，方便美国的大学和研究机构使用，提高高性能计算机的使用效 率。 随着对g l o b u s 项目的深入研究，希望通过g l o b u s 项目可方便对地理上分布的研究人员 建立虚拟组织，进行跨学科的虚拟合作。 g l o b u s 项目把在商业计算领域中w e bs e r v i c e 技术融合在一起，不局限于科学计算领域， 而且能够对各种商业应用进行广泛的基础性的网格环境支持，实现更方便的信息共享 和互操作。 ( 2 ) g l o b u st o o l k i t ( g t ) g l o b u s w _ 具包是g l o b u s 最重要的实践成果，其第一版在1 9 9 9 年推出，目前稳定的版本 是3 2 版。g l o b u s i 具包能够用来帮助规划和组建大型的网格试验和应用平台，适合开 发火型网格系统运行的大型应用程序。 g t 主要有四方面的内容： 网格安全； 网格信息的获取和分布； 网格资源管理： 网格远程数据传输。 ( 3 ) g t o b u s 系统结构 图l ig l o b u s 工具包在罔格计算逻辑结构中组成部分 ( 4 ) g l o b u s 实现的主要内容 网格安全基础设施( g s i ) ：g s i 负责在广域网下的安全认证和加密通信，提供单点登录 功能、远地身份鉴别功能、数据传输加密功能等，提供了基于g s i 协议的g e n e r i c s e c u r i t ys e r v i c e s a p i ( g s s - a p n 接口。是保证网播计算环境安全性的核心部分。 浙江太学硕士学位论文 g l o b u s 资源分配管n ( g r a m ) ：g r a m 负责远程应用的资源请求处理、远程任务调度 处理、远程任务管理等： 作，负责对r e s o u r c es p e c i f i c a t i o nl a n g u a g e ( r s l ) 信息的解析 和处理工作，是网格计算环境中的任务执行中心。 元计算目录服务( m d s ) ：m d s 主要完成对网格计算环境中信息的发现、注册、查询、 修改等工作，提供对网格计算环境的一个真实、实时的动态反映。主要基于l i g h t w e i g h t d i r e c t o r ya c c e s sp r o t o c o l ( l d a p ) 协议，其处理的信息主要是计算环境中的各种资源( 包 捂数据资源、计算资源等) 、服务秘其它主体的描述。m d s 是嚼格计算环境中殴信息 服务中心。 全崩二级存储服务( g a s s ) ：g a s s 简化了在g l o b u s 环境中应用程序对远程文件u o 的 操作使得使用u n i x 和标准c 语言i o 库的应用程序基本不用改动就可o l o b u s 环境 中执行。g a s s 是一个支持网格计算环境远程i o 访问的中间件。 网格f t p 服务( g r i d f t p ) ：g r i d f t p 是一个高性能、安全、可靠的数据传输协议，并针 对高带宽的广域网环境进行了优化。具有支持第三方传输、断点续传、并行传输、与 g s i 结合的安全认证、缓存等特性。它是网格计算环境中的数据传输工具。 g l o b u s 复制管理( g r m ) ：复制管理是一大类科学应用程序中需要考虑的重要问题，由 于存在对大型远程文件的访问。g o b u sr e p l i c ac a t a l o g 通过把部分相关数据智能地放 置在离科学应用程序最近的位置，使得科学应用程序可快速地对数据进行访问。 1 ，3 课题主要研究内窖 i 3 1 主要研究内容 研究该课题的原始背景来自于模拟动态波浪的计算能力不足。为了能更逼真的模拟大规 模场景的绘制，我们需要更多的计算能力，为了动态地自适应地取得计算能力，根据实验室 目前的硬件条件，建立一个局部的网格是一种很好地选择。目前实验室的局域网有几百台 p c 机，丈部分p c 机有剩余的计算资源同时有高速传输的网络，因此构造一个具有高性 能和高吞吐量的局部网格有很好的物理条件。而且在实验室研究的许多项目中有些项目是 需要高性能计算支持的，因此这样的局部网格必有用武之地。由于网格计算涉及的各个子课 题繁多，技术也较为复杂。因此本课题重点仅仅放在运用网格计算思想，提出一个局部弼格 的模型；比较详细探讨了局部两格中的资源描述、监测系统和资源需求三个最基本的方面； 为了检验局部网格的运行能力，在实验室内构造了一个局部两格并且基于局部网格实现动 态波浪的模拟，在这个例子中，解决了如何分割作业、如何部署作业到局部网格、如何提高 动态自适应能力以及如何更好地处理计算数据等问题。 1 - 3 2 本文的组织结构 本文共分七章，组织结构如下：第l 章是绪论，首先介绍了网格的概念和研究局部网格 的背景然后简要介绍了网格计算的研究进展情况和g l o b u s 项目；第2 章中比较详细介绍 了两种网格体系结构，然后结合局域网的特征，提出了局部网格的体系结构和逻辑模型：第 3 章的重点是选择一神适合描述局部网格的资源描述语言，经过比较，我们选择了r d f ，然 后详细讨论了r d f 和r d fs c h e m a 以及它们与层次结构目录和关系数据库的映射；第4 章 着重分析了网格的监测体系结构g m a ，然后借鉴欧洲数据网格，提出了局部网格的监测系 统并且详细分析了局部网格监测系统：第5 章中比较详细的探讨了局部网格的资源需求，其 包括计算资源的访问和存储资源的访问。第6 章是实例部分，构建一个局部网格，并在局部 网格上运行动态波浪模拟：第7 章进行了总结和对未来工作的展望。 浙江大学硕士学位论文 第2 章局部网格的体系结构和逻辑模型 2i 网格的体系结构 这一节主要讲述网格的整体框架结构，从而建立起网格的整体性认识。本节主要介绍目 前最重要的两套网格体系结构，即五层沙漏结构”1 和开放网格服务结构( o g s a ) 2 4 1 。网格 体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能，描述了网格各组 成部分的关系以及它们集成的方式，体现了网格有效运转的机制。 2 1 1 虚拟组织 我们所关心的共享不仅仅是简单的文件交换，更强调直接对计算机、软件、数据以及 其它资源的直接访问，这种需求在工业、科学以及工程界等许多领域都会遇到。这种共享必 须是高度可控的，需要在资源提供者和消费者之间详细的定义什么可以被共享，哪些人可以 共享，在什么条件下可阻共事。虚拟组织( v i r t u a lo r g a n i z a t i o n s ) 就是基于这样的一些共享 规则，由一些个人或者团体形成的集合体“虚拟组织可以分布在世界各地；它们中的资 源是异构的( 有些是p c ，有些是服务器，也许是有些大型机和超级计算机) ：在某种程度 上虚拟组织是自主的( 网格可能访问不同组织的资源，不同组织内的资源由其本组织管理) ： 而且虚拟组织提供的服务是临时的。 2 1 2 五层沙漏结构 首先由f o s t e r 等提出了五层沙漏结构( 如图2 1 ) t 驯，其主要侧重于定性的描述。在五层沙 漏结构中一个最重要的思想就是以“协议”为中心。五层沙漏结构并不提供严格的规范，而 是对该结构中各部分组件的通用要求进行了定义。而且将这些组件形成一定的层次关系，上 层组件可以在任何一个底层组件的基础之上建造。五层沙漏结构根据各组成部分与物理共享 资源的距离，将对共享资源进行操作、管理和使用的功能分散在五个不同的层次，越向下层 就越靠近于物理的共享资源；越向上层就越感觉不到共享资源的细节特征，更具有抽象性。 图2 i 五层结构 ( 1 ) 构造层 在五层沙漏结构中，最底层是构造层构造层面对的是一个个具体的物理( 也可以是逻 辑的) 资源。它通过对这些局部资源的管理，向上层提供对这些资源的管理和控制的接口。 构造层资源是非常广泛的，例如：计算资源，存储系统网络资源，仪表仪器等等。构造层 资源还可以是一个比较复杂的系统，比如一个集( 机) 群系统。构造层应该实现的基本功能 包括：查询机制( 发现资源的结构和状态等信息) 、控制服务质量的资源管理能力等。 ( 2 ) 连接层 浙江大学硕士学位论文 主要是为下层的物理资源提供安全的数据通信能力，使得孤立的单个资源之间建立了联 系。实现相互的通信是连接层的基本功能。它定义了核心的通信和认证协议( 如图2 2 所示) ， 用于网格的网格事务处理之中。冈i 卜酬f i 一| 图2 2 连接层协议组成和层次关系 通信协议允许在构造层资源之间交换数据，要求包括传输，路由，命名等功能。在实际 中这些协议大部分是从t c p i p 协议栈中抽出的，比如网络层( i p 、i c m p ) 传输层( t c p 、 u d p ) 和应用层( d n s ) 。建立在通信服务之上的认证协议提供加密的安全机制，用于识别 用户和资源。在网格环境中，连接层的安全认证需要解决如下问题： 单点登录：用户只需要登录一次，就可以用该身份访问不同的构造层网格资源，也就 是说不需要对不同资源进行多次认证和登录。 代理：用户必须有让程序以自己的身份运行的能力，从而程序就能够访问用户认证的 各种资源。该程序还能够有条件地将它的部分权限授予另一个程序。 与局部安全方法的集成：不同的资源要可以使用其局部的安全方案，但是网格安全方 案必须能够与那些局部的方案进行互操作。 基于用户的信任机制：用户可以使用多个提供者提供的资源，但并不要资源提供者在 安全环境中协同操作或者互操作。 ( 3 ) 资源层 资源层反映的是抽象的局部资源的特征，主要功能是单个资源的共享。资源层建立在连 接层的通信和认证涛议之上定义的协议包括安全初始讫、监测、控制单个资源的共享操作、 审计以及付费等。值得注意的是资源层协议考虑的完全是单个的局部资源。而不涉及全局 状态和跨越分布资源集合的原子操作。资源层有两类协议，第一类是信息协议：描述资源的 结构和状态信息，比如配置，当前负载，使用策略等等：第二类是管理协议；通过谈判访问 共享资源，指出资源需求以及将执行的操作。 ( 4 ) 汇聚层 汇聚层完成的功能是如何将下面以单个资源形式表现出来的资源集中起来，协调解决多 个资源之间的问题。汇聚层协议与服务( 包括a p i s d k ) 描述的是资源的共性，并不涉及资 源的具体特征，说明不同资源集合之间是如何相互作用的。汇聚层服务和协议如下； 目录服务：允许虚拟组织参加者发现存在的资源或者是存在资源的特性允许用户根据 名字或者属性来查询资源。 协同分配调度以及代理服务：允许虚拟组织参加者申请分配一个或者更多的资源井 在相应的资源上进行任务调度。 监控和诊断服务：用于监测虚拟组织资源的失败，恶意的攻击入侵检测过载等等； 数据复制服务：支持虚拟组织存储、网络与计算的管理，按照响应时间、可靠性、费用 等标准优化数据访问的性能。 网格支持下的编程系统：可以在网格中提供编程模型，使用不同的网格服务解决资源发 现、安全、资源分配以及其它的问题： 6 浙江大学硕士学位论文 负载管理系统与协同分配工作框架：提供描述、使用以及管理多步、异步以及多组件工 作流： 软件发现服务：基于求解问题的参数发现和选择最好的软件实现与执行平台 协作服务：j = f j 于潜在较大的用户社团的协同交换信息包括同步与异步两种方式。 ( 5 ) 应用层 应用层关心是有什么样的资源可以由下面提供给虚拟组织，解决不同虚拟组织的具体问 题。从应用程序员的角度看网格结构应用是根据在任一层次上定义的服务来构造的p ”( 图 2 3 ) 。在每一层都定义了协议，以提供对相关服务的访问，这些服务包括资源管理、数据 存取、资源发现等。在每一层可以将a p | 定义为与执行特定活动的服务交换协议信息的具 体实现。 在五层结构中一个重要特点就是沙漏形状，其内在含义是各部分的协议的数量是不同， 对于其最核心的部分，要实现上层的各种的协议向核心协议的映射，同时实现核心协议向下 层各种协议的映射，核心协议在所有支持网格计算的地点都应该得到支持因此核心协议的 数量不席该太多，这样核心协议就形成了在协议层次结构中的一个瓶颈在五层结构中。资 源层和连接层共同组成这一核心的瓶颈部分。如图2 4 所示。 圈2 - 3 应用程序员角度的网格结构 2 1 3 开放网格服务结构( o g s a ) 第两套网格体系结构是开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) ，是 目前主流的一种网格体系结构。o g s a 基于开放标准的w e b 服务领域。它主要描述和构建 一组定义良好的接口，系统根据这些接口进行构建，所有接口都基于如w e b 服务描述语言 ( w e bs e r v i c e sd c s c r i p t i o nl a n g u a g e ，w s d l ) 之类的开放标准。o g s a 中将一切都看作 是网格服务，囡此网格就是可扩展的网格服务的集台。图2 5 是网格服务示意图。