（计算机应用技术专业论文）基于网格的教学资源存储策略与调度算法的研究.pdf

摘耍 摘要 本论文是以“辽宁省信息产业厅嵌入式网上智能教学平台项目为背景的。教学平 台中有大量的音、视频信息，并且这些资源在地理上是分布的、异构的，它们由多级网 络互联，形成一个巨大的资源库。对教育资源的管理是远程教育系统的核心，互联网在 一定程度上为教育资源的有效利用提供了基础。大规模的流媒体课件的大量点播业务需 要消耗大量的网络带宽和服务器资源。为了在不增加外部系统资源的情况下，达到系统 资源利用率的最大化，需要采用有效的资源调度策略。 网格是一种建立在互联网上的新一代基础设施，被誉为是继互联网( i n t e m e t ) 、 w w w ( w o r l dw i d ew e b ) 之后的第三代网络革命。网格可以实现i n t e r n e t 上的计算资源、 数据资源、存储资源的有效聚合和广泛共享。随着网格技术的发展和日渐成熟，尝试将 网格技术应用于远程教育已成为趋势。为了解决传统的视频资源调度算法的带宽利用率 低、响应时间长及可扩展性差等不足，本文基于网格技术提出一种改进的视频调度策略。 首先阐述了网格的基本概念、体系结构、实现方式、支撑技术，并简要描述了网格同其 它技术的区别。然后详细介绍了几种常见的资源存储策略和视频调度算法，并基于视频 文件的访问倾向性以及流媒体代理缓存技术提出了一种改进的流调度算法和缓存替换 策略。最后基于网格技术平台g l o b u st o o l k i t ，实现了一个简单的视频点播系统。 关键词：资源库；调度策略；网格；内外访问倾向性：代理缓存 人_ 迕交通人学i ：。? 硕r 何沦文 a b s t r a c t t h i sp a p e ri sb a s e do ni n t e l l i g e n to n l i n et e a c h i n gp l a t f o r ma b o u te m b e d d e ds y s t e mo ft h eo f f i c eo f t h el i a o n i n gp r o v i n c i a li n f o r m a t i o ni n d u s t r y s y s t e m si n c l u d el o t so fa u d i oa n dv i d e oi n f o r m a t i o nt h a ta r e d i s t r i b u t i o n a la n dh e t e r o g e n e o u s t h e s em u l t i - l e v e ln e t w o r k i n gr e s o u r c e sf o r mat r e m e n d o u sr e s o u r c e l i b r a r y d i s t a n c ee d u c a t i o ns y s t e mi st h ec o r eo fe d u c a t i o nr e s o u r c e sm a n a g e m e n t t os o m ee x t e n t ，t h e i n t e m e tp r o v i d e saf o u n d a t i o nf o rt h ee f f e c t i v eu s eo fe d u c a t i o n a lr e s o u r c e s l a r g e o n d e m a n db u s i n e s so f m a s s i v es t r e a m i n gm e d i as o f t w a r er e q u i r e sal o to fn e t w o r kb a n d w i d t ha n ds e r v e rr e s o u r c e s i no r d e rt o n o ti n c r e a s ee x t e m a ls y s t e mr e s o u r c e sa n dm a x i m i z et h eu t i l i z a t i o no f s y s t e mr e s o u r c e s ，e f f e c t i v er e s o u r c e s c h e d u l i n gs t r a t e g yi st ob ea d o p t e d g r i di sb u i l to nan e x t g e n e r a t i o ni n t e r n e ti n f r a s t r u c t u r e a f t e rf o l l o w i n gt h ei n t e r n e ta n d w w w ( w o r l dw i d ew e b ) ，i t i sc o n s i d e r e da st h et h i r dg e n e r a t i o nn e t w o r kr e v o l u t i o n c o m p u t i n g r e s o u r c e s ，d a t ar e s o u r c e sa n ds t o r a g er e s o u r c e so ni n t e r n e tc a nb ee f f e c t i v ep o l y m e r i z a t i o na n dw i d e l y s h a r e db yg r i d w i t hg r i dt e c h n o l o g yd e v e l o p m e n ta n dg r o w i n gm a t u r i t y ，i th a sb e c o m eat r e n dt h a tt h e g r i di su s e di nd i s t a n c ee d u c a t i o n t r a d i t i o n a lv i d e or e s o u r c es c h e d u l i n ga l g o r i t h ms h o r t c o m i n g sa r ea s f o l l o w s ：l o wb a n d w i d t hu t i l i z a t i o n ，l o n gr e s p o n s et i m e ，p o o rs c a l a b i l i t y ，e t c i no r d e rt os o l v et h ea b o v e p r o b l e m s ，t h i sp a p e ri st os t u d ya n di m p l e m e n tav i d e od i s p a t c hs y s t e mo ng r i dp l a t f o r m f i r s t ，i t e x p o u n d so nt h eb a s i cc o n c e p to f 鲥d ，a r c h i t e c t u r e ，i m p l e m e n t a t i o n ，t e c h n i c a ls u p p o r ta n dg i v e sab r i e f d e s c r i p t i o no ft h eg d dw i t ht h eo t h e rt e c h n i c a ld i f f e r e n c e s t h e ni t d e t a i l so ns e v e r a lr e s o u r c es t o r a g e s t r a t e g i e sa n dv i d e os c h e d u li n ga l g o r i t h m s b a s e do ne x t e r n a la n di n t e r n a lv i s i t st e n d e n t i o u so fd o c u m e n t s a n ds t r e a m i n gm e d i ap r o x yc a c h i n gt e c h n o l o g y ，t h i sp a p e rp r o p o s e sa ni m p r o v e ds c h e d u l i n ga l g o r i t h ma n d c a c h er e p l a c e m e n ts t r a t e g y f i n a l l y ，1i m p l e m e n tav o ds y s t e mb a s e do ng l o b u st o o l k i t k e yw o r d s ：r e s o u r c el i b r a r y ；s c h e d u l i n gs t r a t e g y ；g r i d ；e x t e r n a la n di n t e r n a lv i s i t s t e n d e n c y ；p r o x yc a c h e 绪论 绪论 课题研究的背景、目的及意义 嵌入式系统( e m b e d d e ds y s t e m s ) i l j 是以应用为中心，以计算技术为基础，软件硬件 可裁剪，适应对功能、可靠性、成本、体积、功耗等严格要求的专用计算机系统。它是 一个技术密集，资金密集，高度分散，不断创新的基于硅片的知识集成系统。 嵌入式软件业发展迅速，已成为软件行业的重要分支，而且2 0 0 4 年全球嵌入式软 件规模为3 4 6 亿美元。权威部门统计，我国目前嵌入式软件人才缺口每年为2 0 万人左 右，未来随着“三网融合”不断提速，3 g 网络全面铺开，这一数字还将成倍增长。一方 面大多数开发人员都属于半路出家，本身从事的是电力、汽车、航空航天等其他行业， 工程化软件开发方面的知识较为缺乏；另一方面，目前的国内大学教育对软件工程概念 仍然认识不足，教学方法和教育平台仍较落后。这两方面原因造成了我国嵌入式软件 的开发水平、尤其是工程化水平仍然较低。 为了适应我国当前嵌入式丌发人员的实际情况，本项目建立嵌入式系统网上教学平 台，旨在通过i n t e m e t 培养具有软件工程思想的嵌入式人才，缩短大学生与企业用人标 准的距离。w e b 作为教学媒体，其优势不仅在于它是很好的内容载体，可以随时随地访 问，还在于它提供了很多交流渠道，可以促进师生之间、学生之i 日j 的充分讨论，这对于 提高教学质量、促进学生高级认知能力的丌发是十分重要的。 网上教学系统中存在大量的视频教学资源，如何合理的存储及调度这些视频资源在 很大程度上影响了整个系统的性能。视频点播( v i d e oo nd e m a n d ，v o d ) 1 2 1 是一种允许用 户不受任何预定时刻约束，随时请求多媒体内容的服务。其主要技术问题是多种资源的 合理调度和协调工作，有一定的实时性要求。但传统的网上视频点播系统存在流量控制、 服务质量保证、服务器集群斫j 置等方面的l u j 题，网格的协作和资源共享概念很契合分布 式v o d 服务器特征，网格技术对异构( 主机、网络) 系统和跨不同组织机构的管理能力 非常适合于支持人规模的v o d 服务系统，【大1 此本课题将鹾- r 先进的网格技术甲台，研 究在网格环境中视频文件的存储及调度模型，给出一种改进的与代理缓存自订缀结合的服 务器流调度算法。 国内外研究现状 目前，网格的研究主要存荚h 和欧洲。英圈政府已投资l 亿英镑，用来研制“英国 国家网格( u kn a t i o n a lg r i d ) ”。荚阳政府f j f 网格技术摹础研究经费则已达5 亿美元。 美国军方正规划实旌一个宏大的网格计划，叫做“全球信息网格( g l o b a l i n f o r m a t i o ng r i d ) ”，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军陆 人近交通人。一i ：。? 硕r j o f 矽论文 战队已启动了一个耗资1 6 0 亿美元历时8 年的项目，包括系统的研制、建设、维护和升 级。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标一致 的研究丌发计划。惠普、i b m 、微软、s u n 等公司最近取得共识，支持x m l 、s o a p 、 u d d i 等万维网标准，从而更有利于开发新一代的网络应用，即万维网服务。其目的是 将因特网上的资源和信息汇聚在一起，组合成企业和消费者所需要的服务。惠普推出了 e s p e a k 万维网服务平台；i b m 用它的w e b s p h e r e 平台和一系列中问件实现万维网服务； 微软的路线是通过其n e t 计划和c # 语言实现万维网服务；s u n 则通过o p e nn e t w o r k e n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台来实现它。另外，i b m 最近宣布，将投资4 0 亿 美元启动一个全公司的“网格计算创新计划”。 我国也不甘落后，仅2 0 0 2 年公布的8 5 3 网格研究专项基金，就拨出了上亿元用于 “中国网格( c h i n ag r i d ) ”的研究。目前，已经完成的网格研究项目主要有清华大学的先 进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 并l l 中科院计算所的国家高性 能计算环境h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 。正在进行的网格 研究项目有：上海多所大学参加的“上海教育科研网格”、航天二院和清华大学共同开 展的“仿真网格”和中科院计算所领衔丌发的“织女星网格等。 研究平台 目前在网格技术中，g l o b u s o r g 组织在这方面做的贡献最多，首先他们是全球最早 提出网格概念的，另外他们最早定义了g r i d 平台的标准，并且根据该标准实现了一个 平台g l o b u st o o l k i t 简称g t1 3 1 ，所以该组织的g l o b u st o o l k i t 的权威性是毋庸置疑的， 因此本课题的研究甲台选择了g l o b u st o o l k i t 。 g l o b u st o o l k i t 是一个构成网格基础设施的软件， 台，它的作j j 柏当f 网格操作系统， 担负管理网格资源的。曛任。g l o b u st o o l k i t | 1 拊的最新的稳定版本足4 0 。g l o b u st o o l k i t 足一个丌源软件，对于研究和学习g r i d 提供了j ! 人的帮助。另外本课题摹于w i n d o w sx p 操作系统，所使川的j 2 s e 足1 5 系列。 本文架构 本文对网格的一螳关键技术进行深入的研究，力图使廉价的计算机通过低耦合的网 格体系构成一种可扩展、负载均衡、高可用、高性能的视频服务器。 在算法上，本文对文件访问桐关性、负载均衡、请求调度和代理缓存等关键技术做 了深入分析，并针对视频服务领域的特点，提出了十| l 对于传统算法的改进方案。在请求 调度方面，本文提出一种改进的与代理缓存前缀结合的服务器流调度算法，并对算法进 行了仿真验证和性能分析：舀：缓存替换策略方面，设计了一种新的基于流行度预测的流 绪论 媒体代理缓存替换策略。在系统架构上，文章设计并实现了一个基于网格平台的视频点 播系统。 第一章阐述网格技术的概念、特点及体系结构，并同其它相关技术进行了比较。 第二章对进行本课题研究所使用的一些关键技术进行了探讨，如g l o b u s 技术、资 源的存储策略及流媒体的请求调度策略。 第三章阐述了流媒体文件的访问相关性及流媒体的代理缓存技术，并提出了一种改 进的与代理缓存前缀结合的服务器流调度策略和基于流行度预测的代理缓存替换算法。 第四章简要介绍了网上智能教学平台的分析设计方案。 第五章给出了具体的基于网格技术的v o d 系统的设计与实现。 人迕交通人学l ：。? 颐卜j o f 节沦文 第一章网格概述 网格是从电力网格中借鉴过来的一个概念，原本是希望计算力和计算资源能够象电 力一样，“打丌电源丌关就可以使用”，不用去关心足谁、如何提供的这些服务。 1 1 网格相关问题 网格到底是怎样一个技术? 前景如何? 应用效果如何? 这是网格研究首要解决的 问题。虽然网格已经从科研领域进入社会商业应用了，但仍然没有一个统一的认识，本 节将分析网格的基本概念。 1 1 1 网格的起源 美国在网格方面的研究起步最早，最开始的研究主要集中在计算网格数据网格方 面。2 0 0 1 年9 月，美国国家科学基金委( n s f ) 宣布了一个重大科研项目，研制称为“分 布式万亿级设施( d i s t r i b u t e d t e r a s c a l ef a c i1 it y ) ”的网格系统，简称t e r a g r i d 。 美国以前的网格研究都是在已部署的高性能计算设备基础上进行研制工作，而 t e r a g r i d 将是世界上第一个从设计开始就面向网格的广域超级计算平台。美国政府用 于网格基础研究经费已达5 亿美元。美国军方正规划实施一个宏大的网格计划，叫做“全 球信息网格( ( ；】o b a l i n f o r m a t i o ng r i d ，g i g ) ”，预计在2 0 2 0 年完成。近年来，网格 技术引起了惠普、i b m 、微软、s u n 等信息产业界i 一! 头的高度重视。这些公司看到了网格 巨大的应用f j ，j 景和商业价值，纷纷投入巨资丌肥服务网格的研究并大力推广网格服务的 商业化。 许多学者认为，网格来源于高性能计算。近年来，针对计算资源的消费量急剧上升， 学术界丌始了对计算资源共享的研究，并达成，j u ：希单杠同一网络之内，用户能够通 过特殊的分自j r 软件自山使用来自小l 一计算机i ：的汁算能力，以实现计算资源和计算能 力的汇集和儿阜。 1 j 2 网格概念与分歧 网格之父l a nl o s t e r 把网格描述为：“网格足构筑在且联网l ：的一组新兴技术，它 将高速互联嘲、计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普 通老卣姓提供史多的资源、功能和服务。互联网上婴为人们提供 乜f 邮件、网贝浏览等 通信功能，m l 叫格则提供史多更强的功能，它能i l ：人们共享计算资源、存储资源和其它 资源。” 4 第二章网格概述 另外有人认为，可以从三个方面来理解网格。从概念上，网格计算的目标是资源共 享和分布式协同工作。第二网格是一种技术。第三，网格是基础设施，是通过各种网络 综合计算机、数据、设备和服务等资源的基础设施。这种看法还是比较全面地分析了网 格是什么。 i a nf o s t e r 在 一文中，限定网格必须同 时满足三个条件：( 1 ) 在非集中控制的环境中协同使用资源；( 2 ) 使用标准的、开放的和 通用的协议和接口；( 3 ) 提供非平凡的服务。这三个条件非常严格，象p 2 p ，g r i de n g in e ， c o n d o r ，e n t r o p i a ，m u l t i c l u s t e r 等都被排除在网格之外【引。 但并不是所有人都同意他的观点，有许多人赞同广义的网格概念，它被称作巨大全 球网格g g g ( g r e a tg l o b a lg r i d ) ，它不仅包括计算网格、数据网格、信息网格、知识网 格、商业网格，还包括一些己有的网络计算模式，例如对等计算p 2 p ( p e e rt op e e r ) 、 寄生计算等。可以这样认为，i a nf o s t e r 赞成狭义的“网格观”，而g g g 是一种广义的 “网格观”。 虽然人们对网格的认识有待统一，但越来越清晰地认识到网格就是下一代软件技 术，具有全方位的互联互通，强烈地表现出网格整体属性。我认为网格是“虚拟组织” 1 5 1 的实现，是未来的社会信息基础设施，人们未来依赖网格就象现在依赖水电一样。 1 1 3 网格目的与意义 网格概念将根本地改变人们对“计算机应用”的看法，这是一种全新的、更方便的 计算方式，轻松搞定现今解决小了的更加复杂的问题。建设网格的意义有： 首先是计算能力的限制，网格可以联合并放人全社会的计算能力，这是目自i 无法想 象的。 其次足地理物理位置的限制，把“令社会的计算能力”送到你的桌面。 再次是节约资源，现令的计算机资源利用率远不充分，很多应用又缺乏资源。网格 不仅叮以把“资源”送到你的粜i f l i ，殳n 丁以把“j 逦用”放到网格中完成，连“桌面”都 可以1 了省。 最后足网格打破了传统其享与协作方l 面的限制。网格以“虚拟组织”的方法，实现 了全社会范围的资源共享与服务协作。 1 1 4 网格存在问题及发展前景 传统 f 联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格将实现! 联 网上所有资源的连通。为实现网格的广泛应用，还必须解决下列问题： 人造交通人l ：学硕p 化论文 标准是成功关键。就像t c p i p 协议是互联网的核心一样，构建网格计算也需要对 标准协议和服务进行定义。迄今为止，网格计算还没有正式的标准，但在核心技术上， g l o b u st o o l k i t 已成为网格计算事实上的标准。 网格资源动态分配问题。如何在动态、异构虚拟组织间实现协同的资源共享以及协 同是网格中非常重要的问题。 数据通过因特网时形成的延迟问题。智能软件应确保按时传送数据，否则，网格处 理问题的手段将被限定在“并行运算”。 目前互联网的数据传输能力不足问题。为此，发展网格要和建设下一代宽带互联网 结合起来。另一方面，采用无线移动和卫星通信，也是一种现实的途径。 进一步解决人机结合问题，使网格更加个性化、智能化和科学化。 通过法律的手段解决网上资源共享中的知识产权1 6 1 、相互信任和报酬等问题以及如 何保障网格计算的安全性、认证和可靠性等。 网格不是某一种可有可无的技术，而是网络技术必然的发展方向。对于网格而言， 在技术实现上没有像人工智能技术那样的硬瓶颈，把互联网管理好，形成一个有机整体， 是必然的趋势，因而网格必然是我们的未来。既然方向问题解决了，它在技术上又是可 行的，因此根本就不用担心它的成熟和普及问题。它完全可能会“忽如一夜春风来，千 树万树梨花丌。”第一台个人计算机是2 0 世纪7 0 年代术期问世的，而我们现在的因特 网，也不过2 0 世纪9 0 年代初期爿问世，看看它们现在都已经普及到了何种程度? 1 2 网格介绍 1 2 1 网格的概念 对- r 什么足“网格”，f r i i j 还没 彳j 统的定义，从不同的侧重点和方向出发，衍牛 出了很多种网格和网格计算的定义。1 9 9 8 年，c a r lk e s s e l m n n 和i a nf o s t e r 曾经将计算网 格定义为“个可以提供的独口的、彳i m 断的、连续的、普遍的、廉价的高汁算性能的 硬件和软什的堆础结构”，剑2 0 0 0 年，他们义将定义做出了修改，加入了“动念地协 作资源共享和l u j 题解决，多制度卜的虚拟针l 织”1 4 j 等内容。而“网格汁算”书中定义的 一种说法就是“网格是个集成的汁算。j 资源叼：境，或者晚足一个计算资源池”i7 1 。“简 瞥地讲，l 嘲格足把整个凶特网整合成台巨人的超级计算机，实现各种资源的全血兆享” l g l 0 币如我们使用电的时候，4 i 知道f u 足从哪个发乜厂来的，也不天心它是从哪髓来的， 只要是“电”就行了。因此我们希望网格也能象电网一样，具有通用的计算能力和服务 能力，而不必关心地理位胃和具体的设施。如图1 1 和图1 2 所示，他们都有覆盖范围 第：尊网格概述 广、资源组成多样的特点。与电力网相比，网格机构更复杂、需要解决的问题更多，通 过把互联网扩展为一个庞大的计算和服务平台，网格技术可以更好地管理网上的资源， 形成个巨大的虚拟组织，在动态变化的网络环境中，共享资源和协同解决问题，从而 让用户可以享受可灵活控制的、智能的、协作式的信息服务，并获得前所未有的使用方 便性和超强能力1 9 1 。 固 曰 臣习田 回 厂“l i 电力 ij 图l - 1 电力网络构成示意图 f i g 1 1s c h e m a t i cd i a g r a mo fp o w e rn e t w o r k m p pp v p i 地l a li 地，! i b ) 教崩仪器 l 地 c l 地，_ d 臣口田 回回 图1 2 网格构成示意图 f i g 1 2s c h e m a t i cd i a g r a mo fg r i d 1 2 2 网格的特点 ( 1 ) 分析i 复杂规模巨大 首先，分斫j 性足网格最重要的特征之一0 网格资源是由分布在不同地理位置、不 同计算能力的计算机、各类数据库、共享运算和存储，计算资源、高级仪器资源、数 据资源、信息资源、知识资源乃至专家资源( 智能资源) 组成的。 由于网格资源分布复杂、规模巨大，导致基于网格的各类计算无法实现集中式计 算，必然要采用分布式计算的形式。 7 人迓交通人。i ：硕f j 。z f 节沦文 ( 2 ) 资源汇集充分共享 网格的另一个特征是资源汇集，充分共享。网格上的各种资源虽然是分布的，但 通过网格技术可以实现对网格上任意用户( 使用者) 的有效提供。当今社会，几乎所有 的技术都是从专有走向开放的。网格的资源汇集及充分共享特征最大限度地适应了这 种发展趋势和用户需求。除了通常的设备资源共享之外，服务资源( 网格计算能力就是 服务资源之一) 共享更是网格不同于以往共享技术的本质特征。虽然以往就有一些成熟 技术实现了部分i t 资源的共享，但网格共享的意义在于不同地域、不同地点、不同平 台、不同专有系统之间的“无缝集成和协同计算环境”，即基于“进一步互联互通” 的充分共享。 资源汇集、充分共享是网格的重要特征和最终目的。其共享的含义也非常宽泛， 不仅指异地计算机、机群可以完成本地任务，还包括中间结果、数据库、专业模型库 以及人才资源、智能资源等诸多内容的共享。因此，分布资源共享是网格的核心，否 则，网格将失去意义。 分布是网格硬件的物理特征，共享是在网格软件支持下实现的逻辑特征，就网格 而言，二者都很重要。 ( 3 ) 动念增减异构多样 网格资源与功能在一个阶段可能是确定的，但随着时间的变化，原有的资源与功 能叮能会动态增加或动念减少。 不f 司地理位置的资源决定了网格环境中必然会存在不同体系结构的计算机系统以 及4 i 同类别的资源，因此，网格系统要解决这些不同结构、不同类别资源的通信和互 操作l u j 题。 ( 4 ) 刖构类似管理多重 同构类似这种情7 兕在社会现象巾大量存神：，i ，l = 多复杂系统都j 之有这类特征。三五 台p c 组成的小局域网与大型计算机网络尽毹：规模相等很大，但摹本架构有相似之处： 座大城r f f 和。个县级订存n ：人小篾片，f il 最坫小构成和基础助i j 匕l j 构类似。网格的 整体和局部之问存着一定的棚似性，j ，l ji i l j 往f t j 乓有令局的某些特祉，全 1 仆i j 征也会在 局部有所体现。 管理多霞主要体现在下述几个方【f f i ：足网格l ：的资源_ l 属r - j ) t j 有者( 包括组织或 个人) ，它具有最高管理权限，l 斫叫格具有为资源拥有者自丰管理资源提供支持的能力 和责任；二是网格资源必须接受网格的统一笛理，实现资源集成和，j ：操作，否则，各 类资源无法连通、无法共享、无法整体为更多的h j ，、提供服务；三足管理方法、手段、 约束机制的协同，它们是有机的整体；刖足对网格用户群，包括计算科学家和工程师、 第一：章网格概述 实验科学家，社会和经济团体，大范围环境保护，培训和教育等协同服务和需求满足。 1 2 3 网格的体系结构 什么是网格的体系结构? l 锄f o s t e r 将网格的体系结构定义为“划分系统基本组件， 指定系统组件的目的与功能，说明组件之间如何相互作用的技术”。网格体系结构就是 关于如何建造网格的技术。它给出了网格的基本组成与功能，描述了网格各组成部分的 关系以及它们集成的方法或方式，刻画了支持网格有效运转的机制。 网格体系结构要能够说明网格整体是由那些关键部分组成，但是这还远远不够，网 格体系结构还必须能够对各个部分的功能、目的、特点等进行清晰的描述，使人们能够 了解各个组成部分的作用。这些都是“分”的作用，在“分 的基础上，网格体系结构 还需要进一步描述“合起来的功能，即在充分了解网格的各个部分的作用机理、作用 方式等的基础上，将这些部分按照一定的方式进行组织和集成，形成一个具有特定功能 的整体对外提供服务。 网格体系结构，就是一个“分 与“合”的统一体，没有“分”，就无法深入的网 格的内部去；没有“合 ，就无法说明网格的整体特征。只有充分把握好“分 与“合” 的这两方面的关系，才能够具体、深入、全面地把握好网格这一概念，才能够设计出真 正实用、有效的网格体系结构。 到目前为止，主流的网格体系结构主要有三个：第一个是福斯特等人在早些时候提 出的五层沙漏结构( f i v e l e v e ls a n d g l a s sa r c h i t e c t u r e ) ；第二个是在以i b m 为代表的工业 界的影响下，考虑到w e b 技术的发展与影响后，福斯特等人结合 层沙漏结构和w e b s e r v i c e 提出的o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，开放网格服务体系结构) ；第三个 是【i jg l o b u s 联盟、i b m 和h p 于2 0 0 4 年初共同提出的w s r f ( w e bs e r v i c er e s o u r c e f r a m e w o r k ，w e b 服务资源框架) ，w s r fv 1 2 规范已于2 0 0 6 年4 月3 同被批准为 o a s i s ( o r g a n i z a t i o nf o rt h ea d v a n c e m e n to fs t r u c t u r e di n f o r m a t i o ns t a n d a r d s ，结构化信息 标准促进约l 织) 标准。 1 血层沙漏结构 血层沙漏结构足一种影响f 。分广泛的结构1 10 1 ，它的主要特点就是简单，主要侧重于 定性的描述而不是具体的协议定义，凶此很容易从整体上进行理解。 五层沙漏结构l 1 0 1 ( 如图1 3 所示) 是一种早期的抽象层次结构，以“协议”为中心， 强调协议在网格的资源共享和操作中的地位。通过协议实现种机制，使得虚拟组织 的f j ，、与资源之i 日j 可以进 j ：资源使h j 的协商、建：芷共享关系，并且町以进一步管理和丌 9 人迎交通人i 。硕卜j 乏f 节沦文 发新的共享关系。这一标准化的丌放结构对网格的扩展性、互操作性、一致性以及代码 共享都很有好处。 上具与应用 应用层 燥鬈 汇聚层 资源与服务 资源与连接层 的安伞访问 篓：鋈爨篡 构造层 图1 3 沙漏结构模艰 f i g 1 3h o u r g l a s ss t r u c t u r em o d e l 五层沙漏结构中“五层沙漏”的含义是：根据该结构中各组成部分与共享资源的距 离，它将对共享资源进行操作、管理和使用的功能分散在五个不同的层次，越向下层就 越接近于物理的共享资源，因此该层与特定资源相关的成分就比较多；越向上层就越感 觉不到共享资源的细1 了特征，也就足说上层是更加抽象共享资源的表示，因此就不需要 关心与底层资源相关的具体实现问题。 在五层沙漏结构中，最底层是构造层( f a b r i c ) ，构造层面对的是一个个具体的物理 ( 也兀j 以是逻辑的) 资源，它通过对这些局部资源的管理，向上层提供对这些资源的管理 和控制界i f i i 。构造层的l j ：面足连接, t z ：- ( c o n n e c t i v i t y ) ，j i 要是为卜层的物理资源提供安全 的数据通信。这足资源之j 1 | j 进i j ：操作的自订提，连接层使得孤立的单个资源之i 日j 建立了 联系。连接层的f ：而足资源h ：( r e s o u r c e ) ，它反映的足抽缘的局部资源的特征，而资源层 上面的7 r ：聚z ；( c o l l e c t i v e ) 完成的功能足如何将卜面以- 丫 个资源形式表现m 来的资源集中 起来，协调解决多个资源之问的l u 题。最上面的心，h 层( a p p l i c a t i o n ) 平l l 资源的距离最远， 它关心的是有什么样的资源叮以i | f 而提供给虚拟组织，解决不同虚拟组织的具体问 题。 五层结构之所以形如沙漏，是山各部分协议数量的分钮不均匀引起的。考虑到核心 的移植、升级的方便性，核心部分的协议数毓村 对比较少( 例如i n t e m e t 卜的t c p 和 h t t p ) ，对于其最核心的部分( 沙漏最窄的部分) ，要实现上层协议( 沙漏的顶层) 向核心协 议的映射，同时实现核心协议向下层协议( 沙漏的底层) 的映射。冈此，核心协议就成了 l o 第：章网格概述 个协议层次结构中的瓶颈。在五层结构中，资源层和连接层共同组成这一核心的瓶颈 部分，它促进了单独的资源共享。 沙漏核心的思想可以和微内核的操作系统进行类比，即操作系统只实现一些关键的 基本功能，而把大量与特定设备有关和与应用有关的部分交给其它部分来完成。一个小 的核心是有利于移植的，也可以比较容易地实现和得到支持。资源是多种多样的，应用 需求更是复杂多变，因此定义好这样一个核心部分的意义是很大的。 2 开放网格服务体系结构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，o g s a ) 1 l 开放网格服务结构o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 是g l o b a lg r i df o r u m 的重 要标准建议。与五层沙漏模型不同的是，o g s a 是面向服务的结构，将所有事务都表示 成一个g r i d 服务，计算资源、存储资源、网络、程序、数据等都是服务，所有的服务 都联系对应的接口，所以，o g s a 被称为是以服务为中心的“服务结构”，通过标准的 接口和协议支持创建、终止、管理和开发透明的服务。 为了使服务的思想更加明确和具体，o g s a 定义了“网格服务”( g r i ds e r v i c e ) 的概 念。网格服务是一种w e bs e r v i c e ，该服务提供了一组接口，这些接口的定义明确并且 遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题。在o g s a 中，将一切都看作是网格服务，因此网格就是可扩展的网格服务的集合，即网格= 网格 服务l 。网格服务可以以不同的方式聚集起来满足虚拟组织的需要，虚拟组织自身也可 以部分地根据它们操作和共享的服务来定义。 支持w e bs e r v i c e s 的o g s a 架构如图1 4 所示，由阴个主要的层构成，从下到上 依次为：网格资源，包括物理资源和逻辑资源；w e b 服务，以及o g s l ( o p e ng r i ds e r v i c e i n f r a s t r u c t u r e ) 所定义的扩展的网格服务；基于o g s a 架构的服务层；网格应用j 。 j j i i ( a p p l i c a l i o n s ) o g s a 作最组掬心务i o g s aa r c h i l c c l u r a ls e ni c e s ) ( ) g s i w e bs e r v i c e s 图j 4 基tw e bs e r v i c e s 的o g s a 架构 f i g i 4o g s aa r c h i t e c t u r eb a s e do i lw e bs e r v i c e s 人_ 迕交通人学i ：学硕f j ? 何沦文 物理和逻辑资源层 资源的概念是o g s a 通常意义上的网格计算的中心部分。资源分为物理资源和逻辑 资源。物理资源包括服务器、存储器和网络等物理设备。逻辑资源通过虚拟化和聚合物 理资源来提供额外的功能。 w e b 服务及o g s i 所定义的扩展的网格服务层 所有网格资源( 逻辑资源与物理资源) 都被封装为服务。o g s i 规范定义了网格服务并 建立在标准w e b 服务技术之上。o g s i 利用诸如x m l 与w e b 服务描述语。言i ( w e bs e r v i c e s d e s c r i p t i o nl a n g u a g e ，w s d l ) 这样的w e b 服务机制，为所有网格资源指定标准的接口、 行为与交互方式。 基于o g s a 架构的网格服务层 w e b 服务层及其o g s i 扩展的网格服务为上层提供了基础设施：基于架构的网格服 务。g g f 目前正在致力于在诸如程序执行、数据服务和核心服务等领域中定义基于网格 架构的服务 当前，o g s a 定义的主要的网格服务接口如表1 1 所示。 表1 1 网格服务的接口i 2 i t a b i 1t h ei n t e r f a c e so f g r i ds e r v i c e l l 2 l 接u 操作描述 f i n d s e r v i c e d a t a 杏询网格服务实例的各种信息 g r i d s e r v i c e s e t t e r m i n a t i o n t i m e 设置并得剑网格服务实例的终l 卜时 间 d e s t r o y 终i ：网格服务实例 n o t i f i c a t i o n s o u r c es u b s c r i b e t o n o t i c a t i o n 向通知发送者进 j ：登记 u n s u b s c r i b e t o n o t i c a t i o n 取潲登记 n o t i n c a i i o n s i n k d e l i v e r n o t i f i c a t i o n 片步发送消息 r e g i s t r yr e g i s t r y s e r v i c eh 格服务f j j 枘的软状态注册 u nr e g i s t r y s e r v i c e 玎义消注册的网格服务句柄 f a c t o r y c r e a t e s e r v i c e 创建新的叫格服务实例 p r i m a r y k e yf i n d b y p r i m a r y k e y返川根据特定键值创建的网格服务 句柄 d e s t r o y b y p r i m a r y k e y撇销特定键伉创建的网格服务实例 h a n d l e m a pf i n d b y h a n d l e返i 1 1 与嘲格服务句柄相联系的网格 服务实例 第：章网格概述 网格应用 随着时问的推移，一组丰富的基于网格架构的服务不断被开发出来，使用一个或多 个基于网格架构的服务的新网格应用程序亦将出现。这些应用程序构成了o g s a 架构的 第四个主要的层。 3 w e b 服务资源框架( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w s r f ) 在o g s a 刚提出不久，g g f 及时推出了o g s i ( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ，开 放网格服务基础架构) 草案，并成立了o g s i 工作组，负责该草案的进一步完善和规范化。 o g s i 是作为o g s a 核心规范提出的，其1 o 版于2 0 0 3 年7 月j 下式发布。 o g s i 通过封装资源的状态，将具有状态的资源建模为w e b 服务，这种做法引起了 “w e b 服务没有状态和实例”的争议，同时某些w e b 服务的实现不能满足网格服务的 动态创建和销毁的需求。o g s i 单个规范中的内容太多，所有接口和操作都与服务数据 有关，缺乏通用性，而且o g s i 规范没有对资源和服务进行区分。上述原因促使了 w s r f ( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w e b 服务资源框架) 的出现。 w s r f 采用了与网格服务完全不同的定义：资源是有状念的，服务是无状态的。为 了充分兼容现有的w e b 服务，w s r f 使用w s d l1 1 定义o g s i 中的各项能力，避免对 扩展工具的要求，原有的网格服务已经演变成了w e b 服务和资源文档两部分。w s r f 推出的目的在于，定义出一个通用且丌放的架构，利用w e b 服务对具有状念属性的资 源进行存取，并包含