（通信与信息系统专业论文）网格技术与网格vod服务.pdf

复 口 大 学 硕卜毕 业 论 文网 格 技 术 与 网 格vod 服 务 摘 要: 介绍了 网格概念、 相关标准、技术、 研究现状等， 搭建了小规模的网格系统原型并 用于 1 时 了 计算实验教学、网格研究等;提山了一种城域范围内基于网格技术的跨集群异构 v o l ) 系统实现框架;描述了系统硬件拓扑、软件层次结构，系统主要组件的交互活动。 提出 了 一种对点播任务的分布式自 适应调度算法并给出了基于此调度算法的仿真方案和结果。 调 度算法基于多目标规划， 分为 _ 级实现， 包括任务在跨集群间的调度和集群内的调度。 仿真 结果显示，在系统的负载容量内，负载的大幅增加不会引 起服务质量的显著 卜 降 关键词: 通信与信息; 视频点播 ( v o d );网 格; 集群 a b s t r a c t : t h i s a r t i c l e d e s c r ib e d re l a t e d s t a n d a r d s , c o n c e p t a n d c u r r e n t r e s e a r c h s t a t u s o f t h e g r d t e c h n o l o g y . a s m a l l - s c a le g r i d p r o t o t y p e h a s b e e n c o n s t r u c t e d a s a p l a t f o r m f o r r e s e a r c h a n d t e a c h i n g . b a s e d o n t h e g r i d t e c h n o l o g i e s , w e s u g g e s t a n i m p l e m e n t a t i o n f r a m e w o r k o f a p r o s p e c t i v e g r i d v o d s y s t e m w h i c h in c l u d e s s e v e r a l h y b r i d c l u s t e r s w i d e l y d i s t r i b u t e d w i t h i n a m e t r o p o l i s ， t h e h a r d w a r e t o p o l o g y , t h e s o f t w a r e s t r u c t u r e a n d i n t e r a c t i o n s a m o n g t h e m a i n c o m p o n e n t s o f t h e s y s t e m a r e d e s c r i b e d . a d i s t r i b u t e d a d a p t i n g s c h e d u l e r f o r t h e i n c o m i n g v o d r e q u e s t s i s a l s o s u g g e s t e d a n d s i m u l a t e d . t h e s c h e d u l e r i s d i v id e d i n t o t w o p a r t s , i x , a g l o b a l p a r t w h i c h d i s t r i b u t e t h e t a s k s a m o n g i n d i v i d u a l c l u s t e r s a n d a lo c a l p a rt w h i c h w o r k s w it h i n a s i n g l e c l u s t e r . t h e g l o b a l p a rt i s d e s ig n e d b a s e d o n m u l t i - o b j e c t i v e p r o g r a m m i n g . s i m u l a t i o n s h o w s t h a t t h e s c h e d u l e r w o r k s w e l l e v e n t h e s y s t e m l o a d i n c r e a s e s 妙a b i g m a r g i n . k e y w o r d s : c o m m u n i c a t i o n a n d i n f o r m a t i o n ; v o d ; g r i d ; c l u s t e r 5 o f 4 4 复 口 人 学 硕 士 毕 业 论 文网 格 技 术 与 网 格vod 服 务 引言 网格 ( g r i d ) 概念出现于2 0 世纪9 0 年代，网格是种比集群更大范围、更 深层次的共享技术，比较权威的说法是: “ 它能在动态的、多机构组成的虚拟组 织 ( v i r t u a l o r g a n i z a t i o n , v o )环境下进行有组织的资源共享和m题解决 2 3 。网格利用高速互联网把分布于不同地理位置的计算机、数据库、存储 器和软件等资源连成整体，就像一台超级计算机 一 样为用户提供一体化信息服 务，其核心思想是 “ 整个因特网就是一台计算机” 。 目 前，国际上的一种共识是， 网格技术将对未来全球经济发展和社会进步起 到巨 大的 推动作用。 据美国 福布斯杂志预测，网 格技术将在2 0 0 4 年至2 0 0 5 年出现 1 个高峰，推动信息产业市场的持续高速发展，在 2 0 2 0 年将产生 一 个年 产值为2 0 万亿美元的大工业。 网 格技术标准化由 全球网 格论坛 ( g l o b a l g r i d f o r u m , g g f ) 推动。 g g f 定 义了) 1 放网格服务体系结构 ( o p e n g r i d s y s t e m a r c h i t e c t u r e , o g s a ) 4 。 o g s a 是 一 种基于网格服务的分布式交互和计算体系结构， 用来确保异构系统间的互操 作性，这样不同类型的系统就可以进行通信、井享信息。 李三立院十在2 0 0 2 c c i d 论坛上指出网格建设的一些误区的同时给出了如卜 建议: “ 一定要有 一 应用和服务驱动，可以由某种重要应用驱动，带动网格底三层 的基础研究。然后在这基础上，可以支持几种应用，同时补充基础建设。也可用 一个网格基础设施，支撑儿个重要应用。 ” 视频点播 ( v i d e o o n d e m a n d , v o d ) 是一种允许用户不受任何预定时刻约束， 随时请求多媒体内 容的服务。 其主要技术问 题是多种资源的合理调度和协调工 作， 有一 定的实时性要求。 对视频服务不断扩大的需求， 要求解决诸如地理上 分 布于城域范围内多个孤立v o d 服务系统的统一管理和调度， 现有v o d 系统的跨区 域扩充、合并，降低系统的扩展成本等问题。 网格与v o l) 比 较: 顾名思义， v o d 就是按需提供视频服务， 而网格的目 标就是 提供 “ 按需的计算” 、 “ 按需的存储” 和 “ 按需的信息服务” 。可以看出，二者在 基本内涵 卜 的一致。 网格的协作和资源共享概念很契合分布式v o d 服务器特征， 网格技术对异构 ( 主机、网络)系统和跨不同组织机构的管理能力非常适合于支持大规模的v o d 服务器系统。 目前， 学术界、 产业界对网格相关技术、 标准以及商业应用等方面的研究开 发都在同步进行， 虽然网格本身的理论和v o d 服务的理论研究己经比较成熟， 但 6 o f 4 4 复 旦 大 学 硕毕 业 论 文网 格 技 术 与 网 格v 0 1 ) 服 务 基于网格架构的v o d 服务是一个非常新的研究领域， 理论体系和模型架构还很不 成熟，需要进行深入研究。 基于对网格概念、 相关技术、 发展前景的研究和网格应用的探索以及对宽带 v o d 系统的研究和建设经验， 本文提出了一种基于网格技术的v o d 服务实现方案， 主要特点在于它可以建构于各种异构平台之 l ，具有广泛的适用性和自 适应性， 支持前所未有的规模和扩展能力。 论文的其余部分组织如下: 第一章是网格技术综述; 第二章讨论v o d 服务与 调度技术以及本文要研究的问题域定义; 第三章给出具体研究工作及结论， 其中 第一节讲述系统方 一 案， 包括网络拓扑、 软件体系结构、主要的消息交互过程， 第 _ 节我们用了较多篇幅详细描述了基于网格的跨集群 v o d系统的分布式自 适应 调度， 包括策略、 过程、 算法以及与调度密切相关的备份管理。 第三是仿真结果 第四节讨论了研究结论以及后续工作等。 7 o f 4 4 复 口 人 学 硕 上 毕 业 论 文网 格 技 术 与 网 格v0d 服 务 第一章 网格技术综述 1 . 1 i n t e r n e t 的发展过程 a r p a n e t , i n t e r n e t的先驱，也是目前 i n f o r m a t i o n g r i d的主干，它于 卜 世纪7 0 年代启动。 a r p a n e t曾是一个供计算机科学家以及国防部 ( d o d )使用的 试验性网 络。 它发展出了 象t c p / i p 和包交换 ( p a c k e t s w i t c h i n g ， 类似于电 力 标准中的a c / d c 转换) 这样意义重大的协议与技术。由此， 各式研究性或者产品 网络开始精彩纷呈地出场。比如n s f n e t , 1 9 8 6 年兴建，5 6 k b / s 的主干网速，联 结5 个 ( 后来还有更多) 超级计算机中心。 后来于上世纪8 0 年代末将5 6 k b / s 的 带宽升级到 1 . 5 m b / s ，再后来于9 ( ) 年代初变为4 5 m b / s o 1 9 9 5 年n s f 将n s f n e t 转为商用部门，并发展为当 今的i n t e r n e t . 1 . 2冲突:互联网面临重构 在 1 9 9 3年万维网与浏览器出现之前，互联网的重心是网络互联本身，以 e m a il , p t p , b b s . g o p h e r 等简 单 应 用 为 主。 随 着网 络带 宽 的发 展以 及浏 览 器的 出现， 网灭又成为利用网络共享信息的载体。“ 近年来互联网的大规模应用， 很 大程度上证明了目前流行的浏览器/ 服务器( b / s ) 结构的巨大成功， 其背后实际上 是传统土机体系的复活: 人们通过浏览器来操作或访问远处的网站， 网站则相当 于 原来的中央主机，用户所处理的数据与应用处理软件都存放在中央主机上”。 随着互联网应用的进一步普及， 集中计算与b / s 应用模型在功能上的缺陷正 逐渐暴露。 集中计算的模式使得每一个由中央主机支持的网站成为一个个的数字 孤岛。 用户可以 通过浏览器从一个孤岛轻易跳到另一个孤岛， 但是很难在客户端 对这些数据进行整合， 各个中央主机之间也难以按照用户的要求进行相互通讯与 协作。 当需求与网络结构不断的发生冲突， 这还是不是我们想要的互联网?万维网 的发明者 一 伯纳斯 李在一次演讲中使用了这样的标题: “ 我们的工作完成了 吗?”并以“ 现在还不能回家”结束。 在2 0 0 2 年6 月的全球互联网协会2 0 0 2 年 年会 卜 ，与会者普遍认为，互联网发展正在进入关键的转折期。 1 . 3探索:各种技术透视 即 便做了再多的努力， 今天的我们仍然无法看清下一代互联网的全貌。 然而 技术上的种种侧面己 经若隐若现: 语义网使互联网能够理解你的语言 ; w e b 服务 把复杂的应用变得像搭积木一样简单: p 2 p 让你可以调动整个网络的资源;网格 计算则能够将互联网变成一个最大的计算机。 此外， 以 浏览器为代表的产品形态 的改变、 按需服务的显山露水， 让我们看到了斤 一代互联网在产业层面的艰难起 8 o f 4 4 复 日 .人 学 硕 1 丁毕 业 论 义网 格 技 术 与 网 格v 0 d 服 务 步， 而n e t , s u n o n e , n 1 、自 主运算又将使我们不再停留于对下 一 代互联网“ 随 处可取的计算”将会如何改变我们的生活的畅想。 中国科学院计算技术研究所所长李国杰院士认为， 不同的技术领域， 由丁 技 术侧重点不同， 他们对下代网络技术的理解有所不同; 不同行业因为有着不同 的经济利益， 他们对网络发展的前景， 比如如何过渡到下一代网络的看法也会有 所不同; 并且， 对于 一代网络的预测与规划己经超出了纯技术的范畴， 其他的 领域也应该有发言 权。 1 . 3 . 1 . 语义网 人类的知识建立在两个基石之上:语义学和数学。在数字计算方面，计算机 己远远超越了人类，而帮助计算机理解与 掌握语言逻辑将成为下一阶段的重点。 现在w e h 网的问题在于，网页( h t m l ) 表现信息的方式多为自 然语言、图片、 多媒体一适应十人们的阅读需求， 却引起模糊特性和数据格式多样而无法被计算 机理解。 这就造成了信息孤岛的产生一信息之间缺乏联系、 应用单调、 整个网络 呈现出静态与被动的特征。 而语义网“ 将使理解信息的含意不再是人类才能做的 事情， 计算机也同样可以做到”， 从而有助于信息共享与智能共享， 并使网络能 够提供动态与主动的服务。在伯纳斯 李看来，语义网是对万维网本质的变革。 在超文本技术基础上开发的超文本传输协议( h t t p ) 以及超级链接技术令互 联网七 的网页可以连接， 构成了二维的应用。 而源自 语义学的语义网不仅使网页， 以及互联网上所有的内容都得以沟通， 并将互联网从二维带入三维， 毫无疑问会 成为r 一代互联网的神经系统，令互联网的巨大潜能真正得以 释放。 1 . 3 . 2 . we b 服务 简单地说， w e b 服务是一种开发的规范， 使得通过网络可以对基于规范开发 的各种应用进行调用、 整合， 从而在互联网上完成更复杂的任务。 关于w e b 服务 的几 个底层标准协议业界己 经基本达成共识， 包括x m l , s o a p , w s d l , u d d i 等， 然而在开发规范上，目 前界限分明 地分成了 两大阵营: m i c r o s o f t . n e t 与j 2 e e . 1 . 3 . 3 . p 2 p 更多是强调打破c l i e n t / s e r v e r 或h r o w s e r / s e r v e r 的主从模式，用对等模 式( 或无服务器模式) 实现超级服务器的功能， 使互联网上的闲散资源可以 被充分 利用。 1 . 3 . 4网格 1 9 9 8 年， 网格( n e t g r i d ) 的概念第一次在美国被提出， 是从电力网( p o w e r g r i d ) 概念借鉴过来的， 其最终目 的， 是希望大家能够象使用电力一样方便地使 用分布在网络上强大而丰富的计算能力。 9 o f 4 4 复 口 人 学 硕毕 业 论 文网 格 技 术 与 网 格v0d 服 务 1 .3 . 4 . 1 网 格概念的 界定 全球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、 美国g l o b u s项目的领导人 i a n f o s t e r曾在 1 9 9 8年出版的 网格:2 1世纪信 息技术基础设施的蓝图一书中这样描述网格: “ 网格是构筑在互联网上的一组 新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等 融为一体， 为科技人员和普通老百姓提供更多的资源、 功能和交互性。 互联网主 要为人们提供电子邮件、网页浏览等通信功能， 而网格功能则更多更强， 让人们 透明地使用计算、存储等其他资源。 ” 2 0 0 0年， i a n f o s t e r在 网格的剖析 这篇论文中把网格进一步描述为“ 在 动态变化的多个虚拟机构间共享资源和协同解决问题。 ”至此，人们仍然就什么 是网格而争论不休。2 0 0 2年 7月，丁 a n f o s t e r在 什么是网格?判断， 是否网 格的三个标准一文中，限定网格必须同时满足三个条件:( 1 )在非集中控制的 环境中 协同 使用资 源; ( 2 ) 使用标准的、 开放的和通用的协议和接口( 工 a n f o s t e r 认为日 前只有 g l o b u s才算得上标准协议) ;( 3 )提供非平凡的服务。这三个条 件 非 常 严 格， 象p 2 p , s u n g r i d e n g i n e , c o n d o r , e n t r o p i a , m u l t i c l u s t e r 等 都被排除在网格之外。 至此，工 a n f o s t e r己经把他头脑中的网格概念描绘清楚了。但并不是所有 人都同意他的观点。 例如， 中国科学院计算所所长、 中国工程院院士李国杰认为， “ 网 格不同于国外正在搞的工 n t e r n e t 2或下一代工 n t e r n e t ( n g 工 ) ，网 格可以 称 作是第二代 i n t e r n e t ，其主要特点是不仅仅包括计算机和网页，而且包括各种 信息资源， 例如数据库、 软件以及各种信息获取设备等， 它们都连接成 一 个整体， 整个网络如同一台巨大无比的计算机， 向每个用户提供一体化的服务” 。 “ 网格实 际上是继传统因特网、w e b 之后的第三个大浪潮，可以称之为第三代因特网。简 单地讲， 传统因特网实现了计算机硬件的连通， w e b 实现了网页的连通， 而网格 试图实现互联网上所有资源的全面连通， 包括计算资源、存储资源、 通信资源、 软件资源、 信息资源、知识资源等” 。 清华大学李三立院士将网格与信息高速公 路作了比较，他说: “ 将先进计算基础设施 ( 网格)与信息高速公路相比较，可 以说， 信息高速公路是信息传输和获取的信息基础设施; 而先进计算基础设施则 是信息处理的信息基础设施。 虽然， 国内外都有不断把信息高速公路扩充频带宽 度、 改进路山器性能的计划; 但是，国外科学家认为:真正的下 一 代信息基础设 施是先进计算基础设 施。 它将使以 计算机为主体的信息处理发生根本性的变化。 ” 有许多人赞同广义的网格概念， 称作巨 大全球网格g g g ( g r e a t g l o b a l g r i d ) . t h e a n a t o m y o f t h e g r id : e n a b l in g s c a la b le vi r t u a l o r g a n iz a t io n s , u s a , 2 0 0 1 . ， l itt p : / w w w ,g r i d h o m e . c o m / g r i d / p a p e 印 p t/ g r i d c o n c e p t .p d f 清 华 大 学 高 性 能 所 网 格 研 究 组 ，刘 胭 1 0 o f 4 4 复 1 1大 学 硕 士 毕 业 论 文网 格 技 术 与 网 格v 0 d 服 务 它不仅包括计算网格、 数据网格、 信息网 格、 知识网格、商业网格， 还包括一些 己有的网络计算模式，例如对等计算 p 2 p ( p e e r t o p e e r ) ,寄i 计算等。可以这 样认为，i a n f o s t e r赞成狭义的 “ 网格观” ，而g g g是一种广义的 “ 网格观” 。 不管是狭义还是广义的网格， 其目的不外乎是要利用互联网把分散在小同地 理位置的电脑组织成一台“ 虚拟的超级计算机” ， 实现计算资源、 存储资源、数 据资源、 信息资源、软件资源、 存储资源、 通信资源、知识资源、专家资源等的 全而共享。 在网格上做计算， 就像下围棋一样， 不是单个棋子完成的， 而是所有 棋子勺 _ 相配合形成合力完成的。 当然，网格的根本特征不是它的规模， 而是资源共享。网格并不一定要覆盖 整个 i n t e r n e t 才能发挥作用，我们可以构造地区性的网格，如科技园区网格、 企事业内部网格、局域网网格、甚至家庭网格和个人网格。 由于网格是一种新技术，因此， 不同的群体可能用不同的名词来称谓它，网 格的精确含义和内容还没有固定， 而是在不断变化。 因此， 我们不应该空谈和争 沦 什么是网格，什么不是网格，而应该集中精力研究网格可以解决的实际问题。 为避免混淆，除非特别声明，本文后面的网格均是上文中i a n f o s t e r 所给出的 狭义网格概念。 1 . 4网格:四种构想的殊途同归 在所有的方向当中，从定义上讲，网格是关于下一代互联网最宏大的构想: “ 把整个互联网整合成一台巨大的 超级计算机， 实现计算资源、 存储资源、 数据 资源、信息资源、知识资源、专家资源的全面共享” 网 格是目 前越来越重要的研究领域， 是一种关系科研、 经济、 社会、国防的 重要国家基础设施， 在国内外都引起了广泛的关注。目 前是网格计算的迅速发展 阶段， 关于网格的研究、开发和应用项目 大量出现，同时网格计算也不再仅仅局 限于科学研究， 工业界与学术界联盟， 正致力于使网格计算在更广泛的领域得到 推广和应用。 目 前， 国际l 有这样一种共识， 网 格技术将对末来全球经济发展和社会进步起到巨大的 推 动作 川。 2 0 0 1 年9 月1 0 日， 福布斯杂志的科技版 k f o r b e s a s a p ) 发表文章， 预测信息技术的下一波大浪潮将在2 0 0 4 年出现， 这一波浪潮的本质特征就是万维 网( w o r l d w i d e w e b ) 升级为网格( g r e a t g l o b a l g r i d ) , 2 0 2 0 年，由此产生的互 联网将成长为一个2 0 万亿美元产值的大产业。 1 1 o f 4 4 复 c 大 学 顿 卜毕 业 论 文网 格 技 术 与 网 格a0d 服 务 理器、 带宽、 光纤还是磁盘存储量一都是指数级的， 这是历史土任何一种设施所 不具备的速度。比如n c s a 的c r a y x - m p ，于1 9 8 6 年购置，耗资8 0 0 万美元，拥 有自己的电力线接入到 工 l l i n o i 、 变电站， 拥有特殊制冷系统， 但没有图形界面。 通 过n a t i o n a l s c i e n c e f o u n d a t i o n ( n s f ) 网 络 主 干与 其 他 超 级 计 算 机 相 连， 享受 5 6 k b / s 的网络带宽。 现在一个小孩子的电视游戏机， 象m i c r o s o f t 的x h o x , 都带有个相当于 x - m p 速度 2 0 倍的m i p s 微处理器，而其价格只是 2 0 0 关元。 该游戏机仅耗电2 5 0 w ， 而不是当时的6 0 , o o o w 。 最不可思议的是在这样的设备 r . 居然有三维图形界面的交互支持。 那些接入了5 0 0 k b / s d s l 的家庭现在可以声称 自己 拥有比1 7 年前美国仅有的5 台超级计算机加起来还要大的计算能力和网络 带宽。 1 . 4 .2市场的需求 容易看到，分布式超级计算、 合作工程、高吞吐率计算 ( 大规模模拟一参数 研究) 、 远端软件访问/ 租用软件、 数据密集型计算、 基于需求的计算等政府、 研 ) ; ; 机构和企业的各种一大 规模应用对计算力的击求i 1 在持续不断地增长1角 速司 络、 功能和性能史 加强人的凡 规模计算系统、 1舒 n f: 能存储系统以及高级数据分析 软川的j用为 解决r 业领域和科学领域的不 ! 算问题带来了希望。 发展动力: r 国际上科技、计算、 研究与教育领域的数十个大型的网格项目; 了 关键概念和技术上的 广泛共识; r 开源项目g l o b u s t o o l k i t 已 经成为事实上的协议和服务标准; v 虽然远非完善和完成， 但是己 经呈现， 有巨大的用户群， 并在迅速发展; d 机会存在于e s c i e n c e和 e b u s i n e s s 的技术、需求的融合。 . _ 如经济基础决正卜 层建筑， 网络是信息传输的基础设施，网 格是信息处理 的基础设施， 是对网络的深化、 融合和提高，n j 以说一切软硬条件f . 备，只欠网 格的东风 1 3 o f 4 4 复 旦 大 学 硕 :毕 业 论 文网 格 技 术 与 网 格v 0 d 服 务 1 . 5历程:互联网的三次浪潮 表 1 :互联网的三次浪潮 因 特网( 工 n t e r n e t ) 万 维 网( w e b )网 格 ( g r i d ) 第一个研究原型 第一个可用原型 1 9 6 9 . 1 0 . 1 11 9 8 0 - 1 9 8 9 1 9 7 0 1 9 9 8 年 1 9 9 9年g l o b u s 1 . 0 第一个标准 1 9 6 9 . 4 ( i m p ) 1 9 7 4 . 5 ( t c p / i p ) 1 9 9 0 . 1 2 1 9 9 4 . 6 ( u r i ) 1 9 9 6 . 5 ( h t t p ) 2 0 0 2 o g s a 现在标准总数 3 1 8 0 个r f c 1 1 个一 几 作组 ，个研究组 中国参与标准 1 ( 1 9 9 6 . 3 ) 还没有 m a in f r 宣 to n a 甲 山 0 0 1 协心 x e r o x p a r c v , g l o b u s 1 . 0 ) 2 ，更进一步的实验、核心协议: 数据网格 ( d a t a g r i d s )阶段:( 1 9 9 9 - ? ? ; g l o b u s 2 . 0 + ) 3 ，大规模的数据管理和分析( 2 0 0 1 一 ? ? ，g l o b u s 3 . 0 ) : 2 0 0 2 年2 月2 0日， 工 b m 与g l o b u s 在多伦多联合发布开放性网格服务架 构o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 4 ，集成w e b 服务、主机环境、资源虚拟化 5 ， 数 据 库、 高 级 服务， 超 大规 模 系 统r a d i c a l l y s c a l a b l e s y s t e m s ( 2 0 0 3 - ? ? ) 传感器、无线系统、普适计算。 1 . 6标准化:曲折过程 g l o b u s由 美国a r g o n n e国家实验室数学与计算机分部、 南加州大学信息科 1 4 o f 4 4 复 g 1人 学 硕 1 二毕 业 论 文网 格 技 术 与 网 格v 0 d 服 务 学学院和芝加哥大学分布式系统实验室合作开发，并与美国国家计算科学联盟、 n a s a i p g项目( t n f o r m a t i o n p o w e r g r i d ) ,美国国家先进计算基础设施i司 盟 n p a c i ( n a t i o n a l p a r t n e r s h i p f o r a d v a n c e d c o m p u t a t i o n a l i n f r a s t r u c t u r e ) 等建立了 伙伴关系。一些重要的公司，包括 工 b m , m i c r o s o f t , c o m p a q , c r a y , s g i , s u n , f u j i t s u . h i t a c h i , n e c等公) i几 宣布支持g l o b u s t o o l k i t a g i o b u s对资源管理、安全、信息服务及数据管理等网格计算的关键理论进 行研究， 开发能在各种平台上运行的网格计算工具软件 ( t o o l k i t ) ， 帮助规划和 组建大型的网格试验平台， 开发适合大型网格系统运行的大型应用程序。 t o o l k i t 是g l o b u s 最重要的成果， 其第一版在1 9 9 9 年推出， 任何人都可以从其网站 r .下 载源代码。目 前， g l o b u s 的技术已在n a s a网格( n a s a 工 p g ) 、 欧洲数据网格( d a t a g r i d ) 、美国国家技术网格( n t g等8 个项h 中得到应用。 g l o b u s项目组在网格协议制定上有很大发言权，因为迄今为止，g l o b u s t o o l k i t 己经成为事实上的网格标准。目 前大多数网格项日 都是基于g i o b u s t o o k i t 所提供的协议及服务建设的，例如美国的物理网格g r i p h y n 、欧洲的数据 网格d a t a g r i d 、荷兰的集群计算机网格d a s - 2 、美国能源部的科学网格和d 工 s c o n i 网格、美国学术界的 t e r a g r i d 等。 在o g s a出现之前，已经出现很多种用于分布式计算的技术和产品。例如， 1 9 8 7 年， s u n公 司 就 推出 了 开 放网 络 计 算( o p e n n e t w o r k c o m p u t i n g ) , 1 9 8 9年 分别出现了o s f的d c e和对象管理集团o m g的c o r b a , 1 9 9 6年微软推出了d c o m a 这些机制互不兼容， 严重到了同一家公司的产品都不兼容的程度， 例如， 从1 9 9 7 年开始，微软开始推动基于x m l 的分布式计算( 通过建构在h t t p之上的远程过程 调 用r p c实现) ，而这又与d c o m的做法相冲突。 其实， 在o g s a出现之前，各种 以 填补异构平台之问的差异为己 仔的网 格平台， 如 c o n d o r , l e g i o n , n i n f , g l o b u s 等，也都是各行其道、互不兼容的。 就像i n t e r n e t 的成功依赖于t c p 八p协议一 样，网格也需要依赖标准协议刁 能共享和互通。 9 0年代末，让人扼腕叹息的混乱局面终于有望结束，因为此时基于 x m l的 w e b s e r v i c e s技术开始大行其道。w e b s e r v i c e s之所以能够迅速走红，是因为 它在各种异构平台之上构筑了一层通用的、与平台无关的信息和服务交换设施， 从而屏蔽了互联网中千差万别的差异， 使信息和服务畅通无阻地在计算机之间流 动。 2 0 0 2 年2 月， 在加拿大多伦多市召开的全球网 格论坛g g f会议上， g l o b u s项 目 组 和i b m共同倡议了一个全新的网格标准o g s a . o g s a叫做开放网格服务体系 ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) ， 它把g l o b u s标准与以商用为主的 w e b s e r v i c e s的标准结合起来， 网格服务统一以s e r v i c e s的方式对外界提供。 o g s a 1 5 o f 4 4 复 口 人 学 硕!毕 业 论 文 网 格 技 术 与 网 格v 0 d 服 务 的诞生， 标志着网格已经从学术界的象牙塔延伸到了商业世界中， 而且 从一个封 闭的世界走向了开放的环境中。 g l o b u s项目组也迅速将g l o h u s t o o l k i t 的开发转向了w e b s e r v i c e 、平台， 试图用o g s a在网格世界一统天下。2 0 0 3年i 月1 3 f t ， 符0 o g s a规范的 g lo b u s t o o lk it 3 .0 ( a lp h a 版)己 经在第一 届 g lo b u s w o r l d会议1 . 发 布， 预计i,i :.式版在2 0 0 3年上 1年就能发布。这标志着o g s a己经从一种理念、一种体系结构，走到付诸实践的阶段了。 o g s a从一诞生， 就得到业界的 广泛支持， 像微软、 p l a t f 。 二c o m p u t i n g ( 家分布式计算软件公司)、a v a k t( 商用网格解决方案提供商)、e u t r o p i a( 基 于 p c的分布式计算网格技术提供商) 等从一开始就宣传支持o g s a 。 到目 前为! 卜 ， o g s a己经广为接受，儿乎所有的业界同仁都认为它就是网格的末来。由于o g s a 是在g g f会议上提出来的，g g f 也就顺理成章地成为o g s a标准化进程的领头羊 目 前， g g f有4个研究组负责与o g s a 相关的标准制定工作: 开放网 格服务体系结 构r 作组o g s a - w g 、 开放网格服务基础设施工作组o g s i - w g 、 开放网格服务体系结 构安全工作组o g s a - s e c - w g和数据库访问和集成服务工作组d a 工 s - w g . 1 . 6 . 1网格的体系结构o g s a 网格体系结构就是关于如何建造网格的技术。 它给出了网格的基本组成和功 能， 描述了网格各组成部分的关系以及它们集成的方式或方法， 刻画了支持网格 有效运转的方式。 由十网格计算底层支撑系统涉及了众多方面的关键技术， 如:身份认证， 任 务调度， 通信协议规范和容错机制等， 使得设计和构造一个网格计算底层支撑系 统的实体模型尤为复杂。 网格体系结构从早期的五层沙漏结构向开放网格系统架构ogsa发展。 五 层沙漏结构是一 种影响十分广泛的结构， 从下到上分别是构造层， 连接层， 资源层， 汇聚层及应用层。,臼的主要特点就是简单， 主要侧重于定性的描述而不是具体的 协议定义， 因此很容易从整体上进行理解， 它是以协议为中心， 也十分强调服务与 api 和sdk 的重要性。 1 6 o f 4 4 复 n 人 学 硕毕 业 论 文网 格 技 术 与 网 格v0d 服 务 周期管理、 服务发现、 认证、 通知、 更新能力、 并发性以及可管理性等; 3 ,管理网格服务实例的接口，如服务工厂、注册、发现和生命周期等; 4 ，服务发布状态的可靠、安全的管理。 1 . 6 . 1 .2 o g s a的永久服务和临时性服务 ogsa实现的是服务的共享， 一切具有特定功能的网络化实体都是网格服 务( g:1 d s e r v 1。e ) ， 该服务提供一组明确定义并且遵守特定惯例的接 口， 解决服务发现、动态服务创建、生命周期管理、通知等问题， 即: 网格服务= 接口/ 行为+ 服务数据 而网格是可扩展网格服务的集合， 即: 网格:网格服务 。 在实际应用中， 网格 服务1 q 以以不同的方式聚集起来满足虚拟组织的需要， 虚拟组织自 身也可以部分 地根据他们操作和共享的服务来定义。 在o g s a中将服务分为永久性服务和临时服务两种，一般情况下临时性服务 由工厂类的永久服务来创建实例。 永久性网格服务有无限的生命周期， 在一个结点上的一个永久性服务只有一 个实例。第一次使用时，由服务容器激活。 临时性网格服务的实例是由该临时性服务所对应的工厂服务创建的。 临时性 网格服务是有短暂生命周期的网格服务， 该实例完成网格服务后就消亡了。 在实 例创建时， 有 一 个初始的生命周期。 客户可以延长实例的生命周期， 也可以提前 结束实例的生命周期。 一个临时性网格服务可以 有多个实例， 而且可以同时存在。 客户获得的网格服务通常是临时性服务。 若多个客户同时请求同一个临时性 服务， 则工厂服务会为每个客户创建一个临时性服务的实例， 由各实例为各客厂 提供服务。 1 . 6 .2标准化过程的一点小插曲 尽管w e b 服务与网格技术的初衷可以说 相去甚远，我们看到 二 者现在正谋 求融合。网格的前途一片光明， 然而， 通向光明的道路总是曲折的。虽然各方面 对o g s a 有很高的热情， w e b 服务权威机构对o g s a 草案的接纳却出现了一些问题。 o g s a组织会同业界推出了 w e b服务资源框架 ( w s r f : w e b s e r v i c e r e s o u r c e f r a m e w o r k )。 w s r f 标准的推出标志着w e b 与网格有了融合的一致基础。 1 8 o f 4 4 复 口 左 学 硕 卜 毕 业 论 文网 格 技 术 与 网 格v0d 服 务 表2 :对o g s a 标准的意见及w s r p 的改进 o g s a功时1; 7 题 1 ，一个规范中包含太多内容 2 ,与 现存的we b服务工具不太兼容 3 ，过分面向对象 w s r f必改乃v 将o g s i t i 。 一二 !i w . : ., : ;,k !. 削减了些x ml 规则 明确区分了 “ 服务”以及服务所作用 的有状态资源 老，唯 一 东 二:” 百 林 妙 ， 二姆.-二 殊途 嚷 s : 图6 :网格与w e b 服务融合的趋势之一 v 绪 srf 7 卜 殊途 v 1 o a乍 今 布 、 夕 图7 : 网格与we b服务融合的趋势之二 1 9 o f 4 4 复 c l大 学 倾毕 业 论 文网 格 技 术 与 网 格v 0 d 服 务 1 . 6 . 3网格安全 表 3 :网格中的安全需求: pv 1 1以 执 行 其 他 程 序 如 f t p , s s h , m p i , c o n d o r w e b : 基于 用户的信任模型; 支持身份代理。 费之 护 钾为一咨 一 场 度 可以指定本地 访问控 制; 审核、记帐等功能; 可以和本地系统安全机 制如 k e r b e r o s , a f s , l ic e n s e m g r 等集成: 能防比资源被窃用 刀黄a 一 乃 l 支持认e的a p i/ s d k ， 方便 的消息保护和通信、 代理机 制 : 2 ,可以直接调用各种安全函数 或安全能集成到更高一级 s d k 如g lo b u s i q , c o n d o r - g m p i c h - g 2 , h d f 5 等 通 剑 压v-m eae 习 回 仁 s rr k 司 刃 r f t u9 u1 c 以州: 比n 匆一 ， 二 红 .- . m “ ” 9 o i l 创 1 内娜 l.1 ( 1 泊 $ m s : 川 咖 价:h l d l i a l , p ， 户 冲 伪 k . :x e a ti ; o . h引 一一肖 润 口一r， 闷 州娜 月白目 户 i xd s e m b n 3 q f 11 e 以 c 抽d. i ， 1 月 目o t 1 e 摺 白 触 如了 . . 物 加. 璐叼 c wp娜 厂 飞 蕊 石 蔚 一 一 a u0tt 6 匕 e n ta to a m e n t 一! l a a +-fp u au i- - _j s e n 4 ee n 廿中rn p a l i c y m 州a 9 r l 眺 p n 勺 so0c招尸。幻目-ng tr仁5一弓0么奋一 b i n d in g s s e c u r it y ( t r a n s p o rt . p ro to c o l, m e s s a g e $ m r i钾 ) _1 1年 图8 : o g s a安全体系结构 1 . 7实践:产业界的成功起步 与网格技术同步演进的，是信息技术的商业模式。 在现实的商业社会里， 产业是令互联网的能量充分发挥的实践力量一学术界 从来小曾强大到足以独立支撑 一 个新的技术或行业标准。 而技术与商业之间的微 妙关系也在这种互动的过程中表现得淋漓尽致 虽然伯纳斯 李与他领导的w 3 c 一直以来从未放松对推动互联网进步的追 求， 语义网也正在逐渐被重视， 但是在现实的商业社会里， 只有产业才是能够令 互联网的能量得到充分发挥的实践力量。 网格技术正在成为全球竞争的核心。 2 0 0 1 年， 美国s u n 公司发布了“ 网格引 擎” 企业版的测试版，i b m 公司也大规模进入网格计算领域，宣布将投入1 0 0 亿 美元用于网格计算的研究和市场开拓， 并正在研制超级网格计算机， 其设计运算 2 0 o f 4 4 复 吐 人 学 硕 十 毕 业 论 文 网 格 技 术 与 网 格v 0 d 服 务 速度为每秒 土 3 . 6 万亿次， 存贮能力达 6 0 0 万亿字节。 2 0 0 2 年 3 月，美国能源部 下属的国家能源研究科学计算中心宣布与 1 b m 公司达成协议， 开始建造美国能源 部内部使用的计算机网格， 计划在同年年底投入使用。 英国政府也己投资1 亿英 镑， 用来研制“ 英国国家网 格” 。日 本文部科学省2 0 0 2 年5 月决定投资7 0 0 亿日 元)1 1 发超大型网格计算机， 它比现在世界上运算速度最快的计算机还快近1 0 倍， 将达每秒3 0 0 万亿次。此外，日本电信电话株式会社等公司在2 0 0 2 年也宣布开 展网格计算试验。 按照工 a n f o s t e r和g l o b u s项目 组的 观点， 网格应用领域目 前主要有四类: 分布式超级计算、 分布式仪器