（计算机应用技术专业论文）基于高可用性数据计算的网格体系结构研究.pdf

硕士学位论文 摘要 网格技术是高性能计算研究的热点，网格的体系结构是构建网格系统的基 础。论文首先介绍了网格的概念、目前国内外网格的研究状况和应用情况、机群 系统的应用、国内外高端计算机研究动态，并对目前流行的两种网格体系结构进 行了概要性的介绍，分析了各自的优缺点。 计算网格是很容易变化的不可靠的计算环境，因此如何保证应用的可用性成 为构建网格系统的关键问题之一，而首先要解决的问题是如何对计算网格的可用 性进行度量。论文分析了计算网格可用性的特征，提出从应用的角度度量计算网 格可用性的方法，并设计了一种度量计算网格中应用可用性的模型。模型中应用 的可用性用一个串行r b d 来描述，对于每个网格节点上运行的任务，其可用性用 概率模型描述。 随着网格规模的不断扩大，维护和管理网格信息中心的开销过大，从而影响 提高网格性能和扩大网格规模的瓶颈，因此本文提出了一种资源池记忆棒的网 格资源管理模型，它能够合理管理计算资源，并将任务调度到最优的计算资源中。 综合上述研究内容，本文主要提出了一种基于高可用性数据计算的网格体系 结构，首先介绍网格环境中资源的发现、资源可用性，以及利用这些资源搭建一 种高可用性的数据计算框架，并且介绍了它的数据计算过程。由于网格环境比较 复杂，高可用性网格计算的验证环境不容易搭建，因此论文从两个角度验证了高 可用性数据计算的网格体系结构，分别是本地系统的高可用性数据计算体系结构 的搭建，以及从网格环境的理论角度分析它的高可用性。最后通过实验证明了该 体系结构的高可用性。 关键词：机群；高可用性；任务调度；资源管理；体系结构：网格计算 基于高可用性数据计算的网格体系结构研究 a b s t r a c t t h e g r i dt e c h o i o g yi sah o t s p o ti nh p c r e s e a r c h t h ea r c h i t e c t u r ed e s i g ni st h e b a s i sf o rc o n s t r u c t i n gt h eg r i ds y s t e m f i r s t ，t h i sa r t i c l ei n t r o d u c e st h ed e f i n i t i o n ， c o n d i t i o no fs t u d ya n da p p l i e dc i r c u m s t a c eo fg r i di d o e s t i ca n di n t e r n a t i o a l ， a p p l i c a t i o no fc l u s t e rs y s t e m ，t h er e s e a r c ht r e a do fh i g he n dc o m p u t e ri nd o m e s t i c a n di n t e r n a t i o n a l i ti n t r o d u c e st h et w op o p u l a rg r j ds t r u c t u r e sn o w a d a y s ，a n d a n a l y z e se a c hs t r u c t u r e sv i r t u e sa n ds h o r t c o m i n g s c o m p u t a t i o n a lg r i di sam o r ev a r j a b l ea n du n r e l i a b l ec o m p u t i n ge n v i r o n m e n t i t s h o u l dp r o v i d ea p p r o p r i a t ea v a i l a b i l i t ya s s u r a n c ef o r t h ea p p l i c a t i o n s h o wt o m e a s u r et h ea v a i l a b i l i t yi st h ek e yi s s u ef o rp r o v i d i n gh i g ha v a i l a b i l i t ys e r v i c e i n t h i sp a p e r ，t h ec h a r a c t e r i s t i c so ft h ea v a i l a b i l i t yo fc o m p u t a t i o n a lg “da r ea n a l y z e d a n di ti sp r o p o s e dt h a tt h ea v a i l a b i l i t y0 fc o m p u t a t i o n a lg r i ds h o u l db em e a s u r e d f r o mt h ea p p l i c a t i o n sp o i n to fv i e w t h e am e a s u r e m e n tm o d e lf o rt h ea v a i l a b i l i t y o fa p p l i c a t i o n si nt h ec o m p u t a t i o n a lg r i di s p r e s e n t e d i nt h em o d e lt h e0 v e r a l l a v a i l a b i l i t yo fag r i da p p l i c a t i o ni sm e a s u r e db yu s i n gas e r i a lr b d ，f o rt h et a s k so n ag r i dn o d e ，t h ea v a i l a b i l i t yi sm e a s u r e db yu s i n gap r o b a b i l i s t i cm o d e l w i t ht h ee x t e n s i o no ft h eg r i ds c a l e ，t h ec o s tt om a a g ea n dt om a i n t a i nt h e g l o b a lr e s o u r c e si n f o r m a t i o nw i l lt a k eu pah i g h e rp e r c e n t a g eo ft h et o t a lc o s t ， c a u s i n gab o t t l e n e c ki nc o s to ft h eg r i d s ot h i sa r t i c l ei n t r o d u c e san e wm o d e lo f m a a g e ，r e s o u t c e sp o n d - m e m o r ys t i c k ，i tc a ns c h e d u l et h et a s kt oa c c o m m o d a t i o n c o m p u t i n g r e s o u r c e s a c c o r d i n gt ot h er e s e a r c hc o n t e n t st h a tt h ep a p e rh a v em e n t i o n e d ，t h i sa r t i c l e p u t sf o r w a r dt h eg r i da r c h i t e c t u r eb a s e do nh i g ha v a i l a b l ed a t ac o m p u t i n g ，f i r s t ，i t i n t r o d u c e st h ed e t e c t i o no ft h er e s o u r c e sa n dh i g ha v a i l a b l er e s o u r c e si nt h eg r i d ，u s e t h e s er e s o u r c e st ob u i l daf r a m eo fh i g ha v a i l a b l ed a t ac o m p u t i g ，a n d ，i ti t r o d u c e s t h ep r o c e s so fd a t ac o m p u t i n g b e c a u s et h ee n v i r o n m e to fg r i di sc o m p l i c a t i o s ，i t i sh a r dt ob u i l dt h ee n v i r o n m e n to fh i g ha v a i l a b l eg r i dc o m p u t i n g ，t h ea r t i c l ef r o m t w os t a n d p o i n t st ov e r i f yt h eg r i da r c h i t e c t u r eb a s e do nh i g ha v a i l a b i l i t yo fd a t a c o m p u t i n g ，f i r s t ，i t i sb u i l dt h en a t i v es y s t e mb a s e do nh i g ha v a i l a b i l i t yo fd a t a c o m p u t i n g ， a n d ， i t a n a l y z e s t h e h i g ha v a i l a b i l i t y f r o mt h e o r i e sa b o u t g r i d e n v i r o n m e n t l a s t ，a c c o r d i n gt h ee x p e r i m e n t ，i tg e t st h eh i g ha v a i l a b i l i t yo ft h i s a r c h j t e c t u r e i i 硕士学位论文 k e yw o r d s ：c l u s t e r ；h i g ha v a i l a b n i t y ；t h s ks c h e d u l i g ；m a a g er e s o u r c e s ； a r c h i t e c t u r e ；g r i dc o m p u t i g i i i 基于高可用性数据计算的网格体系结构研究 图2 1 图2 2 图2 3 图2 4 图3 1 图4 1 图4 2 图4 3 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图5 1 l 图5 1 2 图5 1 3 图5 1 4 图5 1 5 插图索引 五层沙漏结构功能映射示图9 服务层、资源层协同工作示例1 0 网格服务示意图1 1 0 g s a 简单运行环境1 3 基于r b d 的应用可用性模型1 7 网格资源管理分层模型2 l 记忆棒资源管理2 4 二叉树结点内部结构图2 4 系统设计的可用度要求2 7 网格计算环境硬件拓扑结构2 9 网格资源使用结构图3 0 高性能数据计算网格体系结构3 0 网格信息中心内部基础设施框架3 2 高可用性数据计算任务运行层次图3 3 计算模块流程图3 4 同步模块流程图3 5 共识模块流程图3 6 发布模块状态转换图3 7 硬件结构设计3 9 软件结构模型4 0 数据连续接收4 0 0 0 0 次时间图4 2 发送数据、数据计算、接收数据计算结果时间比例4 2 系统正常运行比例4 3 硕士学位论文 附表索引 表4 1 邻近资源信息表2 3 v 兰州理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 己在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名： 溺幻睬日期：游f 月 2 多日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在一年解密后适用本授权书。 2 、不保密由。 ( 请在以上相应方框内打“”) 作者签名： 局向豫 导师签名： 日期：玉珥年r 月) 日 日期：“年r 月，z 日 硕士学位论文 第1 章绪论 互联网( i n t e r n e t ) 始建于上世纪6 0 年代，当时采用数据包交换方式和统一标 准的信息传输协议t c p i p ，到8 0 年代为止，互联网还主要局限于为数不多的科 研人员使用，这个阶段互联网的典型应用是收发电子邮件、传输文件、发布文字 新闻及言论等，我们称为第一代互联网。 进入2 0 世纪9 0 年代后，欧洲高能物理研究中心( c e r n ) 为了能更好地与全 世界的高能物理研究人员开展联合研究，发明了超文本格式，把分布在网上的文 件链接在一起。这样用户只要在图形界面上点击鼠标，就能从一个网页跳到另一 个网页，不仅可以看到文字信息，还可以欣赏到丰富多彩的图片、声音、动画、 影像等多媒体信息。这个阶段的互联网被称作环球网( 又叫万维网、w w w 或 w e b ) ，它用超文本和多媒体技术改造了第一代互联网。在环球网时代，用户只 需坐在家里，就可以浏览新闻、与人聊天、订购商品、对打游戏、欣赏影片， 环球网改变了人们工作、生活、学习、娱乐的方式，被称为第二代互联网。 但是目前第二代互联网技术已经不能满足用户的需求，人们上网的时候，虽 然顺着超级链接一会儿到了这个网站，一会儿又进了那个网站，但消化和整理信 息的工作都是人工完成的。因此，我们现在这个“网络时代”叫做“手工作坊式 的网络时代”，而且资源相对浪费，出现信息孤岛和资源孤岛，用户不能很好的 利用现有资源。 早在1 9 9 6 年，美国政府就制定并启动了研究发展下一代互联网的n g i ( n e x t g e n e r a t i o ni n t e r n e t l 计划。n g i 侧重的研究方面包括事务处理安全性和网络管理 等各个方面。在1 9 9 7 年，已有1 5 0 多个硅谷公司作为伙伴参加进来。这个庞大 计划最终的目标之一是建立数据传输速率达到1 0 l o o t b p s 的网络，由此相关的 技术所描绘的惊人未来，使n g i 成为最令人期待的下一代i t e r n e t 计划。但n g i 目前主要服务于美国国防部、美国航空航天局等政府机构。 网格技术的目标是基于因特网技术、w e b 技术和高性能计算等技术，采用开 放标准，实现网络虚拟环境上的资源共享和协同工作，消除信息孤岛和资源孤岛 【。在现实生活中我们在许多地方都急需网格技术，如电子政务建设中如何消除 信息孤岛，航天行业中应用软件的共享，金融业中的大集中、资源共享，铁道行 业中九大信息系统信息互通，电子商务中的应用集成和互动操作，税务中的统一 的应用门户等。 传统互联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格试图 实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件 基于高可用性数据计算的网格体系结构研究 资源、信息资源、知识资源等等【“。“网格”正在成为推动信息产业市场持续高 速发展的新引擎，它被喻为是将要启动的第三代互联网的标准p 】。 1 1 问题的提出及意义 计算与理论和实验并列，已经成为第三种重要的科学研究方式，比如复杂的 科学与工程问题的建模与模拟、医疗诊断、工业设备控制、天气预测、股市行情 管理等都可以通过计算模拟的方法来得到所需要的结果，计算在问题求解中的重 要地位，为网格这种主要以提供计算能力为特征的基础设施的出现奠定了基础。 网格计算技术就是指将分布的计算机组织起来协同解决复杂科学与工程计 算问题【，对于网格提供的计算能力，有四个要求，分别是：可靠性要求、标准 化要求、易访问性要求、价格低廉要求【”。网格的可靠性要求就是必须提供连续、 稳定和安全的计算能力，尤其在金融领域的应用中，不能因为网格内部个别资源 的动态离开而对网格应用造成影响。因此本文提出了一种基于高可用性数据计算 的网格体系结构，利用底层资源的冗余技术来实现网格计算所提供的高可用性， 保证网格能提供持续、稳定的计算能力。 1 2 网格计算技术及其高端计算机的国内外研究现状 网格技术主要目标是将互联网上的资源全面连通，尤其是高端计算机和昂贵 的仪器设备实现互联共享1 6 j 。目前国内外都在进行大量的网格技术研究，包括从 美国、欧洲、日本等发达国家到印度这样的发展中国家，都启动了大型网格研究 计划，国内有中科院的织女星网格、华中科技大学的瀚海网格计算平台等。网格 技术的应用也非常的广泛，包括分布式飞行器引擎诊断、分布式遥现、生物医学 科研网、高能物理的联合计算、基于桌面计算机网格的虚拟筛选、访问网格协作 系统等等 7 1 。 1 2 1 网格计算技术国外研究现状 目l j 国外的网格研究项目有：美国的g l o b u s 项目( 它的核心部分就是元计 算工具包，它还开发出在各种平台上运行的网格计算工具软件t o o l k i t ) ，该项 目的研究目标主要有两个：其一是网格技术的研究；其二是相应软件的开发和标 准的制定。同时g l o b u s 项目还涉及到网格应用的开发及实验床的建立；澳大利 亚的g r i d s i m 项目，首要目标是通过模拟来研究基于计算经济模型的有效资源分 配方法。g “d s i m 通过资源的“买”和“卖”来引入“经济模型”，从而达到控 制网格资源使用的目的：日本的n i n f ( 全球计算基础设施项目，它允许用户访 问硬件、软件、数据等分布在广域网上的资源) ；韩国开展的n + g r i d 项目( 目 标是建立韩国国家网格，包括计算网格、数据网格、访问网格和应用网格四大部 硕士学位论文 分) ，该项目试图把韩国的超级计算机和高性能集群连在一起，建立应用实验床、 应用门户，开发工具的应用程序，最终建立一个支持多个领域应用的网格，并跨 越工程计算领域和科学研究领域。2 0 0 2 年g l o b u s 小组和i b m 联合提出o g s a 的网格体系结构，将w e bs e r v i c e 和g r i d 相结合，同时i b m 宣布新的战略，全 面转向e b u s i n e s so nd e m a n dc o m p u t i n g 战略。i b m 的o nd e m a n dc o m p u t i n g 计划将整合其包括硬件、存储、网络计算在内的i t 基础设施，网格、数据库、 中间件和操作系统，以及业务咨询服务，针对企业级的i t 应用及业务流程变革， 提供一种前所未有的按需使用。o nd e m a n d 综合计算、数据存储、管理、网格、 中间件等技术，提供一个全面的综合服务，其特性是开放、集成、虚拟和自主。 o nd e m a n d 将开辟信息工业的新局面。为此i b m 每年斥资1 0 0 亿美元。h p 公司 也提出了u t i l i t yc o m p u t i g 计划和u t i l i t yd a t ac e n t e r 产品。o r a c l e 公司2 0 0 2 年 1 1 月推出面向网格的基于g 1 0 b u s 的数据库应用工具。此外，加拿大的p l a t f o r m 公司较早地转向网格计算，在网格论坛中联合提出计算网格的n p i 结构和标准， 也推出商业版的g l o b u s 系统。i n t e l 公司也积极参加网格计划。a v a k i 公司实现 了基于网格软件l e g i o n 系统的网格产品。 1 2 2 网格计算技术国内研究现状 我国网格研究项目有：国家网格c n g r i d ( 科技部) 、中国教育科研网格计 划c h i n a g r i d ( 教育部) 、e s c i e n c e 网格研究计划( 国家基金委) 、上海交通信 息网格以及中国空间信息网格、中科院的织女星网格( 主要包括织女星网格体系 结构的研究、面向网格的超级服务器研究、织女星网格操作系统、网格计算协议 栈) 以及华中科技大学瀚海网格计算平台等。中国国家网格目前包括8 个节点， 其中两个主节点，6 个普通节点，全网格的聚合计算能力超过1 5 t f ，存储能力超 过1 0 0 t b 【8 】。中国国家网格将成为持续开展网格技术研究和网格应用示范的实验 床，它所提供的资源将大大提高我国科学研究和信息技术开发能力。2 0 0 3 年1 2 月，以技术见长的曙光和以市场运作著称的联想均不甘落后，宣称其所研制的高 性能计算机均己在网格领域有了可以作为样板工程的应用。1 2 月1 5 日，曙光宣 称其研制出的十万亿次高性能计算机一一曙光4 0 0 0 a 将落户上海超算中心。联想 则宣布其研制的4 2 万亿次的高性能计算机一深腾6 8 0 0 被安置在中科院【9 】。而上 海超算中心和中科院恰恰构成了“中国国家网格”一南一北两个主节点。在国家 8 6 3 的规划中，北京主节点要求构建4 万亿次秒以上的计算能力的基础设施， 而上海主节点则要求1 万亿次秒以上的计算能力的基础设施。 1 2 3 网格计算技术应用 网格应用主要有：生物医学( 网格可提供药品开发人员所需的计算能力，用 以研究药物和蛋白质分子的形态与运动。) ，例如2 0 0 3 年2 月5 日i b m 、u n i t e d 基于高可用性数据计算的网格体系结构研究 d e v i c e s 及a c c e l i v s 发表了旨在开发天花治疗药物的天花研究网格计算项目，对 3 5 0 0 0 万种侯选的治疗药物及数种蛋白质和天花病毒进行化学互相作用的分析； 分布式超级计算( 两个典型的分布式超级计算机应用：l 军事仿真项目s fe x p r e s s 它将大规模军事仿真任务分解到分布式环境中运行；2 数字相对论，它利用网格 求解爱因斯坦相对论方程并模拟出天体的运动规律。) 【1o j ；分布式仪器系统，例 如：远程医疗和远程贵重仪器( x p o r t 项目) ：数据密集型计算，例如：欧洲原 子能研究机构c e r n 所开发的数据网格项目；远程沉浸( 是一种特殊的网络化 虚拟现实环境，这个环境可以是对现实或历史的逼真反映，可以是对高性能计算 结果或数据的可视化，也可以是纯粹虚构的空间。) ，例如：e v l 等开发的虚拟 历史博物馆、协同学习环境、数据可视化分析环境等；高性能计算方面，计算网 格的建立有利于各计算中心实现资源共享、充分利用硬件和软件资源以节约成 本，它能够在基础研究、汽车、大型水电工程、石油勘探、气象气候、航空、交 通、金融、医疗等领域发挥空前的作用：其他的应用还有包括复杂的仿真与设计； 数据收集分析；娱乐产业、特殊效果设计；超级视频会议等。 1 3 高可用性计算及其机群的研究现状 计算机系统的可用性是指系统提供正常服务的时间占系统总的运行时间的 比例，可以用一个百分数或者一个概率值来度量，也可以用一年内系统正常运转 的时间来度量【1 1 1 。在大规模的计算机系统中，节点的失效和网络连接故障是经 常发生的，例如，大规模计算机系统a s c i q 的整个系统的平均无故障时删 ( m t b t ) 只有几个小时，全球最大的i n t e t n e t 搜索引擎g o o g l e 系统中使用了 大约8 0 0 0 个节点，每年节点的故障率为2 一3 ，相当于每3 6 个小时就有一个节 点失效。最近，在对一个大型工业企业网络内6 4 0 0 0 多台桌面计算机( 这些计算 机构成了虚拟的p c 机群，可以作为企业和大学使用的计算平台。) 的可用性研究 中发现，在2 4 h 内有5 一1 0 的机器不能使用；在对其进行的生命期评估中发现， 在1 0 0 天时间内有多达1 3 的机器无法连通【8 l 。在这种频繁发生资源失效的计算 环境中，应用常常会由于资源失效而停顿，而大部分应用对停顿的时间有严格的 限制，要求系统提供相应的可用性保证。可用性分析模型主要分成两类，非状态 空间模型( 可靠性框图模型r e l i a b i l i t yb l o c kd i a g r a m r b d 和故障树模型) 和状态 空间模型。后者包括马尔可夫模型，随机p e t “网模型和收益网模型【1 2 】。 机群：机群技术旨在把一群计算机( 如工作站、微型机、大型机等) 用网络 以某种结构互联起来，充分利用各计算机资源，统一调度、协调处理，实现高效 率并行计算【”】。几乎所有的计算机厂商都推出了机群( c l u s t e r ) 结构的高端计 算机，在美国达拉斯举彳亍的s u p e r c o m p u t i n 9 2 0 0 0 国际会议与展览会上，展出的 大部分产品都是c l u s t e r 类型的并行计算机。c l u s t e r 系统不仅通过增加节点机 4 硕士学位论文 ( n o d e ) 易于提高系统性能，保护用户投资，而且可用性高，一个节点出故障不 会引起全系统瘫痪【1 4 】。【1 5 】。目前世界上性能最高的超级计算机一i b m 研制a s c l w h i t e 超级计算机就是5 1 2 台s m p 多处理机组成的机群系统，共包含8 1 9 2 个处 理机，峰值速度达每秒1 2 3 万亿次浮点运算，这种机群系统称为c l u m p ( c l u s t e r o fm u l t i p r o c e s s o r s ) 。 l i n u x 机群正在大举进入华尔街金融证券业的一般业务和核心业务领域，其 原因有四：实际应用性能明显地优越于u n i x 小型机系统，高可用机群技术可以 保障足够的可用性，总的拥有成本低，强有力的应用支持和技术支持【1 6 j 。因此 今后的机群系统将是实现高可用性的硬件基础。 1 4 本文研究的内容 本文主要介绍了网格计算中一种完全分布的网格任务调度算法以及高可用 性的度量方式；主要提出了基于资源池一记忆棒的网格资源管理方法，以及高可 用性数据计算的网格体系结构，把网格环境中的资源设计成由几台虚拟高性能计 算机组成的环境，利用虚拟高性能计算机实现用户的高性能数据计算，使得虚拟 高性能计算机像本地系统的机群一样。并从两个角度进行验证，一是从搭建本地 系统的软硬件体系结构来说明高可用性( 介绍了一种基于l i n u x 操作系统的，本 地高端计算机系统组成的高可用性数据计算的体系结构，利用c 程序设计语言 以及u n i x 网络编程技术来进行应用程序的开发，硬件通过六台高性能计算机( p c 采用曙光天阔r 4 2 8 0 a 高可用服务器) 来搭建平台，其中一台作为数据发送节点， 三台作为数据计算节点，以及台作为数据监测节点，一台作为同步节点。通过 实验得出该结构的可靠性以及数据计算的高可用性。) ；二是从网格环境的理论 角度分析其高可用性。从而说明该网格环境中的体系结构的高可用性。 1 5 本文的内容安排 第一章简述了网格计算以及高性能计算机的概念、国内外研究现状、发展情 况和应用范围。 第二章介绍了目前两种主要的网格体系结构，五层沙漏结构和开放网格服务 结构( o g s a ) 。 第三章主要介绍了目前一些常用的可用性技术以及网格计算中应用可用性 分析，提出了冗余节点的计算。 第四章主要提出了一种基于资源池一记忆棒的资源管理模式和任务调度算 法。 第五章主要提出了一种基于高可用性数据计算的网格体系结构，并搭建了本 基于高可用性数据计算的网格体系结构研究 地系统的模拟环境，利用本地系统的环境来模拟网格环境，并用实验来验证网格 体系结构中关键思想的正确性，以及从理论角度对高可用性的网格环境进行分 析。从而验证该体系结构的高可用性。 硕士学位论文 第2 章网格计算的两种体系结构 网格体系结构就是关于如何构建网格的技术。它给出了网格的基本组成与功 能，描述了网格各组成部分的关系以及它们集成的方式和方法，刻画了支持网格 有效运转的机制。 目前比较重要的网格体系结构有两个：一个是f o s t e r 等在早些时候提出的五 层沙漏结构；另一个是在以i b m 为代表的工业界的影响下，在考虑到w e b 技术 的发展与影响后，f o s t e r 等结合w 曲s e r v i c e 提出的开放网格服务体系结构 o g s a ( 0 p e ng “ds e r v i c e sa r c h i t e c t u r e ) 。 2 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，主要侧 重于定性的描述而不是具体的协议定义，因此很容易从整体上进行理解。下面分 别从基本思想、结构描述、与g l o b u s 的对比以及应用实例等几个方面进行介绍。 2 1 1 基本思想与概念 在五层沙漏结构中，一个最重要的思想就是以“协议”为中心，也十分强调 服务与a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e i f a c e s ) 和s d k ( s o f t w a r ed e v e l o p m e n t k i t s l 的重要性 1 7 1 。 共享 这里的共享不只是交换文件，而是更强调对计算机、软件、数据以及其他资 源的直接访问。这种需求在工业、科学以及工程等许多领域中都会遇到。而且这 种共享还必须是高度受控制的，需要在资源控制者和使用者之间小心地定义什么 是可以共享的，哪些人可以共享，在什么条件下可以共享。而“虚拟组织”就是 基于这样的一些共享规则，由一些个人或者团体形成的集合体。这里的共享关系 又是十分灵活的，包括三种基本的形式，即客户端与服务器( c s ) 的共享、端到 端( p 2 p ) 的共享以及代理( p r o x v ) 共享。 这里的共享是一种随时间变化的动态的共享，而不是静态的共享。网格具有 动态性的特点，网格资源的共享也必须满足动态性的要求。在一些a s p s s p 的 应用中，其共享是基于静态的配置建立起来的，因此缺乏灵活性，利用网格可以 建立动态的计算与存储资源共享。而且这种共享不能够局限在某一机构或者单位 内，它是一种更广泛的共享，可以跨越不同的单位与组织的管理范围。当然这种 共享也是跨越不同的地理位置的。 因此，在五层沙漏结构中的共享，是深层次、广泛、动态、具有多种形式的 7 基于高可用性数据计算的网格体系结构研究 有条件、受控制的共享。这是和我们以前所见到的共享形式有很大区别的。 互操作性 另外一个重要的概念就是互操作性，这里将共享定义为对各种资源的直接访 问，也就是支持互操作。共享关系需要在任意的组织、团体之间在一开始就建立， 可以动态增加新的成员，并且可以跨越不同的平台、语言和编程环境，在这样的 情况下，如果不能够提供一种互操作机制，使得可以跨越不同的组织边界、使用 策略以及资源类型，就不能够达到共享的目的。没有互操作机制的保证，动态虚 拟组织的形成是非常困难的，而且可以形成的虚拟组织的类型也是非常有限的。 协议 而为了实现互操作就必须有相互遵守的协议。这里的协议是指为了实现特定 的操作而定义的分布式系统元素之间的方式以及交互过程中交换的信息的结构。 它侧重于外部的行为而不是内部的特征，这对定义网格体系结构很有使用价值。 这里提出的五层网格结构首先是一个“协议结构”，通过协议可以实现一种 机制，使得虚拟组织的用户与资源之间可以进行资源使用的协商，建立共享关系， 并且可以进一步管理和开发新的共享关系。这一标准化的开放结构对网格的扩展 性、互操作性、一致性以及代码共享都很有好处。 共享需要互操作，而实现互操作需要定义协议，因此五层沙漏结构中特别重 视协议的定义。正如同w c b 通过提供统一的协议和语法来进行信息共享，从而 引起了信息共享的革命那样，在网格中，也需要标准化的协议和语法用于通用的 资源共享。 服务 服务是由它使用的协议和实现的行为定义的，标准协议还使得定义标准服务 更加容易。标准服务的定义可以进一步提供增强的能力，使虚拟组织参加者得到 更多的服务。由于这些服务抽象掉了与资源相关的细节，所以非常有利于虚拟组 织应用的开发。 a p i s d k 在五层沙漏结构中，同时还提供a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e s ) 和s d k ( s o f t w a r ed e v e l o p m e n t 飚t s ) ，使得在建立网格应用时可以在抽象的基础 上提高编程的级别。因为有更多的应用是针对虚拟组织的，而不是针对低级的互 操作、协议或者服务，开发者要能够在复杂、动态执行的环境中开发高级的应用， 借助于a p l 、s d k 就可以加速代码开发，实现代码共享，以及增强应用的移植 性。a p i 和s d k 是附属于协议的，而不是协议的替代。 五层划分 在五层沙漏结构中，最下层是构造层，构造层是面对一个个具体的物理资源， 通过对局部资源的管理，向上层提供对这些资源的管理和控制界面：构造层的上 硕士学位论文 面是连接层，主要是为下层的物理资源提供安全的数据通信能力，这是资源之间 进行互操作的前提，连接层使得孤立的单个资源之间建立了联系；连接层的上面 是资源层，它反映的是抽象的局部资源的特征；而资源层上面是汇聚层，完成的 功能是如何将下面以单个资源形式表现出来的资源集中起来，协调解决多个资源 之间的问题；最上面的应用层和资源的距离最远，它关心的是有什么样的资源可 以由下面提供给虚拟组织，解决不同虚拟组织的具体问题【”】。五层结构的另外 一个重要特点就是沙漏形状。 工具与应用应用层 目录代理诊断与监控等汇聚层 资源与服务 资源连接层 各种资源，比如计算机，存储介质等构造层 图2 1 五层沙漏结构功能映射示图 2 1 2 结构描述 网格构造层的基本功能就是控制局部的资源，向上提供访问这些资源的接口 【” 。构造层应该实现的基本功能包括：查询机制、控制服务质量的资源管理能 力等，构造层的资源包括计算资源、存储系统、目录、网络资源以及传感器等【2 引。 连接层的基本功能就是实现相互的通信1 2 ”。它定义了核心的通信和认证协 议，用于网格的事物处理之中。通信协议允许在构造层的资源之间交换数据，要 求包括传输、路由、命名等功能。 资源层的主要功能就是实现对单个资源的共享【2 “。资源层建立在连接层的 通信和认证协议之上，定义的协议包括安全初始化、监视、控制单个资源的共享 操作、审计以及付费等。 汇聚层的主要功能是协调“多种”资源的共享，它能够实现多种不同的共享 行为，而不需要对共享资源施加新的限制【23 1 。可以作为永久的服务来进行实现， 包括相关的协议以及与应用相关联的a p i s d k 。 基于高可用性数据计算的网格体系结构研究 汇聚层 资源层 构造层 应用 协同预留服务a p i s d k 协同预留服务 脚同分配a p i s d k 资源管理a p i s d k 资源管理协议 图2 。2 服务层、资源层协同工作示例 应用层是在虚拟组织环境中运行的用户应用，这些应用是根据并且调用其它 层次上定义的服务来构造的。在每一层都定义了协议和a p i ，它们用来访问一些 有用的服务。 2 2 开放网格服务体系结构 如果说五层沙漏结构是以协议为中心的“协议结构”，则开放网络服务体系 结构o g s a ( 0 p e n g r i ds e r v i c e s a 工c h i t e c t u r e ) ，就是以服务为中心的“服务结构” 【”】。这里的服务是指具有特定功能的网络化实体。在五层沙漏结构中，强调的 是被共享的物理资源( 或者是这些资源所支持的服务) ，在o g s a 中，服务所指 的概念更广，包括各种计算资源、存储资源、网络、程序、数据库等等，简而言 之，一切都是服务。五层模型试图实现的是对资源的共享，而在o g s a 中，实现 的将是对服务的共享。从资源到服务，这种抽象将资源、信息、数据等统一起来， 十分有利于灵活、一致、动态的共享机制的实现，使得分布式系统管理有了标准 的接口和行为。为了使服务的思想更加明确和具体，0 g s a 定义了“网格服务” 的概念。这种面向服务的观点将互操作性问题转化成为两个子问题：服务接口的 定义和识别调用指定接口的协议1 2 “。0 g s a 中定义了一种w e bs e r v i c e 一“网格服 务”( g r i ds e r v i c e ) ，它是遵守特定惯例的一组接口定义，完成服务发现、动 态创建服务、生命周期管理、通知和易管理性等问题。每一个网格服务都必须支 持g r i ds e w i c e 接口，另外0 g s a 中还定义了多种其它的通知和创建实例接口，用 户也可以随意为特定应用定义接口。图2 3 是对网格服务的简单描述。 硕士学位论文 绑定特性 可靠激活 认证 服务数据的访问 其他接口 显示撤消 软状态生命周期 圜圜圈 标准接口 通知 授权 服务创建 服务注册 管理 开发 图2 3 网格服务示意图 2 2 1o g s a 两大支撑技术 建造o g s a 的两大支撑技术是网格技术和w e bs e r v i c e g l o b u s 是已经被科学 与工程计算领域广泛接受的网格技术求解方案，w e bs e r v i c e 是一种标准的存取 网络应用的框架1 2 。 g l o b u s 项目是目前国际上最有影响的与网格计算相关的项目之一，它起源于 2 0 世纪9 0 年代中期，其最初的目的是希望把美国境内的各个高性能计算中心通过 高性能网络连接起来，方便美国的大学和研究机构使用，提高高性能计算机的使 用效率2 7 l - 【29 1 。该工具包解决了安全、信息发现、资源管理、数据管理、通信、 错误检测以及可移植性等问题。g l o b u s 工具包主要实现四个方面的内容：( 1 ) 网 格安全；( 2 ) 网格信息获取与分布；( 3 ) 网格资源管理；( 4 ) 网格远程数据传输【30 1 。 g l o b u s 项目实现的主要组成部分包括网格安全基础设旌、g l o b u s 资源分配管理、 元计算目录服务、全局二级存储服务、网格f t p 服务、g l o b u s 复制管理。 w e bs e r v i c e 的核心是在大的异构网络上将各种应用连接起来，借助于w e b 标准u d d i 、w s d l 和x m l s o a p 等将i n t e r n e t 从一个通信网络进一步发展到一个 应用平台。 2 2 2o g s a 服务接口和功能实现机制 o g s a 不同的功能是由不同网格服务接口实现的，其中g r i d s e r v i c e 是o g s a 服务接口中唯一必需的服务【”1 。其它的服务还包括：f a c t o r y ，创建新的网格服 务实例的服务；r e 百s t r y ，网格服务句柄的软状态注册( 支持服务发现的网格服 务) ；h a n d l e m a d ，返回与网格服务句柄( g s h ，在服务的生命周期内不变) 相 联系的网格服务实例的引用( g s r ，在服务的生命周期之内可变) ，通知机制 ( n o t j f i c a t i o n s o u r c e 和n o t i f i c a t i o n s i n k 接口) 等【3 2 】。 ogsa 定义了网格服务实例的语义，即如何创建以及命名；如何决定生命 基于高可用性数据计算的网格体系结构研究 周期的结束；如何相互通信等等f 3 3 】。但是0gsa 对服务做什么以及该服务如何 执行并不作要求，也不解决关于如何实现编程模型、编程语言、实现工具和执行 环境等问题。实际上，所有网格服务都是在一个特定的运行执行环境或者主机环 境中被实例化的，特定的环境不仅定义了编程模型、编程语言、开发工具以及调 试工具的实现，而且定义了一个网格服务的实现如何满足网格服务语义的要求。 在这样的环境中，服务自身可以以不同的语言实现，比如c ，c + + ，j a v a 或者 f o r l r a n 。网格语义可以作为服务的一部分直接实现，或者通过链接特定的“库” 链接到应用中。 网格服务是有状态的，并且可以动态地创建和撤消，这样就需要通过一种方 式来将一个动态创建的服务与另外一个服务区别开来。因此，每一个网格服务都 被附以一个全局唯一的名字，即网格服务句柄( g s h ，g r i d