（计算机软件与理论专业论文）基于网格环境的资源存取的研究.pdf

四 川大学硕士学位论文 r - 0 e s s 8 基于网格环境的资源存取的研究 计算机软件与理论专业 研究生:杨新刚指导老师:唐宁九 近年来，随着网络化和智能化趋势的发展，人类的应用迅速朝着高性能、 多样性、多功能发展，许多大规模的科学计算不仅仅需要一台高性能计算机， 它还更需要由多种机器组成、多个系统合作、多个科学仪器设备相连的网络虚 拟超级计算机。这些应用要求将地理上分布、异构的多种计算资源通过高速网 络连接起来，共同完成计算任务。网格正是在这种背景下诞生的，其目 标是将 地理上分布、 异构的高性能计算机、 数据服务器， 大型检索存储系统和可视化、 虚拟实现系统等， 通过高速互连网 络连接并集成起来， 共同完成一些缺乏有效 研究办法的重大应用研究问题。通过利用网络上的大量计算资源、丰富的开发 工具和友好的人机界面，以及各种不同性能和功能的信息系统，进行高性能的 并行与分布式计算，解决核模拟、气象、航天、生物化学、神经和环境等重大 科学应用领域的计算问题。 网格技术的产生主要有以下几个原因: 计算资源的广域分布 广域互连技术的发展 广域范围内资源共享的需求 网 格计算技术在产生的初期主要集中 在高性能科学计算领域，而现在网 格 并不局限于此，出 现了 适用于不同应用领域的网 格技术， 如生物网 格、 信息网 格等。网格最大的优点 之一是有利于全国乃至全球范围内 各种计算和数据资 源 的共享。 这些资源包括多种文件系统、 数据库资源、 高性能计算机、 贵重设备、 软件等。 中国 科学院计算技术研究所承担的国家 8 6 3项目 一 面向网格的 超级服务 四川大学硕士学位论文 器曙光 4 0 0 0 ， 提出了 织女星网 格( v e g a g r i d ) 研究，它继承了已 有计算机的设 计方法和思想，即将网格看成是一台虚拟的、具有单一系统映像的超级计算机 系统，其实质就是利用网格技术实现计算资源和信息的共享。网格中的数据资 源各种各样，表示、存储的形式也各不同。一些数据可能以文件形式存储，一 些数据存储在数据库或数据仓库中， 另一些存储在如同h p s s 的a r c h i v e 档案系 统中，还有一些数据是由多个分布存储系统中的数据组成的。方便而有效地访 问各种异构数据组成的数据集合是网格的一个主要功能和关键技术。如果为每 一种数据存储方式提供一种访问方法，用户是不可能接受的。因此，网格必须 抽象各种数据存储系统，形成一个抽象模型，为不同的数据存储系统提供统一 的数据访问接口。数据访问 服务的作用就是将存储、检索数据集等高层用户的 请求映射为异构分布式存储环境中的底层存储访问操作，实现广域范围内对数 据有效的统一访问和管理. 本文就网格环境下资源存取的设计与实现问 题进行了深入的研究，并在现 有的技术条件下提出并详细分析了作者的设计方案，介绍了具体实现工作，同 时就设计与实现工作中的关键技术问题进行了分析和讨论。 关键词: 织女星网格 w e b 服务 简单对象存取协议 o c p设计模式 四川大学硕士学位论文 th e re s e a r c h of re s o u r c e ac c e s s b a s e d on v e g a gr i d ma j o r c o m p u t e r s o ft w a r e 第三部分对资 源存取的框架模型进行了性能评价，最后是对该论文的总结。 四 川大学硕士学位论文 第二章 织女星网格体系结构描述 2 . 1织女星网格的设计思想 织女星网格最突出的思想就是以“ 服务” 为中心。 在其框架中， 将一切都 抽象为服务， 包括计算机、 程序、 数据、 仪器设备等。 这种观念， 有利于通过 统一的标准接口来管理和使用网格.w e b s e r v i c e 提供了一种基于服务的框架 结构，但是， w e b s e r v i c e面对的一般都是永久服务，而在网格应用环境中， 大量的是临时性的短暂服务， 比如一个计算任务的执行等。 考虑到网格环境的 具体 特点， 织女星网 格在原来 w e b s e r v i c e服务概念的 基础上， 提出了“ 网 格 服务( g r i d s e r v i c e ) ”的概念， 用于 解决服务发现、 动态服务创建、服务生 命周期管理等与临时服务有关的问题。 基于网格服务的概念， 织女星网格将整个网格看作是“ 网格服务” 的集合， 但是这个集合不是一成不变的， 是可以扩展的， 这反映了网格的动态特性。网 格服务通过定义接口来完成不同的功能， 服务数据是关于网格服务实例的信 息，因此网格服务可以简单地表示为 “ 网格服务=接口 / 行为+服务数据”。 图2 - 1 是对网格服务的简单描述。 服务数据的访问 显式撤消 软状态生命周期 gr i d s e r v i c e ( 必需的) 其它接口 ( 可选的) 标准接口: 一 通知 一 授权 一 服务创建 一 服务注册 一 管理 一 并发 绑定特性 一 可靠激活 一 认证 服 务 数 据 服 务 数 据 服 务 数 据 实现 运 行 环 境 面向 特别应用的接口 ( c , m e , . n e t ) 图2 - 1 网格服务组成 目 前， 网格服务提供的接口 还比 较有限， 织女星网格还在不断的完善过程 之中，下一步将考虑扩充管理、安全等等方面的内 容。 四川大学硕士学位论文 在织女星网格中， 可以 基于简单的基本服务， 形成更复杂、 更高级、 更抽 象的服务。 比如一个复杂计算问题所需要的服务， 包括网络、 存储、 数据查询、 计算资源等各方面的 服务， 可以 将这些基本的服务组织起来， 形成一个高级的 抽象服务，方便地为应用提供支持。图2 - 2 是网格服务组成关系的示意图。一 个高级的抽象服务可以由 a , b , c三个不同的服务组成，而a 和c又分别是由 其它的更具体的服务组成的， d , e , f共同完成朋民 务的功能， 而g和h完成c服 务的功能。 以网格服务为中心的模型具有如下好处: 首先， 由于网格环境中所有的组 件都是虚拟化的( v i r t u a l i z e d ) 。因此，通过提供一组相对统一的核心接口， 所有的网格服务都基于这些接口 实现，就可以很容易地构造出具有层次结构 的、 更高级别的服务， 这些服务可以 跨越不同的抽象层次， 以 一种统一的方式 来看待; 其次， 虚拟化使得将多个逻辑资源实例映射到相同的物理资源上成为 可能， 在对服务进行组合时不必考虑具体的实现， 可以以底层资源组成为基础， 在虚拟组织( v i r t u a l o r g a n i z a t i o n ) 中 进行资源管理。通过网格服务的虚拟 化，可以将通用的服务语义和行为，无缝地映射到本地平台的基础设施上。 图2 - 2织女星网格复杂服务构成示例 2 . 2织女星网格体系结构 随着网格计算研究的深入， 人们越来越认识到网 格体系结构的重要性。 网 格体系结构是关于如何建造网 格的 技术， 包括对网 格基本组成部分和各部分功 能 的 定义和描述、 网 格各 部分相互 关系与 集成方 法的 规定以 及对网 格有效运 行 机 制的刻画。 显然， 网格体系结构是网格的骨架和灵魂， 是网格最核心的技术， 四川大学硕士学位论文 只有建立合理的网格体系结构， 才能够设计和建造网格， 才能够使网格有效地 发挥作用。 织女星网格是一种基于开放网格的体系结构， 即是基于“ 下一代的网格体 系结构” 。 这一结构的意义， 就在于它将网格从以科学与工程计算为中心的学 术研究领域， 扩展到更广泛的以 分布式系统服务集成为主要特征的社会经济活 动领域。 织女星网格的体系结构分为三个层次，即硬件层、操作系统层和应用层。 网格硬件包括广域分布的计算资源， 如高性能计算机、 贵重仪器以及互连系统; 网格操作系统是基于网格硬件开发的系统软件， 完成资源管理、 数据管理、 协 议处理并提供应用编程接口( a p i ) ;网格应用层向网格用户提供一体化、透明 的使用模式。其体系结构图如下所示: 客户端 图2 - 3 织女星网格体系结构 2 . 3织女星网格的硬件 织女星网 格硬件包括网 格客户端设备、 计算资源和互连系统， 其中资源路 由 器( r e s o u r c e r o u t e r ) 是互连系统的关键组成，图2 - 4 给出了 织女星网格硬 件的拓扑结构。 2 . 3 . 1计算资源 在织女星网 格中， 计算资源主要指广域分布的、 异构的高性能计算机以 及 仪器设备等基础设施， 包括构成这些资源的硬件和软件。 我国“ 八六三” 计划 智能计算机研究“ 国家高性能计算环境” 已 经在全国 建立了曙光、 银河等十多 四川大学硕士学位论文 个高性能计算结点， 可以向网格提供高性能的硬件资源。 同时， 中科院计算所 正在研制的曙光4 0 0 0 和曙光5 0 0 0 高性能计算机， 它们将是面向网格的超级服 务器，是织女星网格的硬件基础。 图 2 - 4织女星网格硬件拓扑结构 2 . 3 . 2互连系统 织女 星网格的互连系统是指连接各种计算资源的网 络系统。 除了 利用现有 的工 n t e r n e t 之外， 织女星网 格还可 通过高 速宽带网 连 接各种计 算资 源， 提供 高速数据传输能力。在现有t c p / i p 协议的基础之上，织女星网格互连系统设 计了 网 格计算协议 g c p ( g r i d c o m p u t i n g p r o t o c o l ) 作为 互连协议。 下图 给出 了织女星网格互连协议的层次结构 计算表示协议 资源路由协议 t c p q p 协议 网格计算协议 图2 - 5织女星网格互连协议层次结构 7 四川大学硕士学位论文 2 . 3 . 3资源路由器 资源路由器是织女星网格体系结构中的重要组成部分。在 i n t e r n e t 中， i p路由器实现了数据报的路由 和转发，并最终将数据传送到目的地。在织女 星网格中， 资源路由器将完成计算请求的路由和转发， 并将计算请求转发给能 够满足此请求的计算资源。资源路由器主要完成以下功能: ( 1 ) 资源注册/ 注销:资源路由器是网格计算资源的接入设备，计算资 源在资源路由器中注册后，相当于在网格中分配了一个 “ 地址” ， 可以被全网格共享 ( 2 ) 资源路由信息收集/ 更新:资源路由信息是有关资源所在位置的信 息， 作为对资源请求进行路由和转发的依据. 由于资源的动态变化， 资源路由器之间、资源路由 器和资源之间需要定时进行路由信息的 更新。 ( 3 ) 资源请求的路由/ 转发:当资源路由器接收到一个资源请求后，它 需要根据资源路由信息为这个请求选择一条路径并将其转发给对 应的资源路由器 2 . 4织女星网格操作系统 在传统的计算机系统中， 操作系统是硬件资源的管理者。 同样， 在织女星 网格中，网格操作系统是网格硬件资源的管理者。 2 . 4 . 1资源管理 织女星网 格操作系统实 现对全网 格计算资源的 统一管理， 隐藏资源的异构 性、动态性和分布性，提供可靠的资源使用方式。资源管理的主要功能如下: ( 功资 源的命名( r e s o u r c e n a m i n g ) :在网 格环境下，资源种类复杂纷繁， 因此需要对不同的资源分配不同的名字以示区别，而且这种命名必须 是全局一致的。 ( 2 ) 资源的绑定( r e s o u r c e b i n d i n g ) :资源的绑定指对资源的可靠分配， 即 在计算开始执行 之前必 须获得确实可用的 计算资 源。由 于网 格计算 资源的不可靠性，网格操作系统还需要提供重绑定的功能，可以在已 绑定资源失效后自 动获得新的计算资源. 四川大学硕士学位论文 ( 3 ) 资源的协同( r e s o u r c e c o o p e r a t i o n ) :网 格环境下，一个计算资源可 能需要同时使用分布在不同地点的多个资源，网格操作系统需要提供 资源协同分配、协同使用的功能 2 . 4 . 2数据管理 在现有的计算机系统中， 存储系统负责数据的管理。 存储系统分为两个层 次， 即存储设备和文件系统， 存储设备完成对数据的 物理保存， 而文件系统负 责对这些数据进行逻辑上的组织。 网格环境下， 数据的物理保存由提供存储能 力的计算资源完成。织女星网格使用一种新的文件系统网格目录文件系 统， 来实现对数据的逻辑组织。 通过数据复制、 文件层次结构命名的方法， 网 格目 录文件系统把分散、 异构、 不可靠的数据进行集中管理， 屏蔽数据的异构 特性，并保证数据的可靠使用。 . . . “ . “ ” . ” “ . . . 图2 - 6织女星网格文件系统组成 织女星网格文件系统由 三个部分组成: 分布的、 异构的物理文件， 逻辑文 件目 录以 及远程文件访问 协议。其组成结构如图2 - 6 所示 2 . 4 . 3网格计算协议( g r i d c o m p u t i n g p r o t o c o l ) 在织女星网格中，资源的 提供者和使用者都需要完成网格计算协议( g c p ) 的相应模块， 对各种协议报文进行处理。 g c p 协议分为两层， 即资 源路由 协议 和计算表示协议。 资源路由协议是一种广域范围内的资源查找协议， 而计算表 示协议是对网格计算的通用描述。 资源路由 协议是完成资 源请求从发送到接收过程中 所使用的 握手信号。 资 源 路由 协议与i p 路由协议类似之处在于二者都使用某种路由算法转发客户端 四川大学硕士学位论文 的请求报文，二者的区别在于i p 路由协议完成数据报文的转发，而资源路由 协议完成资源请求报文的转发。 计算表示协议是关于如何使用资源的协议， 也 可以 看成是描述计算的协议。 在计算表示的框架内， 资源的使用者不必关心资 源提供者的具体实现就可以透明地使用其提供的资源。 织女星网格的g c p 协议 如图2 - 7 所示。 图2 - 7织女星网格g c p 协议的层次结构 2 . 4 . 4织女星网格的应用编程接口 在t c p / i p 协议栈的基础上，b s d u n i x 4 . 1版本提出t套接字( s o c k e t ) 的 接口。套接字对网络进行了 抽象，通过一组有确定含义的接口 完成 t c p / u d p 通信。 织女星网格操作系统借鉴了这种设计思想， 对网格计算进行了抽象定义， 提供一组具有特定含义的编程接口，用于开发织女星网格上层应用系统. 执行顺序 图 2 - 8织 女 星 网格编 程接 口 四川大学硕士学位论文 图2 - 8 给出了织女星网格基本的编程接口，每个接口的定义如下: v e g a ( ) :创建一 个网 格 接口 ， 返回 一 个格 描 述符( g r i d d e s c r i p t o r ) 表示这个计算 b i n d ( ) :查找计算所需要的资源， 在找到资源后将其与当前格描述符 绑定，即将当前的网格计算与找到的资源建立映射关系 r e a d ( ) : 从网格取回计算结果 w r i t e o :将计算提交给网 格 c l o s e o:结束当前的网格计算 通过这种抽象，对于编程者而言，织女星网格成为一台具有单一入口、 提供各种计算能力的虚拟计算机。 2 . 5织女星网格的使用模式 织女星网格操作系统向 开发人员提供了 编程接口， 而对于网格的最终用户 而言， 使用网格的 模式应该符合简单、 友好的原则。 因 此应用开发人员需要在 网 格操作系统之上建立新型的网 格使用模式。 2 . 5 . t网格应用服务器 网 格应用服务器是基于织女星网格编程接口开发的向网格最终用户提供 特定服务的程序。 网格应用服务器类似于现在的w e b 服务器， 所不同的是w e b 服务器提供的是页面访问服务( p a g e a c c e s s s e r v i c e ) ， 而网 格应用服务器提供 的是资源访问服务( r e s o u r c e a c c e s s s e r v i c e ) 。 圈 2 - s 织女星网格的使用模式 网格应用服务器通过网格编程接口实现对单个计算资源的访问或者协同 使用多个计算资源。通过网格服务请求协议 g s r p ( g r i d s e r v i c e r e q u e s t 四川大学硕士学位论文 p r o t o c o l ) 向网格浏览器提供资源访问 服务。图2 - 9 给出了织女星网 格使用模 式的组成。 2 . 5 . 2网格浏览器和网格服务请求协议g s r p 网格浏览器是图形化的网格客户端访问设备，实现友好的资源使用环境。 网 格浏览器使用网 格服务标记语言g s m l ( g r i d s e r v i c e m a r k u p l a n g u a g e ) ， 并 通过g s r p 协议向网格应用服务器发送资源访问请求。网格服务标记语言是一 种描述网格计算的语言，网格浏览器将g s m l 描述的服务请求发送给网格应用 服务器，网格应用服务器在翻译后调用网格编程接口完成计算任务。 因此， 网格服务请求协议是网格浏览器与网格应用服务器之间进行通信时 所遵循的规范。 通过g s r p 协议， 网格浏览器可以向网 格应用服务器提交资源访 问 请求。 在计算结束后，网格应用服务器将计算结果也通过g s r p 协议返回给 网格浏览器。 g s r p 协议支持现有的h t t p 协议，同时支持双向操作。因此， 我 们不难看出， 织女星网格的使用模式与目 前流行的b / s 模式类似， 其差异在于 数据传输协议。 2 . 6织女星网格应用服务环境的构造 2 . 6 . 1织女星网格应用服务环境的分类 织女星网 格提供了三种运行环境， 分别是简单运行环境、 虚拟运行环境以 及组操作环境。 这三种环境的关系是从简单到复杂， 包含的服务从具体到抽象。 用户直接提出的服务要求， 一般都比 较抽象和复杂， 但是这些要求可以转化为 多个相对基本的要求或者服务， 这样层层分解， 直到找到基本的可以满足的服 务为止，这是和前面介绍的高级抽象服务的构成方法是一致的。 对于简单运行环境， 可以认为就是一些在一个简单的管理范围内的资源的 集合，t 匕 如一个j 2 e e 应用服务，m i c r o s o f t . n e t 系统或者l i n u x 机群。而虚拟 运行环境， 是指与虚拟组织相关连的资源可能 跨越异构、 地理分布的多个运行 环 境( 例如 跨 越 两 个不同 的 运 行 环 境) ， 但是 这一 虚 拟 运行 环境 为 客 户端 提供 相同的访问 接口。 相对于简单运行环境， 虚拟运行环境代理创建低级的资源访 问请求以 及特别的虚拟组织服务策略， 它们用于管理虚拟组织的服务。 组操作 环境是一种更高级的形式。 在这一环境中， 可以 提供给虚拟组织参加者以 更复 四川大学硕士学位论文 服务请求。 旅游应用服务器使用多线程技术调用网格编程接口， 同时向网格提 交三个查询计算， 计算完成后如果所有查询成功， 那么再同时进行航班预定和 景点门票预定， 预定成功后再访问电子银行结点进行付款， 最后完成取票任务。 旅游应用体现了协同使用资源的特点。 这是一个简单的基于织女星网格框架的应用的例子， 它描述了应用在织女 星网格框架下的工作过程和执行机制。 2 . 7其它网格结构形式 织女星网格提出之前， 关于网 格体系结构已 经有了一定的研究， 可以分为 四种主要形式:抽象层次结构、积木块结构、概念空间结构和混合结构. 在抽象层次结构中， 最重要最有代表性的就是五层沙漏结构。 五层沙漏结 构是一种以“ 协议” 为中心的结构， 强调协议在网格的资源共享和互操作中的 地位。 为此根据与底层具体物理资源的距离， 从下到上将网格划分为五层， 分 别是构造层 ( f a b r i c )， 连接层 ( c o n n e c t i v i t y )，资源层 ( r e s o u r c e )， 汇 聚层 ( c o l l e c t i v e ) 和应用层 ( a p p l i c a t i o n )。 五层结构的一个重要特点就 是“ 沙漏” 形状， 其原因就在于各层协议的数量是不同的。 对于最核心的部分， 由 于要能够既实现上层各种协议向自 身协议的映射， 同时实现自 身协议向 下层 其它各种协议的映射， 因为核心协议在所有支持网格计算的地点都应该得到支 持， 所以核心协议的数量不应该太多， 这样核心协议就形成了协议层次结构中 的一个瓶颈。 在五层结构中，资 源层和连接层共同 组成这一核心的瓶颈部分， 如图2 - 1 1 所示。 图2 - 1 1五层沙渭模型的协议分层 四川大学硕士学位论文 五层结构曾经为网格体系结构的发展作出重要的贡献， 使人们认识到了 “ 网格体系结构” 是非常重要的。 要开发网格就必须得先设计好合理的网格体 系结构。织女星网格中犷 服务” 的概念，就是在五层结构所提出的“ 协议” 概 念的基础上发展而来的。 人们在研究中发现: 在许多情况下， 复杂的服务或者应用很难分解为标准 而低级的基本协议，并且人们在解决问题时也不习惯于按照协议的方式来进 行， 因此就提出了积木块结构的思想， 通过对网格应用与服务中最常见的基本 构造块的定义， 来设计网格体系结构。 这与我们传统的功能模块的思想是非常 类似的。 积木结构和层次抽象结构具有一定的对应关系， 比如底层的构造块往 往和层次结构的底层相对应，高级的功能块往往和层次结构的高层相对应。 概念空间结构的设计方法就是根据元数据、 资源、 服务、 协议等概念的不 同形成不同的概念空间， 根据这些概念之间的关系形成网格体系结构。 这一方 法在数据网格中有具体的实例。 这种体系结构的层次结构不是十分清晰， 各部 分的关系形成一个网状图，它强调的是各部分在概念上的关联。 混合结构就是以上各种结构的组合。织女星网格是结合w e b s e r v i c e技 术， 综合网格计算研究成果的基础上提出来的， 它还在发展之中， g l o b u s 3 . 0 将对织女星网格进行比较全面的支持， 这些相关工作对织女星网格的发展无疑 是十分重要的。 2 . 8网格发展的趋势 目 前网格的发展主要向 标准化、技术融合、大型化三个方面迈进。 2 . 8 . 1标准化趋势 就像工 n t e r n e t需要依赖t c p / i p协议一样， 网 格也需要依赖标准协议才能 共享和互通。 迄今为止， g l o b u s t o o l k i t 已经成为事实上的网 格标准。 g l o b u s 由 美国 a r g o n n e国家实验室数学与计算机分部、 南加州大学信息科学学院和芝 加哥大学分布式系统实验室合作开发， 并与美国国 家计算科学联盟、 n a s a 工 p g 项目( i n f o r m a t i o n p o w e r g r i d ) 、美国国家先进计算基础设施同盟n p a c i ( n a t i o n a l p a r t n e r s h i p f o r a d v a n c e d c o m p u t a t i o n a l i n f r a s t r u c t u r e )等 建 立了 伙伴关系一 些重 要的 公司， 包括i b m , m i c r o s o f t , c o m p a q , c r a y , s g i , s u n , f u j i t s u , h i t a c h i , n e c等公开宜布支持g l o b u s t o o l k i t .目 前大多数 四川大学硕士学位论文 网格项目 都是基于g l o b u s t o o k i t所提供供的协议及服务建设的，例如美国 的物理网格g r i p h y n 、 欧洲的数据网格d a t a g r i d 、 荷兰的集群计算机网格d a s - 2 , 美国能源部的科学网格和d 工 s c o m网格、美国学术界的t e r a g r i d 等等。 2 0 0 2年2月， 在加拿大多伦多市召开的全球网格论坛g g f会议上， g l o b u s 项目 组和i b m共同倡议了一个全新的网格标准o g s a . o g s a叫做开放网格服务 体 系( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) ， 它 把 g l o b u s 标 准与以 商 用为 主的 w e b s e r v i c e s的标准结合起来，网格服务统一以 s e r v i c e s的方式对外界提 供。 o g s a的诞生，标志着网 格已 经从学术界的象牙塔延伸到了商业世界中， 而且从一个封闭的世界走向了开放的环境中。o g s a从一诞生，就得到业界的 广泛支持， 像微软、 p l a t f o r m c o m p u t i n g( 一家分布式计算软件公司) 、 a v a k i ( 商用网格解决方案提供商)、e n t r o p i a( 基于p c的分布式计算网格技术提 供商) 等从一开始就宣传支持o g s a 。到目 前为止， o g s a已 经广为接受， 几乎 所有的 业界同 仁都认为它就是网 格的 未来。目 前， g g f有4个研究组负责与 o g s a 相关的标准制定工作:开放网格服务体系结构工作组o g s a - w g 、开放网格 服务基础设施工作组o g s i - w g 、 开放网 格服务体系结构安全工作组o g s a - s e c - w g 和数据库访问和集成服务工作组d a i s - w g . 2 0 0 3年1月1 3日 ， 符合o g s a规范 的 g l o b u s t o o l k i t 3 . 0 ( a l p h a版)已 经在第一届g l o b u s w o r l d会议上发布， 预计正式版在2 0 0 3年上半年就能发布。这标志着o g s a 已经从一种理念、一种 体系结构，走到付诸实践的阶段了。 2 . 8 . 2技术融合趋势 在o g s a出 现之前， 已 经出 现很多种用于分布式计算的技术和产品。 例如， 1 9 8 7年s u n公司推出t开放网 络计算( o p e n n e t w o r k c o m p u t i n g ) ; 1 9 8 9年分 别出现了 o s f的d c e和对象管理集团o m g的 c o r b a , 1 9 % 年微软推出了d c o m . 这些机制互不兼容，严重到了同一家公司的产品都不兼容的程度。在o g s a出 现之前， 各种以 填补异构平台 之间的差异为己 任的网格平台， 如c o n d o r , l e g i o n , n i n f , g l o b u s 等， 也 都 是 各 行 其 道、 互 不 兼 容的 。 9 0 年 代 末， 基 于 x m l的 w e b s e r v i c e s技术开始大行其道，因为它在各种异构平台之上构筑了 一层通用的、 与平台无关的信息和服务交换设施， 从而屏蔽了 互联网中千差万 别的 差异， 使信息和服务畅通无阻 地在计算机之间流动。 w e b s e r v i c e s得到 四川大学硕士学位论文 了 各 大 公司的 支 持， 包 括: i b m的 w e b s p h e r e 、 微软的 . n e t , s u n的 s u n o n e , o r a c l e的o r a c l e 9 i 、 惠普的e s p e a k ， 等等。 g l o b u s项目 组看到了w e b s e r v i c e s 的巨大潜力，在2 0 0 2年迅速将g l o b u s t o o l k i t 的开发转向了 w e b s e r v i c e s平 台， 试图用o g s a在网格世界一统天下。 基于o g s a之后， 网格的一切对外功能 都以网格服务( g r i d s e r v i c e ) 来体现， 并借助一些现成的、 与平台无关的技术， 如x m l , s o a p , w s d l , u d d i , w s f l , w s e l等， 来实现这些服务的描述、查找、 访问和信息传输等功能。 这样， 一切平台及所使用技术的异构性都被屏蔽。 用 户访问网格服务时，根本就无需关心该服务是c o r b a提供的，还是. n e t提供 的。 2 . 8 . 3大型化趋势 美国政府单在网格技术的基础研究上，每年投入的经费就高达5亿美元。 美国能源部d o e支持的科学网格( s c i e n c e g r i d ) 用6 2 2 m b p s的e s n e t网格连 接了能源部的两台超级计算机， 网格计算能力达到每秒5万亿次， 存储能力达 到1 . 3千万亿字节;美国国家科学基金n s f支持的t e r a g r i d将连接位于五个 不同地方的超级计算机， 达到每秒2 0万亿次的计算能力， 并能存储和处理近1 千万亿字节的数据。t e r a g r i d最大特色是连接网格的专用网络带宽将达到惊 人的 4 0 g b p s . t e r a g r i d项目 始于2 0 0 1 年8月，由 n s f投资5 3 0 0万美元，次 年1 0月又追加3 5 0 0万美元;美国 物理网格g r i p h 州 ( g r i d p h y s i c s n e t w o r k ) 计划建立每秒千万亿次级别的计算平台， 用于数据密集型计算。 美国军方正在 实施的全球信息网格g i g ( g l o b a l i n f o r m a t i o n g r i d )，预计在2 0 2 0 年完成。 美国 政府电子信息技术协会的一 位负责人预测， 到2 0 0 6年， g i g有可能成为 五角大楼的最大投资项目。 英国政府宣布投资1亿英镑，用以 研发 “ 英国国家网 格” ( u k n a t i o n a l g r i d )。除此之外，欧洲还有d a t a g r i d , u n i c o r e , m o l等网格研究项目 正在 开 展。 其中， d a t a g r i d 涉及到欧盟的 2 0几个国 家， 是一种典型的“ 大科学” 应用平台。日 本n t t数据公司联合i n t e l , s g i等， 在2 0 0 2年中期开展了为期 6个月的网格计算试验。 试验将连接日 本家庭、 企业和学术机构的1 0 0万台p c , 集合处理能力将达到每秒6 5万亿次浮点 运算。 2 0 0 2年1 1月，日 本产业技术 综合研究所网格计算研究中 心宣布， 在由 多台 个人电 脑通过网 络连接组成网格 四川大学硕士学位论文 计算环境下， 实现了日美之间创纪录的7 0 7 m b p s的数据传输。 甚至， 连印度都 启动了建设国家网格计划。我国也奋起直追，仅2 0 0 2年公布的8 6 3 网格专项， 就拨出了上亿元的资金用于c h i n a g r i d相关的研究。 四川大学硕士学位论文 第三章 织女星网格的关键技术与创新思想 3 . 1织女星网格的关键技术 目 前，我们面临的是一个信息爆炸的时代，各种信息成指数地快速增长， 而现有的w e b 信息服务器就好像工 n t e r n e t 世界上一个个孤立的小岛。虽然这 些 “ 小岛” 之间暂时还有充足的带宽资源可用， 但大量的信息还是被 “ 锁”在 各个小岛的中央数据库里，各 “ 孤岛” 之间并不能按照用户的指令进行有意 义的 交流。 织女星网 格的目 标之一就是利用网 格技术实现资源共享与协作， 消 除信息孤岛，其关键技术主要包含以下几个方面: 3 . 1 . 1元数据管理 良 好地表示、 存储、 访问和使用大量信息资源是网 格运行的基本前提。 在 网格环境下， 资源是分布的， 资源及其提供者也是分布的， 这些资源包括数据、 计算机、 设备、网络、外设、 软件、 服务、 代码、 人员等。 元数据管理服务命 名、 描述、 收集、 组织和管理网格中的资源信息， 这些信息就是用于描述资源、 方法、 数据集和用户的元数据. 信息服务是元数据管理对外提供的 基本服务。 它实现新资源实体的注册和发布， 支持资 源相关性的发布， 可以注册与已 注册 实体之间的相互约束和相互联系信息。 因此， 在网格环境下， 需要建立灵活的、 可扩展的信息服务体系结构。 这种体系结构应当 保证资源信息提供者的 广泛分 布性和信息服务的分布特性， 避免由于单个信息服务实体的失败导致其它资源 信息服务不能正常提供服务. 元数据可以分为系统元数据 ( s y s t e m m e t a d a t a ) 、复制元数据 ( r e p l i c a m e t a d a t a ) 和应用元数据 ( a p p l i c a t i o n m e t a d a t a ) 。 系统元数据记录网 格自 身的结构信息， 诸如网络互联情况、 存储系统的 容量、 计算机空闲情况、 使用 策略等。 复制元数据记录与数据副本有关的 信息， 如文件与具体存储系统之间 的映射信息。 应用元数据是与具体应用相关的文件逻辑结构或语义信息， 如数 据的内容和结构、 获取数据的必要条件等. 为了 实现命名、 定位和访问的透明 性，网 格不仅需要有效地管理数量繁多的名字和属性，以 及它们之间的关系; 需 要 一 种 统 一 的 全 局 命 名 方 式 、 管 理 数 据 集 的 定 位 信 息 和 有 效 管 理 数 据 资 源 存 储形式等相关信息， 而且还需要管理系统资源的安全、 授权、 访问控制等信息。 四川大学硕士学位论文 网格中的所有元数据构成元数据目录，它采用统一的结构来描述元数据。 无论使用何种结构， 元数据目 录应当满足两点: 其一， 它应该是一种层次和分 布式目 录结构系统( 如 l d a p ) :其二，它应当不破坏现有系统的元数据描述方 法，并能与它们很好地交互、融合。 3 . 1 . 2数据访问 织女星网格中的数据资源各种各样， 表示、 存储的形式也各不同。 一些数 据可能以 文件形式存储; 一些数据存储在数据库或数据仓库中; 另一些存储在 如同h p s s 的a r c h i v e 档案系统中; 还有一些数据是由多个分布存储系统中的 数据组成的。 方便而有效地访问各种异构数据组成的数据集合是织女星网格的 一个主要功能和关键技术。 如果为每一种数据存储方式提供一种访问方法， 用 户是不可能接受的。 因此， 织女星网 格必须抽象各种数据存储系统， 形成一个 抽象模型， 为不同的数据存储系统提供统一的数据访问接口。 数据访问服务的 作用就是将存储、 检索数据集等高层用户的请求映射为异构分布式存储环境中 的底层存储访问操作，实现广域范围内对数据有效的统一访问和管理。 3 . 1 . 3数据复制管理与安全技术 网格的数据经常需要复制， 复制本质上是对数据的缓存。 虽然网络速度提 高很快， 但要达到高性能地频繁访问和处理大量远程数据仍然很困难。 复制技 术为用户应用提供一个能够快速访问 和处理远程数据的 局部缓冲数据拷贝， 避 免大量数据远程传输到应用端。 在这里，复制目 录的结构必须灵活和可扩展， 以免影响性能的发挥。 复制管理的 几个功能模块应当 采用分离设计方法， 并可 替换。复制管理应具有以下一些功能: 提供选择数据复制策略、复制方式和复制地点的能力 在复制目 录中注册新的数据拷贝 允许用户和应用查询复制目 录，以 找到某个文件或数据集已 存在的拷贝 根据用户和应用的执行要求，以 及存储、网络的性能预测，有方法和能力 选择 “ 最好”的数据副本进行访问和处理 数据复制之间的数据一致性和更新一直是分布式数据管理的 难点，它与应 用数据访问、产生、操作特性紧密相关 四川大学硕士学位论文 创建一个完整的或部分的数据集拷贝 在广域网络上部署服务， 安全保证是至关重要的。 网格安全机制将提供基 本的安全保护验证机制， 以 验证合法的用户和资源， 并为其它安全服务提供接 口， 允许用户选择不同的安全策略、 安全级别和加密方法， 提供底层基础的安 全设施，这是网格计算的要求和特点。 在网格中，由于数据的复制和缓冲导 致了网格特有的安全性问 题: 一个站点缓冲了位于另一个地点系统中的数据， 两个系统之间的安全保护机制、 措施和安全级别不同， 如何达到数据拥有者所 要求的数据保护安全级别和策略是一个非常困难的问题。 3 . 1 . 4高速数据传输机制 网格计算涉及大量数据的移动、 传输和复制， 这就需要一种高效的数据 传输机制的支持， 这种传输机制要保证在广域网络环境下可靠地传输数据。 高 速数据传输机制应支持以下几种功能: 高速数据传输:要支持广泛应用的协议和广域网络上的数据传输，可 以 采用并行数据传输机制 分块数据传输:网格支持各种数据存储形式，一些数据集的数据本身 是广泛分布的， 因此， 需要支持多个分块数据的并发数据传输， 汇总后 形成一个完整的数据集 部分数据传输:用户和应用经常需要数据集中的一部分数据，而不是 整个数据集。 比如一个文件中的一段数据， 因此支持这种数据的传输方 式是必要的 第三方数据传输:许多应用需要用到多个资源，必须提供一种机制， 允许一个地点的 用户和应用能够启动、 监视和控制其他两个地点存储系 统的数据传输，为应用使用多个地点的资源提供保障 可靠、可重启、断点续传: 在广域网 络环境下， 数据传输故障和服务 器故障经常发生， 导致传输中 断。 因 此， 数据传输的 错误恢复机制至关 重要 四川大学硕士学位论文 3 . 1 . 5资源调度优化与远程执行 在网格计算中， 资源的调度优化和服务执行是一个关键技术问题， 它主要 包括请求的调度优化、 资源的调度优化和资源的服务执行。 请求的调度优化要 对用户资源请求与可用资源进行匹配， 当众多用户和应用请求同时到达， 就必 须统筹优化安排多个请求的资源需求。 远程执行服务机制保证了多个地点的 系统能够远程启动执行， 能够监控、 收集和查询状态信息， 控制地理上分布的 多个系统的任务执行过程。 3 . 2织女星网格的创新思想 织女星网格总的特色是服务网格的思想， 其概念级创新点和研究工作所应 遵循的指导思想是v e g a 。 织女星与传统i n t e r n e t 和w e b 不同之处是网格， 与 其它网 格不同 之处是服务网 格，与其它服务网 格不同 之处是v e g a 。即: ( 1 ) v e r s a t i l e s e r v i c e s( 通用服务) ( 2 ) e n a b l i n g i n t e l l i g e n c e( 辅助智能) ( 3 ) g l o b a l u n i f o r m i t y( 全局一体) ( 4 ) a u t o n o m o u s c o n t r o l( 自 主控制) 3 . 2 . 1通用服务( v e r s a t i l e s e r v i c e s ) 织女星( 英文刚好是v e g a ) 中的“ v ” 包含三个方面的含义， 第一个方面是“ 通 用”， 包 括: 支持多种应用类型:与现在的网格相关研究不同， 织女星网格支持各 种应用， 包括通信服务( 如电 子邮 件、 短信息、 f t p , a c c e s s g r i d 等) 、 计算服务、商务服务( 如交易、e r p ) 、数据服务、内容服务( 如网页、 流媒体等) 、信息服务( 如企业信息平台) 、知识服务( 如数据挖掘) 支持多种应用模式: 织女 星网格不限制用户使用网格的方式，而要让 用户选择自己和应用需要的模式使用网格。织女星网格支持 c l i e n t / s e r v e r ( c 2 s ) , s 2 s , c 2 c , p 2 p 各种模式， 支持同 步 或异步的 交互方式、有状态或是无状态的联接方式、简单服务或复合服务、固 定服务和移动服务、固定用户和移动用户等 兼容多种现有技术:织女星网 格能够利用现有的技术和服务， 如数据 四川大学硕士学位论文 库、 w e b , g l o b u s , w e b s e r v i c e 等， 也 能 利用 现有的 多 种 服务 模块， 实现模块的重用 支持多种平台:织女星网格支持多种服务器和客户端设备 第二个方面是 “ 服务” ，其含义包括: 所有的应用和交互都采用服务机制 织女星网格及其应用的开发、构造、部署、运行、使用、管理都采用 有一种称为 “ 服务”的单一抽象接口 织女星网格的功能和性能评价将不只是采用传统计算机的评价标准 ( 如速度、 加速比、 性能价格比 等) ，而应该以 用户满意度为目 标， 用 类 似s l a ( s e r v i c e l e v e r a g r e e m e n t ) 的 服务 质量尺 度来衡量 服务的基本定义如下:用户 ( 通过某种客户端设备)向织女星网格发 出一个服务请求，网格接收并处理该请求，执行服务请求定义的服务 内容所需要的服务操作，并向 用户返回一个可能包括服务结果的应答 服务的请求/ 应答是异步的 3 . 2 . 2辅助智能( e n