（计算机软件与理论专业论文）网格计算中的资源管理的研究.pdf

ab s t r a c t abs tract t h e t h e o ry p r e s e n t a n d i n t r o d u c e t h e o r i g i n . c o n c e p t i o n . c u r r e n t d e v e l o p i n g s i t u a t i o n . c l a s s i f i c a t i o n . s y s t e m s t r u c t u r e . n e t w o r k s y s t e m a r c h i t e c t u r e a n d o t h e r k e y f a c t o r s c o n c e r n e d w i t h t h e n e x t g e n e r a t i o n n e t w o r k t e c h n o l o g y 一 一 g r i d i n d e t a i l b a s e d o n t h e e l e m e n t a ry p r i n c i p l e o f g r i d t e c h n o l o g y , p u t e m p h a s i s o n t h e p i v o t a l t e c h n i q u e a p p l i c a t i o n i n g r i d t e c h n o l o g y 一 一 一 g r i d r e s o u r c e m a n a g e m e n t ， o r i g i n a t e d fr o m t h e t w o p r i m a ry g r i d s y s t e m a s t o c o m p u t i n g g r i d a n d s e r v i c e g r i d ,t h e t h e o ry c o m b i n e s t h e r e s e a r c h a c h i e v e m e n t fr o m b o t h r e s o u r c e d i s c o v e ry a n d r e s o u r c e d i s p a t c h m a n a g e m e n t t o p u t e m p h as i s o n t h e r e s e a r c h u p o n a c c o r d a n t a n d i n d i v i d u a l as p e c t s o f t h e t w o g r i d s y s t e m a b o v e a n d d e m o n s t r a t e s r e s p e c t i v e a d v a n t a g e s o f r e s o u r c e d i s c o v e ry o f s e r v i c e g r i d a n d r e s o u r c e d i s p a t c h o f c o m p u t i n g g r i d , e ff e c t i v e l y c o m b in e s b o t h r e s o u r c e s i s s u e . r e s o u r c e d i s c o v e ry. r e s o u r c e d i s p a t c h m e t h o d s o f s e r v i c e g r i d w i t h g r i d s y s t e m u s e d t o d a t a - c o u n t i n g o f c o m p u t i n g g r i d a n d m u l t i - g r a d e r e s o u r c e d i s p a t c h m o d e o f c o m p u t i n g g r i d w i t h s o a p r o u t i n g m o d e o f s e r v i c e g r i d t o p r o p o s e t h e r e s o u r c e a c c e s s m o d e o f c o m p u t i n g g r i d b as e d o n s t r u c t u r e o f s e r v i c e g r i d . k e y wo r d s : g r i d s ; c o m p u t i n g g r i d ; r e s o u r c e ma n a g e m e n t ; s e r v i c e g r i d 学 位论文独创性声 明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人己 经发 表或撰写过的研究成果， 也不包含为获得 南昌大学 或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示谢意。 学 位 论 文 作 者 签 “ 手 “ ” 哟 签 字 日 期 4 07 年 “ 月 “ 日 学位论文版权使用授权书 本学位论文作者完全了 解南昌大学有关保留、使用学位论文的 规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。 本人授权南昌大学可以 将学 位论文的全部或部分内 容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 口话编 电邮 学 位 论 文 作 者 -s (手 写 :m 冉 签 字 日 期 :r 年 。石 月 ， 日 导师签名 ( 手写) : ! t 签字日期: 年石月 叫日 学位论文作者毕业后去向: 工作单位: 通讯地址 : 引言 引 言 随着网络化和智能化趋势的发展，人类的应用迅速朝着高性能、多样性、 多功能发展，许多大规模的科学计算不仅仅需要一台高性能计算机，它还更需 要由多种机器组成、多个系统合作、多个科学仪器设备相连的网络虚拟超级计 算机。这些应用要求将地理上分布、异构的多种计算资源通过高速网络连接起 来，共同完成计算任务。网格正是在这种背景下诞生的，其目 标是将地理上分 布、异构的高性能计算机、数据服务器，大型检索存储系统和可视化、虚拟实 现系统等，通过高速互连网络连接并集成起来，共同完成一些缺乏有效研究办 法的重大应用研究问 题。通过利用网络上的大量计算资源、丰富的开发工具和 友好的人机界面，以及各种不同性能和功能的信息系统，进行高性能的并行与 分布式计算， 解决核模拟、 气象、 航天、生物化学、神经和环境等重大科学应 用领域的计算问题。 网格计算是近年来得到快速发展的广域网络计算技术，所谓网格( g r i d ) 就 是在缺少中央控制、没有全知者( o m n i s c i e n c e ) 以及强的信任关系的情况下能够 协同使用地理分布的各种资源。因此网格计算环境相对于一般网络计算环境来 讲有更为复杂的特征，如存在多管理域和站点自治，系统的动态性、异构性和 通信延迟的不确定性更高等等，这些特征的存在使得网格环境中的资源管理更 加困难，必须有合适的管理模式才能充分地发挥网格的性能。 网格技术的产生主要有以下几个原因: 计算资源的广域分布 广域互连技术的发展 广域范围内资源共享的需求 网格计算技术在产生的初期主要集中在高性能科学计算领域，而现在网格 并不局限于此，出现了适用于不同应用领域的网格技术，如生物网格、信息网 格等。网格最大的优点之一是有利于全国乃至全球范围内各种计算和数据资源 的共享。这些资源包括多种文件系统、数据库资源、高性能计算机、贵重设备、 软件等。将网格看成是一台虚拟的、具有单一系统映像的超级计算机系统，其 实质就是利用网格技术实现计算资源和信息的共享。网格中的数据资源各种各 引言 样，表示、存储的形式也各不同。一些数据可能以文件形式存储，一些数据存 储在数据库或数据仓库中，另一些存储在如同h p s s 的a r c h i v e 档案系统中，还 有一些数据是由多个分布存储系统中的数据组成的。方便而有效地访问各种异 构数据组成的数据集合是网格的一个主要功能和关键技术。如果为每一种数据 存储方式提供一种访问方法，用户是不可能接受的。因此，网格必须抽象各种 数据存储系统，形成一个抽象模型，为不同的数据存储系统提供统一的数据访 问接口。数据访问服务的作用就是将存储、检索数据集等高层用户的请求映射 为异构分布式存储环境中的底层存储访问操作，实现广域范围内对数据有效的 统一访问和管理. 目前网格环境下资源管理的两个最主要结构模式是分层模型和计算市场 ( 经济) 模型。本文的研究工作分别建立在这两个资源管理结构模式基础之上。 就网格环境下资源管理 ( 包括资源发现，资源存取，资源管理等)的设计与实 现问题进行了深入的研究，并在现有的技术条件下提出并详细分析了作者的设 计方案，介绍了具体实现工作，同时就设计与实现工作中的关键技术问题进行 了分析和讨论。 第 1 章 绪论 第 1 章 绪论 工 n t e r n e t的出现使得人们能够大范围地共享各种信息， 也使得人们比以往 任何时候都更加渴望能够更广泛地共享各种资源。现代科学研究和应用领域中， 大量的数据是重要的资源，例如全球气候模拟、高能物理、生物计算、战场仿 真、核模拟、数字地球、大规模的信息和决策支持系统等应用，其数据量将达 到几十t e r a b y t e 至p e t a b y t e的级别。地理上广泛分布的该领域的 科研工作者 或用户都希望能够访问和分析这些庞大的数据，但其分析方法往往是计算复杂 并且计算量大，许多数据分析处理要求千亿次或万亿次规模的计算能力。而现 有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容量分布 存储和分布处理能力的要求. 因而在这种背景下，人们提出了网格( g r i d ) 的构 想，以 解决上述应用所面临的问题网格 ( g r i d ) 技术是近年来国际上兴起的一 种重要信息技术，它的目 标是实现网络虚拟环境下的高性能资源共享和协同工 作，消除信息孤岛和资源孤岛。与其相关的技术包括: 实时企业信息系统、网络 化虚拟设计环境、 因 特网 技术、 知识管理、 x m l 技术、 a s p 技术、 万维网技术( w e b s e r v i c e ) 、语义网( s e m a n t i c w e b ) 、高性能计算等。 使用i n t e r n e t 作为低层， 研究人员可以将很大范围上地理分布的异构计算 机系统集合在一起形成一个大规模的计算平台。该领域的研究产生了一个新的 软件体系结构， 本文称之为网格( g r i d ) 。网格计算( g r i d c o m p u t i n g ) 的概念来 源于电网( e l e c t r i c a l p o w e r g r i d ) 人们试图实现: 类似于家用电器能够极为方 便的从电网中使用电力资源，计算应用也能够便利地从一个大范围的分布的资 源池中获取所需的各种计算资源。近年来世界各地开展了许多相关的研究项目， 初步的研究结果表明网格计算确实是一个可行的高性能广域分布式计算模型， 同时这些初步的结果也展示了许多急需解决的挑战性问题。如何有效地管理资 源和调度计算是影响网格计算是否成功的最重要因素之一，网格环境下的资源 管理技术可以分为以 下几类: 基于 “ 超级调度者”的方法; 基于市场的方法: 基于发现的方法; 基于抽象所有者的方法: 由以上几种方法组合成的混合 技术。 第 i 章 绪论 1 . 1网格计算介绍a . 7 . 8 1 网格计算是近年来得到快速发展的广域网络计算技术，研究人员试图将很 大范围上地理分布的异构计算机系统集合在一起形成一个大规模的计算平台， 本文称之为网格( g r i d ) 。它是由最初的元计算发展而来，本文可以这样认为: 网 格就是在缺少中央控制、没有全知者( o m n i s c i e n c e ) 以 及强的信任关系的情况下 能够协同使用地理分布的各种资源。 网格计算是构筑在 i n t e r n e t上的一组新兴技术，其基础设施是基于 i p协 议的宽带数字通信网 络，它将改变传统的c l i e n t / s e r v e r 和c l i e n t / c l u s t e r 结 构，形成新的p e r v a s i v e / g r i d 体系结构，这种体系结构将使得用户把整个网络 视为一个巨大的计算机，并从中享受一体化的、动态变化的、可灵活控制的、 智能的、协作式信息服务。网格计算系统一般由网格硬件、网格操作系统、网 格界面、网格应用四层基本结构构成，其最突出的特点是资源共享、协同工作 和开放性标准。也正因为如此，网格计算目前研究发展的主要障碍便是标准协 议的建立和体系结构的 确定. 同时， 支持网 格的关键协议如x m l , s o a p , u d d i , w s d l 等都逐渐成熟并成为各种平台支持的基本协议。网格是要利用现有的网络基础 设施、 协议规范、 w e b 和数据库技术，为用户提供一体化的智能信息平台，其目 标是创建一种架构在操作系统和w e b 之上的基于工工 n t e r n e t 的新一代信息平台 和软件基础设施，习 。 在这个平台上， 信息的处理是分布式、协作和智能化的， 用户可以 通过单一入口 访问所有信息。网格追求的最终目 标是能够做到服务点 播( s e r v i c e o n d e m a n d ) 和一步到位的服务( o n e c l i c k i s e n o u g h ) 。网格的体 系结构、信息表示和元信息、信息连通和一致性、安全技术等是目 前信息网格 研究的重点。 1 . 1 . 1网格计算的意义 首先 ，网络技术的发展使得本文有可能将多个计算设备连接在一起共享 各种资源，各种高性能的局域和广域网变得越来越低廉。同时，商业计算机提 供了很好的性价比，己走入了千家万户。本文现在能够将众多廉价的计算机通 过高速互联组织在一起执行分布式计算。 采用多个计算设备共同解决问题以弥补单机计算性能不足的思想由来己 久，从早期的多处理器计算机到己 得到广泛使用的各种集群。在一个分布式系 第 1 章 绪论 统里，计算机可以通过远端过程调用( r p c ) , o o p 、远端方法调用( r m i ) 等方法使 用远程资源，现代商业分布式平台如 c o r b a , d c o m , j i n i等已得到了大量的使 用，在更广的范围里，w e b 服务使用x m l , s o a p 等协议实现资源共享，以w e b 作 为低层的 类似的分布式处理系统也己出现，如对象w e b ( w e b o f o b j e c t s ) 、处处 分布式对象( d i s t r i b u t e d o b j e c t s e v e r y w h e r e ) 等。随着通信技术的发展和计 算技术的提高，本文正逐渐可以将越来越大范围的更多的计算设备组织在一起 共同解决问题。利用工 n t e r n e t 破译r s a 密码和搜索外星人两个项目 都成功地使 用了成千上万台计算机共同工作，大范围的广域分布式计算初步显示了它诱人 的发展前景。现实世界的许多科学问 题无法用单个计算机有效地计算，如 2 0 0 5 进行的欧洲高能粒子实验预期产生的计算任务和数据都是十分惊人的( 数据网 格项目 是它的重要前期工作之一) ，对更高的计算能力的渴望从来都没有因为单 机计算能力的增长而缓解，人们希望能够实现更有效的广域计算。另外，在网 格计算的研究过程中，研究人员发现借助于网格核心服务，计算网格系统除了 能提供廉价、高效的高性能计算以外，通过设计相应的服务软件，它还能提供 许多额外的服务，因此发展出数据网格、服务网格等多种衍生类型。 1 . 1 . 2网格系统构成 网格技术的产生、发展必须具备以下三个基本条件: 计算资源的广域分布、 网络技术 ( 特 别 是工 n t e r n e t ) 以 及不断增长的对资源共享的需求。 在计算机技 术发展的早期阶 段，只有少量的大型计算机，它们通常被安装在相互独立的计 算中心内，多个计算机用户通过使用终端来共享一台大型机的资源，却不能同 时共享多台大型机的计算资源 。随着网络技术的发展，多台大型计算机可以在 局域网( l a n ) 内互连 ， 用户通过网络可以同时使用多台计算机资源。 而i n t e r n e t 的飞速发展和普及、使得网格计算技术的产生成为可能。图 1 . 1显示了计算资 源共享的发展过程。网格系统可以分成三个基本层次: 资源层、中间件层和应用 层. 网格资源层是构成网格系统的硬件基础，它包括各种计算资源，如超级计算 机、贵重仪器 、可视化设备、现有应用软件等，这些计算资源通过网络设备连 接起来。 网格资源层仅仅实现了计算资源在物理上的连通，但从逻辑上看，这些资 源仍然是孤立的 ， 资源共享问题仍然没有得到解决。因此，必须在网格资源 层的基础上通过网格中间层完成广域计算资源的有效共享. 网格中间件层是指 第 1 章 绪论 一系列工具和协议软件，其功能是屏蔽网格资源层中计算资源的 分布、异构特 性. 向网格应用层提供透明、一致的使用接口。网格中间件层也称为网格操作系 统( g r i d o p e r a t i n g s y s t e m ) ，它同时需要提供用户编程接口 和相应的环境， 以 支持网格应用的开发。 吕巾式 周峨共事 广城共享 图 1 . 1 计算资源共享的发展 1 . 1 . 3需要研究的问题 网格为大规模计算应用提供了资源和平台。然而，网格环境中的资源归属 不同的组织，其资源管理机制和提供的环境各不相同，性能和负载也动态变化， 不能直接利用。因此如何将所有资源统一组织管理，形成一个可相互利用、相 互合作、对用户相对透明的高性能计算环境是研究的主要问题。 通过使用网格技术，人们希望能够实现廉价、普遍的高性能计算，能够合 作存取各种数据信息，能够提供广域多媒体应用等等。然而，由于网格计算是 个新的研究领域，网格计算环境相对于一般网 络计算环境有着更为复杂的特征， 如存在多管理域和站点自 治，系统的动态性、异构性和通信延迟的不确定性更 高，硬件和软件两个层次上都存在异构性等等。实现有效的网格计算还有很多 需要解决的问题，具体包括资源调度和管理、系统安全、编程模式、性能评测 和数据存取等。其中，在网格环境里如何有效地管理资源和调度计算是影响网 格计算是否成功的最重要因素之一。由于资源在广域上分布、本质上异构、由 不同的个人或组织拥有、有不同的存取和花费模式、负载和可用性动态变化， 网格环境下的资源管理十分复杂和具有挑战性。 第 i 章 绪论 在各种网格模型下原型网格系统在集群管理和网格中间件体系结构基础之 上，采用可扩展网格树状分层代理结构，以资源请求代理的方式进行任务提交， 完成网格中间件与集群管理间资源与作业调度的接口，利用结点信息的串行化 实现跨硬件平台的远程监控，最终实现了全网格的统一资源信息管理、统一用 户管理、统一作业管理和安全认证，解决了网格系统中存在的计算机异构、资 源信息动态变化等关键问题，为高层软件和网格应用提供了透明的支持。该系 统可以 在工 n t e r n e t 范围内 提供一体化的高性能计算环境和信息服务，提高网络 上普通计算机的性能、可扩展性及可用性。i n t e r n e t上任何一台计算机都可以 加入该系统向外提供资源服务 1 . 2网格环境下的资源管理 资源管理系统是计算机系统不可缺少的组成部分，分布式网络的资源管理 系统应该能够调度和控制网络计算系统环境下的所有元素来满足网络应用的各 种需求。一个好的资源管理结构模型能够和系统中的其它构件相互协作，具有 良好的可扩展性等等。 1 . 2 . 1资源管理结构模式ll洲 目前能够在网格环境下采用的资源管理结构模型包括 1 . 分层模型( h i e r a r c h i c a l m o d e l ) : 2 . 抽象所有者模型( a b s t r a c t o w n e r m o d e l ) : 3 . 计算市场( 经济) 模型( c o m p u t a t i o n a l m a r k e t / e c o n o m y m o d e l ) ; 4 . 混合模型。 1 2 . 2 映射模 型u . . “ 在异构环境下分配资源实际上包含了两部分: 分配任务到合适的机器( 匹 配) ，决定每台机器上分配的所有任务的执行顺序( 调度) ，本文将之总称为映射 ( m a p p i n g ) 。 任务的映射通常可以根据任务间是否存在通信关系分为对相互间 存在通信的任务组的映射以及对相互独立的任务组的映射，映射相互间存在通 信的任务组最常用的方法是所谓的 d a g图映射，即将相互间存在数据依赖的任 务组当作一个有向无环图，根据此有向无环图系统作出映射决策。但对于大规 第 1 章 绪论 模、 多管理域的网格系统， d a g 图映射方式执行可能有困难， 实际上经常采用预 置和合作配置方法来保证任务的执行. 目 前网格计算领域研究较多的是相互间 不存在通信的任务组的映射，映射策略可以分为批模式和在线模式。在线模式 下，任务一旦到达就立刻被映射到合适的机器; 而在批模式下，任务被收集成一 个组周期地或采用时间触发映射到合适的机器。两种方法各有优缺点，在线方 式减少了任务执行的延迟时间，而批方式则能够考虑更多的请求和资源状况， 潜在地能得到更有效的网格资源利用率。具体使用何种方式应根据实际情况作 出决定。 1 . 2 . 3资源映射启发式算法 由于资源分配是众所周知的n p 问题，无论是对何种任务进行映射都存在大 量的启发式算法。对于d a g 图任务映射，存在的启发式算法有: 遗传算法、模拟 退火、演化方法、随机化、搜索、分支定界等。对于相互独立的任务的映射， 动态的在线方式有: 最小完成时间启发式、最小执行时间启发式、交换算法、机 会负载平衡启发式等: 批方式则有: m i n - m i n 启发式、m a x - m i n 启发式、贪心启发 式、遗传算法、t a b u 搜索启发式、才启发式、s u f e r a g e 启发式等等. 1 . 3网格研究现状 随着网络技术的发展及应用的深入，网络计算管理在未来以网络为中心的 分布计算中必将日益成熟且作用重要。美国和欧洲的许多公司、高校和研究机 构都己将这种技术成功地用于大规模的科学计算或商业应用，并己推出了数十 个商用或非商用的软件包c o d i n e , l s f , d q s , p b s , c o n n e c t : q u e u e 和n q e ， 其中 前 两 者 是 商业软件，后4 者是科研产品。 c o d i n e 是 由 德 国 g e n i a s 软件公司于 1 9 % 年推出的d q s的商业版，现己 被 s u n公 司 收 购 并改名为 s u n g r i d e n g i n e 。 它是在异构网络环境中 优化软 硬件资源的资源管理系统 。 c o d i n e 拥有前面提到的评价标准中的全部功能， 具 有当前所有其它商业 软 件 所 不 具备的优势。 l s f 由 加拿大多伦多的p l a t f o r m c o m p u t i n g 计算公司于9 0 年代初开发. l s f 将分散的网络资源以统一、可共享的计算资源视图呈现给用户，通过 l s f库将 批处理、作业调度、多群机共享、负载平衡分析、并行生成 5个独立的软件集 第 i 章 绪论 成起来。l s f已在世界上6 0 0 多家公司的6 0 , 0 0 0 多台计算机上安装使用。d q 是 由美国能源部资助、 佛罗里达州立大学于1 2 8 9 年开始研制的基于异构网络的队 列系统， 是迄今为止功能较丰富、 应用较广泛、 技术较成熟的管理软件。 d q s 的 目的是为多种应用提供透明管理，以提高系统的作业吞吐率。p b s由 n a s a a m e s 其二是相应软件的开发 和标准的制定。同时，g l o b u s项目 还涉及到网格应用的开发及试验床的建立。 目前，g l o b u s 的技术己在n a s a 网格( n a s a i p g ) 、欧洲数据网格( d a t a g r i d ) 、美 国国家技术网格( n t g ) 等8 个项目中得到应用。 g l o b u s 的网格体系结构主要分为 网格结构层( g r i d f a b r i c ) 、网格服务层( g r i d s e r v i c e s ) 、网格应用工具层( g r i d a p p l i c a t i o n t o o l k i t s ) 和应用层( a p p l i c a t i o n ) 几个部分。 其中，网格结构层 提供资源相关、站点相关的基本功能，便于高层分布式网 格服务的实现; 网格服 务层实现资源无关和应用无关的功能，网格服务的实现涉及到地域和机构的分 布; 网格应用工具层提供更为专业化的服务和组件用于不同类型的应用: 应用层 由用户开发的应用系统组成，网格用户可以使用其他层次的接口 和服务完成网 格应用的开发。 l e g i o n是 由美国的维吉尼亚大学开发研制的基于对象的网格计算系统， 通过高速网将分散的异构资源无缝连接起来，支持透明的调度、数据管理、容 错和安全操作。l e g i o n提供了高性能并行、负载均衡、分布式数据管理和容错 性。它通过其容错管理和成员结点间的动态重新配置来支持高可用性。它还有 一个可扩充核心，该核心可以 在出现新的改进和进展时动态替换或升级。系统 并不是只接受单一控制，而是可以由任意数量的组织管理，而每个组织都支持 整体的自 治部分。 l e g i o n a p i 通过其内 置的并行性提供了高性能计算。 l e g i o n需 要使用特别编写的软件，以 使它可以使用其a p i 库. 它位于用户 计算机操作系统之上，协调本地资源和分布式资源。它自 动处理资源调度和安 全性，还管理上下文空间以描述和访问整个系统中上亿种可能之外的对象。然 而，在每个节点上运行时，不需要使用系统管理员特权，并且可以使用无特权 的用户帐号进行工作. 这将增加加入l e g i o n 的节点和用户的 灵活性。 随 着 网 格 研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标一致的研 究开发计划. 惠普、 i b m 、 微软、 s u n 等公司最近取得共识， 支持x m l , s o a p . u d d i 等万维网标准，从而更有利于开发新一代的网络应用，即万维网服务。其目的 是将因特网上的资源和信息汇聚在一起，组合成企业和消费者所需要的服务。 惠普推出了e s p e a k 万维网 服务平台; i b m 用它的w e b s p h e r e 平台 和一系列中间件 实现万维网服务; 微软的路线是通过其. n e t计划和 c # 语言实现万维网服务: s u n 第 1 章 绪论 则通过o p e n n e t w o r k e n v i r o n m e n t ( s u n o n e ) 计划和j a v a 平台来实现它。另外， i b m 最近宣布， 将投资4 0 亿美元， 启动一个全公司的“ 网格计算创新计划 、 s u n 则在2 0 0 0 年9 月公布了其网格引擎软件。 ( f o r b e s a s a p ) 杂志指出，微软的动向特别值得注意，因为它的. n e t战略 本质上是想主导和占领网格操作系统的发展和市场，而微软参与提出的 x m l和 s o a p 等标准协议又可能成为网格界面的基础。据悉，除了. n e t 以外，微软内部 正在开发全面支持网格的下一代视窗操作系统，己 经在2 0 0 5 年完成。 我国 对网格计算的 研究起步较晚，相关工作开始于1 9 9 8 年。由 于网 格计算 是一项刚起步的研究，因此本文在网格计算关键技术的研究方面与国外差距不 大，基本处于相同的起跑线上。目 前，我国的网格计算研究主要集中于中科院 计算所、国防科大、江南计算所、清华大学等几家在高性能计算方面有较强实 力的研究单位。其中，中科院计算所在高性能计算领域的主要成果是曙光 3 0 0 0 超级服务 器，他们的网 格研究工作统称为 “ 织女星网 格”( v e g a g r i d ) ，其最大 特色是 “ 服务网格”的思想，而国际上的网格研究目前主要面向科学计算。其 他单位的主要成果有银河巨型机、同方探索集群系统等。 第z 章 网 格体系结构 第2 章 网格体系结构 2 . 1开放式网格服务体系结构 2 0 0 2年出 现的开放式网格服务体系结构 o g s a z ， 是一个具有多种实现的 真正社区标准。特别是它包括了2 0 0 3 年发布的基于o g s a 的g t 3 . 0 . o g s a 建立 在 g t 2之上，并极大地扩展了g t 2的概念和技术。通过采用面向服务的结构和 w e b服务技术，o g s a坚定地将网格计算和广阔的工业界创新联合了起来。o g s a 定义了一个包含有标准接口和行为的核心服务集来解决以前提到的许多技术挑 战。o g s a提供了 一种框架，在该框架中，可以定义范围更广的可互操作的轻量 级服务。o g s a提供了一种基础，在这个基础之上可组建由多个技术提供者组成 的丰富网格技术生态系统。受管理的共享虚拟系统 o g s a初始技术规范的定义 算是向前迈了一大步，但在完全的网格蓝图实现之前还有很多事情要做。建立 在o g s a 的面向 服务基础架构之上， 本文将得到一个扩展的互操作服务集和系统， 它们既可以处理大量的实体，也可以处理小的设备描述，能够增加可视化的程 度，提供丰富的共享形式，通过多种形式的主动管理来增强服务质量。这些工 作将在高端计算机科学研究领域方面产生大量的成果， 这些领域诸如p 2 p系统， 基于知识的系统和自治系统。 本文将网格定义成一种系统，该系统通过标准、开放的通用协议和接口来 协调分布式的资源以提供最好的服务质量。本文来分析一下这个定义中的关键 成分: 1 .协调分布的资源 网格集成和协调存在于不同控制域内的资源和用户， 例如，用户的桌面计算与集中计算，同一个公司的不同管理单元，以及或是不 同的公司的不同管理单元。并且，网格也处理安全、政策、付费和成员资格等 在协调分布资源场景中出现的问题。否则就是在讨论一个本地管理系统。 2 .使用标准、开放的通用协议和接口 网格建立在多目 标协议和接口之上。 这些协议和接口 用来处理这些基本问题，如认证、 授权、资源发现和资源访问。 正如本文在后面内容中所讨论的，让这些协议和接口 标准化并公开化是很重要 的。否则，本文就是在讨论一个专用系统。 3 .交付最好的服务质量 网格允许协调使用它的组成资源，以便提供各种 第2 章 网格体系结构 服务质量，如响应时间、吞吐量、可用性和安全性。网格还可能需要协同分配 多种资源类型来满足复杂的用户需求，这样的组合系统效用将远大于它的各部 分效用之和。 第二点特别重要。标准的协议 ( 还有接口 和策略)允许本文同任何感兴趣 的团体动态建立资源共享计划，因此这样创建出的系统不同于不兼容的、不能 互操作的巴尔干化 ( b a l k a n i z e d )分布式系统。全球网格论坛 g g f和其他组织 正在加紧开发相关标准，关于这一点将在后面详细讨论。正如要成为互联网一 部分的实体一定要采用i p 协议一样，对于任何成为网格一部分的实体，它一定 要实现这些网格间协议。 通过这一点，使得在这种包含多厂商产品的、异构的 网格世界里，开放源码的产品和商业产品都可以有效地互操作，因此提供了一 种使得网格应用能够成功部署的普适基础架构。 i n t r a n e t 中一个特定主机群可能同其他主机不相连， 这一点在i n t e r n e t中 并不是不常见。然而这种断开是管理策略导致的结果，而不是因为实现的问题。 一般所有的联网计算机都采用 t c p / i p及其相关协议，尽管有这些那些策略限 制，本文依然能够讨论单一的互联网。与此类似， 尽管不同组织和团体为了特 定目的用网格协议创建了不相连的网格， 本文将网格作为一个单一实体来讨论。 如同在i n t e r n e t 中一样， 防止服务或资源被访问只是策略问 题( 如安全， 代价， 操作模式)而不是实现问题。 2 . 2网格体系结构 本文认为建立、 管理和使用跨组织的动态虚拟组织共享关系需要新的技术。 本文提出了一种网格体系结构， 在该体系结构里确定了基本的系统组件，指定 了 这些组件的目 的和功能， 并说明这些组件同其他组件是如何交互的。 本文的 目的不是对所有需要的组件完整地进行一一枚举，而是找出对通用组件类的需 求。这样产生的结果是一个可扩展的、开放的体系结构。使得针对虚拟组织的 关键需求给出的解决方案可以安置在该体系结构内。 本文的体系结构将这些组 件组织成层次结构4 . 2 9 7 ，如图 2 . 1所示，随后的讨论依次进行。每一层中的组 件都具有共同的特点，它们建立在任何下层提供的能力和行为之上。 第2 章 网格体系结构 网格计算协议 应用层 汇集层 资源层 连接层 互联jq协议 应用层 传轧 徨 互联网 连接层 图 2 . 1 层次式网 格结构 本文的网格体系结构基于 “ 沙漏模型” 。沙漏的狭窄部分 ( 颈)定义了一个 核心的抽象和协议 ( 如t c p和h t t p ) 的小集合， 不同的高层行为 ( 沙漏的顶部) 可以映射到这个小集合上面来，它们本身也可以映射到不同的底层技术 ( 沙漏 的底部)上。从体系结构的定义来看，在沙漏颈部定义的协议数量一定要小。 在本文的结构中，沙漏的颈部由资源和连接协议构成，它们使得对单个资源的 共享变得更加便利。在这些层次上定义的协议应当设计成它们可以在基础结构 层定义的不同资源类型上实现。 这些协议能反过来用于构造集合 ( 服务) 层 ( 之 所以称为集合层是因为它们涉及到多种资源的协调使用)的大范围全局服务和 应用特定行为。 层次式网格结构各层次的功能具体为:(7 7 - 4 q 构造层 ( f a b r i c ) 它的功能是向上提供网格中可供共享的资源，它们是物 理或逻辑实体。常用的资源包括处理能力、存储系统、目录、网格资源、分布 式文件系统、分布式计算机池、计算机集群等。 g l o b u s t o o l k i t中相应组件负 责侦测可用的软硬件资源的特性、当前负荷、状态等信息，并将其打包供上层 协议调用。 第2 章 网格体系结构 连接层 ( c o n n e c t i v i t y ) 它是网格中网 络事务处理通信与授权控制的核 心协议。构造层提交的各种资源间的数据交换都在这一层的控制下实现。各资 源间的授权验证、安全控制也在这里实现。在g l o b u s t o o l k i t 中，相应组件采 用基于公钥的网格安全基础协议( g s i) 。在此协议中提供一次登录、委托授权、 局域安全方案整合、基于用户的信任关系等功能。资源间的数据交换通过传输、 路由及名字解析实现。 资源层 ( r e s o u r c e )这一层的作用是对单个资源实施控制，与可用资源进 行安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使 用数据。在t o o l k i t 中有一系列组件用来实现资源注册、资源分配和资源监视。 t o o l k i t 还在这一层定义t客户端的c . j a v a 的a p i 和s d k . 汇集层 ( c o l l e c t i v e )这层的作用是将资源层提交的受控资源汇集在一 起，供虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控 制，汇集层提供目 录服务、资源分配、日程安排、资源代理、资源监测诊断、 网格启动、负荷控制、帐户管理等多种功能。 应用层 ( a p p l i c a t i o n s ) 这层是网格上用户的应用程序。应用程序通过 各层的接口 a p i调用相应的服务，再通过服务调用网格上的资源来完成任务。 应用程序的开发涉及大量的库函数. 为便于网格应用程序的开发，需要构建支持 网格计算的库函数。 2 . 2 . 1基础结构:本地控制的接口 网格基础结构层提供资源，例如:计算资源、存储系统、目录、网络资源 以及传感器。对这些资源的共享访问通过网格协议来仲裁。一个 “ 资源”可以 是一个逻辑实体， 如一个分布式文件系统、 计算集群或分布式计算机池16 1 。 在这 些例子中，资源的实 现可能涉及内 部的 协议 ( 例如， n f s 存储访问协议或者集群 资源管理系统的进程管理协议) ，但这些不是网格体系结构所关心的。 基础结构层实现了本地的、具体于资源的操作。这些操作由高层的共享操 作引发后，在具体的资源 ( 不管是逻辑资源还是物理资源) 上发生。因而一方 面在构造层实现的功能之间存在一种紧密而且微妙的互相依赖关系，另一方面 与支持的共享操作之间也存在一种紧密而且微妙的互相依赖关系。丰富的基础 结构层功能使得更复杂的共享操作成为可能;同样，如果本文对基础结构层元 素只有很少的需求，那么网格基础设施的部署就简化了。例如，资源层对预留 第z 章 网格体系结构 的支持使得高层服务以它们自己 感兴趣的方式聚合 ( 协作调度)资源变得可能， 否则这是不可能实现的。然而，由于许多资源对外并不支持预留，要求预留将 会增加纳入新资源到网格系统中的开销。经验表明，资源至少应该实现内省机 制，该机制支持发现资源的结构、状态和能力 ( 例如， 它们是否支持预留) 。一 方面，资源还应该实现资源管理机制，以便提供对服务质量的某种控制，另一 方面，如下面例子所示: . 计算资源 需要启动程序并监视和控制结果进程执行的机制。如同预留 机制一样，对分配给进程的资源进行控制的管理机制是有用的。内省功能需要 用来确定硬件和软件特征，以及相关的状态信息，例如， 在调度器管理下资源 的当前负载和队列状态。 . 存储资源 需要发送和获取文件的机制。第三方传输和高性能 ( 例如， 分片)传输是很有用的。用来对一个文件的部分子集进行读和写，以及执行远 程数据选择或裁剪的机制同样也是有用处的.对分配给数据传输的资源 ( 空间、 磁盘带宽、网络带宽以及 c p u进行控制的管理机制也同样需要，该机制类似于 预留机制。也需要内省功能来确定硬件和软件特性，以及相关的负载信息，例 如，可用的空间和带宽利用率。 网络资源 需要对分配给网络传输的资源 ( 例如，优先级的预留)进行管理 的机制。此外，应该提供内省功能以便确定网络的特征和负载。 其他重要的资源类别有:用于存储结构化数据的数据库系统，以及各种传 感器。 2 . 2 . 2连接:安全便利地通信 连接层定义了通信和认证核心协议，这些协议是针对专用于网格的网络处 理定义的。 通信协议使得基础结构层资源之间能进行数据交换。认证协议构建 在通信服务之上，提供用于校验用户和资源身份的密钥安全机制。 通信的需求包括传输、路由以及命名。虽然存在别的协议，但是通常假定 这些协议是来自t c p / i p协议栈。特别要指出的是，t c p / i p协议栈包括互联网 层次协议体系结构的i p层 ( i p , i c m p ) ， 传输层 ( t c p , u d p )以及应用层 ( d n s , o s p f , r s v p ， 等等) 。 但这并不是说网 格通信在未来不需要考虑特殊的网络类型 ( 例如高性能光纤网或无线网络)上的新协议。 安全问题的复杂性要求任何连接层安全解决方案只要可能就都应该基于现 第2 章 网格体系结构 存标准来考虑，这一点很重要。与通信一样，许多在互联网协议族环境下开发 的安全标准都是可用的。这里本文只提及一些更重要的需求: . 单一登录 由于网格用户常常需要启动访问多个远程资源的计算任务， 但用户应该 “ 登录”( 认证)仅仅一次，而不必为访问每一个资源或管理域都 “ 登录气 . 委托 一个用户必须能够赋予一个程序代表他运行的能力，以便该程序 能够访问 授权该用户访问的资源。这个程序也应该能够 ( 有选择地)把它权限 的一部分委托给另外一个程序:这就是有时所说的限制性委托。 . 与本地安全方案的集成 在一个异构网格中，每一个地点或资源提供者 可以利用各种本地安全方案中的任何方案。网格安全方案必须能够和这些不同 的本地方案进行互操作。实际上，它们不能要求本地安全解决方案的大规模替 换，而是必须实现对本地环境的映射。 . 基于用户的信任关系 对于用户使用来自多个提供者的资源，安全系统 不必要求每一资源提供者在配置安全环境时能协同操作或交互。例如，如果一 个用户拥有使用地点a和地点b的权力，那么该用户应该能够一起使用地点a 和地点b ，而不需要地点a 和地点b 的安全管理者之间进行交互。 网格安全方案也应该对通信保护提供灵活的支持 ( 例如，对保护程度的控 制、对不可靠协议提供独立数据单元的保护，以及对非 t o 的可靠传输协议提 供支持) ，并且使得参与者能够对授权决策进行控制，包括采用各种方式限制权 利委托的能力。 2 . 2 . 3资源:共享单一资源 在完成身份认证之后，网格用户要求能够同远端的资源和服务进行交互， 这正是资源层要提供的功能。资源层建立在连接层通信和认证协议之上，定义 单个资源上的共享操作协议，如安全协商、初始化、监控、控制、记账和付费 等协议。这些资源层协议的实现调用了基础结