（计算机应用技术专业论文）基于市场的dbc网格调度的改进.pdf

摘要 网格技术是最近几年出现的一个发展迅速的技术，是为了解决科学上、工 程上和商业中的大规模问题而出现的，聚集和共享分散在各种组织和域的成千上 万的资源形成了虚拟企业( v e ， r t u a le m e r p r i s e s ) 的一种技术。论文介绍了 网格计算的技术和发展前景，重点讨论了网格计算的关键技术之一资源管理和调 度( r m s ) ，解决如何管理各种异构的、地理分散的资源的问题，论文比较了当 前比较主要的市场模型，分析了其中的各种优缺点，提出了一个根据用户需求动 态变化的资源市场模型以更好的配置使用资源，并且对这种模型的性能进行了仿 真试验。 a b s t r a c t g r i dc o m p u t i n gi san e w t e c h n o l o g y t h a tg a i n sp o p u l a r i t yr c c e n t l ya n d d e v e l o p s s of a s t i ti su s e dt or e s 0 1 v em e l a r g e s c a l ep r o b l e m i ns c i e n c e ，e n g i n e e r i n 岛c o m m e r c e f i e l d sb ys h a r i n ga 1 1 da g g r e g a t i o no fm i l l i o n so fr e s o u r c e sg e o g r a p h i c a l i yd i s t r i b u t e d a c r o s so r g a i l i z a t i o na n da d m i n i s t r a t i v ed o m a i n s t h i sp a p e ri n 廿o d u c e st l l e 嘶d c o m p u t i n ga n di t s 如t u r e ，f b c u s e s o nr e s o u r c em a n a g e m e n ta i l ds c h e d u l ei n g r i d c o m p u t i n g ，o n eo fk e yt e c h n o i o g i e s ，w h i c hi sf o rm a n a g i n ga n ds c h e d u l i n gj o b sa n d r e s o u r c e sa sb r o k e lt h ef o l l o w i n gs e c t i o ni s d i s c u s s i l l gm a l l ye c o n o m i cm o d e l s ， c o m p a r i l l go n ew i t he a c ho 也er ，a 1 1 a l y z i n gt h ec h a f a c t e r i s t i co fe v c r ym o d e l a “a s t ，a n e wm o d e li s p r o p o s e d ，w h i c h i s a d a p t i v e t ot h en e e do fu s e r s ，t h em o d e li s i m p l e m e n t e do n 、r l d w o r l d - w i d eg “d t e s t b e d u s i n gg r i d s i ma r i d e s t i m a t ei t s d e r f b r m a n c e 2 南京邮电学院硕士学位论文 前言 网格( g r i d ) 技术是最近几年出现的一个发展迅速的技术，是为了解决科学 上、工程上和商业中的大规模问题而出现的，聚集和共享分散在各种组织和域的 成千上万的资源形成了虚拟企业( v e ，r t u a le n t e r p r i s e s ) 的一种技术 2 5 4 7 。 g r i d 概念和技术最初的发展是为了促使在先进的科学协作研究中共享资源。其应 用包括大规模科学数据集的协作虚拟化( 共享专门技术，p o o l i n g o fe x p e r t i s e ) ， 为实现计算上的高要求数据分析所进行的分布式计算( 共享计算能力和存储空 间，p o o l i n go fc o m p u t e rp o w e ra n ds t o r a g e ) ，以及科学仪器和远程计算机、 档案室的连接( 提高功能性和有效性) 。网格的支持者期望相似的应用在商业环 境中变得重要，最初是对科学和技术计算应用很重要( 在这方面可以看见已经能 够给出成功的例子) ，然后对商业分布式计算应用很重要，这些应用包括企业应 用整合和b 2 b 合作伙伴在i n t e r n e t 上的协作。就像w w w 最初只是科学协作的技术 而最终被电子商务所采用那样，网格的支持者期望g r i d 技术也能走上相似的道 路。尽管如此，人们认为g r i d 概念对于商业计算是十分重要，主要不是因为它 是一个提高性能的方法，而是因为它是解决构建可靠的、可扩展的、安全的分布 式系统相关的一系列新问题的一个解决方案。这些问题来源于最近由技术趋势和 商业压力所驱动的将过去单一的以主机为中心的服务分解和分布到网络上的技 术潮流。 网格作为“下一代网络的技术”，越来越受到人们的关注，国内外的研究机 构和大学都投入了大量的人力、物力和财力。网格的内涵非常丰富，网格的手段 之一就是把分散的资源联合起来解决复杂的科学工程问题。这种资源包括弼络通 信能力、数据资料、仪器设备，甚至人员等各种相关资源，形成一个v o 。由于 这些资源可能分布在不同的组织中，有很多异构资源( p c ，工作站，集群，超 级计算祝) ，组织管理系统，不同的需求者( c p u ，的，内存和网络) ，生产者( 资 源拥有者) ，消费者( 资源使用者) 有不同的目标、策略和供需模式，还可能资 源和终端使用者可能分布于不同的时区位置。管理如此复杂的资源环境需要一个 管理方法。常规的从系统上优化性能的方法就行不通了，传统的方法采用集中策 略，这需要完整的状态信息。由于构建一个成功的网络环境是如此的复杂，不可 壹室塑皇兰堕堡主兰垒堡兰一 一能定义一个系统级的性能矩阵和组织管理策略。 由于网格需要管理大量的分布式资源，有可能需要跨域使用资源，所以网 格系统就要动态的满足解决这些问题，必须具有以下特点【3 】 4 】： 灵活性、可扩展性 域内自治性 可量测性 唯一的全局名字空间 易于使用，透明访问 高性能 安全 异构资源的浏览和管理 多系统的互操作性 资源的分配和协同 容错性 动态适配 计算经济 为了解决这方面的问题，许多学者提出了各种解决方案，并已经在运行和 使用中。在世界网格论坛( g l o b a lg r i df o r u i n ) 中有一个工作组资源管理和调 度，提出了一些方案。其中包括市场模型。 网格是由许多复杂的资源组成构建而成，这些资源地理分布很分散，隶属 于不同的组织，有着不同的管理策略，而采用市场管理模型就可以解决这个问题。 采用市场模型管理资源的需求和动力是多方面的。资源所有者之所以把资 源贡献出来组成一个大的网格环境，是为了公共利益、奖品、兴趣、声誉，或者 协同合作的要求。有许多网格的项目已经证明了这一点，如s e t h o m e ， d i s t m b u t e d n e t d a s ， 或者g u s t o 的成功。对这种测试床( t e s t b e d ) 的形成， 资源所有者出于上述的原因贡献出了自己的资源，但是利用这些资源所形成的测 试床( t e s t b e d ) 来解决商业问题的可能性很低，更重要地是，或者更进一步的 说，并不能保证把资源贡献出来的用户能够访问测试床中所有其它的资源，除非 两者之间有一定的合作关系，否则很难访问另一部分的资源。 2 南京邮电学院硕士学位论文 在这种环境下，一个鼓励资源所有者把自己的资源提供给其他人使用的网 格资源管理模型被提了出来，这就是计算经济模型。 在这个网格环境中，每个用户访问资源需要支付一定的费用，形成一种良 性的机制，用户从计算网格或者资源拥有者处按照自己的需要购买自己计算力， 因为用户和资源所有者都想利益最大化，拥有者想获取更多的利润，而使用者希 望用最低的成本来解决自己的问题。这就是计算经济网格。 市场计算网格能够刺激越来越多的资源所有者把自己的资源贡献出来，也 就使网格规模越来越大，最终把网格概念推向主流计算机形式。 一个重要的网格市场模型就是b u y y a 博士提出的基于d b c 调度算法而显 现的，支持用户的q o s 需求( 最高预算和最晚期限) ，并已经在n i m m d g 资源 代理上实现了，和许多网格核心中间件集成在一起，得到了应用，如g l o b u s 、 l e g i o n 、p e r s o n a lc o n d o r 。 但是这种算法也有一定的问题，由于忽略了网格资源的配置，造成了资源 的配置效率低下，论文的重点就是在d b c 的基础上进行了改进，使无状态的资 源自身具体状态，进入市场，根据任务来调整自己，弥补了资源配置低下的缺点， 同时进行了模拟试验，把两种算法进行了比较，可以看出这个缺点得到了解决。 南京邮电学院硕士学位论文 第一章网格技术发展现状 1 _ 1 网格的出现 网格的出现是网络和计算机的发展产物，回顾网格的发展，要从网络和 计算机两个方面来看。 首先回顾网络的发展。a r p a n e t 是i r l t c m e t 的前身，开始于上个世纪7 0 年代，是一些科学家和国防部的试验性网络，但是奠定了现代i n t e m e t 的基础， 开发了t c p i p 协议，提出了一些重要概念，后来的网络都是在这个方向发展成 熟，其中一个重要的网络就是n s f n e t ，连接了美国5 个n s f 超级计算机中心， 后来扩展成现在的i n t e m e t 。 1 9 9 8 年，美国的一个新网络v b n s 建成并连接了许多研究机构，后来发 展成连接加拿大、新加坡、韩国等许多国家和地区的网络s t a rr r a p ，为世界范 围的网络出现打下了基础。 网络的扩大和网速的提高为跨地区的资源共享提供了基础，使得分布在 i n t e m e t 的计算机和各种资源能够联合起来，形成一种更为巨大的资源，解决更 大的问题。 根据摩尔定律，计算机的c p u 的速度大约每1 8 个月翻一番，现在p c 的速度已经比几年前c m y 超级计算机还有快，但是大量的微机在很多时候是闲 置的，因此闲置的计算能力可以通过共享手段来让其它的用户受益，这是一个网 格技术发展的一个重要动力。 4 堕塞墅皇堂堕堡主兰堡垒奎一一 非主流 1 9 9 5 2 0 0 0 图1 ：计算机的发展 计算机的发展也经历许多阶段，在不同的阶段，都有一种形式的计算占 据主流地位 1 】，其发展形式如图l 所示。7 0 年代，大型机是主流，代表了当时 的计算机的主要形式，到了8 0 年代，小型机迅速崛起，体积减小，特别是到了 9 0 年代，随着微处理技术的发展和c p u 的集成度提高，微机逐渐得到了普及， 而微机和性能的提高和网络的高速以及成熟免费的操作系统的出现，为机群的形 式出现提供了基础，预计在不久的将来，网格会成为主流的计算形式。 1 2 网格的定义 对于网格的理解，现在有很多种解释，有说网格是一种技术的，有说网格 是一种标准的，有说网格是一种方法( 实现资源共享的方法) 的，有说网格是一 种中间件的，还有说网格是一种高级计算的不一而足，网格和p 2 p 是有一定 的差别的，从其目标、资源方式、服务架构和未来趋势更可以看出网格的本质 9 。 通俗地说，“网格就是一台虚拟的计算机”。比较科学的定义是全球网格研究的领 军人物、美国a 耀。衄e 国家实验室的资深科学家、美国g l o b u s 项目的领导人i a n f o s t e r 曾在1 9 9 8 年出版的n l eg r i d ：b 1 u e p r h l tf o ra n e wc o m p u t i n g i n 疗a s t r u c t u r e ，书的定义：“网格是构筑在互联网上的一组新兴技术，它将高 速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技 人员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子 邮件、网页浏览等通信功能，而网格功能则更多更强，让人们透明地使用计算、 壹室堂皇兰堕堡主兰垡笙兰 存储等其他资源”。在20 0o 年的，i a nf o s t e r 在t h c a n a t o m yo f t h e g r i d 这篇论文中把网格定义为：在一个动态地，多管理策略组成的虚拟组织中共享资 源和协同解决问题。至此，人们仍然就什么是网格而争论不休。 2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准 一文中，限定网格必须同时满足三个条件：( 1 ) 在非集中控制的环境中协同使用 资源；( 2 ) 使用标准的、开放的和通用的协议和接口( i a n f o s t e r 认为目前只有 g 1 0 b u s 才算得上标准协议) ；( 3 ) 提供非平凡的服务。这三个条件非常严格， 其模拟图2 如下所示，两个虚拟组织a 和b 协调工作，共享资源。 图2 ：网格系统图 至此，i a l l f o s t e r 已经把他头脑中的网格概念描绘清楚了。但并不是所有人 都同意他的观点，例如，有许多人赞同广义的网格概念，它称作巨大全球网格 g g g ( g r e a tg l o b a lg r i d ) ，它不仅包括计算网格、数据网格、信息网格、知识网 格、商业网格，还包括一些已有的网络计算模式，例如对等计算p 2 p ( p e e rt op e e r ) 、 寄生计算等。可以这样认为，i a l lf o s t e r 赞成狭义的“网格观”，而g g g 是一种 广义的“网格观”。 不管是狭义还是广义的网格，其目的不外乎是要利用互联网把分散在不同 地理位置的电脑组织成一台“虚拟的超级计算机”， 实现计算资源、存储资源、 数据资源、信息资源、软件资源、存储资源、通信资源、知识资源、专家资源等 的全面共享。其中每一台参与的计算机就是一个节点，就像摆放在围棋棋盘上的 棋子一样，而棋盘上纵横交错的线条对应于现实世界的网络，所以整个系统就叫 做“网格”了。在网格上做计算，就像下围棋一样，不是单个棋子完成的，而是 6 南京邮电学院硕士学位论文 所有棋子互相配合形成合力完成的。传统互联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格试图实现互联网上所有资源的全面连通。 清华大学李三立院士将网格与信息高速公路作了比较 1 】，他说：“将先进 计算基础设施( 网格) 与信息高速公路相比较，可以说，信息高速公路是信息传 输和获取的信息基础设施：而先进计算基础设旌则是信息处理的信息基础设施。 虽然，国内外都有不断把信息高速公路扩充频带宽度、改进路由器性能的计划： 但是，国外科学家认为：真正的下代信息基础设施是先进计算基础设施。它将 使以计算机为主体的信息处理发生根本性的变化。” 中科院计算所李国杰院士认为：“网格不同于国外正在搞的i n t e m e t2 或下 一代i n t e m e t ( n o i ) ，网格可以称作是第三代i n t e m e t i 其主要特点是不仅仅包括 计算机和网页，而且包括各种信息资源，例如数据库、软件以及各种信息获取设 备等，它们都连接成一个整体，整个网络如同一台巨大无比的计算机，向每个用 户提供一体化的服务。” 由此可见，网格就是一种资源整合方式，无论是微型p c 机，还是巨型机， 无论资源位于何地，网格可以把这些异构分布的资源整合为一个统一的整体，提 供巨大的能量。 1 3 网格的体系机构 网格技术作为一神未来信息基础设施的方案，整合了许多资源，可以应用 到生活中的方方面面，应该有一套自己的体系结构，形成一个具有特定功能的整 体，对外提供服务，以更好地使人们更好地理解和应用网格技术到现实生活中。 随着人们对网格概念的不断发展，先后出现了三个比较重要的网格体系结构，一 个就是f o s t e r 等在早些时候提出的五层沙漏结构，另个就是在以i b m 为代表 的工业界的影响下，在考虑到w 曲技术的发展与影响后，f o s t e r 等结合w e b s e w i c e 提出的开发网格服务结构( 0 p e ng 跚s e i c e s a r c h i t e c t u r e ，o g s a ) ，最后 一个就是刚刚提出w s - 资源框架( w s r e s o u r c e f r a m e 、r k ) ，下面就简单介绍一 下这三个架构体系。 南京邮电学院硕士学位论文 1 3 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，易于 理解和应用，主要是侧重于从功能上进行了定性的描述，而不是具体到协议的定 义，因而十分容易理解。五层沙漏结构如图所示 工具与应用 ， ， 、 目录代理，- 、 诊断与监控等 l i ：， i - ： 资源与服务： 的安全访问 ! ：r 各种资源，i i ，比如p 设喜孽器、 应用层 汇聚层 资源与 连接层 构造层 倒3 ：五层沙漏结构图 从图3 中可以看出，可以把网格体系分为五个层次：应用层、汇聚层、 资源层、连接层、构造层，为了表示方便、图中的资源层和连接层合在一起表示 了。五层沙漏结构和t c p i p 的网络协议栈有很多类似之处。在五层沙漏结构中， 最低层的是构造层( f 曲r i c ) ，构造层处理的是一个个具体的物理资源，这些资源 非常广泛，可以是计算资源、存储系统、目录、网络资源以及仪器等，通过对这 些具体的分散资源的管理，向上层提供这些资源的管理和控制接口，类似于 t c p i p 协议中的链路层；构造层的上面是连接层( c o l l i l e c t i v i t y ) ，主要是为下层 的物理资源提供安全的数据通信能力，定义了核心的通信和认证协议，用于网格 的网络事务处理之中，这是资源之间进行互操作的前提，连接层使得孤立的单个 资源之间建立了联系，类似于t c p i p 协议栈中的网络层功能和部分传输层功能； 连接层的上面是资源层( r e s o u r c e ) ，实现了对单个资源的共享，反映了抽象的局 部资源的特征，资源层是建立在连接层的通信和认证协议之上，定义的协议包括 安全初始化、监视、控制单个资源的共享操作、审计以及计费等；资源层上面的 是汇聚层( c o l l e c t i v e ) ，其功能是如何将下面以单个资源形式表现出来的资源集 南京邮电学院硕士学位论文 中起来，协调解决多个资源之间的问题，具有t c p i p 协议栈的应用层的部分功 能；最上面的应用层是( 印p l i c a t i o n ) 和资源的距离很远了，主要是面对具体的 问题，使用下层提供的资源来解决不同的虚拟组织里的具体问题，类似于t c p i p 协议栈的应用层。 这种结构之所以称为沙漏结构，是因为其各部分各层次的协议数量是不同 的，对于其最核心的部分，要能够实现上层各种协议向核心协议的映射，同时实 现核心协议向下层其他各种协议的映射，核心协议的数量不多而且集中，起着一 种关键的作用，如同协议栈中的一个瓶颈，或者说像个沙漏，从图中可以看出， 资源层和连接层共同组成这一核心的瓶颈部分。 1 3 2开发网格服务体系结构 开发网格服务结构o g s a 是在g l o b a lg r i df o n l n l4 上提出的重要标准，是 继五层沙漏结构之后最重要，也是目前最新的一种网格体系结构，被称为下一代 的网格结构。 开发网格服务结构是一种以服务为中心的体系结构，在开发网格服务体系 结构中，一切皆是服务，包括各种计算资源、存储资源、网络、程序、数据库等 待，在开发网格服务结构中实现的是对服务的共享，而不是实体资源的共享，从 资源到服务的抽象将资源、信息、数据等统一起来，十分有利于灵活的、一致的、 动态的共享机制的实现，使得分布式系统有了标准接口的和行为。 在开发网格服务体系结构中定义了“网格服务”( g r i ds e r v i c e ) 这个概念来 强调这中服务的思想，网格服务提供了一组接口，这些接口的定义明确，并且遵 守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题，在 开发网格服务体系结构中，将一切看作是网格服务，而网格就是可扩展的网格服 务的集合，即网格= 【网格服务】，网格服务可以以不同的方式聚集起来满足虚拟 组织的需要，虚拟组织自身也可以部分地根据它们操作和共享的服务来定义。 可以简单地说，网格服务= 接口+ 服务数据( g r i d s e r v i c e = i n t e r f a c e + s e r v i c ed a t a ) ，图4 是对开发网格服务体系结构的简单表示： 9 堕塞堕皇兰堕堕主兰垡笙茎一 可靠激括 认证 通知 授权 服务创建 服务注册 管理 并发 图4 ：网格服务示意图 从图4 中可以看出，网格服务是必须的实现和提供的一个接口，提供了必 须的功能如激活、认证、绑定服务数据，还有一些可选的接口如通知、授权等等， 服务数据和其中的一个网格服务实例相联系的，开发网格服务结构强调的是与协 议消息相对应的服务，侧重于实体表现出来的行为特征，它的两大支撑技术就是 网格技术( g l o b u s ) 和w e bs e r v i c e 。 1 3 3 w s 一资源框架 w s 一资源框架( w s - r e s o u r c ef r a m e w o r k ) 是g l o b u s 联盟、i b m 、h p 等联 合发布了网格的新标准，到目前为止还是一个w s r f 草案。w s 一资源框架是网 格和w e bs e i c e 的融合，w s 一资源框架是o g s i 的继承和发展，是网格和w e b s e r v i c e 的彻底融合，o g s i 的有关概念可以映射到w s 一资源框架中，w s 一资源 框架将会是o g s i 的取代者，w s 一资源框架的提出是为了解决在和资源交互时没 有保存资源的状态信息，给出了一种在w e bs e r v i c e 环境里对资源的状态进行建 南京邮电学院硕士学位论文 模和管理的方法。 w s 一资源框架是一个规范族，包括w s - 资源属性( w s r e s o u r c e p r o p e r t i e s ) 、 w s 一资源生命期( w s r e s o u r c e l i f e t i m e ) 、w s 一通知( w s n o t m c a t i o n ) 、w s 一可更新引用( w s r e n e w a b l e r e f e r e n c e s ) 、w s 一服务组( w s s e r v i c e g r o u p ) 、 w s 一基本错误( w s b a s e f a u l t s ) 等标准规范，这些标准规范就是为了能够通 过w e bs e r v i c e 访问具有状态的资源。 规范w s 资源属性定义了w e bs e r v i c e 如何查询和修改和和具有状态的资源 相关的数据，这样就有了客户端访问和有状态的w s 一资源相关的数据的标准方 法 规范w s 一资源生命期定义了两种销毁w s 一资源的方法：直接式和预定式， 使得研发者能够在不需要w s 一资源的时候灵活的清除他们的w e bs e r v i c e 应用， 释放其中的资源。 其它的标准规范都是为了更好地访问具体状态的资源，比如制定了相关的 各种通知、引用等机制。 到目前为止，w s 一资源框架的各种规范还在草案中。 1 4 网格技术 上节介绍的两种可扩展的、开发的体系结构，然后就可以以体系结构 为基础，开发相应的网格技术，但是这些网格结构对应传统的软件开发人员来说 有些不习惯，图5 就是一种容易理解的从网格开发角度体现出来的网格层次结 构，根据这一结构就可以很好地展开网格技术的内涵。 南京邮电学院硕士学位论文 网格应用 网格r 1 户 网格工具 网格开发环境 网格核心中间件 资源相关层 资源相关层资源相关层 特定资源特定资源特定资源 幽5 ：网格技术层次结构 结合网格技术层次结构图可以看出，在这一结构中，最低层的就是各种 可以共享的网格资源，包含极其广泛的内容，为了实现资源的共享，就需要提供 相应的支持手段使得第三方能够访问使用，甚至操纵它。 为了实现各种资源的广泛共享，需要提供一层与特定的资源相关的功能， 可以实现对特定资源的有效控制，又能够对上层的应用提供统一的接口，便于对 资源的统一访问，这就是资源相关层。 网格中最关键的一层就是网格核心中间件，它能够对分布的各种资源进 行有效的管理，为整个网格应用提供高效、安全、可靠的服务。网格核心中间件， 是网格系统中连接上层应用和下层资源的纽带，提供对网格的管理功能，但是这 种功能都是很低层的一种实现，如同计算机语言中的汇编语言，不容易被普通的 开发者掌握，所以在这上面开发应用程序效率太低，为了克服这一缺点，网格开 发环境就出现了。 网格开发环境是为了方便开发使用网格的各种功能而出现的一种集成 的、高效的网格应用技术人员工作环境，在这个环境的帮助下，可以更容易地实 现使用各种网格功能。 对于经常使用的网格功能，可以进一步以网格工具包的形式固定下来， 这样后来的网格开发者可以更快更容易的对网格进行基本的管理和开发。 网格门户( p o r t a l ) 是为网格终端用户提供的，网格门户就是用来访问网 格服务与资源的可定制的、个性化的w 曲接口。对于网格用户来说，不需要知 南京邮电学院硕士学位论文 道网格的具体实现与细节，只需要为他们工作、生活提供最方便、最容易理解以 及最快捷的支持就可以了，网格门户的界面友好与方便是网格应用成功的一个重 要因素。 最上面一层就是各种各样的网格应用，也是网格最终服务的对象。网格 可以应用于很多领域，包括科学计算、商业应用、教育等。未来的网格将会解决 更加复杂的问题，使网格真正成为一种重要的基础性设施，为科研、社会以及经 济的发展服务。 1 5当前的网格应用及发展趋势 网格最初是发源于科学研究，所以目前的很多项目都是科学研究和工程上 面的，大致可以分成下面几类分别是分布式超级计算应用、数据密集型计算、分 布式仪器系统以及远程沉浸等。分布式超级计算是网格计算最早开始的也是比较 成熟的应用领域，主要是一些科学和工程计算问题的解决，数据密集型应计算主 要是是一些大型的天体物理、人体医学、图像等大型数据库的分析和处理，侧重 与数据的存储、传输和处理，而分布式仪器系统是指用网格管理分布在各地的贵 重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户 的使用，这是网格的一个重要应用，远程沉浸是一种特殊的网络化虚拟现实环境， 以广泛应用于交互式科学可视化、教育、训练、艺术、娱乐、工业设计、信息可 视化等许多领域。 虚拟实验室( v i r t u a ll a b o r a t o r yp r o j e c t ) 是建立在网格技术上的一个 解决分子生物医学领域中大规模的计算和数据密集型科学应用，虚拟试验室提供 了相应的软件工具和资源代理，能够把大规模的分子研究工作分配到分布在世界 各她的分布式计算机和数据网格资源，大大有助于研究观察药品数据库 ( c h e m i c a ld a t ab a n k ，c b d ) 中成千上万的化合物以分辨他们是否对药物研制 有潜在的用处。 虚拟实验室作为一个网格技术的应用，采用了许多现有的软件和技术，主 要是基于支持计算式经济的网格架构( g r i da r c h i t e c t u r ef o rc o m d u t a t i o n a l e c 。n o m y ，g r a c e ) ，g r a c e 是一个通用的网格计算的框架和基础设施，整合了现 有的网格系统如g l o b u s 、l e g i o n ，形成了一个经济网格，g r a c e 的关键部件是： 壹塞坚皇堂堕堡主堂垡堡塞 网格资源代理( g r b ) ，如n i m r o d g 网格资源和市场信息服务器，如g l o b u sm d s 和已经扩展的服务 网格开发交易协议和相应的a p i 交易管理器 网格交易服务器 各种组件紧密结合，协调工作，支持通用的接口，这些接口就是一些协议 和a p i ，网格工具和应用开发者可以使用这些接口开发支持计算网格的应用软 件。 在这个应用中采用了许多应用软件，具体软件及其之间的相互依赖关系可 以参看图6 。 用于药物研制的分子建模d 0 c k 网格应用 1 菲砀耳而雨1 1n i r t l r o d 书和o b 数据代理 一 i 1g l o b u s 核心中间件： f 分布的计算机和数据库( d )- 物8 构造 图6 ：虚拟试验室的层次结构 从图6 的虚拟实验室的层次结构中可以看出，d o c k 是一个用于的分子建模 的应用软件，网格中间件，包括核心中间件和用户中间件，起到了一个管理和协 调下层各种资源，核心中间件采用了g 1 0 b u s ，这是一个网格的实现，提供了网 格安全基础设施( g r i ds e c u r i t yi n f r a s t r u c t u r e ，g s i ) ，信息服务，包括网格 资源信息服务( g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ，g r i s ) 和网格目录信息 服务( g r i di n d e xi n f o r m a t i o ns e r v i c e ，g i i s ) ，任务管理等网格的基本功能， 并对上层提供一个整体的资源特征，同时把用户提交的任务分配到合适的资源上 来执行。使用虚拟试验室的步骤如下 1 在资源上准备可执行文件程序d o c k ，如果没有就会复制一份到这个资 1 4 堕室堡皇兰堕堡圭兰垡笙苎一 源上来； 2 启动c b d 服务器，提供运行时的数据： 3 准备试验数据，也就是d o c k 的输入文件； 4 启动n i m r o d g 代理准备执行； 5 运行n i m r o d g ，设置参数期限和预算的值，监控用户的试验在用户的要 求执行，并把结果返回给用户： 从这些网格的应用中可以看出网格越来越得到了广泛的应用，网格已经走 过来了，网格的优势就在于能够把分散的资源集合起来，能够把昂贵的资源提供 给更多的人使用。 最近随着企业计算的发展和服务提供商和b2b 计算的需求，网格显得越 来越有用武之地。 过去，计算典型地在高聚合的主机为中心的企业计算中心内进行。尽管存 在复杂的分布式系统( 例如命令和控制系统，预定系统，i n t e m e t 域名系统) ， 但它们一直都是专用的、适于特定环境的实体。然而，i n t e r n e t 的崛起和电子商 务的出现已经使得人们逐渐意识到：一个企业的i t 架构还应包括外部的网络、 资源和服务。最初，这一复杂性的新来源被认为是一种以网络为中心的现象，人 们尝试构建“智能网络( i m e l l i g e n t n e t 、v o r k s ) ”，只在“边缘服务器( e d g es e r v e r s ) ” 上与传统企业的i t 数据中心进行交互。“边缘服务器”可以是个企业的w e b 访 问点，或者将企业网络与服务提供者的资源相连的虚拟私有网络服务器。人们因 此设想能够管理和限制电子商务和i n t e m e t 对企业核心i t 架构的影响。 总的来说，这种尝试已经失败了，因为i t 服务分解同样也发生在企业内部 的i t 架构上。新的应用正在被开发成编程模型( 例如e j b 组件模型) ，以将应 用和底层的计算平台相隔离，并支持跨多个平台的可移植配置。这一可移植性反 过来允许我们基于价格性能和q o s 的需求来选取平台，而不是基于操作系统是 否支持来选取平台。因此，例如，w 曲服务( w e bs e r v i c e ) 应用和高速缓存应 用采用普通的服务器而不是传统的大型机计算平台。结果导致了u n i x 和n t 服 务器的繁荣发展，要求在已有的大型机应用和数据资产之间建立分布式连接。数 据资产的增长负载致使企业卸载一些从后台事务处理系统到中间层服务器的非 本质的功能模块( 例如查询处理) 。同时，w e b 访问企业资源要求比过去更快的 南京邮电学院硕士学位论文 请求响应，更进一步地驱动了将内容分布和高速缓存于更接近网络边缘的地方的 需求。整个结果就是将高度整合的内在的i t 架构分解为异构的、独立的系统的 集合。然后，企业必须对这些分布式服务器和数据资源进行重新整合( 保证q o s ) ， 解决导航问题，分布式安全问题，企业内的内容分布和外部网络的内容分布。 在这些发展的同时，企业正以前所未有的趋势积极发展电子商务，并逐渐 意识到：处理相关的不可预见性和飞速发展需要一个高度健壮的i t 架构。目前， 许多企业正在扩张他们的企业资源计划( e n t e r p r i s er e s o u r c ep l a 皿i n g ) 项目的广 度和深度，并设法提供与客户关系管理( c u s t o m e rr e l a t i o n s h i pm a i l a g e m e n t ) 、集 成供应链( i n t e g r a t e ds u p p i yc h a i n ) 及现有核心系统之间的更好的整合。这些发 展正在对企业i t 架构增加重大的压力。总体效果是：传统上使用大型机的以主 机为中心的计算的服务质量目前对于跨分布式计算资源( 无论是在企业内部还是 在企业外部) 的电子商务的有效执行非常重要。例如，企业必须为用户提供一致 的响应时间，无论负载是否在平均值和高峰值间严重偏离。因此，企业要求根据 负载需求和优先级别进行灵活的资源配置。企业还必须为在多个服务器间流动的 分布式事务提供安全可靠的环境，提供持续的有效性，就像最终用户所看到的那 样，并支持商业工作流的灾难恢复，该工作流将跨越一个分布式应用和数据服务 器的网络。然而，目前通过垂直整合特定于平台的组件和服务，向应用程序传递 q o s 的典型应用模式无法运行于当前分布式环境下：单一i t 架构的分解与通过 在给定平台上进行服务垂直整合来传递q o s 不兼容。同样，无法实现有效的分 布式资源管理，受限于分布式资源本身的本质属性，无法等同于平台资源以及跨 分布式环境的相似资源之间的矛盾。上述趋势的结果是i t 系统的整合者挑起了 根据全面的q o s 来重新整合分布式计算资源的重担。然而，没有适当的基础设 施工具，分布式计算工作流的管理变得日益繁重、复杂和脆弱。就像特定平台的 操作的全体职员都在注视着整个系统的有效性和性能是否存在问题，并在不同平 台间就纠正行为进行口头协作一样。这个解决方案的可扩展性差、成本高，或在 改变计算环境和应用投资时是不可维持的。 另一关键趋势是不同类型的服务提供商( s e i c ep m v i d e r ，s p ) 的出现，例 如w 曲托管s p 、内容分发s p 、应用s p 以及存储s p 。通过开发规模经济，服 务提供商的目标是要获取标准的电子商务流程( 例如创建一个门户网站) ，并将 1 6 堕室塑皇茎堕婴主兰堡丝兰一 他们以较高的价格性能提供给多个用户。甚至拥有自己i t 架构的传统企业也在 卸载这些流程，因为他们仅仅是普通的日常功能。这些正在出现的“电子应用” ( 用于指服务提供商提供持续的、需要的访问的一个术语) 正开始为通过计量使 用和订阅服务来传输的分级传输i t 资源提供一个模型。过去的计算服务公司往 往提供离线的面向批处理的过程，与此不同，电子应用提供的资源通常是与企业 的计算架构紧密整合的，并用于既使用内部资源，又使用外购资源的商业流程。 因此，电子应用结构所激发的开发规模经济的价值在于是对企业计算功能的进一 步分解和分发。电子应用提供商面临着他们自己的技术难题。为了获得规模经济， 电子应用提供商要求服务器架构能够易于定制化，以满足特定的用户需求。因此， i t 架构必须( 1 ) 支持根据服务级别协商( s e r v i c e 1 e v e la g r e e m e m ) 策略动态配 置资源，在高利用级别上有效地共享和重用i t 架构，从网络边缘到应用和数据 服务器的分布式安全( 2 ) 保证一致的响应时间和高度的可用性这反过来要 求端到端的性能监控和实时的重新配置。另一关键的i t 业界趋势为跨企业的 b 2 b 协作，例如多组织供应链管理，虚拟购物网及电子拍卖市场等。虽然b 2 b 在 安全、审计、可用性、服务级别协商以及复杂的事务处理流程上有严格的要求， 但实际上，它就是我们上面定义的虚拟组织。因此，b 2 b 计算代表了另一分布 式系统整合的需求来源，其特征是在不同的组织内配置的信息技术之间通常有很 大的区别。 由此可以看出，网格概念对于商业计算也是十分重要，主要不是因为它是 一个提高性能的方法，而是因为它是解决构建可靠的、可扩展的、安全的分布式 系统相关的一系列新问题的一个解决方案。这些问题来源于最近由技术趋势和商 业压力所驱动的将过去单一的以主机为中心的服务分解和分布到网络上的技术 潮流，许多公司如i b m 、h p 、s u n 等已经感觉到了这种趋势潮流，纷纷投入开 发自己的网格解决方案。 1 6 网格的标准化进程 就像i n t e r n e t 需要依赖t c p i p 协议一样，网格也需要依赖标准协议才能 共享和互通。目前，包括全球网格论坛g g f ( g l o b a lg r i df o r u m ) 8 、对象管理 组织o m g ( o b j e c tm a n a g e m e n tg r o u p ) 、万维网联盟宵3 c ( w o r l dw i d ew e b 堕蔓堕皇兰堕塑主兰些笙壅 c o n s o r t i u m ) 以及g l o b u s 项目组在内的诸多团体都试图争夺网格标准的制定权。 g 1 。b u s 项目组在网格协议制定上有很大发言权，因为迄今为止，g 1 。b u s t 。o l k i t 7 已经成为事实上的网格标准。g 1 0 b u s 由美国a r g o n n e 国家实验室数 学与计算机分部、南加州大学信息科学学院和芝加哥大学分布式系统实验室合作 开发，并与美国国家计算科学联盟、n a s ai p g 项目( i n f o r 髓t i o np 。w e rg r i d ) 、 美国国家先进计算基础设施同盟n p a c i ( n a t i o n a lp a r t n e r s h i pf o ra d v a n c e d c o m d u t a t i o n a li n f r a s t r u c t u r e ) 等建立了伙伴关系。一些重要的公司，包括i b m 、 m i c r 。s o f t 、c o m p a q 、c r a y 、s g i 、s u n 、f u j i t s u 、h i t a c h i 、n e c 等公开宣布支 持g l o b u st o o l k i t 。目前大多数网格项目都是基于g 1 0 b u s t o o k i t 所提供的协议 及服务建设的，例如美国的物理网格g r i p h y n 、欧洲的数据网格d a t a g r i d 、荷兰 的集群计算机网格d a s 一2 、美国能源部的科学网格和d i s e 。m 网格、美国 学术界的t e r a g r i d ，等等。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目组和i b m 共同倡议了个全新的网格标准o g s a 。o g s a 叫做开放网格服务体 系( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ) 5 ，它把g l o b u s 标准与以商用为主的w e b s e r v i c e s 的标准结合起来，网格服务统一以s e r v i c e s 的方式对外界提供。o g s a 的诞生，标志着网格已经从学术界的象牙塔延伸到了商业世界中，而且从一个封 闭的世界走向了开放的环境中。0 g s a 从一诞生，就得到业界的广泛支持，像微 软、p l a t f o r mc o m p u t i n g ( 一家分布式计算软件公司) 、a v a k i ( 商用网格解决 方案提供商) 、e n t r o p i a ( 基于p c 的分布式计算网格技术提供商) 等从开始 就宣传支持o g s a 。到目前为止，0 g s a 已经广为接受，几乎所有的业界同仁都认 为它就是网格的未来。由于o g s a 是在g g f 会议上提出来的，g g f 也就顺理成章地 成为o g s a 标准化迸程的领头羊。目前，g g f 有4 个研究组负责与o g s a 相关的标 准制定工作：开放网格服务体系结构工作组0 g s a w g 、开放网格服务基础设施工 作组0 g s i w g 、开放网格服务体系结构安全工作组0 g s a s e c w g 和数据库访问和 集成服务工作组d a i s w g 。2 0 0 3 年1 月1 3 日，符合0 g s a 规范的g l o b u