（计算机系统结构专业论文）网格资源管理的模型研究.pdf

华中科技大学硕士学位论文 摘要 网格是构筑在互联网基础之上的新兴分布式计算技术。它通过整合分布在各地的 计算、存储和通信资源，为动态变化的虚拟组织的成员提供更为广泛的资源共享。如 何在这种成员关系动态的虚拟环境中，正确、合理的管理和分配资源成为一个亟待解 决的问题。本文在分析比较现有的分层模型、抽象所有者( a o ) 模型和计算经济模 型的基础上，提出了一个新的资源管理模型网格资源商店模型。该模型的研究是 国家计算网格项目的一部分。 网格资源商店由网格资源商店服务器( g r s s ) 、资源提供者( g r p ) 、提供者代 理( p a ) 、资源消费者( g r c ) 、消费者代理( c a ) 组成。提供者代理和消费者代理 分别是资源提供者和资源消费者的软件代理，代理他们与网格资源商店服务器进行交 互。 网格资源商店服务器是连接资源提供者代理和资源消费者代理的纽带。资源提供 者通过提供者代理与网格资源商店建立连接，预出售自己的资源，资源消费者通过消 费者代理与网格资源商店进行交互，建立连接，购买需要的资源，提交作业。 本文提出了适合本模型的价格和作业费用确定机制、资源加入和退出机制、作业 执行机制以及价格描述机制。 这个模型可以根据供求关系及时调整资源价格，避免资源消费者与资源提供者之 间的直接交互，提高了系统的通信有效性、安全性和扩展能力。 关键词：网格，资源管理模型，网格资源商店 华中科技大学硕士学位论文 a b s t r a c t g r i di san e we m e r g i n gt e c h n o l o g y , w h i c hi sb a s e do ni n t e m e t i t sm a i ng o a li st o p r o v i d ei t su s e r sw i t hb r o a d e r s h a r eo fd i s t r i b u t e dr e s o u r c e s i tc o n s i s t so fa l a r g en u m b e r o f v i r t u a lo r g a n i z a t i o n si nw h i c hm e m b e r s h i pc h a n g e sd y n a m i c a l l y i ns u c ha r le n v i r o n m e n t ， h o wt o m a n a g ea n du s er e s o u r c e se f f i c i e n t l y b e c o m e sav e r yi m p o r t a n ti s s u ei ng r i d r e s e a r c h b a s e do n a n a l y s i so f e x i s t r e s o u r c em a n a g e m e n tm o d e l s ，s u c ha st h eh i e r a r c h ym o d e l ， t h ea b s t r a c to w n e rm o d e l ，a n dt h ec o m p u t a t i o n a le c o n o m ym o d e l ，a n ds oo n ，an e w r e s o u r c em a n a g e m e n t m o d e l ，g r i d r e s o u r c es h o pm o d e l ( g r s m ) ，w h i c hh a sb e e na p p l i e d i nt h ec n g r i d p r o j e c t ，i sd e s c r i b e d i nt h i sp a p e r g r s mc o n s i s t so ft h eg r i dr e s o u r c es h o ps e r v e r ( g r s s ) ，t h eg r i dr e s o u r c e p r o v i d e r ( g i n ) ，t h ep r o v i d e ra g e n t ( p a ) ，t h eg r i dr e s o u r c ec o n s u m e r ( g r c ) a n d t h e c o n s u m e r a g e n t ( c a ) p ai st h ea g e n to fg r p , a n dc ai st h ea g e n to fg r c g r s si st h ec o n n e c t o ro fp aa n d c a g r ps a l e si t sr e s o u r c e st og r s t h r o u g h a i do f p a ，a n dg r c b u y sr e s o u r c e sf r o mg r s t h r o u g h a i do fc a i nt h i sp a p e r , m e c h a n i s m sf o rd e s c r i b i n ga n ds e t t i n go f p r i c eo fr e s o u r c e s ，c o m p u t i n g f e eo f j o b s ，m a n a g e m e n to f r e s o u r c e a d d i n ga n de x i t i n g a r ed e s c r i b e d g r s mc a na d j u s tr e s o u r c e sp r i c e sa c c o r d i n gt ot h er e l a t i o n s h i pb e t w e e nr e s o u r c e s d e m a n da n ds u p p l y a n dt h r o u g hi n t e r a c t i o no fg r s s ，n od i r e c ti n t e r a c t i o nb e t w e e ng r p a n dg r ci sn e e d e d ，w h i c hc a ni m p r o v et h ee f f i c i e n c yo f c o m m u n i c a t i o n ，s y s t e ms e c u r i t y a n d e x p a n s i b i l i t y k e yw o r d s ：g r i d ，r e s o u r c em a n a g e m e n tm o d e l ，g r i dr e s o u r c es h o p i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：都锚 日期：z 呻牛年耳月j d 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密囱。 ( 请在以上方框内打“”) 学位论文作者签名：名髋 日期：2 0 0 乖年年月2 0 日 指导教师签考三，兰丁 劣 日期：御年垆月咖 华中科技大学硕士学位论文 1 绪论 i n t e m e t 的出现使得人们能够大范围地共享各种信息，也使得人们比以往任何时 间都更加渴望能够更广泛地共享各种资源。使用i n t e m e t 作为底层基础设施，研究人 员可以将更大范围地理上分布的异构计算机系统集合在一起形成一个大规模的计算 资源。该领域的研究产生一个新的软件体系结构，我们称之为“网格”( g r i d ) 。网 格计算( g r i d c o m p u t i n g ) 的概念来源于电网，人们试图实现：类似于家用电器能够极为 方便的从电网中使用电力资源，计算应用也能够从一个大范围的分布的资源池中获取 所需的计算资源。近年来世界各地开展了许多相关的研究项目，初步的研究结果表明 网格计算确实是个可行的高性能广域分布式计算模式，同时这些初步研究的结果也 展示了许多急需解决的挑战性问题。如何有效的管理资源是影响网格计算是否成功的 重要因素之一。 1 1 研究背景 1 1 1 网格计算介绍 网格计算是近年来得到快速发展的广域网络计算技术，研究人员试图将更大范围 地理上分布的异构计算机系统集合在一起形成一个大规模的计算平台，我们称之为网 格( g r i d ) 。它是由最初的元计算发展而来【“。 如今各种高性能的局域和广域网变得越来越低廉。同时，商业计算机提供了很好 的性价比，已走入了千家万户，网格技术的发展使得我们有可能将多个计算设备连接 在一起共享各种资源，一起执行分布式计算。 采用多个计算设备共同解决问题以弥补单机计算机性能不足的思想由来己久，从 早期的多处理器计算机到已得到广泛使用的各种集群。在一个分布式系统里，计算机 可以通过远程过程调用( r p c ) 、面向对象编程( o o p ) 、远程方法调用( r m i ) 等方 法使用远程资源 3 5 1 ，现代商业分布式平台如c o r b a 、d c o m 、j i n i 等已得到了大量 的使用，在更广的范围里，w e b 服务使用x m l 、s o a p 等协议实现资源共享，以w e b 作为低层的类似的分布式处理系统也已出现，如对象w e b ( w e bo fo b j e c t ) 、随地分 布式对象( d i s t r i b u t e do b j e c t se v e r y w h e r e ) 1 6 】等。随着通信技术的发展和计算技术的 提高，我们正逐渐可以将越来越大范围的更多的计算设备组织在一起共同解决问题。 华中科技大学硕士学位论文 利用i n t e r n e t 破译r s a 密码和搜索外星人两个项目都成功地使用了成千上万台计算机 共同工作，大范围的广域分布式计算初步显示了它诱人的发展前景。现实世界的许多 科学问题无法用单个计算机有效地计算，如计划2 0 0 5 年进行的欧洲高能粒子实验预 期产生的计算任务和数据都是十分惊人的( 数据网格d a t a g r i d 项目是它的重要前期工 作之一) ，对更高的计算能力的渴望从来都没有因为单机计算能力的增长而缓解，人 们希望能够实现更有效的广域计算。 1 1 2 中国国家网格 近年来，高性能计算与网络相融合，正在产生继因特网和万维网之后的第三个信 息技术大浪潮，高性能计算环境将成为2 1 世纪信息技术的战略性基础设施。作为高 性能计算环境的核心，网格软件的研制和部署，将使我国抓住这个机遇，实现技术的 跨越发展；解决国民经济、社会发展和国家安全的重大问题；为信息化带动工业化提 供关键技术；促进我国信息产业的持续高速成长。 从需求上看，各种资源的信息化使我国的许多应用领域对高性能计算环境( 网格) 的需求有了明显的增长。这些需求不仅表现在科学和工程计算方面，还表现在各行业 对资源共享和信息服务等方面。如何快速发展我们自己的软件技术，满足日益增长的 应用需求已经是网格研究面临的最重要的课题。我国的国民经济、社会发展、国防建 设的众多领域，从服务业、制造业、生物、资源、环保、能源、科研、气象、教育、 社区、政府服务、社会保障、到杀手铜武器的研制，都已经对网格软件的研制提出了 需求。我国的企业，不论是国有企业还是私有企业、高技术企业还是传统企业、大型 企业还是中小企业，都可以从网格技术获利。 中国国家网格( c n g r i d ) 是国家科技部8 6 3 计划“高性能计算机及其核心软件” 专项支持的网格试验平台，包含面向网格的高性能计算机、网格结点、网格软件、应 用网格四项内容。c n g r i d 网格软件的目标是在2 0 0 5 年底以前，构造出支持应用网格 和网格资源( 网格结点) 的网格系统软件和网格开发与使用界面的一套软件，并投入 运行，取得显著的应用成果。 国家网格软件的目的是研制一套网格软件，能够有效的管理分布在全国各地的多 个网格结点，为科学计算和信息服务用户提供一个安全、统一、好用的界面，让他们 能够从全国任意地方的联网客户端方便地使用网格的资源。网格软件在网格中的作 用，就像操作系统在计算机中的作用一样，是最基础的软件。网格软件一方面把分布 在全国的多个结点组织成一个逻辑的整体，另一方面又为网格的应用软件和用户提供 华中科技大学硕士学位论文 一种高层的界面，把很多底层的细节隐藏起来。 资源管理模型有分层模型、抽象所有者模型、计算经济模型和混合模型等。本课 题就是要在这些研究了这些模型的基础之上，提出一个适合国家网格的资源管理模 型。 1 2 国内外概况 网格的理想，1 9 6 0 年人们就提出了。但网格的大规模研究只是近十年的事。今天， 网格研究已经取得了很大的进展，就连大众媒体上也出现了很多与网格相关的技术名 词：元计算( m e t a c o m p u t i n g ) 、分布式计算( d i s t r i b u t e dc o m p u t i n g ) 、计算网格 ( c o m p u t i n gg r i d ) 、信息网格( i n f o r m a t i o ng r i d ) 、知识网格( k n o w l e d g eg r i d ) 、数 据网格( d a t ag r i d ) 、万维网服务( w 曲s e r v i c e ) ，等等。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标一 致的研究开发计划【7 】，比如：惠普、i b m 、微软、s u n 等公司最近取得共识，支持 x m l 、s o a p 、u d d i 等万维网标准，从而开发出新一代的网络应用，称为万维网服 务( w e bs e r v i c e ) ，其目的是将因特网上的资源和信息汇集在一起，组合成企业和消 费者所需要的服务。惠普推出了e s p e a k 万维网服务平台；i b m 用它的w e b s l c i h e r e 平 台和一系列中间件实现万维网服务；微软的路线是通过它的n e t 计划和c # 语言；s u n 公司则通过o p e n n e t w o r ke n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台。另外，i b m 最近 宣布，投资4 0 亿美元，启动一个全公司的“网格计算创新计划”。s u n 公司在2 0 0 0 年9 月公布了它的网格引擎软件。 国际上的网格研究主要采用开放源码、公开合作的模式。全球网格论坛( g l o b a l g r i df o r u m ) 是目前主要的合作组织，g g f 已经成为事实上的全球性的网格技术标准 化组织。 目前，国外已有多个网格软件系统的实现，如研究界的g l o b u st o o l k i t ，l e g i o n s y s t e m ，商业界的w e b s p h e r e ( i b m 公司) ，s u no n e ( s u n 公司) ，e s p e a k ( h p 公 司) ，n e t ( 微软公司) 等等。其中最具影响力的系统是g l o b u st o o l k i t ，已经成为g g f 的参考实现。g l o b u s 的最新软件是g l o b u st o o l k i t3 0 。目前已经经过测试的系统有 a i x 、l i n u x 6 1 、s o l a r i e s 和i r i x 等主流的操作系统平台。另外，g l o b u s 提供了相应 的系统管理员手册( 安装指南) ，补丁程序以及公共许可证( g l o b u st o o l k i tp u b l i c l i c e n s e ) 。 华中科技大学硕士学位论文 2 0 0 2 年2 月，i b m 与g l o b u s 联合发布开放网格服务架构o g s a ( o p e n g r i ds e r v i c e a r c h i t e c t u r e ) ，把g l o b u s 标准与商用的w e bs e r v i c e 标准结合起来，让网格能够支持 w e bs e r v i c e 。o g s a 旨在完成从现在的g l o b u s 到一个基于网格和w e b 服务概念和技 术的网格系统的转变，g l o b u s 项目和i b m 起草了最初的技术规范，并已在g g f 中建 立了相应的工作组，开始对o g s a 技术规范进行讨论和完善，最终希望能够成为标准。 p l a t f o r m 、a v a k i 、e n t r o p i a 和微软等公司都支持0 g s a 。 下面单独的介绍一下各个网格项目的研究概况： 1 2 1g l o b u s g l o b u s 是a r g o n n e 国家实验室和c a l i f o m i a n 技术学院联合开发的网格计算环境。 它包含多个网格计算基础设施工具集，能提供基本的通信、资源定位、调度和数据存 取接口【8 ，9 。每个工具集构件有个定义好的接口用来定义网格虚拟机，并在其上建立更 高层的服务。g l o b u s 项目的目的不在于重新构建诸如p v m 、m p i 、c o n d o r 或者l e g i o n 等系统，而是通过开发能被更高层服务使用的低层机制来提供实用的基础设施。这些 较低层机制是：资源定位和分配、通信、统一的资源信息服务、认证接口、进程创建 以及数据存取等。统一的资源信息服务包含系统状态信息，例如一个处理节点的静态 特征，瞬时性能信息和应用具体信息等。这个信息收集自不同的来源，并能在g l o b u s 内由一种单一的机制存取。g l o b u s 模块能被更高层的服务调用，一般通过基于规则的 选择机制，资源属性查询和通知机制来完成。基于规则的选择机制用于策略，低层模 块能用其执行给定的任务。资源属性查询模块从g l o b u s 中包含环境当前状态的统一 的信息服务中请求信息。通知模块在高层服务和低层机制之间允许回调机制，出现意 外情况时，机制能通知服务事件。 g l o b u s 的资源管理通过g l o b u s 工具集可以和在本地系统运行的任何调度系统相 互作用。它使用一种可扩展的资源说明语言( r s l ) 实现构件间的资源请求通信。r s l 是一种简单的语言，主要描述运行程序的物理机器，使用该语言，系统就可以请求 符合嵌入在语言中的具体特征的资源。g l o b u s 资源管理系统以资源代理人( b r o k e r ) 为中心，资源代理人就是在高层请求规范和更具体的请求表达( 在r s l 中间1 的接口 和翻译器的软件，可以是应用特定的，能够理解用户的高层请求。它们逐步精炼用 户的请求，直到它可表达为具体的资源需求。然后这些需求被翻译成r s l ，发送到 g l o b u s 资源分配管理器( g r a m ) 。g r a m 为本地资源管理系统提供标准网络接口， 每个g r a m 在站点分配规则( 例如由l s f 或者c o n d o r 的一个本地的资源管理系统 4 华中科技大学硕士学位论文 执行) 下负责一组资源操作。资源和计算管理服务以一种分层的方式执行，计算网 格工具和应用能以标准应用程序接口方式表达资源分配和进程管理要求。单个 g r a m 支持在一组本地资源上创造和管理一组过程，由全局服务创建的计算也许可 能包括一个或多个任务，每个任务通过请求g r a m 来创建并由那个g r a m 执行管 理函数来管理。g l o b u s 使用基于轻量级目录访问协议( l d a p ) 的网格目录服务( m d s ) 来执行一个全局目录。 1 2 2 l e g i o n l e g i o n 是一个旨在提供基于面向对象、高度可用的和有效的可扩展系统的研究 项目m “1 。其目标是提供一台具有可扩展性、容易编程、容错、安全、站点自治， 并且具有可扩展的核心是一个单一、一致的虚拟机。l e g i o n 通过类似c o r b a 和d c e 使用的遗留代码包装对象完成多重语言接口和交互操作能力，其运行系统是一个“开 放式系统”，并且有相关的消息传递应用程序接口，系统的内存被作为一个单一、永 久的对象空间。在l e g i o n 中采用了两种方法来实现高性能：资源选择和并行计算。 资源选择使用资源可利用性和密切关系来实现，它是c o n d o r 、d q s 和l o a d l e v e l e r 的扩展。l e g i o n 是用c + + 的一个并行版本_ m e n t a t 编写的，它试图连接松散的工 作站以建立单一的大范围的网格环境，可以在处理器上透明地调度应用构件、管理 数据传输，并且提供通信和同步管理，通过为并行构件提供对象包装，l e g i o n 运行 并行方法调用。在l e g i o n 中调度数据并行构件是静态的，并且可以分成三个明显的 阶段：处理器选择、负载选择和布置。首先是识别候选处理器；其次，选择处理器 的数量与类型以及分解数据域；最后，任务被映射到选择的使通信时间最少的处理 器上。程序计划在m e n t a t 中表示为一个有向无环图( d a g ) ，并行执行基于宏数据流 模型，在其中图的边指示节点之间的依赖关系，节点表示操作。运行时系统发现数 据从属并且组织任务确定时间。 资源透明性概念使得用户( 和应用程序) 可以不依赖于处理器的确定数目或者类 型，延迟容忍相对于粗粒度并行已经达到。l e g i o n 不做出资源分配决定，但是提供在 资源对象和执行映射决策间作出映射决策所必须的基本机制。在一个真正的分布式异 构系统中实现容错，每个物理资源和应用都有他们自己所认为必须处理的错误，在编 写程序时考虑容错是困难的，并且容错本身容易导致出错。l e g i o n 不制定具体政策， 但是应用能选择它们要求的容错级别，l e g i o n 将容错协议包装在基本类中，用户可以 扩展它，取决于应用编写者愿意支付的代价，l e g i o n 可以执行不同的容错级别。 华中科技大学硕士学位论文 1 2 3n i m r o d n i m r o d 项目是由澳大利亚m o n a s h 大学开发的一个网格项目，项目致力于解决 在一组分却式计算机上执行大量的参数仿真的问题，每个仿真有一个不同的参数集。 它小涉及并行化一个单个程序或者一系列相互依赖的程序并行执行，也不处理容错 问题【1 2 】。 n i m r o d 的资源管理由被选择用来运行任务的计算机上的w h a t e v e r 排队系统处理。 n i m r o d 产生任务并将之提交给目标计算机的排队系统，任务在目标机上轮流执行后， 结果返回给n i m r o d 。让n i m r o d 把工作提交到目标机的队列管理系统，而非主动支持 任务分配是为了减少应用程序的复杂性。n i m r o d 对于网格计算领域最主要的贡献是 任务的传输以及网格系统的以用户为中心的思想。n i m r o d 通过一个远程文件传输服 务器发送合适的输入文件到目标处理器，因此能代表用户得到很好的任务传输性能。 这也是第一个提出向计算环境提供以用户为中心观点的系统。最近，n i m r o d 发布一 种新的版本n i m r o d g ，n i m r o d g 是建立在g l o b u s 环境上，它可以利用很多g l o b u s 的功能，使得用户可以定义实验的时间和花费约束。 1 2 4 p o p c o r n p o p c o r n 项目是以色列的希伯来大学开发的一个i n t e m e t 范围的计算市场。其目 标是通过将计算机使用时间转换为抽象的货币( “p o p c o i n s ”) 来实现因特网的计算潜 力 1 ”。资源贡献者通过将他们的机器租借给系统获锝p o p c o i n s ，然后花费p o p c o i n s 去购买远程机器的机时。p o p c o r n 建立在网络浏览器和j a v a 技术上，使用j a v a l i n 和j a v a 市场来建构系统。 p o p c o r n 的计算模型要求程序员把他们的程序分解为能独立运行的一系列的 “c o m p u t e l e t s ”。这种思想能够实现广泛的并行，条件是单个的并行段的效率大于通信 负载。p o p c o r n 的核心是市场中匹配c o m p u t e l e t s 和计算资源生产者的效率算法。 p o p c o m 从经济理论里提供生产者和消费者两种不同的算法。被p o p c o m 使用的第一 种决策算法是“重复v i c k r e y 拍卖”。v i c k r e y 拍卖中，每个计算资源由出价晟高的竞 拍人得到，但是该竞拍人支付的价格是第二高的出价。该算法能保证激励兼容，即竞 拍人的占优策略是确切地出价资源的价值。p o p c o r n 的第二种方法概念上简单但是在 策略上更复杂。每个出价人定义他们的最小价格和最大价格，以及价格变化率，卖主 也同样定义。竟拍一直继续直到达到或者超过卖方价格。最后，p o p c o r n 可以从当前 的供求曲线计算市场平衡，然后市场基于此平衡执行c o m p u t e l e t 和资源的匹配。就像 6 华中科技大学硕士学位论文 p o p c o r n 项目所展示的，许多经济学思想被证明对于管理决策和网格世界中代理的收 集是有价值的，项目的测试显示计算市场平衡对于为计算资源的买方和卖方提供高层 次的服务都是特别有用的。 1 2 5n i m r o d g n i m r o d g 是n i m r o d 建立在g l o b u s 工具集之上的一个专门用于模拟参数学习的 网格项目，但它并不是n i m r o d 在g l o b u s 工具集上的简单，最主要的不同是二者的调 度策略。 - n i m r o d g 使用经济方法来做出调度决定，它使用一个表面上和p o p c o r n 市场类似 的策略。资源定义他们自己的费用，希望执行计算的客户说明他们愿意支付多少费用 以便在一个确定的时间长度内完成任务。n i m r o d g 的一个调度策略是提供用户几种 可能的选择：他们可以选择时间最小算法，即在不超过一定的计算费用的基础上得到 最短的任务运行时间；花费最小算法，即在一定的最终期限的限制下，用户追求尽可 能最小的运行任务的花费；没有最小算法，用户在最终期限之前和一定的运行任务花 费之内完成任务，但不追求最小化其中的任一个。n i m r o d g 的计算经济目前似乎还 不是十分充分。它缺乏一种定义资源费用的全面策略，并且没有像p o p c o r n 一样成熟 的协商算法。不过，这也是当前资源管理经济模型的研究主题之一。n i m r o d g 是比 p o p c o m 使用狭窄但是更为强大的系统，它仅仅用来在网格环境下执行参数仿真。由 于n i m r o d g 建立在g l o b u s 工具集上，而不利用j a v a 或w e b 技术，这有可能限制其 潜在的集群数目但能提高其工作效率。 1 2 6b o n d b o n d 项目是美国p u r d u e 大学探索基于证券市场的经济方法建立网格环境的一个 项目，项目的主要思想是：大量的试图最大化个人利益的代理间的相互作用能产生智 能的资源管理行为”5 1 。b o n d 为分布式计算创建了一个面向对象和代理的世界，它将 系统资源( 包括处理器、通信连接、传感器以及软件资源) 包裹进一个称为元对象的特 殊对象类，和这些对象的通信使得软件对象能够找到合适的资源。在b o n d 中，所有 对象都使用k q m l 信息传递通信，因此b o n d 可以将代理作为其对象层的普通的成员 加以支持。影子对象作为远程对象的本地接口，所有通信通过它们传递。b o n d 设计 中唯一依赖系统元素在于影子对象通信模块。 b o n d 系统建立在采用经济方法管理资源的基础上，它提出了一个在b o n d 中间件 和其他价格驱动系统上的高层计算的有效模型。在这个模型中，就如同人类代理购买 华中科技大学硕士学位论文 并且出售股票和期权，代理购买并且出售资源和使用这些资源的期权，于是进程或者 子进程就能达到市场共识以使用资源。本质上，资源以往的性能，加上系统对该资源 的需求能够帮助设置资源费用。 1 3 主要研究内容 通过使用网格技术，人们希望能够实现廉价、普遍的高性能计算，能够合作存取 各种数据信息，能够提供广域多媒体应用等等。然而，由于网格计算是个新的研究领 域，网格计算环境相对于一般网络计算环境有着更为复杂的特征，如存在多管理域和 站点自治，系统的动态性、异构性和通信延迟的不确定性更高，硬件和软件两个层次 上都存在异构性等等。实现有效和网格计算还有很多需要解决的问题，具体包括资源 调度和管理、系统安全、编程模式、性能评测和数据存取等。其中，在网格环境里如 何有效的管理资源是影响网格计算是否成功的重要因素之一。 本课题主要是面向计算网格而研究的，也就是说，运行的任务具有很大的计算量 和较少的数据量。对于这样的任务，最紧俏的资源就是c p u ，而资源管理最需要考虑 的是资源的计算速度。 本课题是研究网格环境中的资源管理模型，是c n g r i d 网格软件的一部分。 本课题将要研究的主要内容包括：总结其他网格项目中应用到的资源管理模型； 比较各个模型的优缺点，提出适合自身特点的资源管理模型。 经济模型的引入，可能吸引更多的互联网用户参与到这个系统中来，让资源提供 者能够通过出售计算资源而获得利益，促进网格的发展，本课题将重点利用经济模型 来管理资源。 本课题将分析现在网格环境中采用经济模型的必要条件，以及各种经济模型的优 缺点。抽象出在网格环境中的采用经济模型的各种角色，资源消费者和提供者表达他 们价格的方法，资源提供者加入和退出系统的机制。以及资源消费者提交作业、使用 资源的机制。 华中科技大学硕士学位论文 2 网格概述 随着i n t e m e t 的发展，研究人员可以将很大范围上地理分布的异构计算机系统集 合在一起形成一个大规模的计算平台。该领域的研究产生了一个新的软件体系结构， 我们称之为网格( g r i d ) 。网格计算( g r i dc o m p m i n g ) 的概念来源于电网，人们试图 实现：计算应用获取计算资源就好像家用电器从电网中使用电力资源一样方便。本章 首先介绍了网格计算一个较为通用的定义和分类、网格与一般分布式计算系统相比所 具有的特点和其主要的研究方向，接下来对网格的通用结构进行分析，最后提出了网 格环境下的应用执行模型。 2 1 网格的定义 全球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美 国g l o b u s 项目的领导人l a nf o s t e r 曾在1 9 9 8 年出版的网格：2 1 世纪信息技术基础 设施的蓝图一书中这样描述网格：“网格是构筑在互联网上的一组新兴技术，它将 高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人 员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、 网页浏览等通信功能，而网格功能则更多更强，让人们透明的使用计算、存储等其他 资源。【1 6 】 什么是网格( g r i d ) ? 目前，还没有一个十分精确的定义，i a nf o s t e r 给出了一个 比较通用的定义： 网格就是在缺少中央控制、没有全知者( o m n i s c i e n c e ) 和强信任关系的情况下能 够协同使用地理上分散的各种资源。 也有人认为，网格就是一个集成的计算与资源环境，或者说是一个计算资源池。 网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标准的 同时还是经济的计算能力。除了各种类型的计算机，这里的计算资源还包括网络通信 能力、数据资料、仪器设备、甚至是人等各种相关的资源。 什么是网格计算呢( g r i dc o m p u t i n g ) ? 基于网格的问题求解就是网格计算。 那种认为网格就是仅仅通过网络把计算机、人、仪器、数据等连接起来的观点是 过时的，它过分强调了物理的网络和离散的网格资源，而没有将它们作为一个有机的 统一整体来看待。另外一种观点就是把网格看作是中间件，这种观点也是不全面的。 华中科技大学硕士学位论文 中间件的确在网格中占有很重要的地位，但是网格决不仅仅只是中间件。这两种观点 都存在一定的片面性，第一种观点是过分强调网格物理上的资源组成，第二种观点过 分强调网格逻辑上的功能，只有将两者结合起来才是完整的网格系统。物理资源本身 和对资源的管理与逻辑上的抽象都是十分重要的，而且两者是密不可分的，它们是网 格环境的两大核心组成要素i l “。 网格计算技术在产生的初期主要集中在高性能科学计算领域中，现在网格计算不 局限于此，出现了适用于不同应用领域的网格技术。目前，比较常见的网格有这样几 类：计算网格、数据网格和服务网格。 计算网格是一个能够提供可信赖的、一致的、普遍的和廉价的高端计算能力的硬 件和软件底层，有着更高的计算能力，可以被进一步分为分布式超级计算( d i s t r i b u t e d s u p e r c o m p u t i n g ) 和高吞吐量( b i 曲t h r o u g h p u t ) 计算两类【1 8 】。分布式超级计算网格在 多个机器上执行并行应用以减少一个工作的执行时间，一般是有巨大挑战的问题 ( k i l l e ra p p l i c a t i o n s ) ；高吞吐量网格增加实时到达的任务流的完成率。 数据网格是用来提供从多个广域分布的数据源合成新的信息底层的系统，典型的 应用包括从多个信息源得到相关信息的数据挖掘以及处理分布数据的各种物理高能 实验。 服务网格提供单机所不能提供的各种服务，可以细分为需求网格、合作网格和 多媒体网格。需求网格动态地收集不同的资源提供新的服务，这些应用往往更重视 性价比而不是单单追求绝对的性能，资源需求是动态的：合作网格将用户和应用连 接在合作的工作组里，通过一个虚拟空间提供用户和应用间的实时交互；一个多媒 体网格提供广域实时多媒体应用的底层，因此需要支持跨越多个不同机器的服务质 量( q o s ) 。 随着网格的发展，己经提出了有越来越多的网格了，例如信息网格1 9 】、知识网格、 商业网格等等。 2 2 网格的特征 相对于一般的分布式系统，网格有着许多更为复杂的特征，主要包括 7 】： ( 1 ) 网格由多个管理域组成，因此系统不能干涉现有的各组成单元的管理和自 治，不能危及现有的用户和远程站点的安全，不能替换现有的操作系统和服务； ( 2 ) 系统具有动态性，允许远程节点自由加入和离开计算环境： 华中科技大学硕士学位论文 ( 3 ) 在硬件和软件两个层次上提供对异种构件的支持； ( 4 ) 在广域环境下，各种差错无法避免，因此网格必须提供一个可靠的、容错 的底层，不存在单点失效； ( 5 ) 由于通信带宽等资源都是共享的，因此通信延迟更为不确定。 网格计算的研究往往着重于系统的动态性；计算资源和应用的更一般性、移动 性和普遍存在性：无缝性，即用户可以在任何地方登录网格以及系统中资源的组织 性。 目前的研究重点主要集中于解决网格系统的： ( 1 ) 资源调度和管理：资源的有效调度和管理是实现网格计算环境的一个重要 条件，因为不能干扰各局域调度系统的执行，网格调度程序必须能够和各局域调度系 统进行交互。目前一类调度问题主要集中于如何有效地调度相互独立的一组任务；另 一类则试图采用资源预留( a d v a n c e dr e s e r v a t i o n ) 和合作配置( c o a l l o c a t i o n ) 的方法 以解决相对粒度较细的并行任务的执行问题。另外，采用经济机制配置网格资源也是 目前研究热点之一。 ( 2 ) 系统安全 2 0 】：网格认证( a u t h e n t i c a t i o n ) 需求包括：单一登录( s i n g l es i g h o n ) ，即用户只需要注册一次就可以任意使用网格中他有权存取的资源；授权，用户 可以给程序授权以存取可用的资源，同样，程序也可以给另外的程序授权；和各种局 域安全系统整合；基于用户的信任关系，不需要资源提供者之间进行合作、交互柬构 造安全环境。网格通信保护需求：灵活的消息保护：支持各种可靠的通信协议；支持 独立的数据单元，现在一般采用x 5 0 9 协议。网格授权( a u t h o r i z a t i o n ) 需求：由资源 拥有者授权；能进行各种限制的授权。一个通用的办法是给网格中的每个实体分配一 个全局唯一的证书；每个实体可以通过将其权限的一个子集授权给第三方来创建一个 临时身份，这个临时身份就叫代理。 ( 3 ) 编程模式：由于网格环境的复杂性，目前没有一致意见认为哪种编程模式 最适合网格环境，在各种网格项目中针对各自的特殊情况，采用了多种已存在的编程 技术，包括： 底层技术如流通信( u d p ，t c p ，m u l t i c a s t ) 等； 共享内存和多线程( d i s t r i b u t e ds h a r e dm e m o r yt e c h n i q u e s ) ； 数据并行； 消息传递( m p i ，p v m ) ； 华中科技大学硕士学位论文 远端过程调用( d c e 中采用) ； 面向对象( c o r b a ) 等； 代理( a g e n t s ) 。 网格环境下的共享内存编程模式也被采用，其主要好处在于容错和持续 ( p e r s i s t e n c e ) ；由于网格中的通信能力对设计网格应用程序有着重大的影响，因此流 编程也被广泛的使用以隐藏通信延迟。基于重用性和种种遗留代码的原因，很多项目 采用了构件技术。 ( 4 ) 用户服务：用户服务主要集中在好用性方面，以及给不同层次的用户提供 多样的技术支持。 ( 5 ) 性能评测：由于网格环境存在的异构性、共享性、易出错性、动态性、广 域分布性等情况，要想建立一个性能模型可以包含几乎所有的可能情况以预测应用的 性能是相当困难的，目前比较通用的方法是采用性能监测传感器( s e n s o r ) 来检测应 用的性能，激发各种事件，具体实践中经常利用网格信息服务功能的l d a p 协议发送 各种性能检测事件，由事件消费者如调度程序、应用来进行处理。 ( 6 ) 数据存取【2 1 ：数据存取需要解决命名透明性、位置透明性、协议透明性和 时间透明性等问题，并处理不同数据模式管理软件，不同的数据处理接口之间的互操 作。目前数据的使用主要有数据分段方法、数据流方法、掌舵方法( s t e e r i n gs c e n a r i o ) 和选择数据修补方法四类。 数据分段方法是现在最典型的高性能计算方式，数据从数据存储系统中取得， 并且数据传输以顺序方式和存取其他资源松散地互相协调，典型应用：仿真，传输输 入文件到超级计算，输出文件到可视设备，随着数据文件大小的增加，调度数据传输 越来越重要。对很大的数据集或以网络为中心的编程模式不太适合。 数据流方法：用于大量的数据传输和并发存取别的资源之闻必须紧密协调，高 精度传真等领域，通常使用流、数据虹吸模式。 掌舵方法：用于小量数据和并发存取别的资源协调，用户决定下一步行为，可 以存取或个性远程输入。 选择数据修补方法：远程数据的一个子集传输到另一个地方，存取可视资源， 用户首先存取以前仿真的输出文件，用低花费模式测览数据集，然后用高花费模式观 看需要的子集。着重于资源的交互存取1 2 ”。 ( 7 ) 计算环境等，使得用户能更方便地使用网格。 华中科技大学硕士学位论文 2 3 网格的体系结构 网格是一个整体的概念，网格体系结构的作用在一定程序上就是对网格的解剖。 网格体系结构不仅要能够标识出网格的基本组成成分，能够清楚地说明网格整体是由 哪些关键部分结合在一起形成的，而且还要进一步描述如何将这些部分按照一定的方 式进行组织和集成，形成一个具有特定功能的整体对外提供服务。 到目前为止，比较重要的网格体系结构有两个【2 3 i ，一个就是f o s t e r 等在早些时候 提出的五层沙漏结构，另一个就是在以i b m 为代表的工业界的影响下，在考虑到w e b 技术的发展与影响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务结构o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 。下面分别介绍这两种结构。 2 3 1 五层沙漏结构 p 成冈鬃 珍嚣黧等 瓤漯澄 p 彳 爨源 连接璎 焱 构造暌 图2 1 沙漏形状的五层结构 如图2 1 所示，在五层沙漏结构中，最底层是构造层( f a b r i c ) ，构造层面对的是 一个个具体的物理( 也可以是逻辑的) 资源，它通过对这些局部资源的管理，向上层 提供对这些资源的管理和控制界面。构造层的上面是连接层( c o n n e c t i v i t y ) ，主要是 为下层的物理资源提供安全的数据通信