（计算机软件与理论专业论文）基于经济学的网格资源管理方法的研究.pdf

南京邮电人学硕七研究生学位论文 摘要 摘要 网格的目标是使得人们能够利用地理上分散于各处的资源，完成各种大规模的、复杂 的计算和数据处理任务。资源的有效管理是网格能够提供可靠服务的基础，然而网格资源 的动态性、异构性、自主性使得这个问题一直没有得到很好的解决，依然是网格研究的一 个热点。 经济方法是资源配置的有效方法之一，是解决多个自利个体之间资源配簧的有效的、 简单的方法，在现实生活中已有诸多应用。本文对经济模型进行了较为深入的研究，分析 了将经济学应用于网格的优点，给出了基于经济模型的网格资源管理系统需要具备的功 能，分析了各种经济模型适合的网格环境。 论文首先介绍了网格概念、网格发展趋势：接着介绍了网格中资源的特点、网格资源 的描述语言、网格资源管理模型；进而总结分析了各种经济模型适合的网格环境，提出一 种基于连续双向拍卖( c d a ) 机制的网格资源管理方法，分析了在该方法中使用的市场定价 方法以及各个代理的定价方法，并且改进了c d a 的匹配方式，使之更适合网格环境：并 对两种匹配方式做了仿真及结果分析。最后，对基于经济学的网格资源管理方法的研究做 了总结与展望。 关键词：网格；资源管理；连续双向拍卖 南京邮电大学硕士研究生学位论文 a b s t ra c t a b s t r a c t t h et a r g e to fg r i di sl e t t i n gp e o p l e 嘴s c a t t e r e dr e s o u r c e st oc a r r yo nt h ec o m p l e x c a l c u l a t i o n sa n dd a t ap r o c e s s i n gt a s k s t h ee f f e c t i v em a n a g e m e n to fr e s o u r c ei st h ef o u n d a t i o n t h a tt h e 鲥dc mp r o v i d er e l i a b l e 耽l v i c e ，b u tt h i si s s u eh a sn o tb e e ns a t i s f a c t o r i l yr e s o l v e dd u et o t h ed y n a m i c s ，h e t e r o g e n e i t y , a u t o n o m yo ft h e 西dr e s o u r c e ，i ti ss t i l lah o tr e s e a r c h e c o n o m i c si so n eo ft h ee f f e c t i v em e t h o d so fr e s o u r c ea l l o c a t i o n , i ti st h es i m p l ea n d e f f e c t i v ew a yt oa l l o c a t er e s o u r c ea m o n gm a n yo fi n d i v i d u a l s ，i nr e a ll i f et h e r ea r em a n y a p p l i c a t i o n so fi t t h i st h e s i sm a k e sm o r ei n d e p t hs t u d yo ft h ee c o n o m i c sm o d e l ，a n a l y z e st h e a d v a n t a g e so fa p p l y i n ge c o n o m i c st ot h e 酣也p r e s e n t st h ef u n c t i o n st h a tt h eg r i dr e s o u r c e m a n a g e m e n ts y s t e mb a s e do nt h ee c o n o m i c sm o d e ls h o u l dh a v e ，a n da n a l y z e sav a r i e t yo fg r i d e n v i r o n m e n tt h a te c o n o m i c sm o d e la d a p t st o i nt h i st h e s i s ，t h e c o n c e p to ft h e 西d ，t h e 鲥dd e v e l o p m e n tt r e n d , t h e r e s o u r c e c h a r a c t e r i s t i c s ，t h er e s o 愀d e s c r i p t i o nl a n g u a g e ，a n ds o m eg r i dr e s o u r c em a n a g e m e n tm o d e l s a r ei n t r o d u c e d , 鲥de n v i r o n m e n t st h a te c o n o m i c sm o d e la d a p t st oa r ea n a l y z e d t h e nt h i st h e s i s p u t sf o r w a r d sa 鲥dr e s o u l c em a n a g e m e n tm e t h o db a s e do nt h e c o n t i n u o u sd o u b l ea u c t i o n ( c d a ) ，a n a l y z e st h ew a y o fm a r k e tp r i c i n ga n dt h ew a yo fe a c ha g e n tp r i c i n gi nt h i sm e t h o d ， i m p r o v e st h em a t c h i n go ft h ec d a ，m a k i n gi tm o r es u i t a b l ef o rg r i de n v i r o n m e n t ，a n dt h e n s i m u l a t e st h et w om a t c h i n gm e t h o d so ft h ec d ai no r d e rt om a k ei tm o r es u i t a b l ef o r 鲥d e n v i r o n m e n t , a n ds i m u l a t e st h et w om a t c h i n gm e t h o d sa n da n a l y z e st h es i m u l a t i o nr e s u l t s f i n a l l y , s u m m a r ya n dp r o s p e c to ft h er e s e a r c ho ft h e 鲥dr e s o u r c em a n a g e m e n tm e t h o db a s e do n t h ee c o n o m i c sa r eg i v e i l k e yw o r d s ：g r i d ，r e s o u r c em a n a g e m e n t ，c o n t i n u o u sd o u b l ea u c t i o n n 南京邮电火学硕士研究生学位论文 缩略词表 缩略词表 缩写词英文全文译文 a c ia d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e先进计算基础设施 c d ac o n t i n u o u sd o u b l ea u c t i o n连续双向拍卖 c n g r i dc h i n an a t i o n a lg r i d中国国家网格 g i g g l o b ei n f o r m a t i o ng r i d 全球信息网格 g g gg r e a tg l o b a lg r i d 巨大全球网格 g g fg l o b l eg r i df o r u m 全球网格论坛 g r a mg l o b u sr e s o u r c ea l l o c a t i o nm a n a g e r g l o b u s 资源分配管理 w o ai n t e r n a t i o n a lv i r t u a lo b s e r v a t o r ya l l i a n c e国际虚拟气象联盟 l d a p l e i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l轻量级目录访问协议 n h p c en a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t 国家高性能计算环境 p 2 p p e e r - t o - p e e r 对等网 q o s q u a i t yo fs e r v i c e服务质量 r s lr e s o u r c es p e c i f i c a t i o nl a n g u a g e资源描述语言 r d fr e s o u r c ed e s c r i p t i o nf r a m e w o r k 资源描述框架 s o k us e r v i c eo r i e n t e dk n o w l e d g eu t i l i t i e s面向服务的知识公共事业 s i g s p a t i a li n f o r m a t i o ng r i d 空间信息网格 v o v i r t u a lo b s e r v a t o r y 虚拟天文台 w w ww 0 r l dw i l dw e b 力维网 w s d lw e bs e r v i c ed e s c r i p t i o nl a n g u a g ew e b 服务描述语言 x m le x t e n s i b l em a r k u pl a n g u a g e可扩展的标记语言 南京邮电人学硕士研究生学位论文圈表清单 图表清单 图2 - i 网格应用模型7 图2 - 2 网格架构的五层沙漏模型1 0 图3 - 1 网格资源全生命周期图1 4 图3 - 2 网格资源管理的层次模型1 8 图3 - 3 单元模型基本结构1 9 图3 - 4 计算经济模型框架2 1 图5 - i 全局模型3 0 图5 - 2 本地拍卖市场3 l 图5 - 3 模型运行方式3 2 表6 - i 资源参数表4 1 表6 - 2 任务参数表4 1 图6 1c d a 匹配方式中市场运行1 分钟后的状态4 5 图6 - 2c d 匹配方式中市场运行3 分钟后的状态4 6 图6 - 3c d a 匹配方式中市场运行4 分钟后的状态4 6 图6 4 改进的c d 匹配方式中市场运行1 分钟和2 分钟后的状态4 8 图6 - 5 改进的c d a 匹配方式中市场运行3 分钟后的状态4 9 表6 - 3c d a 匹配过程的结果5 0 表6 - 4 改进的c d a 匹配过程的运行结果5 0 图6 - 6 各个资源的利润5 1 图6 - 7 各个任务的利润5 1 图6 - 8 各个任务的完成时间5 l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：f i 期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：日期： 南京邮电火学硕士研究生学位论文第一章引言 1 1 课题的意义 第一章引言 资源的自治性、动态性和异构性是互联网的固有特性。在网格环境下这些特点更加显 著。网格环境下，资源管理存在以下难点：首先，网格中大量分布在不同地理位置的资源 为不同的组织拥有，这些组织具有不同的使用规则、不同的计费模型和不同的使用模型， 因而对资源的管理不存在统一的管理策略；其次，网格中资源是动态存在的，即资源动态 的加入和退出，网格中的资源管理需要向用户屏蔽这种动态性，以利用当前可用资源信息。 最后，网格环境下的资源还是异构的，各种资源的性能、结构、负荷能力等存在差异。因 此，网格资源管理要解决资源站点自治、底层资源的异构、管理策略的可扩展性、资源之 间的合作、在线控制等问题。同时，现有的网格系统强调资源的共享，却很少考虑到资源 的价格因素。在实际应用中，大量的资源并不是无偿使用的，要吸引资源的所有者加入网 格，就必须保证他们的利益。 网格环境下的资源分配涉及到消费者、生产者的个体行为，一些传统的资源管理和配 置方式在网格中并不适用，而关于市场机制的经济学理论精确刻画了网格资源分配效率， 为量化分析提供了理论基础。经济方法是资源配置的有效方法之一，是解决多个自利个体 问资源分配问题的简单、有效机制。经济活动中的市场是一种自主决策的资源配置手段， 即每个市场参与方根掘市场价格和自身偏好自主决策，通过价格浮动来反映资源供需情况 的动态变化，通过供需均衡实现资源优化分配。 为此，本文以“基于经济学的网格资源管理方法的研究 为课题，针对网格资源的特 点，分析各种经济模型适合的网格环境，提出了一种基于连续双向拍卖( c d a ) 机制的网格 资源管理方法，并对其有效性进行了仿真验证；论文对将经济学用于网格资源管理做了有 益的尝试，研究成果具有较高的理论意义和实用价值。 1 2 论文的主要内容 论文的后续内容如下： 第二章网格计算概述：对网格计算技术做了综述：首先介绍了网格的基本知识、网 格的概念、特点以及关键技术、网格在各个方面的应用：综述了当前国内外网格研究的现 状以及发展趋势。 i 南京邮电火学硕士研究生学位论文 第一荦引言 第三章网格资源管理综述：首先分析网格资源的特点，然后根据网格的特点说明网 格资源管理的目的和主要功能；进而研究了当前各种常见的资源描述语言；最后概括了当 前网格资源管理模型的特点 第四章基于经济模型的网格资源管理模型的分析：介绍了采用经济方式管理资源的 方法。说明了将经济方法应用于网格环境的优点以及要求，同时指出本文中将要研究的重 点。最后从价格机制以及所需的通信量，说明了各种基于经济方式的资源管理方法所适应 的网格环境，为下一章奠定理论基础。 第五章基于经济学的网格资源管理方法的设计：首先用r d f ( r e s o u r e ed e s c r i p t i o n f r a m e w o r k ) 描述了适合该方法的资源与任务，进而说明了该方法的运行模型及运行方式， 进一步研究了市场价格的形成，改进了r e 模型，使它更符合网格环境下的双向拍卖机制。 最后，以使系统能产生更多的利润为目标，改进了连续双向拍卖的匹配协议。 第六章连续双向拍卖协议匹配过程的仿真：首先构造实验数据，进而模拟连续双向 拍卖的匹配方法以及改进后的连续双向拍卖协议的匹配方法，最后分析了实验结果。 第七章总结与展望：对论文进行了总结，并对未来需要做的工作进行了展望。 2 南京邮电人学硕：e 研究生学位论文 第二章同格计算概述 2 1 网格计算基本知识 第二章网格计算概述 作为最近几年国内外研究的热点，网格计算( 以下简称网格) 技术的发展经历了多个 阶段，从早期的高性能计算发展到大范围的资源共享，再到大型任务的协同处理，从学术 界研究应用发展到商业应用。本章我们主要对网格技术进行综述。 2 1 1 网格的概念 人们一直期望有这样的一个分布式的计算环境，它能够在接到任何计算任务时，根据 分布在不同地理位置的计算资源的可用性、处理能力、性能以及使用成本，实时动态地对 它们进行选择、聚合和共享，从而整合形成强大的处理能力，快速响应任务请求。而对于 任务提交者来说，不需要知道实际使用了哪些资源，它们在什么地方或者它们应该如何访 问。这样的环境就好像一台虚拟的超级计算机，它的处理能力是众多计算资源的处理能力 的总和甚至是乘积，同时它还具有高度的可扩展性，能够随时发现并接纳新的资源，使之 无缝成为自己机体的一个部分，从而进一步扩展自己的处理能力。随着近年来高性能网络 和计算机软硬件技术的快速发展，这个想法越来越接近现实，它就是人们目前在分布式计 算领域同益关注的一个重要课题，即网格计算。 网格计算被称为继万维网( w w m 之后的下一代分布式计算技术。i a nf o s t e r 最早在文 献【1 】中对网格作了如下描绘：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、 高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提 供更多的资源、功能和交互性。如果说互联网主要为人们提供电子邮件、网页浏览等通信 功能，而网格功能则更多更强，它使得人们能够透明地使用计算、存储等各种资源”。对 网格计算的研究最初集中在如何整合资源来处理复杂的科学计算和海量数据的存储与访 问上。后来随着人们逐渐认识到作为信息基础设施的网格将在人类社会经济活动中起到重 要的变革作用，基于因特网的跨领域、跨组织的计算资源、存储资源、应用资源、知识资 源等的全面共享与协同开始成为关注的重点。 i a nf o s t e r 于2 0 0 0 年在文献【2 】中对网格进行了进一步描述：“网格计算是在动态变化的 许多虚拟组织之间共享资源并且协同解决问题 。其中： 虚拟组织是由遵守资源共享规则的一组个体、机构组成。虚拟组织的典型例子有： 3 南京邮电火学硕：l 研究生学位论文 第二苹同辑 计算概述 应用服务提供商、企业及企业所采用的应用所构成的系统等虚拟组织的动态性是指组织 结构、对外交互、管理模式及业务模式等是随时间变化的：虚拟组织的异构性是指各组织 在目标、结构、规模、管理、运行模式等方面是不同的 协同性包括资源共享的协同性和问题解决的协同性。资源共享的协同性以资源互 联为基础，既包括资源使用时不同用户因时间、空间、权限等差异引起的协商，也包括资 源的组合。问题解决的协同性是指虚拟组织之间通过协作共同解决某一问题，以满足用户 的新需求。 根据上面网格的定义给出了三个评判是否为网格计算的标准【3 j ，即网格计算必须满足 如下三个条件：( 1 ) 在非集中控制的环境中协同使用资源：( 2 ) 使用标准的、开放的和通用的 协议和接口；( 3 ) 提供非平凡的服务，即能够保证大吞吐量、服务透明和高可靠性。 上述网格定义非常严格，是一种相对狭义的网格定义。而实际上人们普遍认同一种广 义的网格概念，也称为巨大全球网格g g g ( g r e a tg l o b a lg r i d ) ，它不仅包括计算网格、数据 网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例如对等计算 p 2 p 、效用计算( - u t i l i t yc o m p u t i n g ) 1 4 等。 人们对于网格计算到底应该包括哪些方面的内容和技术的认识还处在不断发展和演 进的过程之中。不管是狭义还是广义的网格，其本质的目的都是要利用互联网把分散在不 同位置的计算资源、存储资源、网络资源、数据资源、应用资源、服务资源、信息资源、 知识资源、专家资源等等全面整合起来，为用户提供一个统一标准的入口，使得他能够随 时随地根据需要从网格获得资源或服务。可以说，传统互联网实现了计算机硬件的连通， w e b 实现了网页的连通，而网格则试图实现互联网上所有资源的全面连通。 2 1 2 网格的特点 网格作为新兴的计算平台，能够将各种计算资源整合起来，转化成为一种随处可得的、 可靠的、标准的、经济的计算能力，具有自身的一些特点【1 1 ： ( 1 ) 分布性和异构性。组成网格的资源在地理位置上是分布的，这些资源可能是计算资 源、存储资源、数据资源、仪器资源等等，分布在地理位置不同的许多地方。同时，组成 网格的资源是异构的，对于计算资源，有不同类型的计算机，不同的计算方式，不同的计 算接1 3 ，不同的系统架构，同样对于存储资源和其它资源也存在类似的问题。因此，网格 系统需要解决好资源调度与协同以及不同资源间的互操作接口标准的问题。 ( 2 ) 共享性和集成性。网格的最终目的就是资源共享，任何网格用户都可以非常方便地 4 南京邮电大学硕士研究生学位论文第二录同格计算概述 共享整个网格资源同时，这种共享是深层次的，远远超出现在的因特网的资源共享程度， 可以实现多个共享资源的无缝集成，向用户提供单一的超级计算环境，表现出很强的集成 性。 ( 3 ) 自治性和动态性。网格上的资源首先是属于某一本地的个人或者组织，网格资源的 拥有者对资源具有最高级别的管理权限，网格应该允许资源拥有者对其资源有自主的管理 能力，因而具有自治性。这种自治性意味着网格资源的拥有者可以根据自身情况随时决定 加入或者退出网格系统，这种动态变化的网格资源系统增加了任务调度的复杂性，服务质 量也不容易得到保证。 ( 4 ) 抽象性与虚拟性。网格把实际的物理资源抽象为虚拟的逻辑网格资源，网格用户或 是网格的上层应用软件只需要遵循标准网格接口发出资源请求消息，就可以获得符合该请 求的资源，但用户得到的只是虚拟的逻辑资源，是物理资源的逻辑抽象，用户和上层应用 是看不到物理资源的。网格向用户屏蔽了物理资源的细节，使得用户能够只关心“实现什 么 ，而可以不必在意“如何实现”。 2 1 3 网格的关键技术 网格系统的关键技术如下1 5 l ： ( 1 ) 1 3 户网站用户界面 正如消费者将电力网格看作墙上的插座一样，网格用户不应该看到计算网格的任何复 杂性，可以把网格看作一个门户网站。现今大多数用户都理解w e b 门户网站的概念，其中 用户的浏览器提供了用来访问大量信息源的单一界面。网格门户网站为用户提供了启动应 用程序的接口，该应用程序将使用网格所提供的资源和服务。用户将网格看作虚拟的计算 资源，就像用电户将插座看作虚拟发电机的接口一样。 ( 2 ) 安全技术 安全性是网格计算环境必备的基本特征之一。网格安全包括计算资源的安全和应用程 序的安全。计算资源的安全性虽然可以通过现有网络安全技术来实现，但需要面对的是更 加严峻的安全问题。而应用程序的安全性是网格环境中的另一个重要问题，应用程序的安 全性包括认证、授权以及数据加密等。当一个应用程序提交到网格系统执行时，网格环境 需要保护该应用的私有性，确保其程序代码不会被第三方获得，其运行结果对其他用户是 透明的。 ( 3 ) 监测工具 5 南京邮电大学硕士研究生学位论文 第二章同格计算概述 高性能计算系统的峰值速度可达百万亿次秒但是实际的运算速度往往与峰值速度有 很大的距离。其主要原因在于高性能并行计算机的并行程序与传统的串行程序有很大差 异。而高性能计算应用领域的专家对编程技术并不擅长，很难充分利用各种计算资源。如 何帮助使用人员充分利用网格计算中的资源，这就要靠性能分析和监测工具这对监测系 统资源和运行情况十分重要。 ( 4 ) 任务调度 一旦确认了资源，从逻辑上讲，下一步就是调度在这些资源上运行的单个作业。如果 要彼此互不相干地执行一组独立作业，那么可能并不需要专门的调度程序。但是，如果希 望保留某个特定的资源或确保应用程序中的各个作业并发地运行( 例如，如果它们需要进 程间通信) ，那么就应该使用作业调度程序来协调这些作业的执行。 ( 5 ) 数据管理 如果任何数据( 包括应用程序模块) 都必须移到应用程序作业执行所在的节点上，或 者必须使这些节点可以访问这些数据，那么就需要有安全而又可靠的方法来将文件和数据 移到网格中的各个节点上。 ( 6 ) 资源管理 资源是网格中的主要对象，网格的目的就是要管理好网格中的各种资源，为需要资源 的用户提供透明一致的访问接口。资源管理需要解决的问题有资源的描述、资源的命名、 资源的发现和匹配等。 2 1 4 网格的应用 网格计算己经被应用在许多领域。例如在金融领域，人们需要经常应对快速变化的市 场环境，处理各种潜在的风险并做出正确的决策，同时协同组织内的各部门对潜在的机会 做出快速的响应。网格计算能够胜任大批量的历史数据分析和建模数据计算，有效提高组 织的快速响应能力，实现敏捷决策。在游戏领域，文献 6 】描述了一种基于网格的游戏实现， 作者应用i b mo p t i m a l g r i d 的中间件，对现存的基于单服务器的网络游戏引擎进行简单的 扩展，使它变成能够运行在网格上的多服务器引擎。在协作科学研究领域，许多跨国合作 研究课题经常需要在不同组织之间协调任务和资源( 如实时观测数据、精密测量仪器、遥 感遥测设备等) ，网格计算能够实现这些组织的协n i 作【7 】，并保证海量数据的可靠传输与 共享访问。 图2 1 描绘了网格应用的模型。 6 南京邮电大学硕士研究生学位论文 第二章网格计算概述 图2 1 网格应用模璎 上图中，许多的共享资源，例如应用资源( 气象预测、数学建模等) 和计算基础设施 ( 集群、刀片服务器等) ，被不同的服务提供者或组织所管辖，但是它们之间并不是孤立 的。通过网格，被授权的用户允许对它们进行访问，并且根据计算任务的需要跨越组织将 它们整合起来解决特定的问题。这些资源一般被动态地聚集起来给用户使用，一旦用户的 任务执行完毕，它们所构成的虚拟组织将不再存在。图2 - i 中给出了两组用户，一组希望 通过网格来解决气象预测的问题，另外一组则通过网格来完成金融建模，为此动态创建了 两个虚拟组织。 以虚拟组织a 为例，它是为气象预测服务而创建，具体来说，它使用来自通用软件提 供者的气象预测应用程序，并将该程序放到基础实施提供者所管理的集群上运行，最后利 用金融专业服务提供者的高速数据存储设施完成计算数据的存取和计算结果的保存。而对 于用户来说，这些工作都是透明的。 2 2 网格研究现状及发展趋势 网格作为未来社会的信息基础设施，无疑具有重要战略的意义及广阔应用前景，因而 成为众多学术机构、商业机构和各国政府的关注热点。继学术界之后各国政府和商业界 也分别启动了一系列的研究项目。 2 2 1 国外研究现状 美国的网格研究一直走在世界前列，在网格技术的基础研究方面，美国政府每年投入 7 南京邮电大学颈：l 研究生学位论文第二罩嘲格计算概述 的经费高达5 亿美元美国国家科学基金n f s 支持的t e a r g r i d 能连接5 个不同地方的超 级计算机，达到每秒2 0 万亿次的计算能力，储存和处理近l 千万亿字节的数据，t e a r g r i d 的最大特色是连接网格的专用网络带宽达到惊人的4 0 g b p s 美国军方正在实施全球信息网 格g i g ( g l o b ei n f o r m a t i o ng r i d ) ，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海 军和海军陆战队已先期启动一个1 6 0 亿美元的八年项目，包括系统的研制、建设维护和升 级。除此之外，法国网格项目g r i d 5 0 0 0 将法国地理上分布的9 个城市连接在一起，提供 5 0 0 0 个c p u ，它的目标是建立一个高度可配置的具有可控性并可监视的实验网格平台，网 格研究人员可以使用它来试验从网络协议层到应用程序层之间的所有软件。韩国政府也已 正式宣布建立国家网格基本计划，计划在五年内把分散的高性能电脑通过网络连接起来并 加以利用。 此外，还有许多用于科学研究的网格项目，诸如：a s t r o g r i d ，它是一个开源项目， 它的建立是为英国和国际天文学家创建一个工作用的虚拟天文台( v i r t u a lo b s e r v a t o r y ， v o ) 。a s t r o g r i d 是由英国政府建立，它通过i n t e r n a t i o n a lv i r t u a lo b s e r v a t o r ya 1 1 i a n c e ( i v o a ) 与国际上其它v o 项目紧密协作。作为这个社区的领导成员之一，a s t r o g r i d 提供 了国际通用的接口标准，用来促进天文数据的科学集成，并在全球范围内处理资源。 主要i t 厂商为获取该领域的控制权也展开了积极的竞争。2 0 0 2 年8 月i b m 宣布投入 四十亿美元，启动一个全公司的“网格计算创新计划，研发网格计算。同时i b m 与g o l b u s 组织合作，把g l o b u s 标准与支持商用的万维网服务标准结合起来，开发开放的网格计算 标准o g s a ，将网格计算由学术界的科学计算应用扩展到商业应用。为了给企业提供网格计 算的强大工具，s u n 公司发布了新的g r i de n g i n e s u no n e 解决方案，这是针对网格计算 和按需服务的全套集成的软件平台提供了密集计算、数据存储以及通过基于w e b 的图形 用户界面来访问数据的能力，以满足企业的各种业务需求。m i c r o s o f t 的研究部门也积极 参与网格论坛的标准化和研究工作，试图集成网格计算、中间件、多媒体等技术，构造一 个无缝的下一代网络操作系统。此外，i n t e l 、h p 、o r a c l e 等公司也积极参加网格计划， 推出自己的网格计算解决方案。 2 2 2 国内研究现状 国内的网格研究自2 0 0 0 年以来有了很大的进展。已经完成的网格研究项目主要有清 华大学的先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计 算所为主的国家高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n g 8 南京邮电人学硕士研究生学位论文 第二章网格计算概述 e n v i r o n m e n t ) 2 0 0 2 年底，上海市宣布将投入两个多亿建设e 一研究院( e - i n s t i t u t e ) ， 这是一个以信息网络为平台的全新超大容量的虚拟研究机构，将把上海交通大学、复旦大 学、华东理工大学等多所重点高校用网格整合起来，共享资源，协同教学科研。 当前，中国主要有五个网格项目： ( 1 ) 中国国家网格c n g r i d ( c h i n an a t i o n a lg r i d ) 阳：由科技部主持，是国家8 6 3 计划重大 专项支持的项目，估计投资3 亿元。c n g - f i d 是聚合了高性能计算和事务处理能力的新代 信息基础设施的试验床。通过资源共享、协同工作和服务机制，有效支持科学研究、资源 环境、先进制造和信息服务等应用。 ( 2 ) 空间信息网格s i g ( s p a t i a li n f o r m a t i o ng r i d ) t 9 ：该研究计划是科技部8 6 3 中的行业网 格研究计划之一。在十五期间( 2 0 0 1 2 0 0 5 ) ，科技部十三主题启动了s i g 的一系列相关研究， 经历了学习、消化、提高和应用示范等多个研究阶段，基本形成了我国空间信息领域网格 技术的原型技术积累。它是新一代的空间信息和空间信息相关资源的汇集、共享和协作平 厶 口o ( 3 ) 中国教育科研网格计划( c h i i l a 嘶d ) 【1 0 1 ：是教育部2 11 工程公共服务体系建设的重大 专项，也得到了国家科技部的大力支持。c h i n a g r i d 充分利用中国国家教育科研网c e r n e t 和高校的大量计算资源和信息资源，开发相应的网格软件，将分布在c e r n e t 上自治的、 分布异构的海量资源集成起来，实现c e r n e t 环境下资源的有效共享，消除信息孤岛，提 供有效的服务，形成高水平低成本的服务平台，将高性能计算和信息服务送到教育和科研 网用户的桌面上，成为国家科研教学服务的大平台。 ( 4 ) 科研信息化网格研究计划( e s c i e n c e ) ：由国家基金委主持，目标是利用网络技术将地 理上位置不同的计算设旅、存储设备、仪器仪表等集成在一起，建立面向网络服务的通用 基础支撑环境，实现i n t e r n e t 上计算资源、数据资源和服务资源的有效聚合和广泛共享， 从而建立一个能够实现区域或全球合作的虚拟科研和实验环境，支持以大规模计算和数据 处理为特征的科学活动。具体的应用网格项目为欧中网格( e u c h i n a g d ) j 。 ( 5 ) 上海城市信息网格：目标是在现有信息技术基础上，通过网格技术更好地整合和管理 城市内各部门的信息资源，消除信息孤岛，实现资源共享和协同工作，使上海市信息化提 高到一个新的水平。 2 2 3 网格发展趋势 1 标准化趋势：从网格的兴起到现在，已出现许多不同类型的网格项目以及应用，为 、 9 南京邮也人学颂j ：研究生学位论文第二币同崭计算概述 了最终实现网格作为基础化设施的目标，制定网格的标准化已经越来越成为一种共识全 球网格论坛( g g f ) 已经定义了许多网格功能协议和操作标准，诸如任务调度、负载管理、 资源供应等等。 2 技术融合趋势：网格和w e bs e r v i c e s 的融合、网格与语义技术的融合以及新兴出现 的面向服务的架构使得将来提供计算、数据、信息和知识这些功能会发展成为一种类似公 共设施的服务，这些服务将通过各种类型和范围的计算设施与真实的物理世界交织在一 起。欧洲网格发展趋势的代表s o k u l l 2 ) ( s e r v i c eo r i e n t e dk n o w l e d g eu t i l i t i e s ) ，即是多种技 术融合的产物。 2 3 网格系统的体系结构 无论研究机构是否相同，无论哪件产品，网格的基本体系结构是一致的【1 3 j 。如图2 。2 所示。 、坝辘用厂 应朋层 目录代理、资源调度 1 汇聚层 与监控 单个资源管理资源层 资源与服务的连接层 | 安全访问 。| 计算机、存储介质、 构造层 网络、传感器等各种资源接口 图2 2 网格架构的五层沙漏模型 它包括：构造层( f a b r i c ) 、连接层( c o n n e c t i v i t y ) 、资源层( r e s o u r c e ) 、汇聚层 ( c o l l e c t i v e ) 、应用层( a p p l i c a t i o n ) 。其中： 构造层：局部控制的界面。它面对一个个具体的物理资源，通过控制与管理局部资源， 向上提供访问这些资源的接口。构造层提供的功能越丰富，则其可以支持的高级共享操作 就越多( 如高层的资源预留功能) 。 连接层：支持便利安全的通信。它主要是为下层的物理资源提供安全的数据通信能力， 这是资源之间进行互操作的前提，连接层使得孤立的单个资源之间建立了联系。连接层定 义了核心的通信和认证协议，用于网格的网络事务处理。通信协议允许在构造层资源之间 l o 南京邮电火学硕 ：研究生学位论文 第二币网格计算概述 交换数据，实际中的协议大部分是从t c p i p 协议栈中抽出的，比如网络层( i p i c m p ) 、 传输层( t c p ，u d p ) 和应用层( d n s ) ：建立在通信服务之上的认证协议提供加密的安全机制， 用于识别用户和资源 资源层：共享单一资源它的主要功能是实现对单个资源的共享。它反映了抽象的局 部资源的特征，它建立在连接层的通信和认证协议之上，定义了包括安全初始化、监视或 控制单个资源的共享操作、审计以及付费等协议。资源层的协议考虑的是单个的局部资源， 忽略了全局状态和跨越分布资源集合的原子操作。 资源层与连接层协议形成了沙漏模型的瓶颈部分，因此这个协议集要小，并且尽量标 准化，同时要能够抓住涵盖不同资源类型的基本共享机制，但又不能对高层协议的类型和 性能有约束。 汇聚层：协调各种资源。它的主要功能是将资源层中以单个资源形式表现出来的资源 集中起来，协调解决多个资源之间的共享问题。汇聚层协议与服务描述了资源的共性，并 不涉及资源的具体特征，说明了不同资源集合之间的交互方式。汇聚层的功能可以作为永 久的服务来进行实现，包括相关的协议以及与应用相关的接口。 应用层：完成用户特定功能。该层是在虚拟组织环境中存在的。从应用程序员的观点 看网格结构，应用是根据在任一层上定义的服务来构造的。在每一层，都定义了协议，以 提供对相关服务的访问，这些服务包括资源管理、数据存取、资源查找等。 从上面的论述中可知，对资源的管理贯穿在网格系统架构的各个层面，网格的资源管 理在网格系统中占有重要的地位，研究网格中的资源管理具有重要意义，本文将对此问题 进行深入的研究。 2 4 本章小结 本章是网格技术的综述，首先介绍了网格的基本概念、网格的特点、以及网格的关键 技术，接着说明了网格当前的应用领域以及应用模型，最后介绍了网格研究的现状以及网 格的发展趋势，描述了网格的通用架构。下一章将重点分析网格的资源管理。 南京邮电人学硕士研究生学位论文 第三章m 格资源管理综述 第三章网格资源管理综述 网格计算的目的是使人们可以无缝地集成广域资源来合作解决问题，因此，在网格环 境里如何有效地管理资源和调度计算成为影响网格发展是否成功的最主要的因素之一。同 时，由于网格的分布性、异构性、动态性、自治性，使得网格环境下的资源管理变得十分 复杂和具有挑战性。 3 1 网格资源的定义及特点 3 1 1 网格资源的定义 网格资源指所有能够通过网格远程使用的实体，是可以被主体请求使用的实体的总 称。包括计算机软件、计算机硬件、设备和仪器等。计算机软件资源包括系统软件、应用 程序、数据等；计算机硬件资源包括处理器、存储器、硬盘以及其它计算机设施；设备和 仪器包括通信介质、天文望远镜、显微镜、传感器等。除了物理资源之外，在网格设备旁 工作的人员也是一种重要的资源，称为人类资源。人类资源包括人的知识、能力等多种因 素，是网格上最具有伸缩性的资源。 网格意义下的资源共享已经不是原来我们所熟悉的计算机之间的文件交换和远程登 录了，而是指直接访问计算机、软件、数据、设备和仪器等资源。管理好各种类型的资源， 为合法用户提供简单的共享使用接1 ：3 是资源管理的中心任务之一。 可以说用户面对的网格是资源、协议和规范的有机集合。其中资源实体本身是协议、 规范和策略的基础。 3 1 2 网格资源的特点 无论是简单的计算机系统还是复杂的集群系统、并行系统、分布式系统都存在着不同 的资源，内存是资源，磁盘空间是资源，计算周期也是资源。以往系统中的资源无论是种 类的多样性方面还是功能的多样性方面都不能和网格系统中的资源相比。网格资源也就具 有一些以往系统中的资源所不具备的特点： 异构性。网格中的资源种类繁多，功能各异，访问接口也不尽相同，本地管理系 统不同，共享规则不同。 1 2 南京邮电人学硕士研究生学位论文 果三覃喇格资潭管理综述 动态性网格中的资源可以自由地随时加入和离丌网格系统，网格资源的可获得 性是随时间的变化而动态变化的一个网格资源贡献给网格用户使用的能力是随时间变化 而动态变化的，网格资源的负载也是动态变化的 自治性。网格资源有自己的本地管理机构或处在本地管理结构的管理之下，网格 资源具有或强或弱的本地自治能力。网格管理系统必须尊重本地管理者，迁就本地管理策 略，不能把网格的意愿强加到资源上，更不能替换本地管理系统。 使用的二分性。网格资源最终都是由具体的资源拥有者提供的，除了一部分专用 的网格资源是专门提供给网格用户使用的之外，大部分的资源都同时作为网格用户可以使 用的网格资源和资源拥有者自己使用的本地资源。网格用户远程使用资源不能损害资源拥 有者和本地用户的利益。 网格资源的特点决定了网格资源管理机制应该具备的功能和特点。即要隐藏网格资源 的异构性，为用户提供统一的访问接口；要屏蔽网格资源的动态性，保障用户请求的访问 质量；要尊重资源的本地管理机制和策略，使资源更好地为网格服务；要仔细审查网格用 户的请求，确保网格资源的安全和资源拥有者的利益。 3 2 网格资源管理 网格资源管理模块要把网格中分散的各种资源管理起来，使多个资源请求者可以共享 使用网格中的同一个资源，一个资源请求者可以根据业务需要同时或先后使用网格中的多 个资源，而不需要资源请求者付出额外的劳动。 3 2 1 网格资源管理的目的 资源管理的目的总结起来有三点： ( 1 ) 为用户提供访问资源的简单接口，将实际使用资源的具体细节隐藏起来，用户看到 的是一个经过抽象的资源。网