（计算机应用技术专业论文）基于经济模型的网格资源调度和分配的研究.pdf

山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 摘要 网格是当前并行与分布式计算技术的一个重要发展方向，其目标是实现对地理上广泛 分布的大量异构资源进行共享。资源管理是网格的关键技术之一，但是由于网格固有的异 构性、分布性和动态性，传统的资源管理方法在网格环境中并不适用。此外，要吸引各类 资源消费者和提供者加入网格，就必须满足他们各自的需求。与此同时，大量的经济理论 研究已经证明，在众多没有或者很少中央指导的情况下，市场机制能够获得近似最优化的 资源分配结果。因此，使用经济学方法进行网格资源管理能够很好地解决以上问题。 本文首先介绍了网格的基本概念、国内外网格的研究现状，和网格的发展前景，然后 深入地分析了网格资源管理的现状，总结了目前网格资源管理技术中的不足之处。随后， 着重分析了在资源管理领域，经济学模型的相关研究成果。 在前人的工作基础上，本文主要做了以下工作： ( 1 ) 本文分析了在网格环境中引入经济学方法的必要性和可行性，讨论了将经济学原 理应用于网格资源管理的合理性； ( 2 ) 本文提出了一种基于经济学模型的资源获取策略。首先，分析了将价格机制中的拍 卖机制应用于网格资源管理的优点，然后提出，将一种连续的双向拍卖策略应用于 网格市场环境中，形成了一种基于连续的双向拍卖机制的网格资源分配模型。 ( 3 ) 在提出了连续的双向拍卖机制模型之后，本文又进一步的描述了在这个模型中， 用户代理请求资源并按照自己的竞价策略参与拍卖的步骤，资源代理参与负责的 主要工作，以及拍卖师的一些属性和基本行为。 ( 4 ) 基于g r i d s i m 网格模拟器，使用j a v a 编程语言，为网格经济学模型设计了一个测 试方案，并对本文所提出的网格环境下的连续的双向拍卖机制进行了模拟测试。 实验结果表明，在网格环境下，本文提出的算法和策略是可行的，并且能够改善网格 的整体性能。 关键词：网格、资源管理、经济模型、拍卖机制、资源获取、网格模拟器 中图分类号；t p 3 9 3 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 a b s t r a c t g r i di sa l li m p o r t a n td e v e l o p m e n tt r e n df o rp a r a l l e la n dd i s t r i b u t e dc o m p u t i n gt e c h n o l o g y n o w a d a y s ，m m i n ga tr e a l i z i n gs h a r i n gt h el a r g eq u a n t i t yo fh e t e r o g e n e o u sr e s o u r c e sl a r g e l y d i s t r i b u t e dg e o g r a p h i c a l l y r e s o u r c em a n a g e m e n ti so n eo ft h ei m p o r t a n tt e c h n i q u e sf o rg r i d h o w e v e rd u et oh e t e r o g e n e o u s ，d i s t r i b u t i o n a la n dd y n a m i cc h a r a c t e r i s t i c so fg r i d ，t r a d i t i o n a l r e s o u r c em a n a g e m e n tm e t h o di sn o ta p p l i c a b l ei ng a de n v i r o n m e n t i na d d i t i o n ，t oa t t r a c t r e s o u r c ec o n s u m e r sa n dp r o v i d e r so fv a r i o u sk i n d st oj o i ng r i d ，t h e i rs e p a r a t en e e d sm u s tb e s a t i s f i e d a tt h es a m et i m e ，ag r e a td e a lo fe c o n o m i ct h e o r ys t u d i e sh a v ep r o v e dt h a t ，u n d e r m a n yc i r c u m s t a n c e so fl i t t l ec e n t r a lg u i d a n c eo rw i t h o u tc e n t r a lg u i d a n c e ，m a r k e tm e c h a n i s m c o u l db ea b l et oa c q u k et h eo p t i m i z e dr e s o u r c ea l l o c a t i o nr e s u l t sb yu s i n ge c o n o m i cm e t h o d st o m a n a g e 鲥d r e s o u r c e t h i sa r t i c l ef i r s ti n t r o d u c e dt h e 鲥db a s i cc o n c e p t ，d o m e s t i ca n df o r e i g n 鲥d sr e s e a r c h p r e s e n ts i t u a t i o n ，w i t hg r i dp r o s p e c t sf o rd e v e l o p m e n t t h e nt h o r o u g h l yh a sa n a l y z e dt h eg r i d r e s o u r c em a n a g e m e n tp r e s e n ts i t u a t i o n ，s u m m a r i z e di nt h ep r e s e n t 鲥dr e s o u r c em a n a g e m e n t t e c h n o l o g yd e f i c i e n c y a f t e r w a r d s ，h a se m p h a t i c a l l ya n a l y z e di n t h er e s o u r c em a n a g e m e n t d o m a i n ，t h ee c o n o m i cm o d e lc o r r e l a t i o nr e s e a r c hr e s u l t s b a s e do np r e v i o u sr e s e a r c h ，t h em a j o rr e s e a r c hw o r k si nt h i sa r t i c l ea r e ： f i r s t l y , t h i s t h e s i sd i s c u s s e st h er a t i o n a l i t yo fu s i n ge c o n o m i cm e t h o da n da g e n t t e c h n o l o g yt om a n a g e rg r i dr e s o u r c e ，a n dm a k eo u tt h en e e da n df e a s i b i l i t yo fi n t r o d u c i n gt h e e c o n o m i cm e t h o d s e c o n d l y , t h i st h e s i sp r o p o s i n gan e ws c h e m et h a tt h eg r i dr e s o u r c ea c c e s s a f t e r a n a l y z i n gt h em e r i t o ft h ea u c t i o nm e c h a n i s m ，w h i c hi s a p p l i e di n t h eg r i dr e s o u r c e m a n a g e m e n t ，t h i st h e s i sp r o p o s e sac o n t i n u o u sd o u b l e a u c t i o ns t r a t e g y , w h i c hi sa p p l i e di nt h e g r i dm a r k e t t h i r d l y , t h et h e s i sd e s c r i b e dt h es t e p so ft h eu s e r - b r o k e rr e q u e s t i n gt h er e s o u r c e sa n d p a r t i c i p a t i n gi na u c t i o n ，t h em a i nw o r kt h a tt h er e s o u r c e b r o k e rr e s p o n s i b l ef o r , a n dt h e a u c t i o n e e r ss o m ea t t r i b u t e sa n db a s i cb e h a v i o r f o u r t h l y ，u s i n gj a v ap r o g r a m m i n gl a n g u a g e ，w ed e v i s e sat e s tp l a nb a s e do ng r i d s i m t o o l k i t a n dw es i m u l a t et h en e wc o n t i n u o u sd o u b l e a u c t i o nm e c h a n i s m ，w h i c hi sp u tf o r w a r d f i n a l l y ，e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h ma n dt h es t r a t e g yw ed e v i s e da l e f e a s i b l e ，a n di tc a ni m p r o v eg r i do v e r a l lp e r f o r m a n c e k e y w o r d s ：g r i d ，r e s o u r c em a n a g e m e n t ，e c o n o m i cm o d e l ，a u c t i o n m e c h a n i s m ， r e s o u r c ea c c e s s 、g r i d s i m 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得( 注：如没有其他需要特别声明的， 本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 虢孙字：刘方暖 学位论文版权使用授权书 本学位论文作者完全了解! i 兰撞有关保留、使用学位论文的规定，有权保留并向国家 有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权兰! 撞可以 将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 差由竹e 、 导师签字； 勾方暖 签字日期：碉年黑月i fe t 签字目期：弘哆年上j e j 纠日 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 第一章绪论 1 1 本文的研究背景、目的及意义 随着高性能计算应用需求的迅猛发展，解决一些超大规模应用问题所需要的计算能 力，已不可能在单一的计算机或单一的计算机机群系统上获得，这就需要将地理上分布的、 系统异构的各种高性能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统 等，通过高速互连网络连接并集成起来，形成对用户透明的虚拟的高性能计算环境，即计 算网格系统【1 j 【2 】，以此来共同解决大型应用的计算问题。 计算网格的思想可以追溯到上世纪八十年代末期，美国对于吉比特高速网络的研究项 目，c a s a 【3 1 ( 一个吉比特网路测试床项目) 研究人员提出的元计算和元计算机的概念被认 为是网格概念的雏形。在1 9 9 7 年1 0 月，美国国家基金( n s n 宣布了面向2 1 世纪的“计 算科学联盟”重大基金项目g r i d 。该项目在大范围内由高速网络把分布在各地的计算资 源和数据资源连接在起，以期实现大区域的高性能并行与分布式计算，用于开展各种应 用研究，解决宇宙学、生物化学工程、流体力学、材料神经等重大科学应用领域的计算问 题。在网格发展的近十年间，对计算网格的研究已经取得了骄人的成就，出现了不少在一 定程度上支持网格计算的系统，比如美国能源部a r g o u n e 国家实验室于1 9 9 5 年启动的高 性能计算研究项目g l o b u s l 4 1 。现在，计算网格的研究工作己经大大超出了g r i d 计划最初 的设想。网格的目标已经不仅限于为解决广域科学计算提供充足的计算能力了，能源、交 通、环保、旅游等许多行业，电子政务、电子商务、企业信息化等诸多领域，都对网格提 出了需求，这将使网格拥有更广阔的商业应用前景。 我们把计算网格系统的使用方式叫做网格计算，网格计算至少需要具备3 种基本服务 功能：资源管理、信息服务和数据管理【l j 【5 i 。资源管理主要处理资源请求、执行远程应用、 分配资源和管理活动，并根据计算资源的情况发布资源更新信息。信息服务主要提供可访 问服务系统组件的各种静态和动态信息、可针对异构和动态环境对信息服务进行配置和调 整、具有统一和有效存取信息的实现接口、对动态数据的访问具有可扩展性、可访问多个 信息资源。数据管理主要包括远程数据传输、远程文件加等。 、 网格的资源管理是为实现网格系统资源共享所应提供的主要服务之一。资源管理系统 的有效性和可接受性在很大程度上依赖于所实现的资源调度策略，也与机器的组织结构密 切相关，而网格的资源管理不同于以前的分布式系统的资源管理，其资源是分布的、异构 的、由不同的组织和个人所拥有，每个拥有者都各自的资源管理策略和不同的访问代价模 型，并且在任意时间资源可以申请加入或退出网格系统，因此管理网格资源是很复杂的， 资源调度的策略对资源管理系统的好坏起着举足轻重的作用。 从微观角度而言，资源管理体系结构和应用调度机制会对计算网格应用执行的效果产 生重要影响。从宏观角度而占，资源管理问题的有效全面解决是计算网格走向实际运用的 一个关键因素。因此，对于计算网格资源调度和分配问题的研究，对当前和未来汁算网格 的发展和应用，都将具有重要的理论意义和巨大的实践价值。 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 1 2 本文所做的主要工作 本文的研究对象就是计算网格的资源管理问题。由于网格固有的异构性、分布性和动 态性，传统的资源管理方法在网格环境中并不适用。此外，要吸引各类资源消费者和提供 者加入网格，就必须满足他们各自的需求。根据当前网格资源管理相关研究的长处和不足， 本文主要做了如下几项工作： ( 1 ) 深入学习并掌握了网格方面的基础理论知识。通过阅读大量文献，学习并了解了有关 网格的一些基础理论，比如网格的概念、特点及研究现状等等，着重学习了网格资源 管理方面的一些理论及现状，并分析总结了现有的网格资源管理系统存在的一些不足 之处。 ( 2 ) 分析并总结了将经济学方法引入网格资源管理系统的合理性。通过对经济学方面文献 的阅读，学习了有关价格机制的基础理论和现有的一些资源管理系统的经济学模型， 分析并总结了将经济学方法引入网格资源管理系统的合理性。 ( 3 ) 描述了在连续的双向拍卖机制下，用户代理参与拍卖的步骤，资源代理负责的主要工 作，及拍卖师的一些基本行为。在提出了连续的拍卖机制之后，本文又进一步的描述 了用户代理请求资源并按照自己的竞价策略参与拍卖的步骤，资源代理参与负责的主 要工作，以及拍卖师的一些属性和基本行为。 ( 4 ) 学习并掌握了使用g r i d s i m 模拟测试的方法。在定义了g r i d s i m 中各实体的功能方法 之后，使用g r i d s i m 将本文所提出的连续的双向拍卖策略模拟出来，验证了在使用连 续的双向拍卖策略时，买卖双方个数对交易金额的影晌，以及验证了使用不同的拍卖 策略对资源获取实际花费的影响。 1 3 本文的组织结构 本文共分七章，安排如下： 第一章绪论 第二章网格技术的现状及应用 第三章网格环境下的资源管理 第四章网格资源管理的经济学模型 第五章基于经济模型的网格资源调度和分配模型 第六章基于g r i d s i m 的网格模拟实验方案设计 第七章结束语 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 2 1 网格技术概述 第二章网格技术的现状及应用 网格计算的概念来源于电网，人们试图实现计算应用能够便利地从一个大范围的分布 的资源池中获取所需的各种计算资源，就如同家用电器从电网中获取使用电。网格的目标 是在计算的性能方面，根据用户所使用的必要的计算资源，支付相应的使用费用。 2 1 1 网格的概念 随着互联网的不断发展，将地理上广泛分布的大量计算资源( 包括超级计算机、集群、 工作站、个人p c 等) 集合起来进行大规模的问题求解变得日益普遍，由此产生了我们所 称的“网格计算”【l 】1 2 l 。 全球网格研究的领军人物、美国阿岗( 觚o n i l e ) 国家实验室的资深科学家、美国g l o b u s 项目的领导人i a nf o s t e ：曾在1 9 9 8 年出版的网格：2 1 世纪信息技术基础设施的蓝图一 书中这样描述网格：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能 计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多 的资源、功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格 功能则更多更强，让人们透明地使用计算、存储等其他资源。” 2 0 0 0 年，i a nf o s t e r 在网格剖析这篇论文中把网格进_ 步描述为“在动态变化的 多个虚拟机构间共享资源和协同解决问题。” 2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准一文中，限定网 格必须同时满足三个条件：( 1 ) 在非集中控制的环境中协同使用资源；( 2 ) 使用标准的、开 放的和通用的协议和接d ( i a nf o s t e ：认为目前只有g l o b u s 才算得上标准协议) ；( 3 ) 提供非 平凡的服务。这三个条件非常严格，象p 2 p ( p e e rt op e e r ) ，s u ng r i de n g i n e ， c o n d o r , m u l t i c l u s t e r 等都被排除在网格之外。 。 至此，i a nf o s t e r 已经把他头脑中的网格概念描绘清楚了。但并不是所有人都同意他 的观点，例如，有许多人赞同广义的网格概念，它称作巨大全球网格g g g ( g r e a tg l o b a l g r i d ) ，它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些 己有的网络计算模式，例如对等计算p 2 p 、寄生计算等。可以这样认为，i a nf o s t e r 赞成 狭义的“网格观”，而g g g 是一种广义的“网格观”。 不管是狭义还是广义的网格，其目的不外乎是利用互联网把分散在不同地理位置的计 算机组织成一台“虚拟的超级计算机”，实现计算资源、存储资源、数据资源、信息资源、 软件资源、存储资源、通信资源、知识资源、专家资源等的全面共享。其中每一台参与的 计算机就是一个节点，就像摆放在围棋棋盘上的棋子一样，而棋盘上纵横交错的线条对应 于现实世界的网络，所以整个系统就叫做“网格”了。在网格上做计算，就像下围棋一样， 3 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 不是单个棋子完成的，而是所有棋子互相配合形成合力完成的。可以说传统互联网实现了 计算机硬件的连通，w e b 实现了网页的连通，而网格试图实现互联网上所有资源的全面 连通。 中科院计算所李国杰院士认为：“网格不同于国外正在搞的i n t e r n e t2 或下一代 i n t e r n e t ( n g i ) ，网格可以称作是第三代i n t e r n e t ，其主要特点是不仅仅包括计算机和网页， 而且包括各种信息资源，例如数据库、软件以及各种信息获取设备等，它们都连接成一个 整体，整个网络如同一台巨大无比的计算机，向每个用户提供一体化的服务。” 2 1 2 网格的特点 与传统分布式技术相比，网格更强调资源共享和不同资源之间的互操作性。其特点主 要包括： ( 1 ) 分布性与共享： 通过网络服务协作实现了物理上分布的网格资源的全局共享，这是网格的本质特征。 网格的分布性1 6 1 主要体现在网格的资源是分布的，也就是说明了网格硬件在物理上的特 征，而共享是在网格软件支持下实现的逻辑上的特征。 ( 2 ) 多样异构性： 网格可以包含多种异构资源，包括跨越地理分布的多个管理域。构成网格计算系统的 超级计算机有多种类型，不同类型的超级计算机在体系结构、操作系统及应用软件等多个 层次上可能具有不同的结构。解决异构资源的集成正是网格的吸引力所在。 ( 3 ) 可适应性： 在网格中，具有很多资源，资源发生故障的概率很高。网格的资源管理或应用必须能 动态适应这些情况，调用网格中可用的资源和服务来取得最大的性能。与一般的局域网系 统和单机的结构不同，网格计算系统由于地域分布和系统的复杂使其整体结构经常发生变 化，网格计算系统的应用必须能适应这种不可预测的结构。 ( 4 ) 动态性： 网格的动态性是指网格设备的增加与减少，不影响网格其它部分的功能与性能，网格 可以自动迁徙相关资源或服务到其它部分，不影响网格的应用性能。 ( 5 ) 自治性与管理的多重性【6 】： 网格上的资源，首先是属于某一个组织或个人的，因此网格资源的拥有者对该资源 拥有对该资源的最高级别的管理权限，网格因该允许资源拥有者对他的资源有自主的管理 能力，这就是网格的自治性。 此外，网格上的资源也必须接受网格的统一管理，否则不同的资源就无法建立相互之 间的联系，无法实现共享和互操作，无法作为一个整体为更多的用户提供方便的服务。因 此网格的管理具有多重性。 4 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 2 1 3 网格的分类 由于网格的分布范围广、功能强、用户群数量巨大，其功能也就比较丰富。我们可以 从不同的角度出发，对网格进行分类。 如果按照网格客体的对象不同，可以把网格分为数据网格、计算网格、信息网格和知 识网格问。 数据网格：数据网格中共享的基本单位是数据，主要解决数据的共享问题。数据网格 的研究内容包括元数据管理、信息服务、数据访问、复制管理、安全技术、高速数据 传输机制，资源调度优化与远程执行等多方面的内容。 计算网格：计算网格中共享的基本单位是计算资源，计算网格为用户提供共享资源的 良好接口和机制。计算网格系统是高性能计算应用发展的必然结果，它融合了目前高 效可扩展的分布式并行计算技术、计算机网络技术、可视化技术和高效的程序编译模 型等诸多方面的最新研究成果。 信息网格：信息网格是要利用现有的网格基础设施、协议、规范、w e b 技术和数据库 技术，为用户提供一体化的智能信息平台，其目标是创建一种架构在操作系统和w e b 之上的基于i n t e r n e t 的新一代信息平台和软件基础设施。信息网格追求的最终目标是 能够做到按需服务( s e r v i c eo nd e m a n d ) 和一站式服务( o n ec l i c ki se n o u g h1 。 知识网格：知识网格研究的侧重点是智能信息处理，它主要研究是如何消除信息孤岛 和知识孤岛，实现信息资源和知识资源的智能共享，主要包括语义i 碉( s e m a n t i c w e b l i 知识管理( k n o w l e d g em a n a g e m e n t ) 、知识主体( o n t o l o g y ) 、智能主体( a g e n t s1 、一体化 智能信息平台等等。 如果按网格用户分类，网格还可以分成科学研究网格、游戏网格、地球系统网格、军 事网格、物理网格、教育网格、制造网格、访问网格等。这样分类的网格其服务对象的要 求比较集中，每个应用网格都是一个专用网格。 2 1 4 网格计算“三要素” 在网格计算中，首先要查清网格里所有可用资源，比如哪些主机可供访问、还空置多 少处理能力、数据库里可供使用的数据是什么、共享的应用程序是否已准备好、共享主机 采用何种文件系统等。用户提交的任务要由系统来分配资源并控制其运行，包括要将其分 配到哪些主机上运行、调用哪些数据、启动何种应用程序、何时开始运行等。 这样，网格计算至少需要具备三种基本功能：任务管理、任务调度和资源管理【8 】。 任务管理：用户通过该功能向网格提交任务、为任务指定所需资源、删除任务并监测 任务的运行状态。 任务调度：用户提交的任务由该功能按照任务的类型、所需资源、可用资源等情况安 排运行同程和策略。 资源管理：确定并监测网格资源状况，收集任务运行时的资源占用数据。 5 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 2 2 网格的研究现状及发展前景 2 2 1 国外网格的研究现状 目前，在国外网格研究以美国和欧洲为首。 美国政府用于网格技术的基础研究经费已达5 亿美元。美国军方正规划实施一个宏大 的网格计划“全球信息网格”，预计在2 0 2 0 年完成。作为该计划的一部分，美国海军陆 战队已启动了一个耗资1 6 0 亿美元、历时8 年的项目，包括系统的研制、建设、维护和升 级。美国的t e r a g r i d 是目前全世界最快的网格体系，拥有每秒1 3 6 万亿次的浮点计算能 力。 英国政府已投资1 亿英镑，用于研制“英国国家网格”。它将英国8 所主要大学的超级 电脑利用网格技术和高速宽带连接起来，并计划将这一系统面向企业用户开放。 与网格技术研究热潮相对应，众多信息产业界的大公司相继公布了各自以研究网格相 关商业产品为核心的网格计划。 i b m 制定了“百亿美元网格计划”，打造全球计算平台，重点发展4 项技术：资源 共享、自治管理、互连互通、应用服务，旨在下一波大潮中保持其在硬件、软件、应用和 服务上的综合优势。 微软针对网格提出“无处不在的计算，无处不在的微软”。在第一代操作系统d o s 、 第二代操作系统w i n d o w s 、第三代操作系统w i n d o w sn t 后，它推出的n e t 只能算是3 5 代操作系统。目前它正在研发第四代操作系统l o n - g h o m ，并明确叫做网格操作系统，企 图把其今天的市场再扩大1 0 倍，继续统治操作系统市场。 英特尔则提出了“计算与通信融合”。它在桌面、移动计算芯片市场占有绝对优势， 现在正加大后台服务器芯片的优势，并推出了手机芯片，把马达、手机等全做到芯片中， 让芯片无处不在，意在网格时代继续保持其在芯片领域的霸主地位。 2 2 2 我国网格的研究现状 网格的研究与应用己于2 0 0 2 年被列为“8 6 3 计划”的一个专项。我们的计划是：在 “十五”期问研制出具有每秒4 力亿次运算能力、面向网格的高性能计算机；建设“中国 国家网格”；开发一套具有自主知识产权的网格软件；建设若干个科学研究、经济建设、 社会发展和国防建设急需的重要应用网格；形成若干网格技术的国家标准，参与制定国际 标准。通过这些努力，使我国在网格技术方面达到世界先进水平。 目前国内网格技术应用的一个主要特点是，很多行业已经在使用网格的相关技术，但 尚未使用网格的名称。例如，在银行界叫“业务集中”，航空、船舶、汽车行业叫“广域 虚拟设计环境”，资源环境领域叫“单一数据源”，电子商务和电子政务中叫“资源共享” 与“协同工作”。 6 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 2 2 3 网格的发展前景 网格技术发展的必然趋势是全球范围内的标准化、技术融合和大型化【9 】。 标准化趋势：就像i n t e r a c t 需要依赖t c p i p 协议一样，网格也需要依赖标准协议才 能共享和互通。 技术融合趋势：基于o g s a 之后，网格的一切对外功能都以网格服务( g r i ds e r v i c e ) 来体现，并借助一些现成的、与平台无关的技术，如x m l 、s q a p 、w s d l 、u d d i 、 w s f l 、w s e l 等，来实现这些服务的描述、查找、访问和信息传输等功能。这样， 一切平台及所使用技术的异构性都被屏蔽。 大型化趋势：近些年来，国外包括美、英、日在内的一些国家每年都投入高额经费， 用于跨域甚至跨国的大型网格项目的建设。 2 3 网格的应用及相关项目举例 2 3 1 网格的应用领域 按照i a nf o y e r 和g l o b u s 项目组的观点，网格应用领域目前主要有四类：分布式超 级计算、分布式仪器系统、数据密集型计算、远程沉浸和信息集成【1 0 l 。 分布式超级计算( d i s t r i b u t e ds u p e r c o m p u t i n g ) 是指将分布在不同地点的超级计算机用 高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台超级计算机强大得 多的计算平台。 分布式仪器系统( d i s t r i b u t e di n s t r u m e n t a t i o ns y s t e m ) 是指用网格管理分布在各地的 贵重仪器系统，提供远程访问仪器设备的手段，提高仪器的利用率，大大方便用户的 使用。网格将分布式仪器系统变成了一个非常易于管理和有弹性的系统。 数据密集型计算( d a t ai n t e n s i v ec o m p u t i n g ) 对应的数据网格更侧重于数据的存贮、传输 和处理。 远程沉浸( t e l e i m m e r s i o n ) 是一个典型的网格问题，它所共享的是一个集中的虚拟环 境。这个环境可以是对现实或历史的逼真反映，可以是对高性能计算结果或数据库的 可视化，也可以是个纯粹虚构的空间。 信息集成。早在网格兴起之前，人们已经意识到了信息集成的重要性，网格最早以集 成异构计算平台的身份出现，接着跨入分布处理海量数据的领域，自然而然地，网格 将在信息集成领域一展身手。所谓的信息网格，就是要建立一个体系结构并开发相应 的中间件，向用户提供“信息在你指尖”( i n f o r m a t i o na ty o u rf i n g e r t i p ) 式的服务。 2 0 0 2 年，网格首次运用到商业领域。除此以外，网格还可运用于生物医学，为药品开 发人员提供所需的计算能力，用以研究药物和蛋白质分子的形态与运动；运用于工程，用 以进行复杂的仿真与设计；运用于数据搜集分析，由于地理信息科学、制造、石油加工、 货物运输、甚至零售企业都要维护昂贵的设备，时常会出现问题，造成不好的结果，使用 7 些查堕垄盔雯堕主兰焦造窒! 茎丝堕堡型笪旦堡堡婆塑鏖塑坌墼塑堕塞 网格就能够存储和处理以上所有交易；运用于娱乐产业、特殊效果设计、超级视频会议等 等。 2 3 2 著名的网格项目举例 计算网格是当前分布和并行计算领域的一个研究热点。世界各国正在实施着数十个计 算网格的研究项目，表2 - 1 列举了一些主要项目的i n t e r a c t 网址。在本文中，主要讨论其 e - - 个具有代表性的项目：g l o b u s ，l e g i o n 和w e b f l o w 。 表2 - 1 主要计算网格研究项目的i n t e n e t 网址 g l o b u sw w w l o b u s o r l z l e g i o n l e e i o n v i r 西n i a e d u a p p l e s 1 3 】 w w x v i n f o s o h e r e s c a l t e c h e d u c o n d o r l “im c s w i s c e d u c o n d o r n e t s o l v e p 5 li c l c s u t k e d u n e t s o l v e d a sw w w c s v u n l d a s u n i c o r ew w w f z i u e l i c h d e u n i c o r e n i m r o d g t l 6 】w w v v c s s e m o n a s h e d u a n | 一d a v i d a n i m r o d d i s t r i b u t e d n e tw w w d i s t r i b u t e d n e t s e t i h o m e l l 7 1 s e t i a t h o m e s s l b e r k e l e v e d u n i n fn i n f a 0 2 r i d o r e ( 1 ) g l o b u s g l o b u s 是由美国多家院校、科研机构和大公司联合实施的一个研究计划，目的在于 为解决分布协作的超级科学计算问题建立计算基础设施。g l o b u s 软件系统的核心是 g l o b u s 元计算工具集合，它通过一组精确、简明、灵活、方便的应用程序接口为建立一 个计算网格提供了所需的各种基本服务。这些基本服务以库的形式提供给用户，网格应用 和工具开发人员可以根据实际需要对系统加以裁减。因此，g l o b u s 系统可以看成是以基 本服务应用程序接口为基础的一个网格计算框架。 ( 2 ) l e g i o n l e g i o n “】是由美国v i r g i n i a 大学开发的一个面向对象的计算网格软件，它为地理分布 的高性能计算机通过无缝交互实现联合计算提供了软件基础设施。从用户的观点看， l e g i o n 系统是一个单一的、一致的虚拟超级计算机。一方面，l e g i o n 具有面向对象系统 的各种优点，如数据抽象、封装、继承、多态，另一方面，它难于和传统应用集成的缺点 也同样突出。此外，由于其开发语言m p l 的特殊性，k g i o n 的移植也相对困难。 ( 3 ) w c b f l o w w e b f l o w 1 2 l 为网格计算提供了基于w e b 的应用框架。使用w e b f l o w ，用户可以通过 浏览器在w e b 上发布和重用应用所需的计算模块。从系统的观点看，w e b f l o w 是一个三 层的数据流系统：前端使用j a v aa p p l e t 为用户建立了应用的编辑著作和调度执行环境： 中间件层使用了s e r v l e t 技术协调管理后端的具体应用模块；后端是数掘库访问、高性能 仿真、密码破译等应用模块。从用户的观点看，w e b f l o w 模拟了w e b ：w e b f l o w 应用模 块对应了w e b 页面：模块间的数据流通道对应了超级链接。w e b f l o w 的优势在于灵活方 r 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 便用户友好，特别是三层体系结构使得前端的可视化工具和后端的应用模块都具有即插即 用的功能。而其缺点是软件模块和硬件资源紧密偶合，灵活性差；并且其应用领域还不广 泛。 2 4 本章小结 本章首先从网格的概念、特征、分类，以及网格计算的三要素四个方面，对网格技术 进行了简要的描述。然后介绍了网格在国内外的研究现状及其发展前景。最后介绍了网格 可以应用的领域，列举了几个著名的网格项目，并对其中三个做了较详细的讨论。 9 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 第三章网格环境下的资源管理 网格系统的本质是通过共享地理上分布在多个自治系统中的资源来协同完成某个任 务，其目的是使人们可以无缝地集成广域资源来合作解决问题，强调对资源的可扩展、可 伸缩的互操作，所以，网格的资源管理是为实现网格系统资源共享所应提供的主要服务之 一。 具体而言，计算网格的资源管理问题主要包括两个方面：一是合理、高效的分配网格 资源；二是将用户作业与具体资源进行匹配的具体算法，即作业调度。 3 1 网格资源管理概述 资源管理是网格计算的核心问题之一，它包括资源的组织、定位、发现、调度、分配、 确认、进程创建以及准备所需资源的其它活动。资源管理提供了管理的功能和概念，使集 群能够被当作单一资源，系统管理员根据预先定义好的标准通过资源管理软件确保资源的 合理分配和使用，以最终达到资源共享的目的。在资源管理中，面临的有唯一验证、授权、 资源访问、资源发现以及资源调度等挑战。如何对网格计算环境中的资源进行管理是实现 高性能联合计算，共同完成重大应用问题的关键l l 。 网格中常用的资源包括：处理能力、存储系统、目录、网格资源、分布式文件系统、 分布式计算机池、计算机集群等例。在网格计算环境中，资源是分散在各个不同地域和 管理域中，由不同的组织拥有和操作，并且在使用策略和安全机制上各不相同，即不同站 点可能会使用不同的局部资源管理系统。同时，很多应用需要同时使用多个站点上的资源， 站点自治性和分配资源时可能出现的故障需要一种特殊机制来同时分配位于多个站点上 的资源。 综上所述，网格资源管理系统具有如下特点：资源管理者的自治性、资源分配决策的 分布性、资源本身的异构性、资源的动态变化性和资源使用者的异构性1 1 8 1 。 3 2 网格资源管理结构模型 由于网格在逻辑上连接了属于不同的所有者或组织的多重资源，因而选择合适的资源 管理体系结构模型在最终网格( 在商业上) 是否成功上起着重要的作用。最主要的三种网格 中的资源管理体系结构模型是：分层模型、抽象所有者模型以及计算经济模型 2 l j 。 分层模型是g l o b u s ，l e g i o n ，n i n f 等网格计算系统所使用的资源管理模型。它较好地解 决了网格计算环境给资源管理所带柬的一些挑战性问题，如：站点的自治性、底层的 异构性、以及联合分配问题等。 抽象所有者模型在资源共享过程中遵循类似于快餐店的订购与交货模式，由资源经纪 人( 抽象所有者) 代表资源所有者与用户进行交互和协商。 l o 山东师范大学硕士学位论文：基于经济模型的网格资源调度和分配的研究 计算经济模型将经济的概念引入网格资源管理中，它应用了市场经济中的供求原则来 对资源的所有者和使用者进行调节以保证双方均获取最大利益，建立以用户为中心， 而不是系统为中心的调度策略，提供了资源分配和管理的有效机制。它融合了以上两 种模型的设计思想，可以很好地兼容现有网格系统。 3 3 网格资源管理的特点 传统计算系统的资源管理已经得到了充分的研究，如批调度器、工作流引擎和操作系 统。网格资源管理与传统资源管理的目标都是高效、合理地利用资源，且都具有并发性、 共享性和随机性的特点，但他们之间有着很大的不同，他们的根本区别在于网格资源具有 广域分布性、异构性和动态性。 网格资源管理是在开放的广域网内考虑，对资源无完全的控制，对资源的状态变化 不可预料，且异构的资源大大复杂化了资源管理任务，这使得传统的资源管理工具无法胜 任网格环境下的资源管理与调度任务。 针对第二章中分析的网格系统的5 个特点，网格资源管理系统至少可以总结出如下几 方面的特点【2 2 l ： ( 1 ) 资源的分布自治性。在网格环境下，资源跨多个管理域，地理上分布、自治，规 模庞大，g r m s 需要支持对资源、用户的全局命名空间；资源的共享与私有并存， 不同的管理域有不同的本地资源管理系统l r m ( l o c a lr c s o u r c zm a n a g e m e n t ) ， g r m s 对资源无完全的控制和认识，需要与l r m 进行交互，实现资源的共享。 ( 2 ) 资源的异构性。资源的种类多，有不同的类型和不同的性能特征，相比于传统的 资源管理系统，其异构性更强。g r m s 要解决异构环境下对相似资源的配置和管 理，定义标准的资源管理协议【1 8 】。 ( 3 ) 技术的多样性。资源属于不同的机构，不同的机构对资源有不同的使用、调度策 略和安全机制。g r m s 需要建立资源和用户的需求表达的标准机制1 2 3 1 ，且资源管 理框架要足够的灵活，易于扩展，以支持新的策略和机制。 ( 4 ) 参与者目标的不一致性。参与者众多，且资源使用者与资源提供者有不一致甚至 矛盾的目标、目的、策略和需求模式。g r m s 需要支持他们之间的协商及不同目 标的平衡机制。 ( 5 ) 动态性与自适应性。用户需求和资源状态动态变化，资源提供者与资源消费者的 身份、需求也可能发生变化，资源信息具有不确定性，资源的配置和能力也在动 态变化。g r m s 需要具有一定的自适应性， 以及有效且高效地利用资源和处理 失败的容错能力。 ( 回资源的协同性。很多网格任务需要跨域协同分配多个资源【2 4 芦i 。g r m s 要完成跨 域的资源协同分配，