（计算机应用技术专业论文）基于经济模型的网格资源调度研究.pdf

东南大学硕士学位论文 摘要 网格是把空间位置上分散的资源集成起来的一种基础平台，这个平台为用户的请求选 择合适的资源服务，实现广域范围内的资源共享。由于网格的跨管理域、动态、异构和信 息的不确定性等特点，使得网格中的资源和服务具有不稳定性和差异性。这样，网格环境 中的资源调度非常困难，因此如何高效的进行资源调度，是关系到网格计算性能的关键因 素之一。为了更高效、更灵活的解决资源调度的问题，我们引入经济模型的概念，这是一 种以用户的q o s 需求为中心的资源调度机制。为此，文章重点研究了基于经济模型的网格 资源调度，并对相关算法进行了理论分析、实验模拟和实验分析。 文章的主要工作如下： 1 在深入分析了网格资源管理和资源调度现状的基础上，讨论了使用经济学方法实施 网格资源管理和资源调度的合理性，并且基于经济模型的网格资源管理和调度显示出两大 优势：一是降低了资源管理问题的复杂性，二是应用经济数学模型能够从不同的角度分析 资源分配优化问题。 2 对网格资源管理和网格资源调度进行了研究，总结了各种网格体系结构、网格资源 管理模型、网格资源调度策略、网格资源调度算法；在此基础上重点分析了基于经济模型 的资源调度结构。 3 通过对已有的基于经济模型的d b c 算法的分析，利用效用函数的概念，将期限约 束和预算约束两种用户q o s 需求联合考虑，提出了一种新的效用最优调度策略。根据d b c 算法，对改进算法进行了理论分析，给出了算法的流程图，实现了新的u b s 调度算法。 4 在u b s 算法理论分析和实现的基础上，在网格模拟器g r i d s i m 上进行了算法的模 拟实验，并将该算法与改进前的d b c 算法进行了比较分析，得出了相关结论。最后，在 实验的基础上，预测将满足二维q o s 的u b s 算法扩展至多维的可行性。 关键词：网格，经济模型，资源管理，资源调度，效用 东南大学硕上学位论文 a bs t r a c t g r i di sac o m p u t i n gi n f r a s t r u c t u r et h a ti n t e g r a t e sg e o g r a p h i c a l l yd i s t r i b u t e dh e t e r o g e n e o u s r e s o u r c e s g r i dc o m p u t i n gs y s t e m ss e l e c ta p p r o p r i a t er e s o u r c e sa c c o r d i n gt ot h eu s e rr e q u n e s ， p r o v i d eav i r t u a lf r a m e w o r kf o rs h a r i n go fg e o g r a p h i c a l l yd i s t r i b u t e dr e s o u r c e s b e c a u s et h e r e s o u r c e si n 酊da r eg e o g r a p h i c a l l yd i s t r i b u t e d ，h e t e r o g e n e o u s ，a n dd y n a m i c ，t h er e s o u r c e sa n d s e r v i c e si nt h e 鲥de n v i r o n m e n tm a yb eu n s t a b l ea n dd i f f e r e n t s o ，g r i dr e s o u r c es c h e d u l i n gi sa h a r du n d e r t a k i n g ，a n dh o wt oe f f e c t i v es c h e d u l i n gi sak e yp r o b l e mf o rt h ep e r f o r m a n c eo f g r i d c o m p u t i n g t os o l v et h ep r o b l e mo f 鲥dr e s o u r c es c h e d u l i n gm o r ee f f e c t i v e l ya n da g i l e l y , w e i n t r o d u c et h ec o n c e p to fe c o n o m y , w h i c hi sar e s o u r c es c h e d u l i n gm e c h a n i s mb a s e do nu s e r s q o s i nt h i sp a p e r , w es t u d yt h ee c o n o m i c - b a s e dg r i dr e s o u r c es c h e d u l i n g w e 涮匆t h e s c h e d u l i n ga l g o r i t h mb ys i m u l a t i o n sa n da n a l y z i n g t h em a i nw o r ko ft h i sp a p e ri n c l u d e st h ef o l l o w i n ga s p e c t s ： 1 b a s e do nt h ea n a l y s i so fg r i dr e s o u r c em a n a g e m e n ta n ds c h e d u l i n g ，w ed i s c u s st h e r a t i o n a l i t yo fu s i n ge c o n o m i cp r i n c i p l e si nt h er e s o u r c em a n a g e m e n ta n ds c h e d u l i n g t h ef l r s t i m p o r t a n tc o n t r i b u t i o no fe c o n o m i c st or e s o u r c em a n a g e m e n ta n ds c h e d u l i n gi nt h e g r i ds y s t e m s i sam e t h o d o l o g yf o rl i m i t i n gt h ec o m p l e x i t yo fs o l v i n gr e s o u r c ea l l o c a t i o np r o b l e m s t h e s e c o n di sas e to fm a t h e m a t i c a lm o d e l st h a tc a ny i e l dn e wi n s i g h t si n t or e s o u r c es h a r i n g p r o b l e m s 2 w es t u d yt h eg r i dr e s o u r c em a n a g e m e n ta n ds c h e d u l i n g ，a n ds u m m a r i z ek i n d so fg r i d a r c h i t e c t u r e ，鲥dr e s o u r c em a n a g e m e n tm o d e l ，鲥dr e s o u r c es c h e d u l i n gs t r a t e g y , g r i dr e s o u r c e s c h e d u l i n ga l g o r i t h m a n dw ea n a l y z et h e 鲥dr e s o u r c es c h e d u l i n ga r c h i t e c t u r eb a s e do n e c o n o m i cm o d e l 3 w ea n a l y z et h er e s o u r c es c h e d u l i n ga l g o r i t h mn a m e dd b ct h a tb a s e do ne c o n o m i c m o d e l w ep r o p o s ean e wr e s o u r c es c h e d u l i n ga l g o r i t h mi ng r i de n v i r o n m e n tb a s e do nu t i l i t y f u n c t i o n t h ea l g o r i t h mc o m b i n e st h eu s e r sq o sd e a d l i n ea n db u d g e t a n da c c o r d i n gt ot h e d b ca l g o r i t h m ，w et h e o r e t i c a l l ya n a l y z et h en e wa l g o r i t h m , d e s c r i b et h ef l o wc h a r t ，a n d i m p l e m e n tt h en e wu b ss c h e d u l i n ga l g o r i t h m 4 b a s eo nt h ea n a l y s i sa n di m p l e m e n to ft h ea l g o r i t h m , w ev e r i f yt h ea l g o r i t h mb yt h e s i m u l a t i o n s a n dw ec o n t r a s tt h ea l g o r i t h mw i t hd b c ，t h e n ，w eg e ts o m ec o n c l u s i o n s i n t h el a s t ， w ee x p e c tt h ef e a s i b i l i t yo fe x p a n dt h eu b sa l g o r i t h mt h a tc a ns a t i s f yu s e r sm u l t i q o s k e y w o r d s ：g r i d ，e c o n o m i cm o d e l ，r e s o u r c em a n a g e m e n t ，r e s o u r c es c h e d u l i n g ，u t i l i t y i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：翠堡：二篁导师签名：l 互华匀日 期：印! 垒：兰：多 第一章绪言 1 1 研究背景 第一章绪言 随着计算机性能的不断提高和网络通信技术的迅猛发展，应用需求日益朝着高性能、 大规模、多样性、多功能的方向发展，要求将分布和异构的各种高性能计算资源、存储资 源、数据资源和其它特殊资源通过高速网络连接起来，实现高性能联合计算，共同完成重 大应用问题，即广域高性能的元计算技术l l j ，也称为网格计算技术【2 ，3 ，4 j 。不同于一般传统 的分布式计算，网格计算着重于大规模的资源共享、创新应用，并在一定情况下定位于高 性能计算，已经成为一个重要领域。在这个网络计算时代，孤立的计算机系统、软件和应 用将被网络化的产品和服务取代。世界将被互联成为一个开放的、一体化的、资源共享的 全球计算机网络，即全球大网格( g r e a tg l o b a lg r i d ) ，以满足人类的需求。在网格计算环境 中，资源在广域上分布在不同节点、本质上异构、由不同的组织或个人拥有、有着不同的 存取和花费模式、负载和可用性动态变化等；同时，很多应用需要同时使用多个节点的资 源，节点自治性和分配资源时可能出现的故障需要一种特殊机制来同时分配位于多个节点 上的资源；这使得网格环境下的资源管理十分复杂和具有挑战性。由此可见，如何对网格 计算环境中的资源进行管理是实现高性能联合计算，共同完成重大应用问题的关键。 资源管理是网格计算的核心问题，它包括资源的组织、定位、发现、调度、分配、确 认、进程创建以及准备所需资源的其他活动。资源管理提供了管理的功能和概念，使集群 能够被当作单一资源，系统管理员根据预先定义好的标准通过资源管理软件确保资源的合 理分配和使用，以最终达到资源共享的目的。从为用户提供方便、高效服务的角度来看， 它与传统的分布式计算环境或集群计算环境下的资源管理系统类似，具备以下三种功能： 作业管理、任务调度和资源管理，即用户通过作业管理功能向网格系统提交作业，为作业 指定所需资源，删除作业并检测作业的运行状态；用户提交的作业由任务调度功能按照作 业包含的各个任务的类型、所需资源、可用资源等情况安排运行策略；资源管理功能确定 并监测网格资源状况，收集作业运行时资源占用情况等信息。然而，由于网格系统的分布 性、异构性、动态性等特点，使得网格资源管理比分布式计算环境下的资源管理更加复杂， 不仅要支持跨组织或管理域的任务调度，实时监控资源和作业执行的状态，而且要维护局 部的站点自治，提供相应的服务质量( q u a l i t yo f s e r v i c e ，q o s ) 支持。因此需要建立适应于网 格这种复杂环境的特殊的资源管理系统模型，研究其特征及功能，为具体实现网格资源管 理系统提供必要的指导，从而满足网格系统的用户服务需求和为网格系统其它服务组件提 供支持。 网格资源调度是网格资源管理系统的一个重要部分，资源调度器利用网格资源信息、 任务信息和 j 司度策略来为每个给定任务产生一个任务到资源的映射。由于网格资源具有的 特点，使得网格资源调度非常复杂。网格资源调度根据策略的不同可以分为多种，其中基 于计算经济的资源调度是当前的研究热点。 1 2 研究现状 目前，许多发达国家在网格上投入了大量的研究资金，希望能抓住机遇，掌握未来的 东南大学硕士学位论文 命运。美国是目前网格技术最发达的国家。全球应用最广、最成熟的网格操作系统g l o b u s 【5 】 出自美国。美国的“全球信息网格”也是雄心勃勃的网格战略。欧盟于2 0 0 0 年投入巨资进 行网格研究，欧洲数据网格是一个国际性大型研究和计算发展项目。2 0 0 1 年欧洲一些国家 又启动了一系列网格研究项目，其中英国的e s c i e n c e 计划较为出名。日韩的网格计划也紧 跟其后，如日本用于处理和分析高性能物理数据的网格，其可以和欧洲数据网格相连。韩 国的n g r i d 也很出名。另外，m m 、m i c r o s o f t 、s u n 、i n t e l 、h p 、o r a c l e 等公司也都纷 纷推出自己的网格计划和部分系统。 我国对网格研究十分关注。为大幅度提高我国综合国力和国际竞争能力，国家提出建 设“中国国家网格( c n g r i d ) ”。中国国家网格项目的目标是建立一个计算资源广域分布、 支持异构特性的计算网格示范系统，通过i n t e r n e t 把我国的高性能计算中心连接起来，进 行统一的资源管理、信息管理和用户管理，并在此基础上开发多个需要高性能计算能力的 网格应用系统。目前，我国投入到网格研究中的资金逐年递增，也推出了很多成熟的网格 项目，除c n g r i d 外，如中国教育科研网格计划( c h i n a g r i d ) 、e s c i e n c e 网格研究计划、中 国空间信息网格、上海城市信息网格等。 在网格环境下，网格资源所具有特点决定传统环境下的资源管理系统无法应用于网格 之中。传统的资源管理系统在单台计算机或小规模局域网范围内，对资源有完全的控制， 故可在与外界隔离的情况下实现高效的管理机制和调度策略。而网格资源管理是在开放的 广域网内考虑，对资源无法完全的控制，对资源的状态变化不可预料，且异构的资源大大 复杂化了资源管理任务。这使得传统的资源管理工具无法胜任网格系统的资源管理与调度 任务。 目前，网格资源管理系统模型按照体系结构分为三类：层次模型、抽象所有者模型和 经济模型，这三类模型分别体现了三种不同的技术思想，其中具有计算经济特征的经济模 型有着良好的应用前景。 层次模型是当前的大部分网格系统中所使用的资源管理模型，主要的应用有g l o b u s 【5 ，9 1 资源管理、l e g i o n t l o l 资源管理、a p p l e s 、c o n d o r _ g 1 1 等。 经济模型综合了层次模型和抽象所有者模型的核心特征，既可以利用层次模型中相对 成熟的技术又明确强调了以市场竞争为基础的资源管理和调度，具有典型的计算经济特征。 n i m r o d g i l6 j 系统是计算经济模犁的典型代表。 在经济模型中，资源消费者希望最小化执行费用和执行时间，而资源所有者希望最大 化投资回报。这就需要系统提供合适的工具和服务来使资源用户和所有者表达它们的要求。 因此把代价和时间作为衡量市场经济中资源分配是否达到均衡的杠杆，是至关重要的。目 前已提出的基于计算经济的资源管理模型有很多，如：基于特定消费者模型u7 1 、基于协商 机制【l 引、基于竞拍机制【l9 j 等。 虽然基于各种模型已经开发了很多的资源管理系统，但是在资源管理的关键部分 资源调度上各自还有很多不足之处。由于网格中的资源调度是个n p 完全问题，再加上不 同的网格环境对资源调度有不同的需求，目前并没有一个通用的，可靠的资源调度工具。 因此需要针对不同的应用系统开发特定的网格资源管理和调度系统。所以开发面向应用系 统的网格资源管理工具很具有现实意义。因此，对网格资源调度的研究具有很高的理论价 值和应用价值。 1 3 研究目的和意义 如何使用网格资源，高效地完成计算任务是网格系统的研究重点之一。成熟的网格管 理系统首先解决了计算能力大小的限制，其次克服了地理位置的限制，最后还打破了传统 2 第一章绪言 的共享或协作方面的限制。因此，网格系统研究的核心目的就是突破以往强加在计算资源 之上的种种限制，使人们可以以一种全新的更自由、更方便的方式使用计算资源，解决更 复杂的问题。这里首先要明确网格的使用模式，即用户通过网格系统提交计算任务来共享 网格资源，网格调度程序再按照某种策略把这些任务分配给合适的资源。高效的调度算法 或策略可以充分利用网格系统的处理能力，从而提高应用程序的性能。 将经济学模型引入到网格资源调度中为资源调度的研究提供了一种新的思路和途径， 改变了传统资源调度中以系统为中心的观念，转为以用户为中心的调度方式。基于经济模 型的网格资源调度显示出两大优势：一是降低了资源管理问题的复杂性，二是应用经济数 学模型能够从不同的角度分析资源分配优化问题【2 引。 在网格资源调度的研究中，使用实际系统验证调度算法的正确性及性能是需要付出很 大代价的，而采用网格模拟器完成调度算法是一种比较经济的方法，在模拟得到可行的数 据后再在实际系统中验证，效果非常好。因此，选用正确的模拟器对研究起着事半功倍的 作用。不仅可以获得较准确的模拟结果，又可以节省人力、物力、财力，获得很好的经济 效益和社会效益。 1 4 研究内容 论文从网格体系结构入手，目的在于提出一种对具有异构、分布、动态、演化特性的资 源进行高效管理和调度的模型，实现用户自由共享网格计算中各种网格资源的目的。论文的 研究内容主要包括以下几个方面： 1 进行网格综述，主要分析网格的协议体系结构，并阐述了基于经济模型的网格体系 结构。 在介绍了网格概要的基础上，分析了网格体系结构，主要包括五层沙漏结构、开放网格 服务体系结构、计算经济网格体系结构，其中基于计算经济模型的网格体系结构是文章的重 点。 2 分析网格资源管理模型，归纳出三种主要的网格资源管理模型，着重对网格资源调 度算法进行研究。 首先对网格资源管理的概况和操作进行了阐述，在此基础上归纳了三种网格资源管理模 型：层次模型、抽象所有者模型、计算经济模型，并列出了三种模型的特点。在总结了网格 资源调度策略的基础上，列出当前比较高效的算法，并进行对比分析。 3 在期限和预算约束( d e a d l i n ea n db u d g e tc o n s t r a i n t ，d b c ) 算法的基础上，提出基于效 用的网格资源调度算法。 对d b c 算法进行了详细的分析，对该算法中将预算和期限分割考虑的不足进行改进，同 时考虑到用户实际的、多样化的q o s 需求，提出了效用的概念，建立了预算和期限的联合效 用函数，最后形成了效用最优调度( u t i l i t y b e s ts c h e d u l i n g ，u b s ) 算法。 4 利用网格模拟器g r i d s i m ，完成u b s 算法在网格模拟器上的实现，并对实验进行分析 评价。 首先介绍了各种网格模拟器，对g r i d s i m 模拟器的模拟原理、体系结构着重分析。然后 描述了算法在g r i d s i m 上的实现过程。得出实验数据后，对照d b c 算法的实验数据，对实验 结果进行详细的分析评价。 3 东南大学硕士学位论文 1 5 论文的组织结构 论文共六章。可分为四大部分，具体的组织结构如下： 第一部分为第一章。 开启本文，给出论文的研究背景、研究现状、研究内容、研究意义等。 第二部分包括第二章、第三章。 分析了网格体系结构和网格资源管理模型。重点研究了基于经济的网格体系结构和网 格资源管理模型。 第三部分包括第四章、第五章。 首先介绍基于经济模型的网格资源调度和d b c 资源调度算法，在分析d b c 算法的基 础上，提出改进的基于效用的网格资源调度算法，并在g r i d s i m 上进行实现，以及实验结 果的分析评价。 第四部分为第六章。 该部分是总结部分，包括文章的总结和今后的工作展望。 最后是致谢和参考文献部分。 4 第二章网格综述 2 1 网格概要 2 1 1 网格的本质 第二章网格综述 网格就是把广泛范围内的存储资源、数据资源、信息资源、知识资源、专家资源、设 备资源实现全面共享和协同计算的一种实现方法。它既可以连接起整个i n t e r n e t ，也可以是 地区性的网格、企事业内部网格、局域网网格、甚至家庭网格和个人网格。它的根本特征 是资源共享，削除资源孤岛【1 引。网格技术是以合理的形式共享资源的方法。 网格的本质其实是软件，或者准确的讲是中间件。它建立在两个成熟技术之上：现有 的计算机技术和发达的光纤网络。网格软件的作用在于把这些不同大小、不同架构的计算 机所拥有的计算能力和存储的资源整合起来，且不仅仅是整合，还将协调、分配给每个需 要使用的用户。网格的优点主要表现在：高性能，网格具有更强大的资源，并使用户能更 有效地使用这些资源；单一映像，用户看到的是一个网格整体，所有服务请求都向网格发 出，而不是向某个网站或某台服务器发出：一体化，网格中的所有资源都连接成一个整体， 实现了全面的资源共享和协同工作；自动化，网格支持信息和知识的自动生产。 2 1 2 网格的目的及优势 网格概念将根本地改变人们对“计算机应用”的看法，这是一种全新的、更方便的计 算方式，轻松、便捷的解决现今难以解决的更加复杂的问题。建设网格的优势有： 首先是打破计算能力的限制，网格可以联合并放大社会的计算能力，这是以前无法想 象的。 其次是不受空间位置的限制，把全球的计算资源都能为你所用。 再次是节约资源，现今的计算机资源利用率远不充分，很多应用又缺乏资源。网格不 仅可以把“资源”送到你的桌面，更可以把“应用”放到网格中完成。 最后是网格打破了传统共享与协作方面的限制。网格以“虚拟组织”的方法，实现了 全社会范围的资源共享与服务协作。 2 1 3 网格的主要应用领域 网格技术凭借其独特的计算力联合和分布式计算模式，在众多领域都拥有广泛的应用 前景，归纳起来主要有以下几个方面l ”j ： 学科研究：复杂科学领域的计算通常以超级计算机作为数据处理中心，超级计算机虽 然处理能力强大，但是其本身的造价及其高昂，并不是所有的研究机构都有能力配备。网 格技术的出现，最大程度地提高了现有网络计算资源的利用率。 企业信息处理：网格为企业提供了一个强大的可租用虚拟系统，可以让用户完成以前 难以承担的任务，而生产成本却不会有明显的增长。 5 东南大学硕士学位论文 电子政务：网格技术可以整合和管理分散在各部门的信息化资源，实现各个政府部门 之间数据的无缝交换，削除“信息孤岛”，打破电子政务资源共享的瓶颈。另一方面，网格 技术的分布式工作模式，可以有效地实现在网络虚拟环境下的协同办公，提高政府的工作 效率、增强为公众服务的能力。 个人娱乐：使用网格可以为游戏开发商和服务供应商提供可扩展的、高弹性的基础设 施以运行大型多人游戏。而对于个人用户来说，网格服务器则意味着更安全、更快捷的游 戏体验。例如可以利用网格造价低廉而数据处理能力超强的计算模式，将虚拟现实技术运 用于网络游戏中，让参与游戏的人可以真切地感受虚拟环境所带来的游戏快感。 2 2 网格体系结构 2 2 1 网格体系结构概述 网格体系结构是关于如何建造网格的技术，它给出了网格的基本组成与功能，描述了 网格各组成部分的关系以及他们集成的方式或方法，刻画了支持网格有效运转的机制。其 主要功能是划分系统基本组件，指定组件的目的与功能，刻画组件之间的相互作用，整合 各部分组件。科研工作者已经提出并实现了若干种合理的网格体系结构。比较有影响力的 体系结构有：五层沙漏结构、与w 曲s e r v i c e 结合提出的开放网格服务体系结构( o p e ng r i d s e r v i c e s a r c h i t e c t u r e ，o g s a ) t l s j 以及计算经济网格体系结构。 2 2 2 五层沙漏结构 五层沙漏结构3 1 是一种早期的抽象层次结构，对网格的初步形成影响十分广泛，图2 1 描述了五层沙漏结构，并把它与t c p i p 协议模型进行了比较。 五层沙漏结构t c p p 协议结构 f，宴，=_。_-_。_：_：_：!_。弼嬲 譬i 一纛i 遣撬麓誊臻荔萋淘巨麟缀壤誊i l - - i - _ - i _ i j j ：_ - - - _ - - - - _ 二：二- = ：_ 二一l - - - - - - - o - - - - - - - - 一 i - ；，+ 嚣壤精鬓。i 菱；雪i j 锤臻麓i 图2 1 五层沙漏结构与t c p i p 协议的对比 在五层沙漏结构中，一个重要的思想就是以“协议”为中心，同时也十分强调服务与 a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e s ) 和s d k ( s o f t w a r ed e v e l o p m e n tk i t s ) 的重要性。它类 似于传统的t c p i p 网络协议栈，将网格自底向上分为构造层、连接层、资源层、汇聚层和 应用层五个相互关联而不均等的层次。在这五个层次中，资源层和汇聚层极大地拓展了网 格应用层的功能，对传统网格中的许多应用层问题进行了封装，因而功能进一步强大，并 为用户提供了更加透明的使用手段。各层的结构功能描述如下： 1 网格构造层的基本功能是控制局部的资源，向上提供访问这些资源的接口，让网格 6 露|：i墓篓誊|蘑一 圈卫翟 第二章网格综述 协议控制可以共享访问的资源。 2 连接层的基本功能是实现资源间的相互通信。它定义了核心的通信和认证协议，用 于网格的网络事务处理。 3 资源层的主要功能是实现对单个组织内的资源共享。它建立在连接层的通信和认证 协议之上，定义的协议包括安全初始化、监视、控制单个资源的共享操作、审计及付费等。 4 汇聚层的主要功能是协调多个资源组织间的资源的共享。 5 应用层是在虚拟组织环境中存在的，从应用程序员的观点看网格结构，应用是根据 在任一层次上定义的服务来构造的。 该模型之所以称为沙漏结构，是因为各部分协议的数量是不同的，对于其核心的部分， 要能够实现上层各种协议向核心协议的映射，同时实现核心协议向下层其他各种协议的映 射，核心协议在所有支持网格计算的地点都应该得到支持，凶此核心协议的数量不应该太 多，这样核心协议就形成了协议层次结构中的一个瓶颈，在五层结构中，资源层和连接层 共同组成这一核心的瓶颈部分。 2 2 3 开放网格服务体系结构( o g s a ) o g s a 架构4 1 主要由四层构成，从下到上依次为：资源层物理资源和逻辑资源； w e b 服务层，以及定义网格服务的o g s i 扩展层；基于o g s a 架构的服务层；网格应用程 序层。如图2 2 所示。 应用层 基于o g s a 架构的服务层 厂_ 【_ j 图2 2 0 g s a 主要架构图 到 i 趸 o 副 | j 剀 资源是网格计算的中心部分，物理资源包括服务器、存储器和网络等。逻辑资源通过 虚拟化和聚合物理层的资源来提供额外的功能。w e b 服务层为所有网格资源指定标准的接 口、行为，并提供了动态的、有状态的和可管理的w e b 服务的能力，这在对网格资源进行 建模时都是必需的。基于o g s a 架构的服务层的目的是为程序执行、数据服务和核心服务 等领域定义网格服务。网格应用程序层是向用户提供可运行的应用程序。 o g s a 最突出的思想就是以“服务”为中心。在o g s a 框架中，将一切都抽象为服务， 包括计算机、程序、数据、仪器设备等。这种观念，有利于通过统一的标准接 j 来管理和 使用网格。w e bs e r v i c e 提供了一种基于服务的框架结构，但是，w 曲s e r v i c e 面对的一般 都是持久性服务，而在网格应用环境中，大量的是临时性的短暂服务，比如一个计算任务 的执行等。考虑到网格环境的具体特点，o g s a 在原来w e bs e r v i c e 概念的基础上，提出 了“网格服务( g r i ds e r v i c e ) ”的概念，用于解决服务发现、动态服务创建、服务生命周期 管理等与临时服务有关的问题。 7 一 憎懦憾隅馐旧 一 东南大学硕士学位论文 o g s a 是建立在w e bs e r v i c e 基础之上的，因此，o g s a 架构中的w e bs e r v i c e ，呈现 给用户的是一个整合在i n t e r n e t 上的虚拟计算机。虽然网格和w e bs e r v i c e 的共同载体是 i n t e r n e t ，但两者的不同之处在于，网格连接物理上分散的服务器、存储设备等软硬件资源， 在作为操作系统的网格中间件的作用下，形成虚拟计算组织，用户可以在全球任何地方访 问所需的资源，从而使计算资源得到充分共享；而w e bs e r v i c e 则是企业电子商务应用的 集成。以企业应用为背景，网格为w 曲s e r v i c e 提供了一个与硬件无关的虚拟计算机，而 w e bs e r v i c e 是架构在虚拟计算机平台上的，与平台和语言无关的应用交互集成平台。 2 2 4 计算经济网格体系结构 传统的网格系统中没有经济的概念，而在今后，网格得到全面的应用就必须引入经济 模型。网格系统中的资源供需关系，与现实世界中的商品经济模型是可以类比的：资源的 提供者相当于商品制造商，为用户提供资源，并从中获利：资源使用者相当于商品购买者， 为了满足自己的资源需求支付一定的费用。他们都是由利益驱动的，为了获得最大利益而 制定策略。因此，b u y y ar 等人提出了基于经济的网格及计算经济网格体系结构模型6 1 。 p 溯卜 e - j j 户 登象 l 瘸格测览器 _ 网格信息l 作 叠 业 繁 1 ；安奎 控 制 卅调度颥蠲 代 _ 。 jo o s 理国攀 誊 l 交易管理器| _ | 交劳 ? x _ _ ! r | ； 部署代翅i i 一执行任务 图2 3 计算经济网格体系结构 溺翰麟 此模型侧重于研究网格资源的分配方式，主要包括以下四部分： 网格服务供应商( g t j ds e r v i c ep r o v i d e r s ，g s p ) ：包括地理上分布的所有互联资源和网 格中本地资源管理系统，主要是拥有资源的服务供应商( 相当于网格节点) 对资源进行合理 的分配，以满足交易服务器和资源预约的要求。同时服务供应商按照经济模型制定价格策 略和交易原则，以求获得最大利益。交易服务器是服务供应商本身的代理程序，遵循价格 策略与用户协商资源使用价格，指导结账系统记录资源消耗情况。网格服务供应商和网格 用户通过网格银行和网格市场服务器进行结算。 网格中间件服务层( g r i dm i d d l e w a r es e r v i c e s ，g m s l ：利用网格中间件实现了构造经济 网格模型所需的各种服务，其中包括登录、安全和服务质量控制，提供必要的网格信息供 网格浏览器查找所需资源，通过交易中间件连接交易服务器和交易管理器，执行任务模块 并完成资源的正确分配。 网格资源代理层( g r i dr e s o u r c eb r o k e r ，g e d 3 ) ：负责资源发现、资源选择、软硬件资 8 第二章网格综述 源的绑定、计算初始化、单一资源映像等功能。代理层由作业控制代理、调度顾问、网格 浏览器、交易管理器和部署代理五部分组成。作业控制代理作为总控负责监督程序的执行， 连接用户和其余四部分。调度顾问负责资源发现和资源选择。交易管理器是在调度顾问的 资源调度算法指导下，评估资源的访问开销，为调度顾问提供资源选择依据。分布代理负 责在选定的资源上激活任务，并周期性地向作业控制代理更新任务执行状态。 网格用户层( g r i dc o n s u m e r ，g c ) ：用户对网格系统提出自己的要求，包括所需资源和 交易所必须的信息，如价格、时间限制、偏好等。用户可使用网格应用程序，直接向网格 代理层提出要求。或者用户利用网格语言编程环境，编写自己的网格程序提交给网格资源 代理层。用户可以通过w e b 在远程资源上提交数据和收集结果。 9 东南大学硕士学位论文 第三章网格资源管理模型 3 1 网格资源管理概况 3 1 1 网格资源管理的功能 在传统的单计算机系统和集群系统中，计算资源的分布比较集中，计算在使用资源之 前可以快速、可靠地进行资源定位，资源的查找操作对计算性能的影响很小。而在网格计 算中，由于资源的广域分布以及现有i n t e r n e t 存在的带宽和延迟限制以及网络的不可靠性， 广域范围内的资源定位将在很大程度上影响计算的性能。因此，我们需要一种有效的资源 查找、调度等方法解决广域资源的管理问题。 网格资源管理致力于在任务提交时进行资源指派。它的角色就像是网格资源的抽象接 口。资源管理组件提供的工具可以将任务分配给特定的资源，可以提供一种手段，在任务 运行过程中获取任务状态信息，并获取任务完成的信息，还可以提供终止任务或对其进行 管理的能力。下面列出网格资源管理所要解决的关键问题【3 2 j ： 1 选择适当的资源。通过与代理联合工作，来保证选择适当的目标资源。这就要求应 用程序能够正确地指定所需的环境( 操作系统、处理器、速度、内存等等) 。我们为排除特 定的依赖关系付出的努力越多，找到可用资源完成任务的几率也就越高。 2 多子任务。如果应用程序中包含多个任务，必须理解并设法降低任务之间的相互依 赖关系。否则，就不得不构建一段逻辑来处理进程间通信、数据共享、并行任务提交等问 题。 3 访问任务的执行结果。如果一项任务返回的是一个简单的状态值，或是输出数据量 很少，那么应用程序可以仅仅通过标准输出s t d o u t 或s t d e r r 来获取这些数据。要是获取的 结果比较复杂，这时就可能需要将结果写入一个文件，并通过适当的工具，供目标机获取 传输这个文件。 4 任务管理。资源分配管理( g r a m ) 提供了查询任务状态的机制，还可以执行诸如终 止任务之类的操作。应用程序可能会在必要的时候使用这些功能为用户提供反馈、清除或 释放资源的操作。比如说，如果应用程序内有一项任务失败了，其他依赖于这项任务的结 果的任务可能就需要终止，以免无端消耗过多资源。 3 1 2 资源描述 资源描述是资源共享、资源发现等关键环节的重要信息。资源描述信息把不同的用户、 不同的应用、不同的资源联系起来。图3 1 给出了资源描述的两种不同的作用。前一种是 请求者用资源描述机制描述自己的资源需求，中介者根据需求描述做出响应。后一种情况 下，资源把描述自己的信息告诉中介者，以便中介者知道自己的相关信息，进而把与资源 匹配的请求引导到资源上。 合理的描述资源是资源管理的前提。当一个资源加入网格时，网格要把资源的功能、 使用接口、有效期限、安全参数等记录下来。当用户需要某种资源时，该用户将自己的需 1 0 第三章网格资源管理模型 求描述清楚，网格就可以根据需求寻找到合适的资源 3 2 1 。 丑，固 匿区 图3 1 资源描述的作用 人们在资源描述方面已经做了大量的工作，但是，目前还没有一种通用的描述方法得 到广泛使用。下面给出了网格环境中一些主要的资源描述方法。 资源规范语言( r e s o u r c es p e c i f i c a t i o nl a n g u a g e ，r s l ) 是g l o b u s 设计的一种简单的资源 描述语言，为不同平台的资源描述提供一种公共的描述交换语言。g l o b u s 资源管理框架中 的不同组件之间通过r s l 的描述完成管理功能，并与系统中的其他组件协调工作。r s l 的 基本语法是关系，通过关系把属性和值关联起来。例如资源请求描述中的“e x e c u t a b l e = a o u t ”提供了可执行文件的名字。 万维网服务描述语言( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ，w s d l ) 是万维网联盟用来描 述万维网服务接口的语言。它是用x m l 语言来描述的，定义了一系列的标记，力图做到 描述的服务接口独立于具体的实现平台。一个w s d l 文档给相应服务的最终用户提供使用 该服务的参数信息等。在w s d l 里面，端点及消息的抽象定义与它们具体的网络实现和数 据格式绑定是分离的。这样就可以重用这些抽象定义：消息，需要交换的数据的抽象描述； 端口类型，操作的抽象集合。针对一个特定端口类型的具体协议和数据格式规范构成一个 可重用的绑定。一个端口定义成网络地址和可重用的绑定的联接，端口的集合定义为服务。 资源描述框架( r e s o u r c ed e s c r i p t i o nf r a m e w o r k ，r d f ) 的目的是提供一个访问网络资 源元数据( m e t a d a t a ) 的标准，因此也提供了一个描述特定资源内容的标准协议。资源描述框 架可以用于资源发现、数字图书馆等应用领域。它的互操作性可以满足网格环境下资源信 息处理和不同资源信息交换的需要。 3 2 网格资源管理操作 3 2 1 资源收集和资源更新 资源加入网格时，并在网格中进行注册，把与自己有关的信息报告给网格。网格的资 源管理设施把资源报告的信息存储下来，供以后使用该资源的用户使用。资源管理器还能 够将网格内动态产生的信息收集起来，存储在资源数据库。当用户请求使用资源时，资源 管理器从资源数据库中查找，找到适合用户请求的资源后，把相应的资源分配给请求者使 用。在g l o b u s 中，提供资源信息的两个主要部件是资源信息服务( g r i s ) 和网格信息索引服 务( g i i s ) 。 资源信息使用一段时间之后，由于实际情况的变化需要进行更新。例如资源的负载、 资源的最近使用情况都需要及时更新。更新时需要考虑的一个问题是更新策略，要考虑到 更新信息而带来的通信负担。对于更新频度较快的信息，如果每变化一次就更新，虽然能 够保证信息的正确性，但同时也会给网格带来巨大的通信压力，造成效率的下降。因此， 东南大学硕士学位论文 如何在这两者之间寻求一种平衡是非常重要的。可以设置一个大于信息变化时间间隔的固 定时间作为更新周期，周期性地更新信息。 3 2 2 资源发现和资源分配 资源发现是将网格中的资源和用户联系起来的重要环节。资源发现是根据资源请求者 的资源请求描述，从网格上为请求者找到满足请求描述要求的合适资源的过程。资源中介 者就担当着资源发现的任务，它是从大量的可供选择资源中为请求者寻找所需要的资源， 把获得匹配的资源唯一标识符和使用接口告诉请求者。 网格环境中，资源拥有者可以制定一种策略用来处理请求和根据请求分配资源。需要 指定的资源属性包括： 1 指定可以运行来自网格上远程计算机的运行时段： 2 指定远程作业所能使用的最大c p u 数目； 3 指定用户或用户