（计算机软件与理论专业论文）上海网格环境下基于经济模型的资源代理的研究.pdf

上海大学硕士学位论文 摘要 网格计算是科学家们为解决当今的一些科学难题而提出的新概念，是当前并行和 分布处理技术的一个研究热点，而资源管理是计算网格的关键技术之一。由于网格的 目的是要整合各种各样可利用的资源，而资源的分布性、动态性、异构性、自治性和 需要协调一致性使得网格资源的管理调度成为一个棘手的问题。本文就在网格资源管 理调度方面作了如下研究： 1 ) 深入地总结分析了计算网格资源管理调度的研究现状和3 种基本模型：指出 了当前实际使用的资源管理技术用于计算网格系统的不足之处以及它们各自 的发展前景。 2 ) 本文根据对上述模型的理论研究和上海网格项目的实际研究，设计了上海网 格资源管理框架分层体系结构，并首次提出了上海网格资源代理( s h g r b ： s h a n g h a ig r i dr e s o u r c eb r o k e r ) 的概念。s h g r b 依据经济学模型，更能适应 动态变化的网格环境，为用户提供更高质量的服务。 3 ) 本文通过对已有经济模型的改进，在s h g r b 中提出了多维服务质量指导的 调度策略，为用户提供更高质量的服务；依据经济学模型设计了调节资源价 格的启发式，实现了网格资源价格随其负载大小实时变化的功能，使s h g r b 能更好的适应动态变化的网格环境；分别设计并实现了用户和服务提供者作 业和资源配置的操作界面，为他们提供简洁方便直观的操作。 4 ) 通过模拟实验的验证，显示了上海网格资源代理的优越性，结果分别满足我 们的设想。 关键字：上海网格，经济模型，资源代理，价格调节 v = 兰堡查兰堡主兰垡鲨壅 a b s t r a c t g r i dc o m p u t i n gi san e w c o n c e p t i o np r o p o s e db ys c i e n t i s t st os o l v ed i f f i c u l ti s s u e s a n di sac u r r e n tr e s e a r c hh o t s p o to fp a r a l l e la n dd i s t r i b u t e d t e c h n o l o g y , w h i l et h e m a n a g e m e n ta n ds c h e d u l i n go f r e s o u r c e sa r eo n eo f t h ek e yt e c h n o l o g i e so f c o m p u t i n g 鲥d t h eg o a lo fg r i di st o a g g r e g a t ea l lk i n d so fa v a i l a b l er e s o u r c e s ，y e tt h ed i s t r i b u t i o n ， d y n a m i s m ，h e t e r o g e n e i t y , a u t o n o m i s a t i o na n dt h en e e df o rc o o p e r a t i o no fr e s o u r c e sg i v e c h a l l e n g e st or e s o u r c em a n a g e m e n ta n ds c h e d u l i n g t h i sp a p e rj u s td o e sr e s e a r c ho l ls o m e a s p e c t so f t h i si s s u ea sf o l l o w i n g ： i ) s u m m a r i z ea n da n a l y s et h ec u r r e n tr e s e a r c hs t a t ea n dt h r e eb a s i cm o d e l so f r e s o u r c em a n a g e m e n ta n ds c h e d u l i n gi nd e t a i l ；p o i n to u tt h el i m i t a t i o no fc u r r e n t p r a c t i c a lt e c h n o l o g yo fr e s o u r c em a n a g e m e n ta n dt h e i rd e v e l o p m e n tt r e n d r e s p e c t i v e l y 2 ) b a s e do nt h et h e o r e t i cr e s e a r c ho fa b o v em o d e la n d p r a c t i c a lr e s e a r c ho fs h a n g h a i g r i dp r o j e c t ，t h i sp a p e rd e s i g n e dal a y e r e da r c h i t e c t u r eo fs h a n g h a ig r i dr e s o u r c e m a n a g e m e n tf r a m e w o r ka n df i r s t l yp r o p o s e dt h ec o n c e p t i o no fs h g r b ( s h a n g h a ig r i dr e s o u r eb r o k e r ) b a s e do ne c o n o m ym o d e l ，s h g r bi sa b l et o b e t t e ra d a p t i v et od y n a m i cc h a n g e so fg r i de n v i r o n m e n ta n dp r o v i d eu s e r sw i t h h i g h e rq u a l i t ys e r v i c e s 3 ) b yi m p r o v i n gt h ep r e v i o u se c o n o m ym o d e lb a s e ds c h e d u l i n ga l g o r i t h m ，t h i s p a p e rp r o p o s e dm u l t i d i m e n s i o n a lq o sg u i d e ds c h e d u l i n ga l g o r i t h mt op r o v i d e h i g h e rq u a l i t ys e r v i c e s ；d e s i g n e de c o n o m i cm o d e lh e u r i s t i ct of l u c t u a t er e s o u r c e p r i c e sw i t ht h ec h a n g eo fc u r r e n tr e s o u r c el o a d ；d e s i g n e da n di m p l e m e n t e d o p e r a t i o ni n t e r f a c ef o ru s e r sa n dr e s o u r c ep r o v i d e r st om a k et h e mm o r e c o n v e n i e n ta n df l e x i b l e 4 ) t h ec o m p a r i s o nb e t w e e no u rp r o p o s e dm o d e la n dt h ep r e v i o u so n e ss h o w st h e a d v a n t a g eo fs h g r b k e yw o r d s ：s h a n g h a ig r i d ，e c o n o m ym o d e l ，r e s o u r c eb r o k e r , p r i c er e g u l a t i n g v j 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了 文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过 的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 签 名：蘑鎏 日期趁丛 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文 及送交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 塑迎嗍 i i 上海大学硕士学位论文 1 1 网格简介 第1 章绪论 随着超级计算机的不断发展，它已经成为复杂科学计算领域的主宰。但以超级计 算机为中心的计算模式存在明显的不足，而且目前正在经受挑战。超级计算机虽然是 一台处理能力强大的“巨无霸”，但它造价极高，通常只有一些国家级的部门，如航 天、气象、计算中心或者大学等单位才有能力配置这样的设备。人们日常工作遇到的 商业计算越来越复杂，人们越来越需要数据处理能力更强大的计算机，而超级计算机 的价格显然阻止它进入普通人的工作领域。于是，人们开始寻找一种造价低廉而数据 处理能力超强的计算模式，最终科学家们找到了答案网格计算。随着局域网网格， 甚至家庭网格和个人网格等的不断发展，网格的规模并不一定非要很大。 那么什么是网格呢? 简单地讲，网格是把整个因特网整合成一台巨大的超级计算 机实现各种资源的全面共享。网格的根本特征不是它的规模，而是资源共享，消除 资源孤岛。 1 2 网格中的资源管理调度 在网格计算环境中，资源分散在各个不同地域和管理域中，由不同的组织拥有和 操作，并且在使用策略和安全机制上各不相同，即不同站点可能会使用不同的局部资 源管理系统。因此由于网格系统的这种分布性、异构性和动态性，使得网格资源管理 比分布式计算环境或集群计算环境下的资源管理更加复杂，不仅要支持跨组织或管理 域的任务调度。实时监控资源和作业执行的状态，而且要维护局部的站点自治，提供 相应的q o s 支持。同时，很多应用需要同时使用多个站点上的资源，站点自治性和分 配资源时可能出现的故障需要种特殊机制来同时分配位于多个站点上的资源。匮 此，如何对网格计算环境中的资源进行管理是实现高性能联合计算，共同完成重大应 用问题的关键之一。 因而很多科学家致力于建立适应网格复杂环境的特殊的资源管理系统模型，研究 其特征及功能，为具体实现网格资源管理系统提供必要的指导，从而满足网格系统的 用户服务需求和为网格系统其它服务组件提供支持。 上海大学硕士学位论文 在上海网格项目中，资源管理涉及到唯一验证、授权、资源访问、资源发现以及 资源调度等方面的研究。网格中主要资源是上海各大学和参与研究单位的计算机集群 系统，也包括常用的资源：处理能力、存储系统、目录、分布式文件系统、分布式计 算机池等。 讨： 本文的研究着重点在资源调度方面，在设计模型工具时主要从两方面加以研究探 从为用户提供方便、高效服务的角度来看，它与传统的分布式计算环境或集群计 算环境下的资源管理系统类似，应当至少具备三种功能：作业管理、任务调度和资源 管理，即用户通过作业管理功能向网格系统提交作业，为作业指定所需资源，删除作 业并监测作业的运行状态；用户提交的作业由任务调度功能按照作业包含的各个任务 的类型、所需资源、可用资源等情况安排运行日程和策略；资源管理功能确定并监测 网格资源状况，收集作业运行时资源占用情况等信息。 从为资源提供者( 系统管理员) 提供高效、简洁的管理方式角度看，它包括资源 的组织、定位、发现、调度、分配、确认、进程创建以及准备所需资源的其它活动。 网格资源管理提供了管理的功能和概念，使集群能够被当作单一资源，系统管理员根 据预先定义好的标准通过资源管理软件确保资源的合理分配和使用，以最终达到资源 共享的目的。 由于网格在逻辑上连接了属于不同的所有者或组织的多重资源，因而选择合适的 资源管理体系结构模型在最终网格( 在商业上) 是否成功上起着重要的作用。下面是 目前国内外学者专家提出的三大资源管理体系结构模型。 1 2 1 资源管理体系结构模型 传统的资源管理调度方法已无法适应位于更高层次的网格环境，科学家们不得不 另起炉灶，提出了最主要的三种网格中的资源管理体系结构模型：分层模型、抽象所 有者模型以及计算经济模型。 分层模型是g l o b u s 、l e g i o n 。“、n i n f 。3 等网格计算系统所使用的资源管理模型。 它较好地解决了网格计算环境给资源管理所带来的一些挑战性问题，如：站点的自治 性、底层的异构性、以及联合分配问题等。 抽象所有者模型在资源共享过程中遵循类似于快餐店的订购与交货模式，由资源 代理( 抽蒙所有者) 代表资源所有者与用户进行交互和协商。 上海大学硕士学位论文 计算经济模型将经济的概念引入网格资源管理中它应用了市场经济中的供求原 则来对资源的所有者和使用者进行调节以保证双方均获取最大利益。基于计算经济模 型对资源进行管理的系统有n i m r o d g “4 “”和j a w s “3 等。 1 2 2 市场经济模型 资源分配技术在计算网格中的作用非常重要。但是，已有的一些并行和分布计算 系统的资源分配技术，如负载共享设施l s f 、分布式队列系统d q s 等，并不能很好地 适应计算网格资源分配问题的特点，如资源管理者的自治性、资源及其使用者的异构 性、资源分配决策的分布性和并行性等。 与此同时，市场机制却非常适合解决计算网格资源分配问题：首先，经济活动中 的市场是一种基于分布自主决镱的资源分配机制，即每个市场参与方根据市场价格和 自身偏好自主决策，而计算网格的资源分配恰好需要实现类似的分布自主决策；其次， 关于市场机制的经济学理论给出了计算网格资源分配效率的精确刻画。计算网格通常 强调用户需求的异构性，此时以经济理论为基础的市场效率观点对于计算网格的资源 分配非常重要；最后，市场机制通过价格浮动反映资源供需状况的动态变化。通过供 需均衡实现优化分配。这种动态协调的资源分配机制恰恰适合计算网格的动态特性， 并且在此基础上市场机制还能支持资源的联合分配。 目前，典型的计算网格系统，女t l g l o b u s ，w e b f l o w , l e g i o n 等，都没有在资源管理 中使用经济学方法。但是，在计算机系统的资源管理中使用经济学方法，特别是使用 经济学方法解决分布式系统的负载平衡问题，却是近2 0 年来非常活跃的一个研宄领 域，相关的研究论文和原型系统为数众多。 为此。= ：奉= 文在详细分析研究了已有系统和结构的基础上，针对其几个缺陷和不足， 提出了“上海网格环境下基于经济模型的资源代理”，依靠多维q o s 指导的调度策略 和经济模型的启发式调节资源价格，改进和优化计算网格资源的分配。 和经济模型的启发式调节资源价格，改进和优化计算网格资源的分配。 上海大学硕士学位论文 1 3 本文的结构 第二章阐述利用经济模型进行资源管理的设计思想： 第三章专门讨论上海网格资源管理调度模型构架； 第四章详细讨论上海网格资源代理各模型的研究： 第五章描述了上海网格资源代理的实验环境与结果； 第六章给出总论和进一步工作的方向。 上海大学硕士学位论文 第2 章经济模型进行资源管理的设计思想 2 。1 资源管理和调度的主要模型分析研究 目前网格资源管理系统( g r i dr m s ) 模型按照体系结构主要分为三类：层次模型、 抽象所有者模型和经济市场模型j 如表l 所示。这三类模型分别体现了三种不同的 技术思想，其中具有计算经济特征的经济市场模型有着很好的应用前景。实际的网 格资源管理系统往往是这三类模型不同程度的混合。下面就这3 种不同模型进行详缎 研究分析比较。以确定研究的基础模型。 表1g r i dr m s 体系结构模型分类 模型评价网格系统举例 层次模型大部分当代网格系统都采 g l o b u s 、l e g i o n 、c c s 、 用该模型 a p p l e s 、n e t s o l v e 、n i n f 抽象所有者模型定购与传递模型，集中于长即将出现，大部分p 2 p 计算 期目标系统很可能会基于这种模 型 经济市场模型资源发现、共享或调度遵循 g r a c e 、n i m r o d g 、 经济模型 j a v a m a r k e t 、m a r i p o s a 2 1 1层次模型 网格资源管理系统的层次模型是在g g f ( g l o b a lg r i df o r u m ) ”1 第二次会议上 提出的，在实践中己被大多数当代网格系统所采用，基本思想就是整个资源管理系统 分成若干功能层，较高层次的组件利用较低层次组件提供的服务实现自身的功能。陔 模型一般由被动和主动两种组件构成，如图l 所示。 下面分别叙述各个组件及其功能。 被动组件包括以下几个部分： ( 1 ) 资源：是指一种网络实体，它们能被使用一段时间。可以或不可以更新，具 有所有者，可以给其它用户共享也可以向使用者收取费用，可能被明确命名 也可能只用参数来描述，例如磁盘空间、网络带宽、专用设备时间和c p u 时 间等； 上海大学硕士学位论文 ( 2 ) 任务：是资源的消费者，包括传统的计算任务和非计算任务，如文件操作和 通信等： ( 3 ) 作业：是按层次组织的实体，可能具有递归的树型结构，即作业可能由子作 业或任务构成，而子作业本身又可能含有子作业，该树型结构的叶子即是任 务，其最简单形式是只包含一个任务的作业： ( 4 ) 调度：是指在一定时间内将任务映射到资源的过程，这里并不是将作业映射 到资源，因为作业是任务的容器而任务才是实际的资源消费者。 主动组件包括以下几个部分： ( 1 ) 调度器：根据在运行时被指定的约束为作业输入列表计算一个或多个调度， 调度的基本单位是作业，即个作业而不是任务被提交给调度器，调度器负 责一次性映射作业内的所有任务； ( 2 ) 信息服务：负责对资源管理系统感兴趣的资源、作业、调度器或代理等的属 性信息进行描述和存储，信息服务可以采用多种方法来实现，如l d a p 、商 业数据库或任何某种其它解决方案； ( 3 ) 域控制代理：也就是局部资源管理器 它所控制的资源集合构成一个控制域 可以包含内部调度器； 它接受委托负责管理待使用的资源， 域控制代理不同于调度器，但控制域 ( 4 ) 发布代理：通过与域控制代理进行协商来获得资源和启动任务运行，从而实 现调度； ( 5 ) 用户：给资源管理系统提交作业并接收作业运行结果； ( 6 ) 许可控制代理：它决定系统是否能够容纳附加作业以及当系统饱和时拒绝或 推迟作业； ( 7 ) 监视器：负责跟踪作业进展，从构成作业的任务和运行该任务的域控制代理 中获得作业的状态，基于作业状态，监视器可执行任务控制代理和调度器所 提供的调用，从而影响作业的重映射： ( 8 ) 作业控制代理：它负责作业在系统中的分配( 包括预留) ，既可以作为用户代 理又可以作为作业的一个一致性控制点，它的另一职责是协调资源管理系统 内部不同组件的交互。 上海大学硕士学位论文 图l 网格资源管理体系结构分层模型 2 1 2层次模型的具体应用 这一小节介绍著名的网格思想实现之一网格计算系统g l o b u s 的网格资源管 理。 g l o b u s 的资源管理是通过g l o b u s 工具包与局部系统上运行的所有调度器进行 交互来实现的，g l o b u s 的资源分配器( g r a m ) 支持在一组局部资源上创建和管理 进程，资源请求由一种可扩展的资源描述语言( r s l ) 来表示并在组件之间传递。在 g l o b u s 中引入资源管理器来为各种各样的局部资源管理工具、策略和安全机制提供 良好的接口以解决站点自治和底层异构的问题。g l o b u s 策略的可扩展性和在线控制是 由支持资源管理体系结构中的不同组件进行协商的可扩展的资源规范语言来实现的， 同时引入资源代理来处理上层应用需求到单个管理者之间的映射。g l o b u s 的资源联合 分配是通过一个称为资源联合分配器的实体来实现的，它将复合请求分割成有机的部 分，把每部分提交给相应的g r a m 处理。 尽管g l o b u s 对网格计算应用提供了较好的支持，但是在资源管理上仍存在着 些问题，如：资源管理在联合分配层次上缺乏对资源预约的支持；对多资源联合分配 提供支持较弱以及无法很好适应网格计算环境中资源供需的动态变化，而且只实现了 最基本的异构资源整合，如果真正要实现网格应用，应在g l o b u s 的基础上建立更高 层次的中间件。 上海大学硕士学位论文 2 1 3抽象所有者模型 抽象所有者模型“”由两种主体构成： a o ) 。客户即是传统意义上的资源消费者， 客户和抽象所有者( a b s t r a c to w n e r 。简称 这里着重讨论a o 。a o 具有如下特征： ( 1 ) 如图2 ( a ) 所示，a o 给用户的外部视图很像商店的售货台，由一个订购窗口 和一个提货窗口组成。客户要访问a o 拥有的资源，首先通过订购窗口与 a o 协商例如询问资源多长时间可以得到，可能要支付多少费用等，客户 可以直接订货，也可以因为不满意而终止协商。订货之后，资源通过提货窗 口由a o 传递给客户。 ( 2 ) 如图2 ( b ) 所示，a o 可以是资源所有者，即壹接拥有物理资源。这里的物理 资源是指任何有助于客户解决问题的软硬件组台。a o 作为物理资源的纯粹 所有者，形式比较简单，只在物理资源之上增加了一个资源管理者，它可能 具有协商、调度和传递资源的智能。 ( 3 ) a o 也可以是资源所有者代理，此时a o 的形式比较复杂。如图2 ( c ) 所示， 该a o 由管理者、销售代表和运输代表组成。图中a 0 1 、a 0 2 和a 0 3 是其 它的抽象所有者，也都包含一个订购窗口和一个提货窗1 ：3 ，该a o 的销售代 表分别到其它每个a o 的订购窗口进行协商，而运输代表分别到其它每个a o 的提货窗口提取资源，这样该a o 实际上是a 0 1 、a 0 2 和a 0 3 的资源所有 者代理，它本身并不拥有资源，只是a 0 1 、a 0 2 和a 0 3 的资源的销售渠道。 ( 4 ) 从以上分析可以看出，在a o 模型中，a o 实际上只完成了作业调度中的获 得资源这一步骤，而资源分配、作业处理等后续步骤由作业商店来完成。如 图2 ( e 1 所示，作业商店由估计器、任务列表和执行者组成。估计器预测作业 处理的时间、计算执行作业需支付的费用、向其它a o 请求资源、记录作业 处理过程等。执行者从a o 的提货窗1 3 提取所需就绪资源、从任务队列中取 出待执行任务的句柄，建立任务执行的必要环境、初始化任务、收集结果以 及通知和返回结果给客户。图2 ( d ) 是a o 模型的作业调度示意图。 目前尚未出现典型的采用抽象所有者模型的网格资源管理系统，也许目前颇受欢 迎的p 2 p ( p e e r - t o p e e r ) 系统未来会采用该模型。 上海大学硕士学位论文 汀购窗f 】提货窗n 订购窗口提货窗口 | i 资豫管理者 i 上下 i i 物理资潦 i ( a ) a o 的外部视图b ) h o 是资源所有者 作业结果 l 作业商店 i f 估计执行) i f l a o l ( d ) h o 模型的作业高度 ( c ) a o 悬资谅所有者代理( e ) 作业商店 图2 网格资源管理系统的a o 模型 2 1 4经济市场模型 经济市场模型综合了层次模型和抽象所有者模型的核心特征，即可以利用层次 模型中相对成熟的技术又明确强调了以经济为基础的资源管理和调度，具有典型的计 算经济特征。图3 显示了基于经济市场模型的网格资源管理体系结构，该模型主要 由以下四个部分组成： ( 1 ) 网格用户的各种应用：包括串行应用、参量应用、并行应用和协同应用等。 ( 2 ) 网格资源代理：它使用网格中间件服务在用户和网格资源之间架起沟通的桥 梁，负责资源发现、资源选择、资源绑定、初始化计算、资源动态更新以及 建立资源的单一系统映象等功能，主要由作业控制代理、调度器、网格浏览 器、交易管理器和发布代理构成。 ( 3 ) 网格中间件：它为网格资源代理提供基本的网格服务支持，包括远程进程管 理、协同分配资源、存储访问、信息服务、安全认证、q o s 、资源预留、资 源交易和作业执行等。 上海大学硕士学位论文 ( 4 ) 网格资源控制域：是指网格结点的内部和外部环境，是经济市场模型中最能 体现计算经济的部分。每个网格结点都不可避免地要与外部的市场服务、信 息服务和监控系统进行通信。在网格结点内部，实际上资源层之上的各种服 务组件构成了域资源管理器( 即局部资源管理器，如集群操作系统、排队系 统等) ，其中交易服务器是资源所有者代理它与用户协商，销售自己资源的 访问权，其目标是最大化资源使用率并从中获利。交易服务器又由议价算法 和帐目管理系统构成。 2 2 市场机制模型进行资源调度设计 网格环境中的资源在地理上是广泛分布的，而且每个资源都归属于不同的组织， 都有各自的资源管理机制和政策。根据市场上的经济原则，不同的用户使用资源的费 用也是不同的。市场经济驱动的资源管理与调度必须使双方( 消费方和资源提供方) 互 惠互利，才能长久发展下去。因此，基于市场的网格基本体系结构主要包括以下三个 部分，如图3 所示： ( 1 ) 用户资源请求代理用户资源请求代理利用中间件服务连接用户和网格资 源。它包括：作业控制代理、作业调度、网格信息浏览、贸易管理和分配代 理五大模块。作业控制代理接收用户的作业和要求，同时检测该作业能否在 它所代理的网格结点中完成：作业提交给调度模块，网格浏览器从网格中间 件数据库获取资源提供方的信息；贸易管理模块通过市场中间件与资源提供 方协商价格问题；作业调度模块根据前两项返回的结果及作业控制代理输出 的用户要求分派最优资源给作业：最后作业分配代理模块把作业调度到选定 资源上运行，并随时把资源提供方反馈的作业状态或结果返回给作业控制代 理。 ( 2 ) 市场中间件市场中间件包括资源的分配和管理、认证和安全服务、网格信 息服务、交易模板四大模块。资源的分配和管理模块对全局的资源进行统一 的管理和调度分配：认证和安全服务模块对服务提供方提供注册功能，对客 户提供认证访问全局数据库的功能，同时保证用户作业在资源提供方安全运 行；网格信息服务器动态收集资源提供方的信息，并反映到全局数据库中； 交易模板提供用户请求代理和局域资源管理、协商价格的功能。 ( 3 ) 域资源管理域资源管理包括资源管理和贸易服务两大模块。资源管理模块 动态监测本局域网资源，对本局域网的资源进行调度并动态地向市场中间件 的网格信息服务模块传送本局域网格资源信息。贸易服务模块能通过市场中 间件的交易模板模块和用户资源请求代理的贸易管理模块通信，使用贸易协 一 圭塑查兰堕主兰垡丝茎 议来决定交易结果。 图3 资源管理体系结构计算经济模型 2 3 计算经济模型的具体应用及缺陷 这一节介绍计算经济模型在n i m r o d g 系统中的应用，在借鉴n i r l l r o d g 经济模 型思想的基础上，巍们设计和改进了自己的系统。 n i m r o d ，g 是由澳大利亚的m o n a s h 大学开发的针对参量研究的用来管理资源和调 度应用自动执行的网格资源代理。 n i m r o d g 采用了计算经济模型对网格资源进行管理，并且对任务进行调度。它 的资源管理 本系结构采用典型的经济市场摸型；资源描述与访问使用由底层g i 。b u s 或l e g i o n 中间件服务所提供的资源模型、依赖于计算结点的可用性、提供软和硬q o s 等；在任务调度方面采用由计算经济和截止期限所驱动的应用级调度策略遵循层次 的、分布式的调度模型等。它使用由g r a c e 提供的资源交易服务来对资源的供需情 况进行管理。n i m r o d g 中使用网格银行是管理资源所有者和资源用户的账户及电子 付款的基础设旌。 当然，n i m r o d g 系统中的计算经济模型还需要不断的完善。例如：一旦初始调 度价格决定后调度器就不能再对价格进行更改。其次n i m r o d j g 系统中对于以用户 为中心的任务请求描述的q o s 只提供单调的预算和截止期限约束两种，不断完善的 计算经济模型应提供相应的多种q o s 支持。 一。 1 l 上海大学硕士学位论文 第3 章上海网格资源管理调度模型架构 为了提供有效简便的网格资源管理，针对上述系统( n i m r o d g ) 的缺陷，和在对 已有模型的研究、分析和借鉴的基础上，提出了一个基于上海网格环境的网格资源管 理分层体系结构s h g r b ( s h a n g h a ig r i dr e s o u r c eb r o k e r ) ，旨在不断改善资源代理的功 能和性能，提供多维q o s 的支持以便调度更高质量的服务，调度器能根据经济启发 式和当前资源相应的实时参数不断调整价格，使它更适合于动态变化的网格环境。本 章将详细阐述上海网格资源管理调度模型的架构。 3 1 上海网格资源管理框架 粗略地说，网格系统可以分为三个基本层次：资源层、中间件层和应用层。由于 现在的互联网结构并不是针对网格计算设计的，为了使网格计算和现有的结构兼容， 需要有一个可扩展的中间件层。通常它是指一系列工具和协议软件，其功能是屏蔽网 格资源层中计算资源的分布、异构特性( h e t e r o g e n e i t y ) ，向网格应用层提供透明、一 致的使用接口。网格的中间件层也称为网格操作系统( g r i do p e r a t i n gs y s t e m ) ，它 同时需要提供用户编程接口和相应的环境，以支持网格应用的开发。以美国政府的研 发机构为主的推动网格计算的项目，都采用了一种网络协议“g l o b u s ”。g l o b u s 项 目是以荚国a r g o n n e 国家实验室为主，全美有1 2 所大学和研究机构参与开发的网格 项目。g l o b u s 对资源管理、安全、信息服务及数据管理等网格计算的关键技术进行研 究，开发能在各种平台上运行的网格计算工具软件，帮助规划和组建大型的网格试验 平台，开发适合大型网格系统运行的大型应用程序。g l o b u s 认为：在网络环境下的互 操作，意味着需要开发一套通用协议，用它来描述信息的格式和信息交换的规则。 g l o b u s 协议作为自由软件，已经在互联网上公开。 所以我们的研究是基于开放的g l o b u s 中间层作为网格基础设施或者网格操 作系统。由上到下，把上海网格资源管理框架分为3 个层次，依次为终端用户层、中 间件层和物理资源层，其中中间件层由2 小层构成：网格基础设施层如( g l o b u s ) ， 和资源代理层( r e s o u r c eb r o k e ro rs u p e rs c h e d u l e r ) 。 网格基础设施层网格和多种技术的结合建立了基础设施层，利用网络资源提供 了一个类似操作系统的管理平台。这个平台基本屏蔽了异构资源的差异和地理上的分 布性，管理分布的计算、储存、网络等资源，提供实现应用之间的可交互性和互操作 性的工具，提供用户开发网络应用的环境和网络应用的基本功能构件，支持各种应用 的开发和按需服务的能力。尽管它提供了基本功能构件库，但是基于基础设施层的网 上海大学硕士学位论文 格应用对终端用户来说还是相当复杂。可以说用户直接使用网格基础设施层提供的 a p i 和工具集是不可能的，也不是上海网格服务于人民的真正目的。而要真正面向用 户的网格应提供简便，可靠、离效、直观的操作环境。 资源代理层资源代理( r e s o u r c e b r o k e r ) 也称为网格调度器，位于资源代理层， 在资源管理体系中应运而生，是其中关键的部分起到了上接用户下连网格基础设施 层的桥粱作用，它直接影响到资源管理策略的效率。它利用调度算法或策略给选定的 资源映射任务，使用户或系统的目标最优化。资源代理同时为用户掩藏了网格环境的 复杂性，为用户发现、谈判、挑选资源、映射任务给挑选好的资源，启动、监控任务 的执行如果需要记录中间结果，最后收集最终结果返回给用户。而用户需要做的仅 仅是描述他们的需求，提交要执行的任务，然后等待结果的返回。 依据以上理论，我们设计了上海网格资源管理框架。用户和资源代理以及资源之 间的交互见图4 ，从图中可看到资源代理位于网格中间件( g l o b u s ) 和终端用户之间。 图4 上海网格资源管理框架 上海大学硕士学位论文 3 2 上海网格资源代理系统管理流程 图5 上海网格资源管理系统流程图 为了简单叙述，假设整个网格由两个集群a 和b 组成，分别用两个虚线框未 示；图中虚横线表示层次的划分，分别代表了最终用户层、网格入口层、网格中间伺 层，最下面一层是本地资源管理层和资源层，由于这两层不是本文的重点，所以将它 们合并表示。整个资源管理的流程说明如下； 用户通过g u i 或者w e b 浏览器登录网格，在网格入口进行身份确认及权陲 确认，确认通过后用户进入网格。在上海潮格试验床中开发了专有的上海降 格门户( p o r t a l ) 原型，以w e b 浏览器方式通过身份验证登录上海网格试验扇 f 如下面图6 所示、。 用户可在使用权限内向网格提交作业，请求被网格调度器接收。 用户进入网格后，按系统定义的权限对本系统注册在网格信息服务器上( 莎 格信息服务器中包含当前网格中所有注册资源的信息) 的服务进行查询、荔 索。 用户可在使用权限内使用网格监控器提供的服务对目前网格各节点的负载、 流量、内存等进行监控。 上海大学硕士学位论文 网格调度器查询网格信息服务器，并根据作业请求和资源状态进行匹配。 匹配成功后将作业提交给目标集群中的本地资源管理者。 由本地资源管理者负责调度作业给合适的物理服务器来执行，并且搜集执行 结果 本地资源管理者将作业执行状态及最终结果向网格监控器汇报。 网格监控器负责将作业执行状态通过网格入1 2 1 报告给用户，并最终显示在 g u i 界面或者w e b 浏览器上。 每当集群中负载发生变化时，由集群管理者向网格信息服务器汇报。 以上是整个网格资源管理的流程。由图5 可以看出，网格调度器是整个系统的核 心部分，资源调度是否快速有效，是否能够在全局范围内公平调度，主要看调度器的 匹配算法是否强健和有效。 图6 上海网格一上海大学门户原型 上海大学硕士学位论文 3 3 上海网格资源代理架构 r hejl i r c u ， 图7 上海网格资源代理架构 在此将着重论述运用经济模型思想在资源管理和调度中的一些不足和改进之处， 而对于网格中其他中间件( 如：门户接口、资源监控、资源查询等) 由于不是本论文 重点将不作详细论述。根据实际需求设计的上海网格资源代理的架构，其内部主要构 件如图7 所示由以下几部分组成：工作控制代理( j o bc o n t r o la g e n t ) 、网格搜索器 ( g r i de x p l o r e r ) 、资源顾问( r e s o u r c e a d v i s o r ) 、和定价代理( p r i c i n g a g e n t ) 。 以下详细介绍各个构件的功能： 工作控制代理：此构件是稳固集中控制构件，负责在资源调度顾问和定价