（计算机软件与理论专业论文）基于市场经济的网格资源管理的问题研究.pdf

童室垄三盔堂堡主堂壁迨皇 蕉王立鱼堑遂盟塑整童塑笪堡盟四壁堕塞 摘要 计算网格是执行大规模资源应用的理想平台。然而，在网格环境下的资源管理和调 度仍然是令人棘手的问题，因为网格资源在地理上是分布的，本质上是多态性的，被不 同的个人或者组织以各自不同的策略所拥有，并且有着不同的访问和计费模型。 本文引入一种基于市场的模型来解决管理网格资源的管理和调度。该模型包括市场、 资源消费者、资源提供者以及它们之间的相互作用。从而引申出模型中的基本组件：市 场、应用代理、资源代理。本文进一步讨论了一种在此模型基础上的解决方法，该方法 通过市场机制实现了网格资源的调度，最后引入一个基于市场平衡的资源调度算法。 关键词：网格，市场，资源管理，调度算法 摘要硕士论文 a b s t r a c t c o m p u t a t i o n a lg r i d sa r eap r o m i s i n gp l a t f o r mf o re x e c u t i n gl a r g e s c a l e r e s o u r c ei n t e n s i r ea p p l i c a t i o n s h o w e v e r ，r e s o u r c em a n a g e m e n ta n ds c h e d u l i n gi n t h eg r i de n v i r o n m e n ti ss t i 儿ac o m p l e xp r o b l e m ，b e c a u s er e s o u r c e sa r e g e o g r a p h i c a l l yd i s t r i b u t e d ，h e t e r o g e n e o u s i nn a t u r e ，o w n e d b y d i f f e r e n t i n d i v i d u a l so ro r g a n i z a t i o n sw i t ht h e i ro w np o l i c i e s ，h a v ed i f f e r e n ta c c e s sa n d c o s tm o d e l s t h i sp a p e ri n t r o d u c e sam a r k e t b a s e dm o d e li no r d e rt or e g u l a t i n gt h eg r i d r e s o u r c e sm a n a g e m e n ta n ds c h e d u l i n g t h em o d e lc o m p r i s e so fm a r k e t s ，r e s o u r c e c o n s u m e r s ，r e s o u r c ep r o v i d e r sa n dt h e i ri n t e r a c t i o n s a n dt h e nc o m p o n e n t si n v o l v e di nm a r k e t s ，c o n s u m e r sa n dp r o v i d e r sa r em a r k e t s ， a p p i i c a t i o na g e n t s ，r e s o u r c ea g e n t s t h ep a p e rf u r t h e rd i s c u s s e saa p p r o a c hw h i c h i sb a s e do nt h em o d e la n dr e a l i z e st h eo p t i m a ls c h e d u l i n go fg r i dr e s o u r c e sb y t h em a r k e tm e c h a n i s m ，a n dae q u i l i b r i u m - b a s e dr e s o u r c es c h e d u l i n ga l g o r i t h mi ! i n t r o d u c e da tl a s t k e y w o r d s ：g i r d s ，m a r k e t ，r e s o u r c em a n a g e m e n t ，s c h e d u l i n ga 1 9 0 r i t h m 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名塑堡 力d s 年i f 月弓曰 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生始塑呈一 力0 5 年占月弓目 南京理工大学硕士学位论文基于市场经济的网格资源管理的问题研究 1 绪论 1 1 网格的产生及其应用 “网格”一词出现于上个世纪9 0 年代中期，当时是指为了高级科学发现与工程研究 而提出的分布式计算基础设施，时至今日，这种技术已经取得了相当大的进展，融合了 从网络到人工智能的许多技术。网格是一种重要的技术趋势，所要解决的问题是，在 动态的多制度的虚拟组织之间协调的资源共享与操作，这里的共享是指直接访问计算机、 软件、数据和其它资源，而不单是指文件交换。确切地说网格是一种环境，在这种环境 中，各种计算的资源( 如超级计算机、机群系统、低端的个人计算机和工作站等) 、显 示设备、存储系统、数据库、特殊的科学仪器( 如无线望远镜) 和计算核心程序等被逻 辑地联接在一起，作为单一的整体的资源提供给用户。 同时网格也是一种新型的、以服务为导向的架构。通过一些网格开放标准的使用， 这种架构可以在互联网或专网内融合各种异类的i t 系统，并支持分布式的计算。正如电 力网为千家万户供电一样，网格计算的核心是实现跨部门、企业和资源的虚拟共享、管 理和访问，无论这些资源的运行特点如何，用户也无需关心这些资源在哪里 2 1 。 网格技术有非常广阔的发展前景，目前已经渗透到各个领域中。由于网格非凡的资 源协作和共享能力，目前网格主要应用于分布式超级计算、分布式仪器、数据密集型计 算、远程沉浸等领域，而在生物基因工程、天文气象探索等海量数据存储和高吞吐率计 算方面，网格计算更是显示了卓越超群的性能。除此以外，网格在商业、医学、电子政 务、建筑工程等行业也有较广泛的应用。 美国福布斯杂志结合近几年计算机技术的发展趋势，指出信息技术的下一波浪潮在 2 0 0 4 至2 0 0 5 年度出现。同时到2 0 2 0 年，基于网格技术的互联网将成长为一个2 0 万亿 美元产值的大工业。在这巨大的数字背后给我们带来的可能是更多的思考，我国的计算 机产业在总体上落后于西方国家，在科技发展曰新月异的今天，要加速追逐西方发达国 家科技的脚步，就需要更多的科学研究工作者、更多的人力物力投入到网格研究中去， 在这一点上我们国家做的还远远不够，所以需要更多的有志之士加入到网格研究的队伍 中来。 绪论 硕士论文 1 2 市场经济对网格资源管理研究的重要意义 资源分配技术在计算网格中的作用非常重要。但是，已有的一些并行和分布计算系 统的资源分配技术，如负载共享l s f ，分布式队列系统d q s 等，并不能很好地适应计算 网格资源分配问题的特点，如资源管理者的自治性，资源及其使用者的异构性，资源分 配决策的分布性和并行性等。 与此同时，市场经济却非常适合解决计算网格的资源分配问题】： 首先，经济活动中的市场是一种基于分布自主决策的资源分配机制，即每个市场参 与方根据市场价格和自身偏好自主决策，而计算网格的资源分配恰好需要实现类似的分 布自主决策。 其次，关于市场机制的经济学理论给出了计算网格资源管理效率的精确刻画，计算 网格通常强调用户需求的异构性，此时以经济理论为基础的市场效率观点对于计算网格 的资源分配非常重要。 最后，市场机制通过价格浮动反映资源供需状况的动态变化，通过供需均衡实现优 化分配，这种动态协调的资源分配机制恰恰适合计算网格的动态特性，并且在此基础上 市场机制还能支持资源的联合分配。 因此基于计算经济的网格模型是我们更好的选择，它可以使我们可以更好的管理和 处理网格资源提供者和消费者的要求。 1 3 当前网格的国内外研究现状 1 3 1 国内网格项目 2 0 0 2 年6 月，我国政府在“8 6 3 ”计划中设立了网格专项口】：研制中国国家网格。总 体目标是研制一台每秒4 万亿次运算能力、面向网格的高性能计算机；建设一个具有5 万 至7 万亿次聚合计算能力的高性能计算环境；开发一套具有自主知识产权的网格软件；建 设2 至3 个事关国计民生的应用网格；形成若干网格技术的国家标准，参与制定国际标准； 培养一批高素质的网格研究和应用人才。中科院计算所围绕网格路由器、网格操作系统、 工具软件包、信息网格平台、知识网格以及安全系统进行系列研发，形成了“织女星网 格”品牌【4 l ；联想推出了“关联应用”的网格发展战略，已有部分产品面世。最有气候 的是中国教育网格。这项“迄今世界上最大的教育网格”由1 2 所大学联合推出，可实现 2 塑塞里三盔堂堡主堂焦堡皇 董王立堑丝迸墼塑整翼婆壁婆堕塑璧塑塞 全国l o o 所重点大学资源共享。 1 3 2 国外网格项目 1 3 2 1 美国地区 美国是目前在网格研究方面走在最前面的国家。目前美国网格计算研究主要由美国 能源部( d o e ) 、美国国家科学基金会( n s f ) 、美国国防部( d o d ) 资助，各个国家实验 室、高等院校承担，各个大型公司积极参与。由美国能源部资助的项目主要有美国科学 网格( d o es c i e n c eg r i d ) 、远程分布式计算与通信( d i s t a n c ea n dd i s t r i b u t e dc o m p u t i n g a n dc o m m u n i c a t i o n ，d i s c o m 2 ) 和地球系统网格( e a r t hs y s t e mg r i di i ，e s g ) 。其中 美国科学网格项目的目标是建立基于网格中间件( g r i d w a r e ) 和系统工具的高级分布式 计算基础设旌( a d c i ) 使能源部科学计算体系的可伸缩性满足能源部内部科学研究任务 要求。远程分布式计算与通信项目的目标是创建一个用于访问美国能源部三个武器实验 室的具有可操作性的网格，以支持国防计划中远程计算和分布式计算这两个关键战略领 域复杂的分析、设计、制造、认证功能。地球系统网格( e a r t hs y s t e mg r i di i ，e s g ) 项目由阿贡国家实验室( a r g o n n en a t i o n a ll a b o r a t o r y ) 等五个国家实验室的科学家联 合承担。主要目标是解决从全球地球系统模型分析和发现知识所面l 临的巨大挑战，为下 一代气候研究提供一个无缝的强大的虚拟协同环境。此外，还有为数据融合研究服务的 融合协作体网格( f u s i o nc o l l a b o r a t o r y ) 和为核武器研究的加速战略计算创新网格 ( a c c e l e r a t e ds t r a t e g i cc o m p u t i n gi n i t i a t i v eg r i d ，a s c ig r i d ) 研究项目。 由美国国家科学基金会资助的项目有元系统推进( m e t a s y s t e m st h r u s t ) 、t e r a g r i d 和国家地震工程仿真网格( n e t w o r kf o re a r t h q u a k ee n g i n e e r i n gs i m u l a t i o ng r i d ， n e e sg r i d ) 。元系统推进项目的目标是创建一个可以把地理分布的离散资源集成起来作 为单一资源的可操作的元系统，通过高速网络和别的大学和研究机构互连构成计算网格， 使大规模科学工程计算和海量信息处理以分布协作的方式完成。该项目采用l i n u x 聚簇 ( c l u s t e r s ) 技术把分布在四个t e r a g r i d 站点的计算资源紧密集成起来，使t e r a g rj d 的计算能力可以达到每秒1 3 6 万忆次( t e r a f l o p s ) ，可以为网格计算存储管理4 5 0 t b 以上的数据。国家地震工程仿真网格的目标使地震研究人员能够进行各种地震工程实验 数据分析的大规模计算任务。此外，由美国国家科学基金会资助的项目还包括物理网格 ( g r i p h y n ) 项目、网格应用开发软件( g r i da p p l i c a t i o n d e v e l o p m e n ts o f t w a r e ，g r a d s ) 项目。美国国家科学基金会还成立了网格研究、集成、开发与支持中心。 硕士论文 由大学承担的项目主要有威斯康星大学麦迪逊分校的c o n d o r 、弗杰尼亚大学的 l e g i o n 和田纳西大学的可伸缩的校园内部研究网格( s c a l a b l ei n t r a c a m p u sr e s e a r c h g r i d ，s i n r g ) 。c o n d o r 项目的目标是开发支持高吞吐量计算( h i g ht h r o u g h p u t c o m p u t i n g ，h t c ) 的分布式计算资源的收集机制和工作负荷管理系统。l e g i o n 可以把不 同体系结构、不同操作系统和不同物理位置的计算机资源连接成为一个系统。s i n r g 用 于田纳西大学k n o x v i l l e 校园内部的医学图象处理、交互式分子设计、高级机械设计等 跨学科研究领域的校园高性能计算基础设施。 目前美国公司正在开发的项目主要有e n t r o p i a 公司的d c g r i d 、p l a t f o r m 公司的 企业网格( e n t e r p r i s eg r i d ) 、s u n 公司的网格引擎( g r i de n g i n e ) 、i b m 公司的b l u e g r i d 、 a v a k i 公司的a v a k i 和d a t a s y n a p s e 公司的l i v e c l u s t e r 。d c g r i d t m 是通过聚集由基于 w i n d o w s 操作系统的p c 机构成的网络中没有使用的处理循环提供高性能计算能力的p c 聚簇计算平台。企业网格由公共w e b 门户、公共负载交换中心( m u l t i c l u s t e r ) 、中央 控制器( f t a ) 和负载管理器( l s f 5 ) 组成。2 0 0 0 年4 月，s u n 公司的g r i de n g i n e 5 3 版与s u s el i n u x 公司最新发布的s u s el i n u x8 0 专业版一起发行，为日益增长的l i n u x 用户群提供网格计算支持。i b m 公司的b l u e g r i d 是一个连接i b m 实验室的网格测试平台。 a v a k i2 5 提供在单个统一的操作环境中广域访问处理、数据和应用资源的综合网格软 件。l i v e c l u s t e r 可以动态地、自适应地分布应用在计算池中繁忙的、空闲的或间断可 得的p c 聚簇、服务器、台式机，以保证应用任务的及时完成。此外，h p 、o r a c l e 等公 司也在积极开发网格计算软件。不过，这些商业公司推出的所谓网格计算软件或网格计 算系统都还只能算是聚簇计算类型，不是真正意义上的网格计算。 美国正在进行的网格计算研发项目还包括g l o b u s 、美国航空航天局( n a s a ) 的信息 动力网格( i n f o r m a t i o np o w e rg r i d ，i p g ) 、美国国家技术网格( n a t i o n a lt e c h n o l o g y g r i d ) 、虚拟实验室项目( v i r t u a ll a b o r a t o r yp r o j e c t ) 、天体物理仿真合作实验室 ( a s t r o p h y s i c ss i m u l a t i o nc o l l a b o r a t o r y ，a s c ) 、国际虚拟数据网格实验室 ( i n t e r n a t i o n a lv i r t u a ld a t ag r i dl a b o r a t o r y ，i v d g l ) 等。g l o b u s 目标构建一个 网格软件基础设旋。研究内容包括资源管理、数据访问、应用开发、网格安全等。目前 全球许多用户利用g l o b u s 工具包创建网格和开发网格应用。信息动力网格的目标是为国 家航空航天局科学研究任务提供持续、可靠的计算动力源。美国国家技术网格项目的目 标是创建一个无缝集成的协同计算环境原型系统。虚拟实验室项目致力于研究、设计、 开发能够帮助解决数据密集的、涉及大规模计算的分子生物学问题的网格技术。天体物 理仿真合作实验室项目的主要目标利用c a c t u s 和g l o b u s 网格计算的研究成果为高级可 直塞望王盔堂堡主芏垡堡塞茎王立堑丝竖堕塑整堡塑笪型塑鲤垦至壅 视化交互和元计算提供大规模并行计算能力，实现在相对论天体物理学领域的大规模仿 真。国际虚拟数据网格实验室项目由欧盟的数据网格( d a t a g r i d ) 、美国的网格物理网 络( g r i dp h y s i c sn e t w o r k ) 和粒子物理数据网格( p a r t i c l ep h y s i c sd a t ag r i d ) 协 作创建。以上可以参考文献 5 、 6 、 7 、 8 。 1 3 2 2 欧洲地区 欧洲的网格计算研究项目主要由欧盟和欧洲委员会资助。其中网格计算研究比较活 跃的国家是英国、德国和意大利。欧洲网格项目的主要目标是在欧洲多个高性能计算中 心之间建立网格基础设施，满足生物分子设计、天气预报、计算机辅助工程，土木工程 结构分析、实时数据处理等领域的计算任务要求。c r o s s g r i d 项目的目标是为大规模基 于网格的实时仿真和可视化开发技术。天体物理虚拟天文台( a s t r o n o m i c a lv i r t u a l o b s e r v a t o r y ，a v o ) 项目是为了把天文学数据库和处理能力组合在一个虚拟实验室。网 格实验室( g r i d l a b ) 项目的目标是开发有关网格计算软件使仿真和可视化程序代码能够 适应变化的网格环境以充分利用动态资源。欧洲网络的工业使用的分布式应用和中间件 ( d i s t r i b u t e da p p l i c a t i o i l sa n dm i d d l e w a r ef o ri n d u s t r i a lu s eo fe u r o p e a n n e t w o r k s ，d a m i e n ) 项目是为网格基础设施开发必要的软件以便网格计算能够用于工业 仿真和可视化。数据网格项目的目标是开发支持新一代高能物理、环境科学和生物信息 学等领域科研中的数据处理和存储要求的网格技术。网格互操作( g r i d i n t e r o p e r a b i l i t y ，g r i p ) 项目是为了解决g l o b u s 网格系统和u n i c o r e 网格系统之间的 互操作问题。北欧国家的n o r d u g r i d 项目是基于n o r d u n e t 2 的广域计算工程测试平台。 英国独立承担的网格计算研究项目主要是英国e s c i e n c e 、g r i d p p 和英国国家网格 ( u k n a t i o n a lg r i d ) 。e - s c i e n c e 是为分布式全球合作的大规模科学研究而创建的。 g r i d p p 计划的目标是为粒子物理研究应用而在英国国内创建网格。德国的计算资源统一 接口项目( u n i f o r mi n t e r f a c et oc o m p u t i n gr e s o u r c e s ，u n i c 0 r e ) 的主要目的是通过 德国国内各个高性能计算中心之间互联构造一个高性能网格计算环境( h i g h p e r f o r m a n c eg r i dc o m p u t i n ge n v i r o n m e n t ) 。意大利的p o e 2 0 0 0 网格计算项目由意大 利国家研究委员会组织，这个项目的主要目的是为新一代科学和商业应用的发展研究、 评估、开发网格计算技术。此外，还有荷兰的d u t c h g r i d 项目，爱尔兰的i r i s h c o m p u t a t i o n a lg r i d 项目等。 硕士论文 1 3 - 2 3 亚太地区 亚太地区网格( a p g r i d ) 项目是一个亚太地区国家在网格计算方面的合作项目。 a p g r i d 主要研究内容主要包括资源共享、网格技术开发、帮助用户创建新的网格应用。 日本的网格数据农场( g r i dd a t af a r m ，g d f ) 项目是要构造一个能够处理由用将在2 0 0 5 年欧洲物理研究所建成的大强子对撞机实验产生的i o o t b 到p b 级数据的数据处理框架和 一个p b 级数据密集计算系统。采用数以千计的p c 节点构成的聚簇结构，每个节点处理 近t b 级的数据。澳大利亚e c o g r i d 项目的目标是为全球网格计算开发基于市场经济的资 源管理与调度系统。以上可以参考文献 9 3 、 1 0 、 1 1 。 1 4 本文所做工作和结构介绍 将传统经济理论中的市场机制引入到网格中给网格资源管理提供了一种新的解决思 路，运用市场机制解决网格资源管理可以分为两个子问题：其一，确定各种资源的平衡价 格：其二，根据资源价格和资源分配策略实现有效的资源管理。本文就是围绕这两个问题 进行展开的。首先提出一对能够支持多种经济模型的以市场为中心的网格资源管理结构， 介绍了资源所有者和资源用户围绕市场进行资源交易活动。强调了以市场进行资源平衡 的重要作用，使得资源所有者能够最大利益化自己的资源，同时资源用户能够以最少的 代价获得所需资源。接下来，在此结构的基础上进行平衡算法的研究。 全文的第二章为知识概述，介绍了网格的技术概念和发展情况。接着第三章介绍网 格资源管理系统的相关知识。第四章提出基于市场经济的网格管理模型框架，介绍了资 源提供者和资源消费者在市场的作用下，实现资源的管理分配。第五章在第四章提出的 框架基础上，首先求出资源供需平衡下的资源平衡价格，然后引入在结合价格优先和时 间优先资源调度方法下能够综合考虑时间和价格的平衡资源调度算法，并给出相关数据 模拟。 6 南京理工大学硕士学位论文 基于市场经济的网格资源管理的问题研究 2 网格技术综述 2 1 网格的研究意义 自2 0 世纪9 0 年代以来，网络技术得到了极大的发展，i n t e r n e t 上主机大量增加，网 络应用涉及到社会生活的方方面面。但网络的发展过程中，仍面临着很多问题。如传统 企业电子比与网络企业商务化，不仅需要大量资金，而且周期比较长，并且低水平重复 建设、信息资源利用率低必然导致资源浪费。这说明i n t e r n e t 上的主机利用率并不高， 有效的信息供给不足，产品、技术、服务的标准化、规模化、序列化、模块化、对象化 程序方面比较低。技术的实现能力在许多方面( 比如实施电子商务) 还不能完全满足应用 的需求，信息基础设施在底层的统一程度不够，特别是收集信息、整理信息、建立资源 库需要巨大开支，给企业带来了巨大的成本支出。 如何解决这些问题，人们提出了很多的方案。其中，网格技术是其中之一，它是网 络发展与网络应用需求的一个重要方向，是解决目前由于标准化、模块化应，时产品、服 务的缺乏以及企业信息化成本过高等问题的一个重要方案，有重要的指导意义。美国7 0 年代关于i n t e r n e t 网络的研究导致了今天网络经济的发展，而现在对网格的研究可与7 0 年代对i n t e r n e t 的研究相提并论，2 0 0 1 年8 月，美国国家科学基金委( n s p ) 宣布一个重大 科研项目，研制称为“分布式万亿级设施”( d i s t r i b u t e dt e r a s c a l ef a c i l i t y ) 的网格 系统，简称t e r a s e a l eg r i d 。网格技术将创立2 l 世纪信息技术新标准，将会使信息产业 的发展产生一个新的飞跃。 2 2 网格计算的科学定义 网格是利用高速国际互联网把地理上广泛分布的各种资源( 包括计算资源、存储资 源、带宽资源、软件资源、数据资源、信息资源、知识资源等) 连成一个逻辑整体，就 像一台超级计算机一样为用户提供一体化的信息和应用服务【1 2 】。虚拟组织最终实现在这 个虚拟环境上进行资源共享和协同工作，彻底消除资源孤岛，让人们使用网格上的资源 像用电一样简单。如果把网格比作一台虚拟计算机的话，网格计算类似于c p u 的功能， 此外还要有存储器、总线、i 0 设备等。网格的最大特点是资源共享、应用和服务无缝 集成、对用户屏蔽中间环节( 就像普通用户不必知道计算机是怎么工作的一样) 。 网格是一个广域分布的系统，依靠高性能计算和信息服务的基础设施，将在全国范 网格技术综述 硕士论文 围内为各行业和社会大众提供多种一体化的高性能的计算环境和信息服务。它通过网络 连接地理上分布的各类计算机( 包括机群) 、数据库、各类设备和存储设备等，形成对用 户相对透明的虚拟的高性能计算环境，应用包括了分布式计算、高吞吐量计算、协同工 程和数据查询等诸多功能，提供统一的管理、单一的分配机制和协调应用程序，使任务 可以透明地按需要分配到系统内的各种结构的高性能的计算机中。因此，网格计算是一 个广域范围的无缝的集成和协同计算环境，网格计算模式将发展为连接和统一各类不同 远程资源的一种基础结构。现从以下几个方面对网格计算技术做比较详细的阐述。 2 2 。1 网格结构 为达到网格计算的要求，其结构必须有以下三方面的特性： ( 1 ) 异构性：由于网格由分布在广域网上不同管理域的各种计算资源组成，实现异构 机器间的合作和转换是首要问题。 ( 2 ) 可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，能够扩展并且 不降低性能。 ( 3 ) 动态自适应性：在网格计算中，某一资源出现故障或失败的可能性较高，资源管 理必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服务。 网格计算体系结构从下至上依次为【h 】： ( 1 ) 网格结点：网格结点是地理上独立的计算和信息中心，由分布在i n t e r n e t 上的各 类资源组成，包括各类主机、工作站、p c 机，它们是异构的，可运行在u n i x 、w i n d o w s2 0 0 0 等各种操作系统下，也可以是上述机型的机群系统、大型存储设备、数据库或其他设备。 提供通过网络远程使用、资源共享等服务。分为以科学计算为主的网格节点和以海量信 息处理为主的网格节点等，不同节点的环境配置要求有所差别，以科学计算为主的网格 节点对计算能力要求比较高，以海量信息处理为主的网格节点对信息存储和处理要求比 较高。 ( 2 ) 中间件：是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、登 录和认证、安全性和服务质量( q o s ) 等。 ( 3 ) 开发环境和工具层：提供用户二次开发环境和工具，以便更好地利用网格资源。 ( 4 ) 应用层：提供系统能接受的语言，如j a v a 、c 、c + + 、h p c + + 和m p l 等。可配 置其他一些支持工程应用、数据库访问的软件，还可提供w e b 服务接口，使用户可以使用 w e b 方式提交其任务并取得计算结果。 南京理工大学硕士学位论文 基于市场经济的网格资源管理的问题研究 2 2 2 网格软件系统 在网格技术中，网格系统软件起着关键的作用，必须发挥各网格结点的高性能计算 系统和大容量数据信息处理系统的性能和功能，使之成为网络上的可共享使用的高性能 基础设施，提供多用户远程使用网格结点计算和数据资源，为各行业用户提供具有统一 管理、易于远程使用、安全的高性能计算和大容量数据处理的环境。故网格系统软件是 一个分布式系统管理软件，它提供单一系统映像、透明性、可靠性、负载平衡和资源共 享等功能。网格系统软件中的网格操作系统层提供网格的底层管理功能；编程和使用环 境提供用户接口，使一般应用和专门为网格开发的应用能方便和有效地利用网格资源。 网格系统软件支持远程开发和远程生产性使用二种方式。主要内容包括如下几个方 面【1 5 】： 网格安全性技术：保证网格系统安全、数据传输安全和信息存储安全，网格安全性 能要达到国家安全机构认可的水平。 统一的用户管理技术：全网格、有权限的账户管理和记账系统。 单一的资源目录管理技术：统一用户界面，一致的命令格式。全网格和结点的资源 状态动态监控和查询，环境资源的动态更新、查询。 单一的任务管理技术：任务由统一的任务管理系统进行管理。 系统学习环境：全网格及网格环境的人员学习培 7 1 1 丰1 1 系统联机帮助。 程序使用环境：以w e b 方式支持生产性程序的远程用户使用，提供安全的网格w e b 服 务，包括资源浏览和批式任务管理功能，以t e l n e t 、f t p 等常规使用方式支持远程用户的 并行程序开发。结点接入将采用安全技术，保障安全的常规使用环境丰h w e b 使用环境。 所有网格的建立，都需要网格系统软件进行统一的管理。网格系统软件将为广大用 户提供方便的使用学习环境，并为各种应用网格的建立提供基础和保障。 2 3 网格的功能特征 网格计算环境要求不影响各结点本地的管理和自主性，不改变原有的操作系统、网 络协议和服务，保证用户和远程结点的安全性允许远程结点选择加入或退出系统尽 量使用已存在的标准的技术以便与已有的应用兼容，并能提供可靠的容错机制。一个 理想的网格计算应类似当前的w e b 服务，可以构建在当前所有硬件和软件平台上，给用户 提供完全透明的计算环境。对用户而言，它把众多同、异构的资源变成了同构的虚拟计 算环境。因此，网格计算环境需要有以下主要功能特征 1 6 1 ： q 网格技术综述硕士论文 管理层次：确定管理层次体系，管理域按区域层次划分，决定管理信息流的流向； 通信服务：随应用目的的不同提供不同的服务，包括可靠的点对点和不可靠的组 播通信，支持各种通信协议提供通信链路延迟、带宽和可靠性等指标； 信息服务：提供方便可靠的机制，获得不断变化的各结点信息和状态： 名字服务：提供全局统一的名字服务，典型的有国际通用的x 5 0 标准或i n t e r n e t 上d n s 标准； 文件系统：提供一个分布式文件系统机制、全局存储利缓存空间； 安全认证：应包括登录认证、可依赖、完整性和记账等方面的安全性这是网格 计算的难点，也是系统成败的关键； 监视系统：提供监视系统资源和运行情况的工具； 资源管理和调度：提供透明的资源调度，高效地利用可利用的资源是系统的核心； 资源交易机制：为鼓励不同组织或资源拥有者加入系统，应提供一种计算资源的 交易机制，允许提供资源者获得利益，使系统能动态地取得最好的性价比资源； 编程工具：必须提供丰富的用户接口相编程环境，提供最常用的语言。如y a v a 、 c 、c + + 、f o r t r a n 、m p i 、p v m 以及分布式共享存储器和一些函数库等；并能提供并行调 试和程序性能分析等开发环境。 用户图形界面：提供直观的用户访问接口，包括w e b 方式使用户可以在任何位置、 任何干台上使用系统资源 对于执行大规模的资源密集型应用，计算网格将是目前我们最好的选择，然而，网 格环境中的资源管理和资源调度是个很复杂的任务。因为网格中的资源具有物理分布和 异构的特性，同时它们属于不同的个人或组织。并且根据不同的策略，各种资源具有不 同的价格模型和获取方式。这导致了许多具有挑战性的问题：安全，站点自治，异构之 间的交互性，延展策略，资源的管理和调度分配，在线控制，可升级性，透明性，资源 代理和“计算经济”( 网格计费) 。下一章将介绍网格资源管理的相关知识。 壹室堡三盔堂塑主堂焦堡塞薹王壹堑丝堑盟旦堑堑塑重垄塑囹墼婴壅 3 网格资源管理相关知识 3 1 网格资源管理系统的研究意义 网格资源管理系统是网格计算系统的重要组成部分，从为用户提供方便、高效的服 务的角度来看，它与传统的分布式计算环境或集群计算环境下的资源管理系统类似，应 当至少具备三种功能：作业管理、任务调度和资源管理，即用户通过作业管理功能向网 格系统提交作业，为作业指定所需资源，删除作业并监测作业的运行状态；用户提交的 作业由任务调度按照作业包含的各个任务的类型、所需资源、可用资源等情况安排运行 日程和策略；资源管理功能确定并监测网格资源状况，收集作业运行时资源占用情况等 信息。然而，由于网格系统的分布性、异构性和动态性，使得网格资源管理比分布式计 算环境或集群计算环境下的资源管理更加复杂，不仅要支持跨组织或管理域的任务调度， 实时监控资源和作业执行的状态，而且要维护局部的站点自治，提供相应的q o s 支持。因 此需要建立适应于网格这种复杂环境的特殊的资源管理系统模型，研究其特征及功能， 为具体实现网格的用户服务需求和为网格系统其它服务组件提供支持。 3 2 网格资源管理系统的功能作用 网格资源管理系统负责管理网格内的跨组织或管理域的各种大量异构资源以及实现 处理机、网络带宽、磁盘存储、进程任务等的合理分配和调度。为了实现该目标，网 格资源管理系统需要提供如下功能口目： ( 1 ) 支持适应性、可延展性( e x t e n s i b i l i t y ) 和可扩展性( s c a l a b i l i t y ) ； ( 2 ) 在保持站点自治的同时允许具有不同管理策略的系统之间的互操作； ( 3 ) 协同分配资源： ( 4 ) 资源监控与仿真，具有相对较好的实时性； ( 5 ) 支持服务质量( q o s ) ； ( 6 ) 支持计算经济( c o m p u t a t i o n a le c o n o m y ) ； ( 7 ) 支持网格资源管理协议，如发现、分发、交易等协议； ( 8 ) 具有很好的容错和稳定性； ( 9 ) 维护对资源提供者和消费者的不同信任机制，但不因为增加基本操作的开销降低 系统的效率； 网格资源管理相关知识 硕士论文 ( 1 0 ) 采用全局和局部资源管理系统相混合的策略，各种资源管理系统间通过一致的 协议集通信； ( 儿) 静态和动态调度相结合的技术，分别考虑调度的状态估计和资源模型； ( 1 2 ) 任务执行流程的规范化和标准化； ( 1 3 ) 任务迁移与负载平衡； ( 1 4 ) 提供访问控制、身份认证等安全机制。 以上基本列出了一个理想的网格资源管理系统应具备的功能，已经出现的各种网格 系统都只提供了其中的一部分，或对某些功能只是在一定程度上给予支持。 3 3 网格资源管理所涉及到的问题 计算网格的资源管理方法涉及到很多方面，如计算网格内部的机器组织、资源模型、 分发协议、名字空间组织、数据存储组织、资源发现、调度组织、调度策略、状态评估 以及对资源的再调度等，也包括q o s 支持。 3 3 1 计算网格的资源模型和机器组织问题 资源模型决定了应用和资源管理系统如何描述和管理网格资源。不同的资源模型实 现了对资源的数据和对资源操作的不同描述及表示方法。 计算网格的机器组织结构影响资源管理系统的通讯模式，因此也决定了计算网格综 合体系结构的可扩充性问题。在集中式的机器组织结构中，单个的或一组控制者为所有 的机器完成调度，因而这种方法在计算网格系统中是不适用的。因为集中式的这种机制 面临可扩充性的问题。如果采用分布式的组织结构，则调度可被分布到计算网格系统中 的机器上。 一般把计算网格系统环境中的机器组织划分为三类1 1 州：平面( f l a t ) 、单元( c e l l ) ( 又 划分为平面单元格和层次单元格) 和层次结构等三类。机器组织描述了包含在资源管理系 统中的机器如何做出调度决策及这些机器之间的通讯结构和机器在调度决策中所起的不 同的作用。在平面组织结构中所有的机器能够直接与其它机器通讯而不必要通过一个中 介物。层次体系结构中，其结构对于在计算网格中的所有元素来说都是可见的，在同层 的机器能够与其直接的父结点机和直接的于结点机或者同级进行直接的通讯，因此具有 较好的可扩充性。在单元格的体系结构中，单元格内的机器通过使用平面结构进行彼此 之间的通讯，与层次结构之间的主要不同是单元格结构具有个指定的边界，并且该边 查立堡三丕堂堡主堂笪丝塞茎王吏堑丝迸盟堕整壅透重型塑塑墼婴塞 界具有一个隐藏的内部结构。 3 3 2 计算网格的资源名字空间的组织问题 资源名字空间的组织影响资源管理协议的设计和资源发现的方法。如在一个名字空 间中，为了减少系统信息的冗余搜索，发现资源的代理要求对某类全局搜索空间进行划 分。 名字空间组织可以划分为关系式的、层次结构式的和图表式的三种【2 “。关系式的名 字空间把资源划分为关系并且使用来自于关系数据库的概念以指出在不同关系中的元组 ( t u p l e ) 之间的关系。层次式的名字空间把计算网格中的资源划分为层次结构，围绕着计 算网格的物理或逻辑网格结构层次进行组织。关系层次名字空间的综合组成了关系， 在此关系的内容被分解为层次结构，目的是为了把他们分布在跨越计算网格的机器上。 大多数基于名字空闻的网络目录使用综合的名字空间组织结构。雨基于图表式的名字空 间使用结点和指针，以指向所要访问的计算资源。 3 3 3 计算网格资源信息的存储组织问题 资源描述、资源的状态及资源的预留数据存储组织为资源管理的总的性能赋予持征。 该资源信息存储组织决定实现资源管理协议的代价，因为资源分发和资源的发现可能由 数据存储实现来提供。资源信息存储组织可以划分为两大类，即网络目录和分布式对象 方式。它们的重要区别是在网络目录中模式和操作被数据存储模式所进行的外部定义所 割裂开。而在面向对象的方法中，是由模式定义数据和操作。如g l o b u s 中的m d s 组件基于 l d a p 提供对系统状态和资源信息的分布式访问。而在l e i g o n 中每个资源用一个对象来表 示，所有这些l e g i o n 对象导出一组对象代理成员函数，由这些函数实现关键的t e g i o n 服 务如信息提供服务。 3 3 4 计算网格资源管理的q o s 支持问题 q o s 表示为获得应用的要求功能所必需的一组定量和定性的特征。在网络中，q o s 是 一组工具和标准，它赋予网络管理者控制带宽、延迟及其抖动和包丢失的综合能力口”。 在通常情况下q o s 只考虑网络的情况，而在计算网格系统中，q o s 不能仅被限制在网络的 带宽还应扩展到计算网格中结点的处理能力和存储能力上。因此，计算网格的资源管理 网格资源管理相关知识 硕士论文 系统也能够提供端一端的q o s 并能保证在网络连接上的c p u 处理能力。 3 3 5 计算网格资源管理的体系结构模型问题 目前网格资源管理系统模型按照体系结构主要分为三类：层次模型、抽象所有者模 型和经济市场模型【捌，如表3 3 5 1 所示。这三类模型分别体现了三种不同的技术思 想，其中具有计算经济特征的经济市场模型有着很好的应用前景。本文将在下面重点 介绍层次模型和经济市场模型。但实际的网格资源管理系统往往是这三类模型不同程度 的混合。 表3 3 ，5 i 体系结构分类 模型特点介绍网格系统举例 层次模型大部分当代网格系统都采用 g l o b u s、l e g i o n 、 该模型n e t s o l v e 、a p p l e s 抽象所有者模型定购与传递模型，集中于长期p 2 p 计算 目标 经济市场模型资源发现、共享或者调度遵循 g r a c e 、n i m r o d g 、 经济模型 j a v a ) a a r k e t 3 3 5 1 层次模型 层次模型是在g g f ( g o l b a lg r i df o r u m ) 第二次会议上提出的，在实践中已被大多数 当代网格系统所采用，基本思想就是整个资源管理系统分成若干功能层，较高层次的组 件利用较低层次组件提供的服务实现自身的功能。该模型由被动和主动两种组件构成。 主动式部件是资源。任务是资源的消耗者，包括传统的计算任务和非传统的计算任务( 如 文件的分离和通讯) 。作业是层次结构的实体，作业由子作业和任务组成。最简单的作业 形式是包含一个单个的任务。调度是把任务映像到资源而不是把作业映像到资源，因为 作业是任务的容器，任务是实际的资源消耗者。被动式部件是调度程序，为作业的输入 列表计算一个或多个调度。调度者的单元是作业，意味着调度程序试图同时映像在一个 作业中的所有任务，作业而不是任务被提交到调度程序。信息服务如l d a p 和一个商业数 据库等都可以是被动部件。 下面分别叙述各个组件及其功能。主动组件包括以下几个部分 2 3 】