（计算机应用技术专业论文）基于性能量化矩阵的网格作业调度问题研究.pdf

摘要 在过去的十多年中，丈规模科学计算正从主机集中处理方式转移到分布式 并行处理方式，近年来这一趋势更向着薅格领域延伸。网格是分布式并行技术 的一个重要发展方向，其目标是实现对地理上广泛分布的大曩异构资源进行共 享。由于网格中的资源具有分布性、热享性、自相似性、动态性、多样性、自 治性与管理鲢多重性等特点，这就使得资源管理和 筝翌调度技术藏秀丽格系统 的研究核心。 提升网格系统调度效率的关键在于作业调度算法，如何综合各种因素使得 调度策略更为全面是一令有挑战性麴闯题。在网格系统中，好的调度策略，可 以减少终业的扶行时闻、降低用户豹费用、提舞服务质量、增加整个两格系统 的吞吐摄。本论文介缁了网格的基本概念、特点和应用领域以及网格资源管理 技术，讨论了几种传统的网格作业调度算法，重点分析了m i n m i n 作业调度算 法。赞对m i n - m i n 算法负载不均衡的邂题，本文基予市场经济模型，遥过佶算 网格资源的报价来达到作业调度时的负载均衡。考虑到网格系统的复杂性，在 性能量化矩阵的构建过程中，本文充分考虑各种调度因素，分三类情况进行量 纯：嬲格资源处理能力、潮格q o s ，效益丞数，最终把这些因素以具体的量化 值呈现给瓣格俸监调度系统。接下来遴过求解几讶平均值的数学方法整合三个 矩阵，褥出了综合各种调度因素的性能量化矩阵。然后以性能量化矩阵为调度 基础，提如了m e a s u r e d m a t r i x 作业调度算法。 最后，在g r i d s i m 仿真平台下，对m e a s u r e d m a t r i x 作监调度算法进行仿真 实验，同时结合o p t i m i s ec o s t 和o p t i m i s et i m e 调度算法的实验仿真结果进行比 较。通过对比，得出m e a s u r e d m a t r i x 作业调度算法在运行时间、负载均衡等性 能方面都有较大酶改善，畿较抒豹适应霹格系统的动态性和可扩展性特点，提 舞了俸煦调度效率。 关键字：作韭调度，q o s ，受载均衡，性麓量佬矩阵，m e a s m x d - m a t r i x 算法 a b s t r a c t i nt h ep a s tt e ny e a r s ，l a r g e - s c a l es c i e n t i f i cc o m p u t i n gh a sb e e ns h i f t i n gf r o m c e n t r a l i z e dm a i n f r a m et od i s t r i b u t ea n dp a r a l l e lp a t t e r n , r e c e n t l yt h i st r e n dh a s e x t e n d e dt o 鲥dc o m p u t i n gf i e l d g r i di sa l li m p o r t a n td e v e l o p m e n tt r e n df o rp a r a l l e l a n dd i s t r i b u t e dc o m p u t i n gt e c h n o l o g yn o w a d a y s ，i t sg o a li st oa c h i e v eal a r g en u m b e r o fh e t e r o g e n e o u sr e s o u r c e so i lab r o a dg e o g r a p h i c a l l ys h a r i n g b e c a u s eo ft h e c h a r a c t e ro fd i s t r i b u t e da n ds h a r e d , s e l f - r e s e m b l i n g , d y n a m i c , d i v e r s e , a u t o n o m o u s a n dm a n i f o l dm a n a g e m e n to fg r i ds y s t e m ，w h i c hm a k e sr e s o u r c em a n a g e m e n t t e c h n o l o g ya n dj o bs c h e d u l i n gt e c h n o l o g yt ob e c o m et h ek e yr e s e a r c hf i e l d so f c u r r e n t 鲥ds y s t e m t h ek e yt e c h n o l o g yt oi m p r o v et h eg a ds y s t e me f f i c i e n c yi st h ej o bs c h e d u l i n g a l g o r i t h m ，h o wi n t e g r a t ev a r i o u sf a c t o r st om a k i n gt h es c h e d u l i n ga l g o r i t h mm o r e c o m p r e h e n s i v ei sac h a l l e n g i n gp r o b l e m 。a t t h eg a d s y s t e m , g o o ds c h e d u l i n gs t r a t e g y c a nr e d u c et h ee x e c u t i o nt i m eo f o p e r a t i o n s ，r e d u c ec o s t s ，i m p r o v es e r v i c eq u a l i t ya n d i n c r e a s et h et h r o u g h p u to fg a ds y s t e m t h i st h e s i sd e s c r i b e st h eb a s i cc o n c e p t s ， c h a r a c t e r i s t i c sa n da p p l i c a t i o na r e a so f 鲥d 勰w e l l 弱鲥dr e s o u r c em a n a g e m e n t t e c h n o l o g y , d i s c u s s e da n u m b e ro ft r a d i t i o n a lg a dj o bs c h e d u l i n ga l g o r i t h m ，f o c u s e d o nt h em i n - m i n j o bs c h e d u l i n g f o rt h ep r o b l e mo f l o a do fm i n - m i na l g o r i t h mi sn o t b a l a n c e d ，“sa r t i c l eb a s e do nt h em a r k e te c o n o m ym o d e l ，a c h i e v e sl o a db a l a n c i n g t h r o u g ht h ee s t i m a t eg a dr e s o u r c e s q u o t e dp r i c e c o n s i d e r e dt h eg a ds y s t e m s c o m p l e x i t y , i nt h ep e r f o r m a n c em e a s u r e d - m a t r i x sc o n s t r u c t i o np r o c e s s , t h i sa r t i c l e f u l l yc o n s i d e r e de a c h 妊n do fs c h e d u l i n gf a c t o r , w h i c hd i v i d e di n t ot h r e ek i n d so f s i t u a t i o n st oc a r r yo nt h eq u a n t i f i c a t i o n ：g a dr e s o u r c e sh a n d l i n ga b i l i t y , g a dq u a l i 锣 o fs e r v i c e , t h eb e n e f i tf u n c t i o n , f i n a l l yp r e s e n t st h e s ef a c t o r sb yt h ec o n c r e t e q u a n t i f i c a t i o nv a l u ef o rt h eg r i dj o bs c h e d u l i n gs y s t e m t h r o u g ht h em a t h e m a t i c a l m e t h o d ，o b t a i n st h ep e r f o r m a n c em e a s u r e d m a t r i x t h e nt a k et h ep e r f o r m a n c e m e a s u r e d - m a t r i xa st h es c h e d u l i n gf o u n d a t i o n , p u tf o r w a r dt h em e a s u r e d m a t r i xj o b s c h e d u l i n ga l g o r i t h m 1 1 f i n a l l y , u n d e rt h eg r i d s i mp l a t f o r m ，c a r r i e so nt h es i m u l a t i o ne x p e r i m e n tt ot h e m e a s u r e d - m a t r i xj o bs e h e d u l i n ga l g o r i t h m , s i m u l t a n e o u s l yc o m p a r e st h er e s u l t so f t h es i m u l a t i o ne x p e r i m e n to fo p t i m i s ec o s ta n do p t i m i s et i m ej o bs c h e d u l i n g a l g o r i t h m b yc o n t r a s t ，o b t a i n st h a tt h em e a s u r e d - m a t r i xj o bs c h e d u l i n ga l g o r i t h m h a sb i gi m p r o v e m e n ti np e r f o r m a n c ea s p e e t so f 积琏s u c h 瑟r u n n i n gt i m e , l o a d b a t a n e i n g , c o u l db e t t e ra d a p tt ot h ed y n a m i ca n d t h ee x t e n d i b i l i t ye l 蟠_ r a e t e f i s t i e s s o t h em e a s u r e d m a t r i xj o bs c h e d u l i n ga l g o r i t h mh a sp r o m o t e dt h ee f f i c i e n c yo fj o b s c h e d u l i n g k e yw o r d s ：j o bs c h e d u l i n g , q u a l i t yo fs e r v i c e , l o a db a l a n c i n g , p e r f o r m a n c e m e a s u r e d - m a t r i x ，m e a s u r e d - m a t r i xa l g o r i t h r n 独创性声明 本人声明，所里交的论文是本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方以外，论文中不包含 其毽人已经发表或撰写过麓研究成果，也不毽含为获褥武汉理王大学或其他教 育机构的学位或证书两使用过的材料。与我一同王作的弱志对本研究的任何贡 献均已在论文中作了明确的说明并表示了谢意。 研究生( 签名) ：型丝翻期：翅归日 学位论文使霸授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，e p ：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 帮赭阕。本人授权武汉理工太学可以将本学燕论文携全部内容编入有关数据库 进行检索，霹以采用影印、缩印和其他复制手段保存或汇编本学位论文。嗣时 授权经武汉理工大学认可的有关机构或论文数据库使用或收录本学位论文，并 向社会公众提供信息服务。 ( 铩密熬论文在辩密后痰遵守瑟规定) 研究生( 签名) - 董x 盔导师( 签名) ： ￥ 武汉理t 大学硕七学位论文 熏1 课题背景及意义 第1 章引言 网格计算作为分布式计算的新兴研究方向，二十世纪九十年代以来得到了 飞速的发展，从无到有，蠢鞴到强。在翳前的网络中，由于资源的封闭性，大 量的硬件设备资源被闲置，大量的软件被重复开发，导致了大量纷繁的冗余信 息。丽在鹦格环境中，硬件和软传资源都是歼放的，这样就可以将所有的硬件 设备充分翁霜起来，利震其空阕的时褥，动态遮完成一个统一静任务，毙熟气 象预报、地震勘探数据等，从谣实现按需计算的酲的。资源开放，并栽被有效 应用，可大大减少重复投入，减少资源浪费。在过去的十几年中，网格计算在 理论和应用两个方面都取得了长足的发展，特别是在威用领域，这与其广阔的 威用前景是紧密相关的。 随着社会的不龋发展，现实生活中需要解决的阅题越来越多，人们对资源 的需求也会越来越多，王作中的协同和合作也会不断加强。因此，掰格计算在 未来酶社会中将发撵着越来越重要的作麓。 在网格系统中，大量的上层应用共亭着丽格系统中鹩各种资源。熟何使褥 这些应用获褥最大的性麓以及使得整个网格系统的效率达到最高，这就是网格 调度所要解决的问题。通过调度，可以把应用所需的计算隐藏于网格中，降低 了上层应用的复杂性，使爝户不必关心溺格作韭所需的计算放在什么地方去执 行，从丽把更多的精力投入到业务本身的开发中。对予个嬲格调度系统，从 痰用的是度来说，用户关注的可能是它给应用带来的等待时闻、执行时闻等指 标；蔼麸系统的蕉度来说，管理员关注的可麓是它导致的系统吞避率、负载乎 鬻等指标。这两方近的指标有时候并不辘达到一致，这就给网格调度带来了多 种可能性，出现了种类繁多的作业调度系统l l 】。 网格调度技术比传统高性能计算中的调度技术更复杂，这主要是因为网格 具有一些独有的特征，例如，溺格资源的动态变化性、资源的类型异构性和局 部管理性等。在嚣格调度审，还翥要考虑移撬性、扩展性、效率、霹重复性以 及远程调度和本地调度的结合等一系列阉题。 武汉理一大学硕士学位论文 正是由于网格结构的复杂性，使褥网格环境中的作业调度问题一直是一个 n p 难解问题。大量的网格计算项目试图提供一个合适的作业调度方法，可是都 存在一定程度上的缺陷。因此合理地对作业进行调度管理，以科学地利用网格 系统中的各种资源便成为一顼意义重大的谋题。本课题研究的目标是克服传统 作业调度算法存在的一些不足，综合各种调度因素提出种更为全面的作业调 度策略。 1 。2 国内外研究现状分析 网格技术源于美国和欧洲的研究计划，作为一种新兴的计算机技术，网格 正在快速发展。各国政府，相应的国际维织和大的企业已经在网格研究领域投 入了大量的资金。全球网格论坛，霄家和地区的鼷格论坛正在迅速发展，其学 术交流活动也在积极地展开。其中全球网格论坛( g l o b a lg r i df o r u m ，g g f ) 已经 成为网格标准制定与发布的主要机构，g g f 坚信标准是网格技术发展的决定性 因素。我国最成功的网格论坛中国网格信息中转站，是专门为网格研究者 提供最新最全网格信息的论坛。 国外的网格研究现状 美囡是网格技术的倡导者，也是目前网格技术的弓l 领者。美因的网格发展 是从大学和科研枫构开始的，随后企业界的参与加快了网格技术的发展。先盛 出现了l e g i o n ，g l o b u s ，c o n d o r - g ，t c r a g r i d 等。g l o b u s 2 】是目前网格技术的旗 舰产品，是g l o b u s 联盟的网格产品，它推动了网格技术的不断发展，是网格技 术发展的主要力量之一，由a r g o n n e 国家实验室、芝加哥大学、爱丁堡大学、南 加媸大学、和瑞典的皇家研究院等单位构成。g l o b u s 联盟是网格计算技术的领 导团队，该团队对网格的资源管理问题给予了高度的重视，在各个版本中均有 相应组件。 欧洲的网格研究起步也很早，已经启动了很多新兴的网格研究计划，取得 了一定的研究成果。英豳的e - s c i 铋c e 用来解决大规模科学计算、数据可视化、信 息资源共享等问题，提供端到端的计算、数据和信息服纠引。这是一个比较庞大 的网格计划，包含着很多的子项目，其中英囡网格操作中心是一个虚拟的管理 机构，负责支持嬲格计划的蔗常执行，其核心是构建英国的逞家网格。c a c t u s 项目是在德国m a xp l a n c k 弓l 力物理研究所的带领下，由德国和美国多个研究机构 2 武汉理j ：大学硕士学位论文 共弱完成的。基予c a c t u s 平台的数字相对论应髑是一个极具代表性的成功黪网格 高性能计算应用案例，它利用网格求解爱因斯坦相对论方程，并模拟出了天体 的运动规律。 欧洲的其他国家，如瑞典、芬兰、俄罗薪、爱尔兰等，也在积极开展网格 方瑟的研究工作，或是通过欧盟的合作，或是独立从事研究计划，在网格的应 用领域方面各有特色。同时，也可以发现，网格技术的跨领域合作和国际合作 是其发展过程中的一大特点。 我国的网格研究现状 在我国，政府在网格研究领域已经投入了大量的科研资金。在研的项目主 要包括【4 】：8 6 3 计划资助的中国国家网格( c h i n an a t i o n a lg r i d ，c n g r i d ) 计划，教 育部资助的中国网格( c h i n ag r i d ) 计划和国家基金委资助的国家科学网格 ( n a t i o n a ls c i e n c eg r i dp r o j e c t ) 计划。中国科学院计算技术研究所和囡内一些高校 ( 清华大学、华中科技大学等) 正在展开相关的网格研究工作；国家自然科学基 金委员会于2 0 0 4 年开始通过重大专项的方式对网格研究进行了资助，通过中科 院计算所和北京航空航天大学分别作为牵头单位来实施这一专顼研究，解决阙 格研究中的科学阀题和应用开发。 总之，我国的网格研究正在逐步兴起，随着与国际研究的不断接轨，我囡 在网格的发展中将会扮演越来越重要的角色。 1 3 网格的应用领域 对于一项技术来说，其出发点和落脚点都应该指向最终的应用，以应用推 动朗格发展也是发展网格技术的一个指导思路。事实上，网格技术凭借其独特 的计算力联合模式和分布式计算模式，使得它在学科研究、企业信息处理、电 子政务、个人娱乐方面拥有广泛的应用前景f 5 】。 科学研究 科学领域中的数值计算阀题存在于谗多学科中，这类问题空前复杂化，对 计算能力的需求似乎没有止境。物理学中大规模微分方程组的求解问题就是 个例证；在生物学领域，基因序列的测序与分析需要很强的计算能力；在天文 等领域有着类似魏需求。这些科研人员不但需要超强的计算能力，焉且为了科 研的方便和直观性的要求，大量的计算结果霈要进行可视化处理。对于这些应 3 武汉理工太学硕士学位论文 用需求，现在的信息技术难以完成。 科学领域翡计算通常以越缀计算瓿作为数据处理串心，超缀计算夔虽然处 理麓力强大，但是其本身的造价掇其离暴，并不是所有的砚究祝檎都有熊力配 备。网格技术的出现，辍大程度避提高了网络诗算资源的剩瘸率。基前，剥篇 鹣鞯提高现有资源剥瘸攀主要有巍穗办法：一是剩爝弼格技术可以将各个实验 室的越缀计算枧连接起来，形成一个超级信惠处理中心，来进行资源薛统一调 度；另外种方式就是通过噩联网，利用互联网连接的个人闲臀计算机，进行 科学研究。 企邋鲁息楚理 企避爨的信息纯需求是鼷格技术懿又一个主要的推动力量。现在，踌霞企 业在数量和规模上都凌不断增长，这些公司的分囊祝构遍毒垒球，它们纛簧共 享瓷源耱协藏工箨。默n c s a 到i b m 都已经认识黧这耪需求嚣紧追往，已缝歼 媲了糯疲的研究工佟，并取褥了初步盼成果。 不久前，i b m 6 】推出了一项计划，该计划称，为帮助软件厂商开发新的戚用 程序，并测试现有的应用程序，i b m 为这些软件厂商提供i b m 网格运算服务器 熬甍费存取投。翔畜免费存敢投的软件开发大贯可以剩溺i b m 霹格服务器酶强 大运算麓力，快速完成新开发的较舞所必需的调试及模羧运算，麸恧缩短程序 从开发劐疲溺豹周期，提高软件的汗发速度。警然，这只是网辫资源计算力鹚 褴豹一个钢子。实际上，穗捺濒能徽鳇毙想象懿还要多。鬻楱专家对鼷播的应 用领域，描绘的是这样的幡磷蔼：等网格的应蹋触角深及到互联疆翡每一个 角落时，从互联网获得网格的运算资源就会像从电网上获取电力那么简单，这 个过程只需要支树少量费用绘嗣格系统中的资源提供者。也就是说，当网格闱 户支嚣一定费用嚣，就可以飘阕超级信息处理串心柬王撵。 邀子政务 提到邀子政务，缀多人马上就会想到政府褥站，想起溺站上的公告、缝头 文髂。冀实，电子政务苓议双是翻用互联惩来蜜传竣癃的服务，逮不痤该只停 留在政府文件酶拜网贰纯壮阶段，利用互联蹲传达信息鼗是电予政务的裙缴阶 段，而利用互联网进行日常性的政府办公才是真戚意义上的电子政务。网格技 术丽以整合和管理分数在番都f 1 的信息资源，实现各个郝门之间数据的无缝交 换，漓除系统菇蔷怠孤岛拶，豁破奄予政务资源共享鼹糕颈；男一方蘸，阏播 技术的分奄式工作模式，可以有效缝实现在网络虚拟环境下的协强办公，捷菇 毒 武汉理工大学颈七学位论文 政府的工作效率、增强为公众服务豹能力。 个人娱乐 随着互联网技术的发展，网络视频点播与在线游戏已经成为个人娱乐重要 的一环。而使用网格可以为游戏开发商和服务供应商提供可扩展的、高弹性的 基础设施以运行大型多入游戏。美阉游戏基础设施提供商b u t t 嚣f l y n e t 公司目前 使用的就是i b m 的网格计算服务器，该服务器利用了网格技术自恢复特性，能 够无缝隙地将所玩的游戏转到最近的可用服务器上，实现了用户信息的统一调 动、统一保存，极大提高了游戏运行和服务的可扩充性。 当然，在网格技术走向大规模应用时，也存在着不少问题，如：各个公司 之间的技术标准不统一，并非所有的软件都支持分布式计算，分享服务器会带 来数据安全问题等。不过这些闻题并不可怕，所有的新技术都会面临这样或者 那样豹难题，网格当然也不例外。相信随着技术的进一步发疑成熟，网格应用 领域会更加广泛。 1 4 论文主要内容 在前期充分调研和对网格技术及作业调度问题进行深入专研的基础上，结 合网格资源的特性和传统作业调度算法中的不足，综合各种调度因素得出性能 量化矩阵，提出了一种更为全面的作业调度策略。本论文分兔6 个章节，主要 内容如下： 第l 章：引言 该章介绍了课题的研究背景和意义，研究现状，应用领域以及本论文所做 的主要工作。 第2 章：网格( g r i d ) 概述 该章对网格( g r i d ) 的基本概念做了简要的介绍，对网格系统中的资源特性做 了详细描述。同时，结合网格资源的特性，重点分析了网格系统的体系结构以 及网格资源的管理技术。 第3 章：网格中的作业调度技术 该章对3 个常用调度范例：集中式调度、分布式调度和分层式调度，进行 了概述性说明；给出了网格作业调度的基本流程及作业调度模型；分橱了几种 传统的网格作业调度算法及存在的问题；另外，基于经济学中经典的价格算法 5 武汉理1 = 大学硕士学位论文 公式，以价格来估算网格资源，提出本文的负载均衡策略。 第4 章：基于性能量化矩阵的潮格作业调度 该章给出了性能量化矩阵的详细构建过程，包括：网格资源处理能力、网 格q o s 和效益量化矩阵；另外，基于性能量化矩阵，给出了新的作业调度模型 和相应的作业调度算法：m e a s u r e d - m a t r i x 算法：对新提出的m e a s u r e d - m a t r i x 作 业调度算法，从时间复杂度和空闯复杂度进行了分析。 第5 章：调度算法仿真 该章主要完成了m e a s u r e d m a t r i x 算法的仿真实验。另外，结合g r i d s i m 仿 真工具提供的o p t i m i s ec o s t 和o p t i m i s et i m e 调度策略，分析m e a s u r e d - m a t r i x 算法的性能。 第6 章：结论与展望 该章综述了本课题的结论，总结了所徽的工作在网格作业调度领域的地位 和作壤，提出了对网格作业调度问题的展望。 本论文解决的关键问题： ( 1 ) 基于经济学中价格算法公式，以价格来估算网格资源，解决m i n - m i n 调度算法受载不均衡的闯题。 ( 2 ) 综合分析网格作业调度策略所需要考虑的各种因素，并对这些因素进 行相应的量化以建立性能量化矩阵。 ( 3 ) 基于性能量他矩阵，构建“带权静的作业调度模型。 ( ) 针对提出的模型，提出离效实用的调度算法，并从时间复杂度和空闻 复杂度对算法进行分析。 ( 5 ) 基于g r i d s i m 仿真平台，对m e a s u r e d m a t r i x 算法进行仿真分析。 6 武汉理工大学颈士学位论文 第2 章网格概述 在网格这两个字的背后，到底代表了一种什么样的薪技术? 网格技术所追 求的是种什么样的应用效果? 什么是网格系统? 这些问题，是网格领域研究 者需要明确回答的问题，也是目前讨论得非常激烈的问题。本章从基本概念着 手，结合网格资源的结构展开深入论述。 2 1 网格的概念 随着网络技术的不断向前发展，将地理上广泛分布的大量资源组合起来进 行大规模问题的求解变得同益普遍，由此产生了网格计算【3 】。什么是网格? 狭义 上讲，阏格就是一个集成的计算与资源环境，或者说是一个计算资源池，它能 够充分吸纳广泛分布的计算资源，并将这些资源转化成一神随处可得的、可靠 的、标准的，同时还是经济的计算能力，最终供用户使用。除了各种类型的计 算机，这里的计算资源还包括网络通信能力、数据资料、仪器设备等各种相关 的资源。 网格本身是从电力网( p o w e r 伽d ) 概念借鉴过来的【7 】，它的最终目的是希望 用户在使用网格计算能力时，就如同使用电力一样方便。日常生活中，在使用 电力时，不需要知道它是从什么地方的发电站输送出来的，也不需要知道该电 力是逶过什么样的发电机产生的，不管是水力发电、火力发电、风力发电还是 核反应发电，最后产生的都是统一形式的“电能 。网格也是希望给最终的使用 者提供的是与具体的计算设施无关、与地理位置无关的通用的计算能力。网格 系统和电力网都有各自的资源提供者和消费者，对于电力网来说资源提供者就 是发电站，资源消费者就是各种消耗电能的设备；对于网格系统来说资源提供 者就是p c 机、s m p 、m p p 、集群等，资源消费者就是使用网格计算能力求解问 题的用户。正如电力网中需要大量的变电站等控制设施来对电力网进行调控一 样，网格中也需要大量的管理节点来维护网格的正常运行强l 。图2 1 是对电力网 和网格组成的简单对比示意图。 7 武汉理工大学颈七学位论文 电力t l 电力 电力圈构成示意图 网格构成示意图 图2 1电力网和网格构成示意图 网格作为一种较新兴的技术，正处在不断发展和变化当中，由于其本身的 复杂性，使得如今尚未有精确的定义。“网格之父i a nf o s t c r 把网格描述为“在 动态变化的多个虚拟机构闻共享资源和坊同解决闷题潮。2 0 0 2 年，i a nf o s t e r 再次发表文章，认为网格必须同时满足三个条件f _ 7 】： ( 1 ) 在非集中控制的环境中协同使用资源； ( 2 ) 使用标准的、开放的和通用的协议和接口： ( 3 ) 提供非平凡的服务。 但并不是所有的研究者和论坛组织都赞成i a nf o s t e r 的观点。巨大全球网 格( g r e a tg l o b a lg r i d ，g g g ) 认为网格系统不仅包括计算网格、数据网格、信息 网格、知识网格、服务溺格、商业网格，还包括一些己有的阏络计算模式，例 如对等计算( p e e rt op e e r ，p 2 p ) 、寄生计算等。我图中科院计算所李国杰院士认 为【1 0 】：“网格不同于国外正在搞的i n t e r a c t2 或下一代i n t e m e t ( n g i ) ，网格可以称 作是第三代i n t c r n c t ，其主要特点是不仅仅包括计算机和网页，而且包括各种信 息资源，倒翔数据库数据资源、软件以及各种信息获取设备等，它们都连接成 一个统一的整体，整个网络如同一台巨大无比的计算机，向每个用户提供一体 化的服务。 武汉理工大学硕士学位论文 虽然学术界到目前为止还没有形成标准的网格定义，但网格的目标都是利 溺互联溺把分敖在不同地理位置的电脑资源组织成一台“虚拟的超级计算 机 ，实现计算机资源、存储资源、数据资源、信息资源、软件资源、通信资 源、知识资源等的全面共享引。 2 2 网格的特性 只有了解了网格资源的特点，才能够更好地认识网格的开发和应用。下面 分别从网格的分蠢与共享性、自相似性、动态多样性以及管理的多重性等多个 方面，对网格的特点展歼介绍【l 。 分布与共享 分稚性是网格的一个最主要的特点。网格的分布性首先是指网格的资源是 分布的。组成网格的处理能力不网的计算枫，各种类型的数据库乃至电子图书 馆，以及其它的各种设备与资源，是分布在地理位置互不相同的多个地方，而 不是集中在一起的。分布的网格一般涉及的资源类型复杂，规模较大，跨越的 地理方位较广。因为嬲格资源是分布的，因此基于网格的计算一定是分毒式计 算而不是集中式计算。在网格这一分布式环境下，需要解决资源与任务的分配 和调度问题，安全传输与通信问题，实时性保障问题，人与系统以及人与人之 闻的交互润题等等。 网格资源虽然是分布的，但是它们却是可以充分共享的，邵弱格上的任何 资源都可以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有 网格，解决分布资源共享问题，是网格的核心内容。这里共事的含义是非常广 泛的，不仅指一个地方的计算机可以用来完成其它缝方的任务，还可以指中间 结果，数据库，专业模型库，以及人才资源等各方面的内容。 分布是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻辑 上的特征，这两者对于网格来说都是十分重要的。 自相似性 自相似性在许多自然和社会现象中大量存在，复杂系统一般都具有这种特 征，网格就是这样。网格系统的局部和整体之间存在着一定的相似性，局部往 往在许多地方具有全局的某些特征，两全局的特征在局部也有一定的体现，相 互之间非常类似。 9 武汉理工大学硕十学位论文 可以认为国家级的网格是在省一级的网格基础之上建造起来的，国家级主 干网要有更大的带宽，只有这样彳可以将不同省份的子网连接起来提供满意的 通信服务；国家级和省级网格都会有各自的计算中心，只不过在计算能力土有 差异而已；它们都需要管理节点，只不过国家级的管理节点需要的管理功能更 多、更强大而已，如图2 - 2 所示。 图2 2 网格的自相似性 动态性与多态性 对于涡格资源来说，绝不能鬣设它是一成不变的。原来拥有的资源或者功 能，在下一时刻可能就会出现故障或者不可用；而原来没有的资源，可能随着 时间的推移会不断地加入进来。 网格的动态性包括动态减少和动态增加嚣个方面的含义。动态减少特点要 求网格管理必须充分解决好这一问题：对于网格资源的动态减少或者资源出现 故障的情况，要求网格能够及时采取措施，实现任务的自动迁移，做到对高层 用户透髓或者尽可能减少用户的损失。网格资源的动态增加霈要提高网格的扩 展性问题，也就是说在网格的设计与实现时，毖须考虑到新的资源能否很自然 地加入到网格中来，并且可以和原来的资源融合在一起，共同发挥作用。网格 l o 武汉理工大学硕士学接论文 扩展要求体现在规模、能力、兼容性等建个方面。一开始网格的栽模往往不是 特别大，不可能一步到位，但是网格应该能够允许对它自身进行多种形式的扩 展。网格规模扩展后，网格的相应管理软件也应该能够满足扩展性的要求，网 格软件的升级要能够向下兼容。 网格资源是异橡和多样的，在网格环境中可以有不固体系结构的计算机系 统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资 源之间的通信和互操作问题。正是因为异构性或者说资源多样性的存在，为网 格软件的设计提出了更大的挑战，只有解决好这一问题，才会使网格更加具有 吸弓| 力。 自治性与管理的多重性 网格上的资源，首先是属于某个组织或者个人的，因此网格资源的拥有 者对该资源具有最高级别的管理权限，网格应该允许资源拥有者对缝的资源有 自主管理能力，这就是网格的自治性。但是网格资源也必须接受网格系统的统 一管理，否则不同的网格资源就无法建立相互之间的联系，无法实现共享和互 操作，无法作为一个整体为更多的用户提供方便的服务。 因此，网格的管理具有多重性，一方瑟它允许网格资源的拥有者对网格资 源具有自主性的管理，另一方面又要求网格资源必须接受网格系统的统一管理 和调配。 2 3 网格资源管理 网格的赘源管理与网格系统的体系结构密切相关，在不同的网格体系结构 环境中，资源管理所面临的挑战翮实现方案都将不同。但是不管采用何种体系 结构，网格都必须具备资源管理、信息管理、数据管理、服务质量保证、安全 等基本的功能模块。 2 3 1 网格的体系结构 网格体系结构就是关于如何构建网格的技术，它给出了网格系统的基本组 成与功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了 支持网格系统有效运转的机制。在当前，网格体系一般被简单的划分为三个基 本层次：网格资源层、网格中闻件和应用层。图2 3 给患了基予三个基本层次的 武汉理：i 大学硕十学位论文 网格系统的体系结构。 i 0 j忡“。“”监；z sm 。u l “”“ 居 。 中 嘲格安全信息服务资源管理 数据管理 问 一 件s t a n d a r ds e r v i c e s a n d r e s o u r c e i n t e r f a c e s 训算资源 资妻 源 s e h e rw o r k s t a t i o n s h 络 资 源 嚏垒望剖 仪器设备 设备 2u 妞兰疰云黼 图2 - 3 网格的体系结构 在图2 - 3 中，网格资源层是构成网格系统的硬件基础，它的组成结构十分复 杂，其功能是提供各种服务：中间件层次是指一系列工具和协议软件，其功能 是屏蔽网格资源层的具体信息，向网格应用层提供透明、一致的使用接口；网 格应用层是用户需求的具体体现在网格中间件的支持下，网格用户可以使用 其提供的工具或环境开发出各种网格应用系统。 2 3 2 网格资源的构成 网格资源是指所有能够通过网格系统远程使用的实体，可以由p c 机、计算 机软件、计算机硬件、大型数据库存储设备、服务器设备、集群计算机、可视 化设备、人类资源、s m p 高性能计算机、m p p 高性能并行计算机、设备和仪器 等构成1 1 3 1 。其中，计算机软件资源包括系统软件、应用程序等；计算机硬件资 源包括处理器、存储器、硬盘以及其他计算机设施等；设备和仪器包括通信介 质、天文望远镜、传感器、医疗器械等：人类资源是网格上最具有伸缩性的资 源，它是指人的知识、能力等多种因素；一个集群或者局域网也可能同时包括 武汉理工大学硕十学位论文 数个p c 机、数据存储设备、集群和局域网等资源。网格环境中计算资源的组成 结构，如图2 4 所示。 图2 - 4 网格环境中计算资源的组成结构图 网格资源的种类很多，功能各异，可以从不同的角度将它们分成不同的类 别。根据资源能否移动可将资源分为可移动资源和不可移动资源。可移动资源 包括数据、程序、代码等，不可移动资源是无法通过网格操作实现地理位置移 动的资源，如各种硬件、设备。根据资源是否可重复使用的特性可将资源分为 可重复使用的资源和不可重复使用的资源。根据资源是否可复制的特性可将网 格资源分为可复制资源和不可复制资源，可复制是指可以通过指令或服务请求 把一份资源变为多份，如数据、应用程序、服务等。 2 3 3 网格管理的目的和功能 资源是网格系统中的主要对象，网格资源管理的任务就是把网格中分散的 各种资源汇聚起来，为需要资源的用户提供透明一致的访问接口，使多个资源 请求者可以共享使用网格中的同一个资源。网格中的资源共享不同于以往计算 机之间的文件交换和远程登录，而是直接访问计算机、软件、数据、设备和仪 器等资源。网格资源由其拥有者决定何时、何人、怎样使用。资源管理【1 2 】需要 解决的问题包括资源的描述、资源的命名、资源的发现和资源的调度等。资源 管理的目的主要为以下三剧乃j ： ( 1 ) 为用户提供访问资源的简单接口 网格资源管理中心隐藏资源实际使用的复杂技术细节，将具体的物理资源 抽象为形象的逻辑资源，并向用户提供。 ( 2 ) 协调资源的共享使用 1 3 武汉瑾t 大学硕士学能论文 网格资源管理中心可采用排队蘸略、分时熟享策略或其它策略决定多个请 求者如筒使震弱一个潮格资源。策珞昀选择是出资源本身的特性秘拥毒者制定 的规则来确定。同时，网格资源管理中心还应支持一个请求者请求使餍多个曝 格资源的需要。 ( 3 代替请求者去使用资源，并建立安全的网格资源使髑机制 网格资源管理中心作为一个超级篇户，代替翳格用户对备种褥格资源进行 操作，期用户请求资源时，资源管理中心为该用户在本地建立个进行活动的 场所用户容器，用户只需要在容器内使用各种资源。容器严格定义了用户 拥有的权限和可进行的些揉嚣等，通过这种方式避免了多个瓣格蔫户奁网格 资源的同一个本地账号下活动的隐患。用户容器可在请求时动态地建立并在请 求结束腊自动撤销，阀一资源上用户容器的数豳不要求多，这样不会带来大的 管理负担。 资源管莲中心除了管理资源的使用过程磐，更重要的是管理资源的繁个生 命周期，这包括资源的注册、共享到注销。此时，资源管理中心需要具备的基 本功能包括【1 4 】：资源注册、资源发现、资源部署、资源代理和瓷源注销。圈2 - 5 给出了资源管理翡整个过程。 避 髓 粼 ，、”h 一_ _ 。一， 图2 5 瞒格资源的生命周期 ( 1 ) 网格资源首先向资源管理者注册自己； ( 2 ) 资源誊理中心把资源嚣注j l | | 信息写刭资源信患数据库中，注器之嚣的 资源就变成了网格资源； ( 3 ) 用户需要资源的时候，向资源管理中心提出请求； ( 莲) 资源管理中心麸资源信惠数握瘁中获褥匹配资源的信息，根据翔户麴 作业需求寻找合适的资源，并且将作业提交给该资源执行； 1 4 武汉理工大学硕十学位论文 ( 5 ) 该资源通过预先设定好的返回路径将具体的执行结果返回给用户。 2 3 。霉网格管理操作 网格资源管理中心的基本操作肖以下7 个【1 5 】，实际的资源管理可以在这些 基本操俸的基础上提供更复杂数操俸。 ( 1 ) 资源信息收集 资源管理中心主要收集和存储两类信息：一类是资源在加入网格时报错自 己的相关信息，如资源的名称、类型、拥有者信息等，资源铃理中心将这些信 息记录下来，供傻蒡l 该资源酶应用或媾户使焉；另一类是网格内动态产生的资 源信息，如资源使用情况等。 ( 2 ) 资源信息更新 资源信息经鬻会随时瓣嚣变化，懿霹用c p u 数蠡酶变动、资源负载、使用 情况等。资源管理中心周期性地更新这些信息，以免过期倍怠造成资源使用故 障。信息更新频率的确定至关重要，频繁的更新可以及时反映出资源的当前实 际信息，但这样会增加逶信的负掇。 ( 3 资源发现 资源发现是资源拥有者和资源请求者之间的纽带，通过该机制，资源请求 者才能从数目巨大的网格资源中发现并使用自融请求的资源。资源发现机制根 据请求者鳃资源请求描述，获霜格系统孛惫请求者找到满足该描述要求豹合适 资源，并返回该资源的唯一标识符。 ( 4 ) 资源分配 资源分配豹菝据是俸监提交者爝侔业攒述语言声骥的参数，以及资源拥骞 者对资源使用所制定靛策略。在拥有多资源秘多用户酶动态阚格环境孛，资源 的分配需要考虑以下两种情况：一是如何从多个可用的资源中选择合适的一个 或多个资源分配给请求的用户使用；二是如何从请求同一资源的众多请求者中 决定谁使用该资源。通常焉言，姿源分配的输蹬缝栗是请求者的捧韭与资源的 匹配关系，以及使用资源的时段、资源能力( 包括c p u 数目、存储空间、软件使 用许可证数目等) 、使用权限等。 ( 5 资源定蕴 资源定位是根据瓷源的属性攒述获得柜应资源物理地蜒豹过程。网格中每 个资源都有唯一的物理地址，用户通过该地址实现对资源的访问，但该地址是 1 5 武汉理工夫学硕士学位论文 供机器使用的，不易被人理解。实际上，用户使用网格资源时，不需要知道物 理地址，而是用属性描述的方式指定所需资源，并把描述提交给网格，网格系 统中提供的转换机制再把资源的属性描述转换成用户可以访问的资源的实际物 理地址。 ( 6 ) 资源迁移 资源迁移是可移动网格资源从一个位置移动到另一个位置的过程，包括服 务迁移、作