（信号与信息处理专业论文）计算网格中一种负载均衡的启发式调度方法研究.pdf

鏊庆邮屯大学硕士论文 摘要 摘要 丽稽计算技米漫当前蕊肉外遇结领域研究静热点之一。蕊格任务调度是以 定优化目标为指导，瓣决如何合理甄配嬲格资源和网格任务，若将强务调 度到资瓣土运雩亍秘霹题。经务谲浚蹙提高任务运孝亍注畿、实现弼捂瓷潺莛享麓 关键技术之一，魁网格研究的核心和难点。 本文针对诗冀鼷藉中离器睦零纛岗懿任务翡浚，挺离一耱负载蟓餐静襄笈 式调度方法，在减小总的任务完成时间的同时使网格资源也得到有效的利用， 提高。芗系统蕊吞睦率，受爨螽戆大簸禳任务蠲凄、痿患簸理鬟攥俊纯鼹务。 高吞吐率计算中的任务大多表现为b a g o f - t a s k s ( b o t ) 应用。论文研究 了b a g - o g t a s k 应羯戆特臻并分瓣了出予网臻资源懿爨淦、韵态等特性弓l 超鹭 任务调度的特点。在此基础上，以批模式调度为研究对象，用所有资源节点的 缓姥度量馕寒诗冀每一任务兹总鹁技行融越熬趣投平均壤，并以憨的经努蘸蘩 宠戚时间鼹小为隧标，提粥基于资源性能度量的船投平均最难完贼任务分配给 宠袋列闽袋短的资澡节点匏策略，嚣迷一步考虑充分剥月网辏资源戆慷撼下， 加入受载均衡机制，进雨提出负载均衡的舾枚平均最难完成饪务分配绘完成时 间最短的节点的调度算法l o a d b a l a n c i n ga d d e dw e i g h t e dm e a r lm o s td i f f i c u l t t a s kt ot h en o d ew i t hm i n i m u mc o m p l e t i o nt i m es c h e d u l i n ga l g o r i t h m ( 籁称 l a w m d m i n 算法) 。论文对l a w m d 。m i n 算法进行定性分毒厅，劳对该算法进行 了仿真研究，通过仿真试验检验l a w m d m i n 算法在减小总的任务完成时间和 掇离资澡剃餍率鼹方面酶性韪，与m i n - m i n 算法、m a x m i n 算法和s u f f e m g e 算 法进行比较，证明了本文群法的有效性，也正是幽予本算法对这两方面的优化 使系统的褥吐率褥翻提高，要好抟解决了离蠢蛙率瘦弱豹任务调度闻麓。 关键词：计算耐格，任务调度，性能预测，加投平均，负载均衡 篷庚邮电大学硕论文a b s t r a c t a b s t r a c t g r i dc o m p u t i n gt e c h n o l o g yi so n eo f t h er e s e a r c hh o ts p o r si nc u r r e n td o m e s t i c a n df o r e i g nc o m l n u n i c a t i o nf i e l d g r i ds c h e d u l i n gt a k e sc e r t a i no p t i m i z e dg o a la s t h e n s 打u c d o n 。i tg i v e st h es o l u t i o no nh o wt om a t c hr e s o u r c e sa n dt a s k sa n d s c h e d u l et a s k so nt h o s er e s o u r c e st oe x e c u t e a so n eo ft h ek e yt e c h n o l o g yt h a tc a n i m p r o v et h ep e r f o r m a n c eo ft a s ke x e c u t i o na n dr e a l i z et h es h a r i n 垡o fg r i dl s o l l r c e s t h et a s ks c h e d u l i n gi st h ek e ya n dd i 蘧c u l t y w h i c hi sw o r t hd e e p l yr e s e a r c hi n t h e o r ya n dp r a c t i c e t h i s p a p e rp r o p o s eal o a d b a l a n c i n gh e u r i s t i cs c h e d u l i n ga l g o r i t h mf o r b a g - o f - t a s ka p p t i c a t i o nt or e d u c et h em a k e s p a na n d t ou s er e s o u r c e se f f e e t i v e l y 。i n o r d e rt os e r v eb e t t e ri nt a s ks c h e d u l i n ga n di n f o r m a t i o ni n t e g r a t i o ni nt h ef u t u r e 。 t h i sp a p e ra n a l y s e st h ec h a r a c t e r so fb a g - o f - t a s ka p p l i c a t i o ni nc o m p u t a t i o n a l g r i da n dt h ec h a r a c t e ro ft a s ks c h e d u t i n gc a u s e db yt h es e l f - g o v e r n m e n t d v n a m i c a n ds oo no ft h eg r i dr e s o u r c e w bt a k eb a t c h - m o d es c h e d u l ei n t oc o n s i d e r a t i o na n d n s ep e r f o r m a n c em e t r i c so f r e s o u r c en o d e st oc a l c u l a t et h ew e i g h t e da v e r a g et i m eo f e x e c u t i n ge a c h 掘s k + 1 矗e nw i 斑t h eo b j e c t i v eo fo p t i m i z i n gt h et o t a lt a s ke x p e c t e d c o m p l e t i o nt i m e ，t h ep a d e rp r o p o s eap r e d i c t i o nb a s e dw e i g h e dm e a nm o s td i 腑c u l t t oc o m p l e t e a s kt ot h en o d ew i t hm i n i m u mc o m p l e t i o nt i m eh e u r i 鞋 cs t r a t e g y a t i e r f a r t h e rc o n s i d e r a t i o n ，al o a d - b a l a n c i n gm e c h a n i s mi sa d d e da n dal o a d b a l m a c i n g a d d e dw 鞋曲e dm e a nm o s td i f f i c u l tt oc o m p l e t et a s kt ot h en o d em 也 m i n i m u mc o m p l e t i o nt i m es c h e d u l i n ga l g o r i t h mi so b t a i n e d 。髓瑶p a p e ra n a l y s e s l a w m 丑r a i ns c h e d u l i n ga l g o r i t h ma n ds i m u l a t e st h ep e r f o r m a n c eo ft h e 。a w m d ，m i na l g o r i t h m 、c o m p a r i n gi tw i 趣m i n - m 血a l g o r i t h ma n dm a x - r a i n a l g o r i t h ma n ds u f r c r a g ea l g o r i t h mi np r o v i n gt h a tl a w m d - m i na l g o r i t h mc a n r e d u c et h et o t a lt a s kc a m p e t i o nt i m ea n di m p r o v et h eu t i l i z a t i o no f r e s o u r c e k e y w o r d s ：g r i d c o m p u t i n g ，t a s k - s c h e d u l i n g ，p e r f o r m a n c e p r e d i c t i o n ， w e i g h e d - m e a n ，l o a d - b a l a n c i n g i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得重废邮电太堂或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：0 季疡罐己签字日期：叼名年多月f 二日 学位论文版权使用授权书 本学位论文作者完全了解重庞邮电太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文 被查阅和借阅。本人授权重庆鲣电太堂可以将学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇 编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 霖宏浓 签字日期：秭年5 月f 日 撇名：同智 签字日期：绷咖月r 日 重庆邮电大学硕士论文 第一章绪论 1 1 研究背景 1 1 1 网格起源及发展 第一章绪论 网格计算( g r i dc o m p u t i n g ) “3 “是当前通信领域研究的一个热点。目前， 高性能计算已经成为许多科学和工程实践的关键技术，科学家们也越来越多地使 用巨型计算机来研究复杂现象。然而，巨型计算机的造价极高，那些需要强大处 理能力的应用仍然无法实现。另一方面，某些应用对计算的要求非常高，即使是 现在最大的巨型计算机也无法提供它们所需的资源。这就需要将高性能计算依托 i n t e r n e t 或其他高速网络与遍布世界各个角落的能力千差万别的计算资源联结 在一起，形成大规模的几乎可以无限扩展的计算能力。网格计算就是在巨型机与 互联网技术的基础上推出的一项新的变革，将使全世界的i t 业产生巨大的震动 和飞跃。 与传统的分布式并行计算不同，网格计算不再要求各种服务资源位于单一组 织拥有和管理的统一自治系统中，参加协作的各方共同构成一个虚拟组织 ( v i r t u a lo r g a n i z a t i o n ，v o ) ，可以使用跨越多个自治系统的资源，协同完成工 作。网格研究的目标也越来越大，研究人员希望提供一种能够聚集网络上的各种 高性能计算机、服务器、p c 机、信息系统、海量数据存储和处理系统、应用模 拟系统、虚拟现实系统、仪器设备和信息获取设备以及服务和研究人员等广泛分 布的各种资源，作为进行大规模计算和海量数据处理的通用基础支撑结构，为各 种应用开发提供底层技术支持，将整个i n t e r n e t 变为一个功能强大、无处不在 的计算设施。 进入二十世纪九十年代，网格应用领域不断扩展。许多现代大型科学研究和 信息服务对高性能和大容量数据处理的能力需求增加，许多应用具有高性能计算 和海量数据存储、传输和分布处理相结合的特性。网格技术研究范围迅速扩大， 根据求解问题的特点，可以分为计算网格( c o m p u t a t i o n a lg r i d ) 、数据网格( d a t a g r i d ) 。信息网格( i n f o r m a t i o ng r i d ) 、知识网格( k n o w l e d g eg r i d ) 、语义网 ( s e m a n t i cg r i d ) 、访问网格( a c c e s sg r i d ) 等方向，其应用层面也大大扩展。 重庆邮电大学硕士论文 第一章绪论 1 1 2 计算网格与任务调度 在网格技术当中，计算网格旧成为目前网格计算技术研究最深和实践最多的 一种网格，甚至被认为是狭义的网格。它主要针对前沿科学研究和大型行业应用， 可共享和整合地理上分布的计算资源册。目标是发展遵循开放标准，提供支持大 规模分布合作计算和数据处理的基础计算设施。 计算网格是提供对高计算能力进行可靠、一致、深入并且廉价访问的软、硬 件基础啊”。科学计算仍然是当前计算机的主要应用之一，但计算机的能力并没 有得到充分发挥。单台、孤立的计算机的求解能力是有限的，通过搭建计算环境 可以使多台计算机资源共享，协同进行问题求解，从而为用户提供更高的计算能 力，解决更复杂的问题，这就是计算网格追求的目标。 作为一种为大型、复杂应用而设计的新兴技术，计算网格需要能够很好地支 持高性能需求和分布特性。为了更好地为网格用户提供高质量、安全的计算服务， 计算网格必须解决资源发现与管理“1 、任务调度“。”“”、安全“”、容错“”等一 系列关键技术。 计算网格中，有大量的应用存在，这些应用又共享计算网格的各种资源，如 何才能够使这些应用获得较高的运行性能? 这就是网格任务调度需要解决的问 题。 用户通过任务管理系统向网格提交任务、为任务指定所需资源、删除任务并 监测任务的运行状态。将用户提交的任务按照任务的类型、所需资源、可用资源 等情况安排运行日程和策略，实现计算网格共享地理上分布的资源协同完成某个 任务的目标，是任务调度首要而基本的功能n 网格计算环境的强大能力最终是通过网格上任务的运行性能来体现的。为获 得较高的运行性能，需要较优化的调度策略，以便在任务和资源之间做出合理匹 配，并可在运行过程中动态调整，既要达到对任务合理而高效的调度和运行，也 要充分、有效利用分布的资源。网格任务调度是一个极其复杂的问题，因为网格 中包含大量分布、异构的资源，而且资源的状态是动态变化的，多个任务可能会 引起资源竞争，如何充分、合理地利用网格中的计算资源是调度的研究范畴，它 引起了众多学者的关注，成为目前网格计算研究领域的一个焦点“”“1 。 1 1 3 国内外网格计算项目简介 计算网格具有重要的战略意义及广阔的应用前景，许多国家、组织都纷纷对 其开展了深入研究目前，网格的研究主要在美国和欧洲。英国政府已投资1 亿 2 重庆邮电大学硕士论文第一章绪论 英镑，用来研制“英国国家网格( u kn a t i o n a lg r i d ) ”。美国政府用于网格技 术基础研究经费则已达5 亿美元。美国军方正规划实施一个宏大的网格计划，叫 做“全球信息网格( g l o b a li n f o r m a t i o ng r i d ) ”，预计在2 0 2 0 年完成。作 为这个计划的一部分，美国海军和海军陆战队已启动了一个耗资1 6 0 亿美元历时 8 年的项目，包括系统的研制、建设、维护和升级。随着网格研究在学术界的加 速，信息产业界的大公司也相继公布了与网格目标一致的研究开发计划。惠普、 i b m 、微软、s u n 等公司最近取得共识，支持x m l 、s o a p 、u d d i 等万维网标准， 从而更有利于开发新一代的网络应用，即万维网服务。其目的是将因特网上的资 源和信息汇聚在一起，组合成企业和消费者所需要的服务。惠普推出了e s p e a k 万维网服务平台；i b m 用它的w e b s p h e r e 平台和一系列中间件实现万维网服务； 微软的路线是通过其n e t 计划和c # 语言实现万维网服务；s u n 则通过o p e n n e t w o r ke n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台来实现它。另外，i b m 最近 宣布，将投资4 0 亿美元，启动一个全公司的“网格计算创新计划”；s u n 则在 2 0 0 0 年9 月公布了其网格引擎软件。 在我国，已经完成的网格研究项目主要有清华大学的先进计算基础设施 a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高 性能计算环境n h p c e ( n a t i o n a lh i g hp e r f c i r m a n c ec o m p u t i n ge n v i r o n m e n t ) 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合十几家科研单位，承担了8 6 3 重点项目“国家高性能计算环境”的研发任务。该项目的目标是建立一个分布式 环境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心通 过i n t e r n e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基 础上开发了多个计算型的网格应用系统，取得了一系列研究成果。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会”，确认将网格 的研究和应用列为“8 6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网 格专项投资高达3 个亿，主要任务是研制面向网格的万亿次级高性能计算机、 具有数万亿次聚合计算能力的高性能计算环境；开发具有自主知识产权的网格软 件；建设科学研究、经济建设、社会发展和国防建设急需的重要应用网格；制定 若干与网格相关的国家标准，参与制定国际标准，使一批发明专利和软件获得受 理和登记，形成自主知识产权 2 0 0 2 年底，上海市宣布将投入两个多亿，建设e - i n s t i t u t e ，其中网格是 重点，将把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享资 源，协同教学科研。 我国目前正在进行的网格研究项目主要有： 8 6 3 计划支持的“中国网格( c h i n ag r i d ) ”建设，有多家单位参加。 重庆邮电大学硕士论文 第一章绪论 “上海教育科研网格”，多所上海的大学参加 “仿真网格”的研究，由航天二院和清华大学共同开展。 “织女星网格”，由中科院计算所领衔开发。 另外，全国还有几十所大学和研究机构已经开展各种网格研究。 1 2 计算网格任务调度研究现状 如前所述，国内外针对计算网格的研究已如火如荼，不同的研究机构根据自 身需求提出了不同的任务调度算法及调度策略。又由于网格资源的异构性、动态 性特点，目前的任务调度算法大多为启发式的算法。启发式调度可以分为两类： 在线模式( o n - l i n em o d e ) 调度和批模式( b a t c hm o d e ) 调度。当任务一到就立 刻进行调度为在线模式，而将到达的任务收集成任务集，满足一定条件才进行调 度为批模式。 典型的在线模式调度算法包括o l b ( o p p o r t u n i s t i cl o a db a l a n c i n g ) 算法 l 2 i ym e t ( m i n i m u me x e c u t i o nt i m e ) 算法o ”，m c t ( m i n i m u mc o m p l e t i o nt i m e ) 算 法。”。在上述几类在线模式算法的基础上，研究者还提出了其他一些在线模式算 法，大多为上述几种算法的变形或组合。 批模式调度算法较在线式调度算法有更高的效率，实际网格系统中多采用 批调度算法，本文也只研究批模式调度。 m i n - m i n 算法嘲是应用最为广泛的一种批模式调度算法，其思想是：对于任 务集中的每个任务，算法求得单个任务最小预期完成时间，然后把所有任务中具 有最小预期完成时间的任务分配给对应的资源，并从任务集中删除；该过程重复 进行直至所有的任务调度完毕；m a x - m i n 算法嘲与m i n - m i n 算法不同，它是将最小 预期完成时间最大的任务分配给对应的资源执行，当元任务中短任务远远多于长 任务时，该算法优于m i n - m i n 算法s u f f e r a g e 算法嘲计算任务在各个可用资源上 的预期完成时间，用次小的预期完成时间减去最小预期完成时间，得到一个任务 的s u f f e r 值，系统优先调度s u f f e r 值大的任务。d u p l e x 算法是m i n - m i n ，m a x - m i n 的组合，根据阈值动态在两种算法间转换。 上述算法在解决特定领域问题时具有一定的效果，但是还存在着一些问题 和缺陷，尤其对于大吞吐率任务调度应用效果不理想，此外，上述研究也很少考 虑网格中各个资源节点的性能度量，而资源节点的性能是制定调度策略的重要依 据，这些是本文要解决的核心问题。 4 重庆邮电大学硕士论文 第一章绪论 1 3 本文研究内容 高吞吐率计算是计算网格中一类重要而广泛的应用，本文以计算网格下高 吞吐率计算的任务调度问题为研究对象高吞吐率计算中的任务大多表现为 b a g o f - t a s k s ( b o t ) 应用，即大量独立或松耦合的任务分散到网格虚拟组织 内不同的计算资源上运行。针对此类应用，本文对任务调度的研究要解决以下几 个方面问题： i 、资源节点的性能度量 网格中资源类型多种多样，它们往往具有不同的体系结构，并且提供资源的 网格节点的通信带宽也不一样。调度服务将任务分配到具体资源节点上执行，资 源节点的属性是任务调度的重要依据。因此，对于本文的任务调度算法要求依据 任务完成的难易程度来排序待调度的任务，用资源节点的性能度量作为排序依据 具有非常重要的意义。 资源节点的属性也即节点处理能力。影响处理能力的主要因素有c p u 性能、 i o 吞吐量、网络带宽等。对于b a g - o f - t a s k 应用的网格任务调度，相对于任务 执行时间和通过网络传递的时间而言，受i o 吞吐量影响的时间较少，因此本文 研究的资源节点处理能力主要指c p u 性能和网络带宽。 本文以c p u 性能和网络带宽为度量计算出每一任务在所有节点上的总执行 时间的加权平均值，据此来对任务完成的难易进行排序，指导任务调度。 2 、性能预测 网格资源的多样性、异构性，动态性等特点以及不同的资源拥有者采用不同 的调度策略，要求我们在做调度决定时需要建立随时间变化的性能预测模型，充 分利用网格的动态信息来表示网格性能的波动，根据资源状态的变化进行动态调 度，以实现优化调度。 本文构建一种可以在线预测的模型用来预测任务在各资源节点上的完成时 间，同时监测其网络带宽变化以计算任务到达资源节点的时间，为调度策略的制 定奠定基础。 3 、负载均衡 并行的根本目的就是为了加速。人们期望n 个节点的并行系统比单台计算机 快n 倍。这在现实情况下往往是达不到的，甚至相差甚远。很明显，用于并行计 算的各个节点不能充分发挥它们的处理能力。这种情况当应用程序结构比较复杂 时表现得更为严重。因此，在并行处理中，如何提高各个节点的利用率，是影响 运算性能的关键。负载均衡就成为改善并行性能的一个重要手段。 本文负载均衡的基本目标是通过任务调度，使运算均衡地分布在各个结点 重庆邮电大学硕士论文 第一章绪论 上，从而提高系统资源( 主要是c p u ) 的利用率 通过对上述三方面的研究，本文提出一种负载均衡的加权平均最难完成的任 务分配给完成时间最短的节点的调度算法( l a w m d - m i n 算法) 。通过对该算法的 定性分析，得到其时间复杂度优于m i n - m i n 、m a x - m i n 、s u f f e r a g e 算法，且资源 利用率较高。仿真实验又进一步验证了本算法能有效减小总的任务完成时间，并 且资源可以得到较充分的利用。而这两个方面的优化都保证了系统吞吐率的提 高，证明了本文的l a w m d m i n 算法更适合解决高吞吐率应用的问题。 1 4 论文结构 全文共分六章，内容如下： 第一章为绪论，首先介绍了网格的起源和发展，以及计算网格和任务调度问 题的需求和意义，然后分析了己有的任务调度算法和国内外计算网格项目中任务 调度系统的研究开发现状，最后提出了本文的主要研究内容。 第二章首先简要介绍了网格的基本特征，然后分析了网格的体系结构，最后 介绍了网格的应用现状和发展趋势以及本文所要研究的b a g - o f - t a s k 应用的任 务调度问题。 第三章首先分析网格任务调度的原理及相应体系结构，然后描述了网格任务 的调度过程，最后分析了计算网格中任务调度问题面临的困难和挑战，对已有的 几种主要任务调度算法进行了比较研究，分析其优缺点。 第四章提出了一种负载均衡的启发式调度方法，构建基于线性预测的任务预 期完成时间预测模型，根据资源节点属性计算任务在所有资源节点上完成的总的 加权平均完成时问，并据此来排序任务，选出最难完成的任务，以预期完成时问 最小为目标，提出将加权平均最难完成的任务分配给完成时间最短的资源节点的 任务调度算法，并在此算法基础上增加负载均衡调度策略，形成本文的负载均衡 的加权平均最难完成的任务分配给完成时间最短的资源节点的调度算法 ( l a w m d m i n 算法) ，最后对该算法进行了分析 第五章构建仿真平台，用仿真实验考察了本文l a w 肛m i n 算法的性能，并与 m i n - m i n 算法、m a x - r a i n 算法、s u f f e r a g e 算法和本文的w m d - m i n 算法进行了比 较，验证了本算法能够减小总的任务完成时问，提高资源利用率，因此本算法更 适合解决高吞吐率应用的问题。 第六章对已有的工作进行总结，提出需进一步深入研究的问题。 6 重庆邮电大学硕士论文 第二章网格计算的概念 2 1网格基础 2 1 1 网格简介 第二章网格计算的概念 网格技术起源于2 0 世纪9 0 年代初由美国政府资助的分布式超级计算项目 i - w a y 。从1 9 9 3 年开始，高性能计算技术和互联网技术进一步融合，酝酿产生了 继因特网、w e b 之后的第三大技术浪潮。“网格”这一术语的思想则源于日常 生活中公共设施的应用，i a nf o s t e r 出版的著作中最早将它称之为“网格”网 格建立在i n t e r n e t 的可访问性基础之上，允许用户有效地使用地理上分布的资 源嘲。因此，网格也被看作下一代i n t e r n e t 嘲。 网格是将分布在各地的计算机资源通过高速的互联网组成充分共享的资源 集成，这些机器的计算资源构成共享池。它彻底地改变了计算机和数据的访问方、 式，将成为下一代分布式计算的体系结构标准，它提供从孤立的系统到紧密结合 的簇、企业范围内聚簇及地理上分散的计算机环境之间联系的途径川。用户无论 在何时何地都能透明地访问计算和存储资源，并保证一定的服务质量成为可能 【硎 网格作为一种新出现的重要的基础设施，与其它计算系统相比，具有以下特 性： l 、分布与共享共存 分布性是网格的一个最主要的特点，首先网格涉及的资源是分布的，它们一 般类型多样，规模较大，跨越的地理范围较广；由于这个原因，基于网格的计算 也是分布式的，这就产生了资源与任务的分配和调度、安全传输与通信等一系列 需要解决的问题。 网格资源虽然是分布的，但又是充分共享的。共享是网格的目的，如何解决 分布资源的共享问题，是网格的核心内容。 分布性是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻辑 上的特征，这两者在网格系统中同时存在。 2 、相似性 网格的局部和整体之间存在着一定的自相似性，局部往往在许多地方具有全 局的某些特征，而全局的特征在局部也有一定的体现。 3 、动态性和多样性 7 重庆邮电大学硕士论文第二章网格计算的概念 对于网格来说，决不能假设它是一成不变的，原来拥有的资源或者功能，在 下一时刻可能会出现故障或者不可用；而原来没有的资源，可能随着时间的推移 会不断地加入进来。 网格资源是异构和多样的。在网格系统中可以有不同体系结构的计算机系统 和类别不同的资源，因此网格系统必须能够解决这些结构不同、类别各异的资源 之间的通信和互操作问题。 4 、自治性与管理的多重性 网格上的资源首先是属于某一个组织或者个人，因此网格资源的拥有者对该 资源有最高级别的管理权限，统一管理这些资源的同时，资源拥有者也可自主管 理其提供的资源。 因此网格的管理具有多重性，一方面允许网格资源的拥有者具有自主性的管 理，另一方面又要求网格资源必须接受网格的统一管理。 以上就是网格的一些特性，正是由于这些特性的存在，为任务调度算法的设 计提出了更大的挑战，只有解决好这一问题，才能使网格更好地发挥优良的性能， 为应用提供满意的服务。 2 1 2 网格的体系结构 网格体系结构是关于如何建造网格的技术，包括对网格基本组成部分和各部 分功能的定义及描述、网格各部分相互关系与集成方法的规定、网格有效运行机 制的刻画。i a n f o s t e r 将网格体系结构定义为“划分系统基本组件，指定系统 组件的目的与功能，说明组件之间如何相互作用的调度技术”嘲。至今，比较重 要的网格体系结构有两个：一个是i a n f o s t e r 等在早些时候提出的五层沙漏结 构；另一个是在考虑到w e b 技术的发展与影响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 1 、五层沙漏结构嘲1 五层沙漏结构的基本思想是：共享需要互操作，而实现互操作需要定义协议， 五层沙漏结构中特别重视协议的定义。服务是由它使用的协议和实现的行为定义 的，标准协议还使得定义标准服务更加容易。标准服务的定义( 如对计算的访问， 存取数据，资源发现，协同调度，数据重复等) 可以进一步提供增强的能力，使 虚拟组织参加者得到更多的服务。 五层沙漏结构分为：构造层、连接层、资源层，汇聚层和应用层。如图2 1 所示： 8 重庆邮电大学硕士论文第二章网格计算的概念 应用层 i 汇聚层 r 资源层 r i连接层 i 图2 1计算网格的五层沙漏体系结构模型 ( a ) 网格构造层的基本功能是控制局部的资源，向上提供访问这些资源的 接口； ( b ) 连接层的基本功能是实现相互的通信。它定义了核心的通信和认证协 议，用于网格的网络事务处理之中； ( c ) 资源层的重要功能就是实现单个资源的共享； ( d ) 汇聚层的主要功能就是协调“多种”资源的共享，即如何将下面以单 个资源形式表现出来的资源集中起来，协调解决多个资源之间的问题； ( e ) 应用层关系的是有什么样的资源可以由下面提供给虚拟组织，解决不 同虚拟组织的具体问题。 可见，以资源共享协议和资源间的通信协议为核心，网格环境实现了广域范 围内的资源共享和协同工作，将面向i n t e r n e t 的计算推进到了一个新的阶段。 计算网格体系结构中的连接层、资源层和汇聚层的功能需要由架构在资源层 之上、应用层之下的网格中间件实现。 2 ，开放网格服务体系结构 开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 啪。“。1 是 g l o b a l6 r i df o r u m4 的重要标准建议，是继五层沙漏结构之后最重要的一种 网格体系结构。它与五层沙漏结构的最大区别在于，它不是向沙漏结构一样以协 议为中心，而是以服务为中心的。这里的服务是指具有特定功能的网络化实体， 包括各种计算资源、存储资源、网络、程序、数据库等等。在o g s a 中，实现的 不再是对资源的共享，而是对服务的共享。从资源到服务，这种抽象将资源、信 息、数据等统一起来，有利于灵活的、一致的、动态的共享机制的实现。 9 嚣囤 重庆邮电大学硕士论文 第二章网格计算的概念 2 2 计算网格应用现状 在计算网格中，应用都有其自身固有的特性，对这些特性进行分析是进行任 务调度的基础。 我国现代化建设中，许多大型行业应用都需要用到计算网格技术。在天气预 报、生命科学研究、地球环境保护、核试验仿真、教育科研等应用领域中，人们 对网格和计算网格技术的需求非常大。通过归纳我们可以把网格应用大致分为以 下几类m “铆。 2 2 1 分布式超级计算 分布式超级计算是传统的集中式高性能计算向分布式的发展，将分布在不同 地域的超级计算机用高速网络连接起来，通过网格中间件“聚合”，形成比单台 超级计算机强大得多的计算平台 这类应用有如下特点： 1 、通过网格将多个分散的计算资源聚合起来，用以解决单个资源无法解决 的问题，其规模大到可覆盖世界范围内的大部分超级计算机，小到可能只是某公 司内部的所有工作站。从集中计算到分布计算，是网格功能的重要体现。 2 、面l 临如何实现协同调度计算资源、如何在异构系统间达到和保持高性能 的挑战。相应的协议和算法必须提供从几个到成百上千的计算资源节点的可扩展 性，并能容忍动态变化的网络延迟。 3 、通信会对系统性能造成较大的影响，调度过程中应该尽量使通信和计算 过程重叠，在计算精度和通信能力之间做出平衡，用冗余的计算减少通信开销： 增大计算的粒度，减少模块之间耦合度；并且在通信过程中集结成组传输，采用 压缩算法减少通信量。其应用领域包括大规模军事仿真和天文学模拟。 2 2 2 高吞吐率计算 高吞吐率计算是计算网格中一类重要而广泛的应用，如参数扫描分析、蒙特 卡罗仿真、数字视频显示、复杂系统模拟、高性能生物信息计算等领域，均涉及 大量样本空间的计算。这些任务的性能往往不能以传统微观计算性能指标( 如每 秒执行的浮点操作数) 来度量，而要以端到端的工作量，如一周内执行的变换数、 一月内显示的视频帧数或一年内完成的模拟数目等来度量。 此类应用通过网格调度大量松耦合或相互独立的任务，充分利用空闲的资源 1 0 重庆邮电大学硕士论文 第二章网格计算的概念 + ， 求解问题。集中可用的资源解决某个问题，这点与分布式超级计算类型的应用相 似，但任务间的相对独立性使得问题及问题求解大相径庭。 2 2 3 按需计算 按需计算虚拟化计算机、服务器以及整个数据中心等资源，提供资源或服务 满足业务需求。按需计算实现个人或组织的灵活性，使他们既可以拥有自己的资 源、基础设施，又可以向外部的服务提供商订购服务。这样，对于那些关键的应 用，个人或组织可以选择构建自己的网格基础设施，以获得更高的效率；而对于 一些更加通用的业务，可以选择求助于服务提供商来满足对各种基础设施的需 求。 按需计算类型的应用使用网格计算能力满足任务对资源的短期需求，这些需 求往往无法或不适合由本地资源完成。按需计算是实现效率更高、复杂性更低和 更加灵活业务的基础。 通常这类应用关心的是完成任务的性价比而并不强调完美的性能，它们对资 源的需求是动态的，用户群及可用资源集可能都很大，面临的挑战包括资源定位、 调度、容错、安全及付费机制等。随着开放网格和w e b 服务协议的不断普及，越 来越多的业务过程将会成为按需的应用。著名的b u t t e r f t y 网格就是通过按需服 务支持大规模多玩家的分布式可扩展游戏网格。 2 2 4 数据密集型计算 数据密集型应用侧重于数据的存储、传输和处理，关键是如何综合来自数据 库、地理上分布的数据仓库、数字图书馆中的数据合成的新信息。 数据是科学和工程中所有分支学科的基础，在医药研究、诊断中扮演重要角 色，对商业和政府决策过程给予有力的支持。传感器、存储设备、计算机、网络 处理能力和容量的显著提高使创建海量数据文件成为可能。科学和商业领域都存 在着数据密集型应用，天文、生物、医药、环境、工程和高能物理等研究领域很 快会出现p b 数量级的文件，数据的飞速增长使得数据分析成为一项挑战。这些 海量数据的分析和研究将会促使在自然物质、生命、环境或现实世界的其他方面 产生意义深远的新见解。这些海量数据的数据源分布在广泛的范围内，因此这类 应用通常既是数据密集的也是通信密集的。 解决该类应用问题的关键是如何在多层次上调度和配置复杂的大容量数据 流。应用领域包括很多高能物理实验、数字化天空扫描和气象预测等。 重庆邮电大学硕士论文 第二章网格计算的概念 2 2 5 协同计算 协同计算主要用于支持并加强人与人之间的交互，以克服地理位置、交互能 力和共享对象等诸多条件的限制。 随着广域协作范围与规模的增长，参与者需要进行异步交互操作。传统上这 种要求可以通过备忘录、录像带、录音磁带等机制来解决。但是这些机制是单方 面的，没有考虑人们相互影响带来的细微差另玎。协同计算可支持位于不同地点的 人员参加会议，在一个虚拟的共享空问中进行交互，共同讨论问题。它是网格领 域中新兴的一类重要应用，致力于支持广域、实时和以计算机为媒介的通信。 a r g o n n ef u t u r e s 实验室开发的a g ( a c c e s sg r i d ) 项目从1 9 9 4 年起致力于开发 协作环境，是该类应用的典型例子。作为一个网络、计算能力和交互资源的整体， a g 支持网格上群体与群体间的人员交互，专注于高端工作空间中群体间的协作。 当前的a g 系统包含大量不同格式的多媒体内容的显示、演示和交互软件环境、 网格中间件接口和远程可视化环境。目前它已拥有数百个遍布世界各地的用户， 实现他们日常工作中的群体协作 协同计算面临的挑战是用户的感知能力带来的实时要求和交互的多样性。 本文主要研究高吞吐率应用的任务调度问题。如前所述，高吞吐率计算是计 算网格的一类重要应用，它是通过网格调度大量松耦合或相互独立的任务。由于 网格具有大范围分布性、异构性和动态特性，松耦合的并行应用相比紧耦合应用 更适合在网格环境中执行。高吞吐率计算中的任务大多表现为b a g - o f - t a s k s ( b o t ) 应用嘲( 例如那些任务问完全独立的应用) 。此类应用包括数据挖掘、大 范围搜索，参数扫描应用，蒙特卡罗仿真，图像处理应用( 如x 光重建) 等。 2 3 小结 网格的基本特征是：分布与共享共存、相似性、动态性和多样性、自治性与 管理的多重性。这些特性给网格的任务调度带来更大挑战，只有解决好这些问题 才能更好的发挥网格的性能，给用户提供更好的服务。 五层沙漏结构和开放网格服务体系结构是目前主要的两种体系结构，是构建 网格的基础。 在计算网格中，应用都有其自身固有的特性，对这些特性进行分析是进行任 务调度的基础。高吞吐率计算是计算网格的一类重要应用，它是通过网格调度大 量松耦合或相互独立的任务。高吞吐率计算中的任务大多表现为b a g - o f - t a s k s ( b o t ) 应用，这类任务的特征是任务间有很强的独立性。 重庆邮电大学硕士论文 第三章计算网格中的任务调度算法分析 第三章计算网格中的任务调度算法分析 本章首先介绍网格任务调度原理及结构，然后总结了任务调度面临的问 题，并对已有的任务调度算法进行了分析比较。 3 1 网格任务调度原理 随着大规模应用程序的日益增长，迫切要求提供高性能的计算能力，目前 主要通过两种途径来实现：一是通过改善单个主机的计算能力，另一个是通过 建造一个由多个计算机组成的主机集合来实现的分布式系统。前者主要是通过 改善计算机的硬件来实现，和前者相比，后者显然要复杂得多。现在，已经存 在或正在建造的由异构资源组成的分布式系统主要有：c o n d o r 。n e t s o l v e ， n i m r o d ，g l o b u s 和网格计算系统。这些系统尤其是网格在提供前所未有的计算 能力的同时，也提出了一些新的问题，其中，最主要的问题是如何调度应用程 序到各种异构资源可以说，如何在一个分布式异构系统中调度应用程序，迄 今为止，仍然是一个非常棘手的问题。 我们首先需要了解网格调度和传统分布式调度系统的主要区别； 1 、有效范围不同 网格调度器的有效范围是i n t e r n e t ，网格环境下资源全局状态对调度系统 而言是不确定的，对一般分布式系统而言，资源调度器是可见的。 2 、操作对象不同 传统调度系统面对的是组织内部的，执行实际任务的计算单元、存储单元。 而网格调度面对的是不同系统之间的调度实例，本身不涉及具体的资源。因此 网格调度器又被称为是元调度器，它是建立在现有调度系统之上的一层中间层， 任务是为不同系统之间的调度实例的协同工作提供标准的系统服务和协议。 3 、标准的开放性不同 由于不同的系统需要通过网格调度系统来通信，所以势必要求通信协议的 标准性和开放性，如o g s a w e bs e r v i c e s 。x m l 等。而对于系统内部的调度器， 可以根据自身的需要，综合考虑性能等方面的因素，定制自己的通信协议。对 网格资源的访问通常需要遵循资源管理者定义的访问权限、计帐、优先级和安 全机制，这些机制是由资源所在的不同系统来自主管理的。因此，支持自主系 统之间交互的高层调度服务( s c h e d u l i n gs e r v i c e ) 是进行网格调度的技术关 键。同时，调度系统也需要根据作业的实际情况( 批处理作业或实时作业) 定义 不同的调度策略以满足用户需求，这些将是网格调度系统设计的基本原则。有 重庆邮电大学硕士论文 第三章计算网格中的任务调度算法分析 效使用网格资源需要强大和灵活的网格调度机制。网格技术之所以能够成功， 在很大程度取决于