（计算机应用技术专业论文）基于网格计算的负载均衡策略的研究.pdf

摘要摘要随着人们求解问题领域的不断扩展，所遇到的问题越来越复杂，而且规模也越来越大，解决这些问题所要求的计算能力电在大幅度提高。又由于考虑到高成本超大型计算机没有得到充分地利用，所以人们便试图研究分布式计算环境来利用网络中的空闲资源解决这些需要大量计算的复杂问题。网格计算正是人们正在研究的利用网络并联合分散在网络中各个区域的空闲资源来为网格系统应用软件服务，从而解决这些科学问题。为了融合这些大量网络资源并有效地计算，解决网格计算中的负载均衡问题成为关键性的技术。本文在网格计算环境中解决负载均衡问题的服务中，其主要的创新点有以下几个方面：( 1 1 ) 结合网格计算的多种负载均衡算法，提出一种新的层次式负载均衡算法，并根据一级代理和二级代理的负载情况，灵活采用各种负载均衡算法，从而提高负载均衡效率和系统的稳定。( 2 ) 基于c o r b a 体系结构的设计，在网格中间件层服务，使负载均衡系统达到很好的透明性。( 3 ) 采用了以静态为辅，动态自适应负载均衡算法为主的服务，可根据具体计算任务的情况，对任务重定向分配，提高了系统的伸缩性和响应时问。( 4 ) 利用了网格资源的分散性服务，有效地避免了单点失效对整体服务的影响。本文通过仿真模拟，证实了在网格计算中的基于c o r b a 的层次式自适应负载均衡策略的实用性和有效性。关键词：网格计算；负载均衡；自适应算法；分布式计算；网格中间件a b s t r a c tw i t ht h ea d v a n c e m e n ta n dd e v e l o p m e n to fv a r i o u st e c h n o l o g i e s ，t h ec o m p u t i n gp r o b l e m sw en e e dt os o l v eh a v eb e c o m em o r ec o m p l i c a t e da n dl a r g e ri ns i z e h o w e v e r , d u et ot h eh i g hc o s to fs u p e rc o m p u t e r s ，t h e yc a nn o tb ee x t e n s i v e l yu t i l i z e d t h u s ，p e o p l eh a v et or e s o r tt od i s t r i b u t e ds y s t e m st or e s o l v et h ep r o b l e mo fl a r g e s c a l ec o m p u t i n g g r i dc o m p u t i n gu t i l i z e st h en e t w o r ka n dc o m b i n e si d l er e s o u r c e ss c a t t e r e di ne v e r yr e g i o nf o rd i s t r i b u t e da p p l i c a t i o n s a sg r i dc o m p u t i n gu s e si n t e m e tc o n n e c t i o n s ，c o m p a r e dw i t hc o n v e n t i o n a ld i s t r i b u t e ds y s t e m s ，i tp r o v i d e sb e t t e rl a r g e - s c a l es h a r i n gr e s o u r c e ，i m p r o v e sr e s o u r c ea p p l i c a t i o n sa n ds o l v e st h e s es c i e n c ep r o b l e m s l o a db a l a n c i n gi nt h e 鲥dc o m p u t i n ge n v i r o n m e n t si st h ek e yt e c h n o l o g yb yw a yo fc o m b i n i n gt h eb r o a d f i e l di n t e r n e tr e s o u r c e t h et h e s i sh a ss o l v e dl o a db a l a n c i n gs e r v i c e si nt h eg d dc o m p u t i n ge n v i r o n m e n t t h e r ea r ef o u rp r i m a r yt e c h n i c a li n n o v a t i o n si nt h i st h e s i s ：( 1 ) b r i n gf o r w a r dan e wc a s c a d i n gl o a db a l a n c i n ga l g o r i t h mc o m b i n e dw i t hm a n yk i n d so fl o a db a l a n c i n ga l g o r i t h m si nt h eg r i dc o m p u t i n ge n v i r o n m e n t ，a n dc h o o s i n ga g i l e l yl o a db a l a n c i n ga l g o r i t h m sb a s e do nt h el o a db a l a n c i n go ff i r s t g r a d eb r o k e r sa n ds e c o n d g r a d eb r o k e r si no r d e rt oi m p r o v ec o m p u t i n ge f f i c i e n c ya n ds y s t e ms t a b i l i t y ( 2 ) a d o p t i n gc o r b a b a s e da r c h i t e c t u r ei no r d e rt om a k el o a db a l a n c i n gs y s t e mt r a n s p a r e n t i z e dw i t hg r i dm i d d l e w a r es e r v i c e s ( 3 ) u s i n gt h ep r i m a r yo fd y n a m i ca d a p t i v el o a db a l a n c i n ga l g o r i t h ma s s i s t e dw i t hs t a t i cl o a db a l a n c i n g ，a c c o r d i n gt ot h ec o m p l e x i o no fc o m p u t i n gt a s k ，i m p r o v i n gr e t r a c t i l i t ya n dr e s p o n d i n gt i m eo fs y s t e mb yr e d i s t r i b u t i n gs u b t a s k s ( 4 ) d e c e n t r a l i z i n gs e r v i c e so f g r i dr e s o u r c et oa v o i dt ob es u b j e c t e dt ot h eu n i t a r yu n a v a i l a b l ep o i n t t h ep r a c t i c a b i l i t ya n dv a l i d i t yo f l o a db a l a n c i n gp o l i c yh a sb e e na p p r o v e dw i t hl a b o r a t o r i a ls i m u l a t i o ni n 鲥dc o m p u t i n ge n v i r o n m e n tb yt h i st h e s i s k e y w o r d s ：g r i dc o m p u t i n g ；l o a db a l a n c i n g ；a u t o a d a p t i v ea l g o r i t h m ；d i s t r i b u t e dc o m p u t i n g ；g r i dm i d d l e w a r ei l独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：耋盛季日期：关于论文使用授权的说明本学位论文作者完全了解江南大学有关保留、使用学位论文的规定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。签名：导师签名：j 壁晕鼻粤一日期：乙8 b 1 3第一章前言第一章前言1 1 研究背景与意义当今，随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任数据密集型和计算密集型等超大规模应用问题的解决。另一方面，分布在世界各地的大型计算资源、存储资源、数据资源和价格昂贵的高精密仪器等资源也存在着使用效率不高的问题。因此，迫切需要将地理上分布、系统异构的各种相关资源通过高速网络连接起来，协同解决大型应用问题。1 1 1 网格计算研究现状和发展趋势早在1 9 9 8 年，科学家就对网格计算进行了宏观定义i m l l1 ：网格计算足一个硬件和软件的基础设施，它提供了可靠的、一致的、普遍的以及廉价的方法来获得高端的计算能力( f o s t e r & k e s s e l m a n ，1 9 9 8 ) 。在过去的几年中，全世界对计算性的网格计算产生了极大的兴趣，得到了迅速发展。网格计算主要包括计算网格( c o m p u t e rg r i d ) 、数据网格( d a t ag r i d ) 、科学网格( s c i e n c eg r i d ) 、访问网格( a c c e s sg r i d ) 、知识网格( k n o w l e d g eg r i d ) 、集群网格( c l u s t e r g r i d ) 、大地网格( t e r r ag r i d ) 以及商品网格( c o m m o d i t yg r i d ) 等。国外相关的研究主要有：欧洲数据网格，其目标是以欧洲粒子中心从t e r a b y t e 至i jp e t a b y t e 规模数据为中心，为世界范围内分布的科研团体提供的数据分布存储、传输和计算密集型分析处理的能力，实现卫星数据地理数据在全球范围内共享的系统原型研究。研究内容主要包括：数据访问、数据副本管理、元数据管理、数据安全、查询优化、资源调度和管理等。另外，国外较有代表性的网格计算项目1 3 l 包括：实验床( h t t p ：w w w d i s t r i b u t e d n e t ；h t t p ：w w w s e t i a t h o m e s s l b e r k e l e y e d u ) 、g i o b u s 项目( h t t p ：w w w g l o b u s o r g ) 、l e g i o n 项目( h t q p ：朋e 舀o n v i r g i n i a e d u ) 、g l o b e 项目( h t t p ：c s v u n l - s t e e n g l o b e ) 、n e t s o l v e 项目( h t t p ：w w w c s u t k e d u n e t s o l v e ) 、j a v a l i n 项目( h t t p ：w w w c s u c s b e d u r e s e a r c h j a v a l i n ) 等。在国内，中科院资源与环境系统国家重点实验室承担的，主题为“面向网格的空间信息组织、智能计算与综合建模技术”的项目，主要研究在网格技术支持下，以空间信息系统为前提，探索以空间信息网格中间件为基础g r i d g l s 体系结构，并开展联邦数据库、空间计算环境和虚拟地理环境前沿技术的研究，并开发适用于网格计算体系结构的g i s 中问件，实现面向网格大型g i s 的技术创新，为中国g i s 的跨越式发展提供了新的研究方向。目前国内正在进行的网格研究项目1 2 1 1 3 】还有：( 1 ) 8 6 3 计划支持的国家高性能计算环境一计算网格的建设，有多家单位参加。它主要研制网格系统软件和开发网格应用，开发一套具有自主知识产权的网格软件。( 2 ) “中国教育科研网格”由中国教育部2 0 0 3 年1 0 月份启动，将连接国内上百所高等院校，主要研究基于网格核心中间件的网格服务支撑平台。( 3 ) “仿真网格”的研究由航天二院和清华大学共同开展。( 4 ) “织女星网格”由中江南大学硕士学位论文科院计算所开发，侧重于计算网格和信息网格。另外，全国还有几十所大学和研究机构已经开展各种网格研究。可以看出，网格研究在国内得到高度重视并迅速展开。网格技术未来的发展趋势：一方面，为了实现网格资源间的相互操作，从而实现广泛的资源共享，要求资源之间具有统一的访问接口。另一方面，为了方便用户使用，屏蔽资源细节，必须提供给用户一个统一的界面。因此，标准化将是网格的一个发展趋势。标准化有利于规范和统一目前大量的网格技术研究。网格技术的应用也发生了很大的变化，网格正从以科学计算为主，向市场更大和应用面更宽方向发展。信息集成( 如信息网格、服务网格、知识网格等) 将是最近几年网格最可能流行起来的应用方向。2 0 0 2 年2 月2 0 日，g l o b u s 联盟和i b m 在全球网格论坛上发布了开放性网格服务架构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 及其详细规范o g s i( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ) l ，把g l o b u s 标准与支持商用的w e bs e r v i c e s 的标准结合起来。2 0 0 4 年1 月2 0 日，g l o b u s 联盟、m m 和肿等又联合发布了新的网格标准草案w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) ，干脆把o g s i 转换成了6 个用于扩展w e bs e r v i c e s 的规范。这时，网格服务已经与w e b 服务彻底融为一体了。这标志着网格已经调整好方向，将信息集成作为第一目标。这一进步，标志着网格商用化的时代将要来临。此外，网格技术本身的重点将集中在网格系统软件和工具软件的研究与实现上，作为未来网络的基础设施。因此，需要开发大量的网格软件来支撑网格环境，但是网格系统软件仍存在大量问题需要妥善解决。1 1 2 网格计算研究目的和意义网格计算实际上是利用互联网将分散与不同地域的计算机组织起来，成为一个虚拟的“超级计算机”i 4 1 。每台参与的计算机就是一个“节点”，成千上万的节点组合起来，成为一张“网格”。因此网格计算具有独特的优势：一是数据处理能力超强，另一个是能够充分地利用网络中的空闲计算能力，从而实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源等全面的共享。网格的这些优势证实了它有很人的生命力，能够满足今后在各个领域不断要求复杂计算的需求。网格计算对信息化进程具有相当重要的作用，凭借其固有的资源共享和协同工作能力，网格不仅可以实现计算资源的最大化共享和应用，避免资源浪费，更能够降低应用人才的门槛、应用开发难度和应用运行成本，促使信息化实现本质上的飞跃。1 1 3 负载均衡的研究现状随着i n t e m e t 的发展，如何提供高质量、高效率的服务己成为企业和网站运营商迫在眉睫的问题，常用的方法就是提高服务器的性能和网络带宽，而随着网络通信技术的发展，服务器性能越来越成为技术发展的瓶颈。为了满足提高服务器性能的需求，许多商业机构和非盈利组织进行了大量的研究工作，提出了许多负载均衡技术1 4 j 1 5 】1 7 1 。( 1 ) 基于网络的负载均衡常见的基于网络的负载均衡技术有两类，即域名调度( d n s ) 技术和负载均衡器( 1 0 a db a l a n c e r ，或称为分发器) 技术1 4j 。2第一章前言基于d n s 的集群技术是最早的负载均衡技术。在d n s 中为多个地址配置同一个名字，每个地址对应一个服务节点，因而查询这个名字的客户机将按某种映射算法( 如轮转)得到其中一个地址，使得不同的客户通过同样的名字却访问不同的服务节点，从而达到负载均衡的目的。例如，当一个客户程序请求d n s 解析主机名时，d n s 可为每一个请求随机地选择一台服务器以指派不同的i p 地址，从而将客户请求分散到不同的后台服务器去处理。又如，路由器也可以基于当前的负载情况，将一个t c p 流绑定到任意的后台服务器，并在整个流的传输过程中都使用该绑定。d n s 负载均衡技术过于简单，它不能区分服务节点的差异，也不能反映服务节点的当前运行状态。d n s 负载均衡的另一个问题是，一旦某个服务器出现故障，即使及时修改了d n s 设置，还是要等待足够的时间( 刷新时间) 才能发挥作用。在此期问，保存故障服务器地址的客户计算机将不能正常访问服务器。基于负载均衡器技术，通过专用的负载均衡器来接受用户请求，然后根据所有服务节点的处理能力和现状，为了提供最短的响应时间，选择剩余服务能力最强的服务节点。它克服了d n s 技术不能区分服务节点的差异和运行状况的缺点，但是由于它承担了太多的计算任务，在高负载时，容易成为整个系统的瓶颈，从而活锁服务节点( 服务节点实质上并不忙，而负载均衡器忙于计算由哪个节点来处理却迟迟不把客户请求转发给服务节点) 。支持大量访问的w e b 站点经常使用基于网络的负载均衡。路由器在i s o o s i 参考模型的网络层( 第三层) 执行负载均衡，通过i p 地址主机名确定如何转发数据包，又称第三层交换技术。d n s 在i s o o s i 参考模型的传输层( 第四层) 执行负载均衡，使用通信端口等信息确定如何转发数据包，又称第四层交换技术。目前市面上的许多第三层或第四层交换机都提供负载均衡功能。然而，基于网络的负载均衡未能考虑每个用户请求的内容，而且也未能获得服务器反馈的当自i 负载值，因此执行负载均衡任务时有较大的局限性。例如，d n s 一般采用循环策略( r o u n dr o b i n ) 依次分派不同的i p 地址，未能考虑不同服务器之间的差异，故此这种技术实现的负载分配未必合理；采用循环策略的d n s 还可能将一个请求分配给一个无法正常提供服务的服务器，导致系统的可靠性降低。( 2 ) 基于操作系统的负载均衡分布式操作系统通过集群机制实现这一层次的负载均衡，集群是提高系统可用性与整体性能的有效手段。集群负载均衡即将多台服务器用局域网联结成一个局域集群( 也有称其为“并行服务器集群”) ，或由多个局域集群在地理上广域分布形成的广域集群。服务器集群方案相对成本更低、灵活性更大、可靠性也更高。一个分布式应用系统通过采用服务器集群集，可将多个服务器组合在一起来提高整个系统的处理能力。分布式操作系统保证了进程可在集群中的不同的计算机之间透明地分布，从而将负载较重的计算机上的任务调度到负载较轻的计算机上执行，使系统的整体处于均衡，增加了系统的可靠性。集群系统通常支持进程迁移( p r o c e s sm i g r a t i o n ) 。进程迁移机制允许将一个正在运行的进程从集群中的一个服务器透明地转移到另一个服务器上，迁移后的进程仍能3江南人学硕j ：学位论文从原中断出继续执行。采用进程迁移不仅可实现集群的负载均衡，而且还可将故障服务器上的进程迁移到其它的服务器中，从而实现故障恢复并提高系统的可用性。与基于网络的负载均衡类似，由于负载均衡的策略未考虑应用层的不同特征，基于操作系统的负载均衡提供的服务质量( q o s ) 也受到很大限制。例如，负责执行负载均衡功能的负载均衡器无法确定某一个对象副本是否应该接受更多的请求，因为这些对象副本并不会将负责相关的信息反馈给负责均衡器。另外，基于操作系统的负载均衡过于依赖特定的操作系统平台，难以集群不同的软件、硬件平台的服务器，降低了分布式应用系统的可移植性。( 3 ) 基于中间件的负载均衡基于网络和基于操作系统的负载均衡机制都具有不同程度的限制。相比之下，基于中间件的负载均衡策略不仅可以结合以上两种机制同时使用，而且还可建立在不同的商品化的网络与操作系统上。由于中间件在执行负载均衡时可参考更多的应用程序特征，执行效果相对较好。在c o r b a 体系结构中，o r b 中间件允许客户在分布式对象上引用操作，却无需关心对象的位置、编码种类、操作系统平台、传输协议、互动连接以及硬件设施。c o r b a 体系结构中的基于中间件的负载均衡机制是作业对象可以不直接与系统底层接触，降低了耦合性，使开发人员不必关系系统结构而直接实现业务逻辑也能够很好的控制作业的执行状态，从而提高了系统的稳定性和可靠性。基于中间件的负载均衡结构如图1 1 所示。图l - 1 基于中间件的负载均衡结构f i g 1 - 1l o a db a l a n c i n gs t r u c t u r eb a s e do nm i d w a r e1 1 4 网格计算中负载均衡的重要意义网格计算是人们正在研究的利用网络并联合分散在网络中各个区域的空闲资源来为网格系统应用软件服务，从而解决大量复杂计算的科学问题。它从世界各地集合了丰富的计算资源从而形成强大的计算能力来协助科学领域大量复杂任务的计算1 4 】【7 j 。因此，相对于传统的分布式计算系统来说，网格计算提供了更大范围的资源共享，改善了资源的利用和广域互联网的访问环境。在网格环境中，有许多节点经常空闲并可以提供计算资源共享，但是有些不行。当选择节点来执行任务时，如果一个不能胜任的节点被选中，就要重新去分配和执行任务，有时经常发生这种情况，这样就大大降低了系统的执行性能。在这种的情况下，使用负载均衡技术来增强系统的伸缩性、可靠性、有效性就成为4第一章前言迫切需要解决的重要技术问题。负载均衡建立在现有网络中，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：( 1 ) 解决网络拥塞问题，就近提供服务，从而实现地理位置无关性；( 2 ) 为用户提供更好的访问质量；( 3 ) 提高服务响应速度；( 4 ) 提高资源的可利用效率；( 5 ) 避免了网络关键部位出现单点失效。然而，在全统的分布式集群计算机网络中的负载均衡策略和算法在一些方面不能满足庞大的网格环境的需求，具体有：( 1 ) 服务单一性，只能从一个或者有限的几个点获得服务，而在网格中任何节点都能够提供服务( 有些有时不能提供服务) ；( 2 ) 缺乏负载均衡服务的透明性，难以提供跨网络、跨区域、异构系统透明性的服务和交互功能；( 3 ) 部分服务器一旦出错或者崩溃，影响整个服务，降低了系统可靠性；( 4 ) 缺乏负载均衡算法的可扩展性，不同的应用服务对负载有不同的要求，不能为客户端定制不同的负载均衡策略。1 2 本文研究的内容及意义1 2 1 基于c o r b a 的层次式自适应负载均衡策略的提出网格计算是分布式计算的一种。而c o r b a 作为分布式应用平台中功能最强大的标准中间件，与网格技术必然存在着某些可以相互借鉴的地方1 9 1 。c o r b a l 5 】【9 】【1 0 】【1 1 1 ( c o m m o no b j e c tr e q u e s tb r o k e ra r c h i t e c t u r e 公共对象请求代理体系结构) 是由对象管理组织o m g ( o b j e c tm a n a g e m e n tg r o u p ) 1 9 9 0 年提出的，目前可以说是功能最强大的分布式应用体系结构规范。c o r b a 是一种软总线结构，它将面向对象思想和客户h i 务器结构结合起来，提供了一套对象问实现透明地发送请求与接受响应的机制。它由四部分组成，其参考模型【8 】如图1 2 。理用对象公共设施t卅卜对象请求代理( o r b )：q 象服哆图1 - 2c o r b a 结构参考模型f i g 1 - 2s t r u c t u r er e f e r e n c em o d e lo fc o r b a江南人学硕i ：学位论文对象服务( o b j e c ts e r v i c e s ) ：这是一组服务( 接口和对象) 的集合，它为使用和实现对象提供一组基本功能，简单地说，它使得对象的实现以及对对象的使用成为可能。这种服务在构建任何分布式应用时都是必须的，它独立于程序语言及具体领域。例如，生命周期服务定义了如何创建、删除、复制和移动一个对象，但它并不关心该对象的具体实现。公共设施( c o m m o nf a c i l i t i e s ) ：为许多应用提供的共享服务的集合。相对于对象服务而言，对象服务面向构件本身，而公共设施更接近用户层。应用对象( a p p l i c a t i o no b j e c t s ) ：相当于传统概念中的应用程序。对象请求代理o r b ( o b j e c tr e q u e s tb r o k e r ) ：o r b 是o m g 对象管理体系o m a ( o b j e c tm a n a g e m e n ta r c h i t e c t u r e ) 的基础，它负责部件问的通信。由它来提供对象间的互操作，使不同对象在分布环境和独立于对象实现的平台之间进行交互。这些对象可以是用不同的语言编写实现的，也可以运行在分布异构环境下不同的平台上。但是，相对于网格计算，c o r b a 具有如下不同特征：( 1 ) 具有部分整合性c o r b a 规范是致力于分布式异构环境下的各类应用系统的集成，通过制定种规范，所有符合该规范的产品以及应用之间就可以相互调用，实现了软件级别的共享与整合。然而，网格的思想是将所有资源的全面整合，而且其最核心的思想是计算资源的整合，即包括网络节点上的c p u 、内存等资源的整合。因此，c o r b a 只能说是具有部分整合性，这也是它与网格思想最巨大的差别所在。( 2 ) 异构性好通过对c o r b a 结构分析可知，c o r b a 结构实现了很好的平台无关性，也就是说，对异构环境下的应用支持非常好。( 3 ) 不具有动念自适应性目前的c o r b a 版本只支持对象引用的调用，所有对象间的通信都是通过对象引用完成的。对象实现只存在于所在的节点，有请求发起时，不管该节点的状态如何，都只能由该节点完成该请求的执行操作。这点对于网格思想也是格格不入的，网格的精髓在于充分利用网络的空闲资源，合理调度任务，具有高度动态自适应性。当拥有对象的节点忙时，应该有机制地分配到网络上其他空闲节点上，共同完成任务。( 4 ) 可扩展性好c o r b a 采用面向对象的思想，所以系统扩展性很好。由于c o r b a 具有以上特征，所以在支持网格计算中存在不足。为了弥补这些缺点，提出基于c o r b a 的网格计算模型，如图1 3 。6第一章前言图1 3 基于c o r b a 的网格计算模型f i g 1 - 3g r i dc o m p u t i n gm o d e lb a s e do nc o r b a虽然目前大部分c o r b a 产品都仅支持到c o r b a 2 版本，只能靠对象引用来传递对象，但c o r b a 3 的新特性中已经增加了用值来传递对象1 引i i2 】【1 3 】的功能。该模型中采用这一标准，因为只有通过用值来传递对象的手段才能实现动念自适应性以及计算资源的共享。o r b 监测到对象实现所在的节点币忙时，可以通过传值的手段传到空闲节点上完成该任务。否则，通过引用传递，对象实现的实体仍然只能在拥有它的节点上执行，不可能实现动态调度。当空闲节点在帮助其它节点执行操作时，有可能在操作未完成的情况下，同时发生了本地操作请求。这时，为了满足网格计算不影响各节点本地的管理和自主性，本地资源应该归还给本地使用。归还的时机如何判定? 需要有一种合理的计算粒度。但是，很显然，对象请求作业的长短以及本地何时需要使用本地资源的情况都是随机的，不可能存在一种判定机制，由此，也不可能产生一种合理的静态计算粒度。这时，需要根据本地资源的使用情况来动态判定，即粒度自适应机制【l 。一旦有本地请求发生，则保护对象执行的现场，将未完成的对象操作连同现场一起归还给o r b ，同时释放所占用的计算资源。这时，o r b 接收到一个新的请求，不同于常规的仅在于这个请求是执行了一部分的请求，o i 也需要再次监测合适的空闲资源，开始新一轮的调度执行。通过以上论述分析，该模型充分利用了c o r b a 的优势，针对网格计算的特点对其加以改进，实现了网格计算的基本核心思想，使得网格计算可以利用c o r b a 现有成熟的机制和产品基础，为网格计算的推广和发展开辟了广阔的日订景。但是，同时增加了系统额外开销，需要占用更多的系统空间来存储节点状态信息。因此，本文结合网格计算和c o r b a 的特征，通过对c o r b a 模型的改进，并根据网格层次结构特点，提出基于c o r b a 的层次式自适应负载均衡策略。1 2 2 本文研究意义随着网格技术不断发展，网格即将在全世界普及为人们服务。为了高效实现大量广域的资源共享和异构的透明的计算服务，网格计算离不开一项重要的技术支持一负载均衡策略。负载均衡策略提供优良的资源分配方案和策略，从而使整个网格有效的运行。因此，解决和完善网格环境中的负载均衡具有重要意义。本文提出的基于c o r b a 的层次式自适应负载均衡策略在以下几个方面提高了网格计算系统性能：江南人学硕：f ：学位论文( 1 ) 结合c o r b a 体系结构的强大功能，改进其在满足网格计算特征的不足，大大增强了系统的透明度和实用性。( 2 ) 结合网格计算的特征，避免了全统分布式计算的负载均衡技术的不足，通过动态检测节点状态，避免单点失效，将失效节点的任务及时转移到其他空闲节点，增加了系统的稳定性。同时也避免了硬件升级的费用，具有很高的伸缩性。( 3 ) 中间件层的负载均衡结构，屏蔽了底层通信复杂性和操作系统间的差异，增强了系统的可移植性。( 4 ) 提出层次式负载均衡算法，结合静态和动态负载均衡策略的优缺点，弥补了单种策略带来的不足，提高了负载均衡效率。通过仿真模拟验证，此负载均衡算法运行较为理想，整个系统比较稳定，作业执行时间、单位时间执行作业数、作业重新执行数比动态自适应负载均衡策略有一定优势。8第二章网格计算及网格中间件简介第二章网格计算及网格中间件简介2 1 网格计算概念及其特点网格计算【l 】【2 】【3 1 ( g r i dc o m p u t i n g ) 是伴随着互联网而迅速发展起来的，专门针对复杂科学计算的新型分布式计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每台参与计算的计算机就是一个“节点”，而整个计算是由成千上万“节点”组成的“一张网格”，所以研究者把这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机有两个优势2 l 【3 】【5 】：一个是数据处理能力超强；另一个是能充分利用网上的空闲处理能力。简单地说，网格计算就是通过网络连接强大计算资源，形成对用户透明的超级计算环境；它是一种信息社会的网络基础设施，将实现互联网上所有资源的互联互通，包括：计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。网格将连通一个个信息和资源孤岛，让人们的工作和生活变得更方便。网格计算的构想来源于电力供应网( p o w e rg r i d ) 。电力供应网的原意是电力供应商根据用户的需要供应电力，消费者只需支付自己使用的那部分电费。网格计算也希望就像人们同常生活中从电网中获取电能一样从网络中获取高性能的计算能力1 1 1 。网格作为一种新出现的重要基础设施，和其它系统相比，有其重要的特征【l 】【6 】如下：( 1 ) 整合性( u n i t e d ) ：从网格计算的核心思想来看，它的出发点就是通过互联网将全世界的p c 整合成一台“超大型计算机”，实现所有资源的共享。这些资源包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。( 2 ) 分布性与异构性( d i s t r i b u t e da n dh e t e r o g e n e o u s ) ：网格系统由分布在i n t e r n e t 上的各类资源组成，包括各类大型机、工作站币i - i p c 机，它们是异构的，可运行在u n i x w i n d o w s l i n u x m a c 等各种操作系统下，也可以是上述机型的机群系统、大型存储设备、数据库或其它设备。( 3 ) 动念性( d y n a m i c ) ：组成网格系统的资源不是一成不变的，而是动态变化的，随着时间的推移，原先不在网格上的资源有可能连接到网格上，原先在网格上的资源由于故障或其它原因有可能不再可用。也就是说，资源可以根据需要添加到网格中，或从网格中删除。“) 可扩展性( e x p a n s i b i l i t y ) ：网格的思想是开放的，能适应网格资源规模不断扩大、应用不断增长的情况。( 5 ) 自治性与多重管理性( a u t o n o m ya n dm u l t i a d m i n i s t e r ) ：网格上的资源是属于不同的组织或个人的，资源的拥有者应该拥有对资源管理的最高权限。简之，网格是高性能计算机、数据源、因特网三种技术的有机组合和发展。它与因特网相比具有高性能、一体化知识生产、资源共享等技术优点。9江南人学硕j j 学位论文2 2 网格体系结构及其实现平台网格体系结构是建立、管理和使用跨组织的动态虚拟组织共享关系的新技术。到目前为此，比较重要的网格体系结构有两个，一个是i f o s t e r 等在早些时候提出的五层沙漏结构，然后就是以i b m 为代表的工业界影响下，在考虑到w e b 技术的发展与影响后，i f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务体系结构( o g s ao p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 【l 】【2 1 。2 2 1 以协议为中心的五层沙漏结构动态资源共享是网格计算最重要的特点，实现资源共享需要支持互操作，而实现互操作则需要定义相互遵守的协议，用来描述信息的格式和信息交换的规则。五层沙漏结构根据各组成部分离共享资源的距离，将对共享资源进行操作、管理和使用的功能分散在不同的层次中，越向下层就越接近共享的物理资源，与特定资源相关的成分就越多；越向上层就越感觉不到共享资源的细节特征，也就是说上层是更加抽象的共享资源的表示。五层沙漏结构1 1 】【2 】【3 1 将协议至下而上分为五层：构造层( f a b r i c ) 、连接层( c o n n e c t i v i t y ) 、资源层( r e s o u r c e ) 、汇聚层( c o l l e c t i v e ) 和应用层( a p p l i c a t i o n ) ，如图2 1 所示。沙漏模型i望圣墨l五层协议结构图2 - 1 网格计算的沙漏模型和五层协议结构f i g 2 - 1s a n d g l a s sm o d e lo fg r i dc o m p u t i n ga n df i v e - l a y e rp r o t o c o ls t r u c t u r e构造层是网格中可以被共享的资源所在的层，该层包括计算设备、目录、分布式文件系统、计算机群集、网络、传感器、贵重仪器以及其它设备。连接层是网格中处理通信与授权控制的核心协议层，构造层的各种资源间的数据交换都是在这一层的控制下实现。各资源间的授权验证、安全控制也在这里实现。资源层的作用是对单个资源实施控制，与可能资源进行安全握手，对资源进行初始化，监测资源运行状况，统计与付费有关的资源使用数据。汇集层的作用是将资源层提交的受控资源汇集在一起供应用程序使用。应用层包括用户代码和网格调用两部分，网格应用可以调用网格各低层提供的有用服务，如资源管理服务、数据访问服务、资源发现服务等。这种模型的一个显着特点就是沙漏形状_ 两头大，中间细”，突出体现了用中间较细的部分把两头较大的部分连接为一个整体的特点。图2 1 的沙漏模型就是用中间的核1 0第二章嘲格计算及网格中间件简介心服务把上下两端较多的对象连接起来，其好处是做一个很细的中间核心部分，把大量的两端对象连通，避免了用不同的方法把两端不同的对象连接起来需要付出的大量工作和繁重劳动。在减少连接工作量的同时，有利于防止出现错误，也有利于系统的调试和修改。2 2 2 以服务为中心的开放网格体系结构( o g s a )人们研究中发现，很多情况下复杂任务或者应用很难分解成标准而低级的基本协议，而且人们在解决问题时也不习惯于按照协议的方式来进行，因此在五层沙漏结构的基础上结合w e bs e r v i c e s 提出了以服务为中心的o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e 开放网格服务体系结构) 结构【l 】【2 】【3 】【8 1 。它也是继五层沙漏结构之后最重要，目前最新的一种网格体系结构，所以称之为新一代网格结构。o g s a 最突出的思想就是以“服务”为中心。在o g s a 框架中，将一切都抽象为服务，包括计算机、程序、数据、仪器设备等。这种观念，有利于通过统一的标准接口来管理和使用网格。在五层沙漏结构中强调的是被共享的物理资源，而在o g s a 中，服务的概念更广，包括各种计算资源、存储资源、网络、程序、数据库等等，简而言之，一切都是服务。为了使服务的思想更加明确和具体，o g s a 定义了网格服务( g r i ds e r v i c e ) 的概念，网格服务是一种特殊的w e bs e r v i c e ，该服务提供了一组接口，这些接口的定义明确了服务发现、动态服务创建、生命周期管理、消息订阅、通知发送等问题。基于网格服务的概念，o g s a 将整个网格看作是“网格服务”的集成，但是这个集成不是一成不变的，是可以扩展的，网格应用环境中会产生大量临时性短暂服务，这正反映了网格的动态特性。网格服务除了上面提到的动态特征外，还具有下面的特点：网格服务实例具有有效生命周期，定义服务的生命周期可避免由于各种故障而导致的某个服务长期占用资源的情况，从而使服务所占用的资源得到及时释放。另外网格服务是可以独立升级的，这样客户不仅可以发现特定版本的服务，还可以发现与之兼容的服务。网格服务的标准接口不依赖于具体的实施和运行环境，一个网格服务可以部署在不同的运行环境中，人们常常把网格的运行环境叫做容器。不同的容器包括不同的软件环境、不同的机器型号、不同的操作系统等，甚至也有可能是不同的设备。o g s a 还提供了一种网格安全机制来确定服务间的所有通讯都是安全的。网格服务通过定义接口来完成不同的功能，服务数据是关于网格服务实例的信息，因此网格服务可以简单地表示为“网格服务= 接口行为+ 服务数据”。图2 2 是对网格服务的简单描述。在目前j o g s a 的定义中，只有g r i d s e r v i c e 接口是必需的，而其它的接口比女n n o t i f i c a t i o n s o u r c e 、n o t i f i c a t i o n s i n k 、r e g i s t r y 、h a n d l e m a p 等都是可选的，具体网格服务接口如表2 1 。江南人学硕i ：学位论文服务数据访问显式微销软状态生命周期绑定特性可靠徼活人证一潲：巴黧只-( 可选的)一一图2 - 2 网格服务组成f i g 2 - 2c o m p o s i t i o no fg d ds e r v i c e s表2 - 1 网格服务的接口t a b 2 1g r i ds e r v i c e si n t e r f a c e标准接口：一通知一授权一服务创建服务注册一管理一开发+ 面向特别应用的接口接口操作描述g r i d s e r v i c ef i n d s e r v i c e d a t a查询网格服务实例的符种信息s e t t e r m i n a t i o n t i m e设置并得到网格服务实例的终止时间d e s t r o y终止网格服务实例n o t i f i c a t i o n s o us u b s c r i b e t o n o t i f i c a t i o n t o p i c通知发迭肴进行登记r c eu n s u b s c r i b e t o n o t i f i c a t i o n t o p i c取消登记n o t i f i c a t i o n s i n kd e l i v e r n o t i f i c a t i o n异步发送消息r e g i s t r yr e g i s t e r s e r v i c