（通信与信息系统专业论文）基于opnet的服务器集群负载均衡技术研究.pdf

武汉理工大学硕士学位论文 摘要 随着i n t e m e t 的高速发展和网络应用的爆炸性增长，用户并发访问数量和网 络服务器负载都呈指数性增长，这对服务器的处理能力、响应能力等都提出了 很高的要求。由于服务器的物理内存、c p u 处理速度和操作系统等方面存在限 制，服务器无法满足日益增加的网络流量。为了避免服务器处于超载状态，利 用服务器集群技术和负载均衡技术是一个有效的解决方案。 负载均衡技术有多种实现方式，前人也提出了很多经典的负载均衡算法， 如轮询算法、加权轮询算法、最少连接数算法、加权最少连接数算法等。但这 些负载均衡算法也存在服务器的综合负载表述不够准确、权值手动设置为一个 固定值等不足之处，本文针对已有经典算法的缺陷，做了以下方面的研究： 1 论述服务器集群负载均衡技术的研究意义，并对国内外服务器集群技术和 负载均衡技术的发展趋势做了总结和分析。 2 深入研究服务器集群技术和负载均衡技术，重点论述了i p 层负载均衡技 术的三种实现方式和四种经典的负载均衡算法，并对这些负载均衡方式和算法 的优缺点做了分析和对比。 3 在上述研究的基础上，论述了口层n a t 负载均衡方式的功能模块，分析 了影响负载均衡算法性能的因素，并针对已有经典算法的不足之处提出了一种 新的负载均衡算法一自适应权值最小负载( 简称“a w l l ) 算法。在实现上， 根据服务器的负载状态采取不同的负载均衡策略，并且综合考虑服务器的各项 性能指标和当前活动连接数，更准确的反映服务器负载状态，提高负载均衡算 法的效率和精度。另外，集群系统根据服务器的负载情况动态地调整服务器权 值，再按照权值调节服务器负载，使服务器集群达到负载均衡。 4 基于o p n e t 网络仿真软件在进程域设计自适应权值最小负载算法，实现 进程域、节点域、网络域三层建模仿真，并在相同环境下对多种经典负载均衡 算法进行仿真对比。仿真结果表明，使用自适应权值最小负载算法后服务延迟 明显降低，集群服务器上的负载基本处于一种相对平衡的状态，服务器资源得 到了有效的利用，自适应权值最小负载算法具有一定的高效性和可靠性。 关键词：集群，负载均衡，自适应权值，o p n e t 武汉理工大学硕士学位论文 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o fi n t e r n e ta n de x p l o s i v ei n c r e a s eo fw e b a p p l i c a t i o n ，t h el o a do f s e r v e ra n dt h ev i s i tr e q u e s t sg r o we x p o n e n t i a l l y ，w h i c hm a k e s ah i g h e rd e m a n do ns e r v e r sa b i l i t yt or e s p o n dt ot h er e q u e s t sa n dd e a lw i t ht h e m a s t h em e m o r y , c p up r o c e s s i n gs p e e da n do p e r a t i n gs y s t e m so ft h es e r v e ra r el i m i t e d ，m e s i n g l es e r v e rc a l l a ts a t i s f yt h ed e m a n df o rt h ei n c r e a s i n gn e t w o r kt r a f f i c i no r d e r t o r a i s et h ea v a i l a b i l i t yo fs i n g l es e r v e ra n da v o i do v e r l o a d ，t h el o a db a l a n c i n g t e c h n o l o g yo fs e v e rc l u s t e ri sa ne f f e c t i v es o l u t i o n l o a db a l a n c i n gt e c h n o l o g yh a sm a n ye x i s t i n gw a y so ft r a n s m i t t i n gd a t aa n d s o m ec o m m o ns c h e d u l i n ga l g o r i t h m s ，s u c ha sr o u n dr o b i ns c h e d u l i n g 、w e i g h t e d r o u n dr o b i ns c h e d u l i n g 、l e a s t c o n n e c t i o ns c h e d u l i n g 、w e i g h t e dl e a s t - c o n n e c t i o n s c h e d u l i n ga n ds oo n b u tt h e s ea l g o r i t h m sh a v es o m ed e f i c i e n c y ，s u c ha st h e l o a d d e f i n e di n a c c u r a t e l y , t h ew e i g h ti ss t a t i ca n ds o ，t h ea r t i c l ea i m sa tt h ed e f i c i e n c yo f e x i s t i n gl o a db a l a n c i n ga l g o r i t h m sa n dm a k et h ef o l l o w i n gr e s e a r c h e s ： 1 d i s c u s s e st h es i g n i f i c a n c eo fl o a db a l a n c i n gt e c h n o l o g yo fs e r v e rc l u s t e r , a n d s u m m a r i z et h ed e v e l o p m e n ts t a t u so ft h et e c h n o l o g yo fc l u s t e ra n dl o a db a l a n c i n g ； 2 m a k ead e e pr e s e a r c ho ft h el o a db a l a n c i n gt e c h n o l o g yo fc l u s t e r , e s p e c i a l l y t h r e ee x i g i n gw a y so ft r a n s m i t t i n gd a t ai n t h e i pl a y e ra n dt h ec l a s s i c a l l o a d b a l a n c i n ga l g o r i t h m s ，a n da n a l y z e t h e d i s a d v a n t a g e s a n da d v a n t a g e so ft h e s e a l g o r i t h m s 3 o nt h eb a s i so ft h ea b o v es t u d y , m a k ear e s e a r c ho fm a i nf u n c t i o no fe a c h m o d u l eb yt h en a tw a yi nt h ei pl a y e r ，a n a l y z es o m eo ft h em a j o rf a c t o r sw h i c h h a v ee f f e c to n et h ep e r f o r m a n c eo fl o a db a l a n c i n ga l g o r i t h m ，a n da i m i n ga t t h e d e f i c i e n c yo ft h ec o m m o nl o a db a l a n c i n ga l g o r i t h m s ，t h i sa r t i c l ep u t sf o r w a r da n e w l o a db a l a n c i n ga l g o r i t h m a d a p t i v ew e i g h t e dl e a s t - l o a dm g o r i t h m ( s h o r tf o r “a w l l ”) ，t h a ti s ，t a k ed i f f e r e n ts t r a t e g ya c c o r d i n gt o t h el o a do fe a c hs e r v e r , a n d c o m b i n et h es e r v e rp e r f o r m a n c ei n d i c a t o r sw i t ht h en u m b e ro fc o n n e c t i o n st o r e p r e s e n tt h e l o a do fs e r v e rm o r ea c c u r a t e l y , w h i c hi m p r o v et h ee f f i c i e n c ya n d p r e c i s i o no ft h el o a db a l a n c i n ga l g o r i t h m m o r e o v e r , c l u s t e rs y s t e ma d j u s t st h ew e i g h t 武汉理工大学硕士学位论文 o ft h es e r v e rd y n a m i c a l l ya c c o r d i n gt ot h el o a do fe a c hs e r v e r ，a n ds c h e d u l et h el o a d i na c c o r d a n c ew i t l lt h ew e i g h tt om a k es u r et h a tt h el o a do ft h es e r v e rc l u s t e ri s b a l a n c e d 4 d e s i g n ee a c hs t e po ft h ea w l la l g o r i t h mi n t h ep r o c e s sd o m a i ni nt h e o p n e tm o d e l e rn e t w o r ks i m u l a t i o np l a t f o r m ，m o d e lt h en e t w o r kt o p o l o g y r e s p e c t i v e l yf r o mt h r e el e v e l sw h i c hi sn e t w o r kd o m a i n ，n o d ed o m a i na n dp r o c e s s d o m a i n a n dc o m p a r et h ec l a s s i c a la l g o r i t h m s 、衍t ht h en e wa w l la l g o r i t h mi nt h e s a m ee n v i r o n m e n t t h er e s u l t ss h o wt h a tt h es e r v i c el a t e n c yr e d u c e sg r e a t l yb yu s i n g t h ea w l ll o a db a l a n c i n ga l g o r i t h m ，t h es e r v e rl o a dk e e p si nar e l a t i v e l ys t a b l es t a t e ， a n dt h eu t i l i z a t i o no ft h es e r v e rr e s o u r c ei n c r e a s e so b v i o u s l y i tr e v e a l st h a tt h e a w l la l g o r i t h mw o r k se f f i c i e n t l ya n dr e l i a b i l i t i l yt os o m ee x t e n t k e y w o r d s ：c l u s t e r , l o a db a l a n c i n g ，a d a p t i v ew e i g h t ，o p n e t i i i 武汉理工大学硕士学位论文 第1 章绪论 1 1 课题研究背景及意义 课题来源：自选 随着计算机网络和信息技术的飞速发展，越来越多的服务和应用都是围绕 着万维网进行。万维网逐渐从一种内容发送机制成为一种服务平台，将图形、 文本、音频、视频等表现形式融为一体，给人们提供图文并茂的网上信息。i n t e m e t 在政治、经济、文化等领域都深刻地影响和改变着人们的生活，成为人们信息 获取、商务交易、交流沟通、网络娱乐等各方面不可或缺的工具。同时，随着 移动互联网与创新应用的发展，i n t e m e t 用户及流量都呈爆炸式地增长【l 】。 根据c n n i c 第2 9 次中国互联网络发展状况统计报告显示，截止到2 0 11 年1 2 月底，中国网民规模达到5 1 3 亿，全年新增网民5 5 8 0 万。互联网普及率 较上年底提升4 个百分点，达到3 8 3 。同时，我国网民的互联网应用习惯出现 显著变化，即时通信替代搜索引擎成为2 0 1 1 年中国网民第一大网络应用，使用 率增至8 0 9 ，包括新型即时通信、微博等在内的新兴互联网应用迅速扩散。据 统计，新浪微博每天发博数超过2 5 0 0 万条，每天为所有的合作伙伴带来3 0 0 0 万以上的流量。另外，电子商务类应用稳步发展，网络购物、网上支付、网上 银行和在线旅行预订等应用的用户规模全面增长。据调查，自2 0 1 1 年末全国火 车票在线预订服务开通以来，2 0 1 2 年1 月5 日起，1 2 3 0 6 网站连续5 天日均点 击数超过l o 亿次，集中在早8 点到1 0 点放票期间，每秒p v 在高峰时甚至高达 上千万。1 2 3 0 6 网站因为负载过重而多次出现“当前访问用户过多，请稍候重试! 等提示，极大地影响了网友的火车票在线订购成功率。这些数据无不说明了多 用户并发式访问和瞬时流量冲击对网络的影响。由此可见，随着物联网、云计 算、移动数据通信技术等下一代互联网的发展，i n t e r n e t 流量的增长将更加 迅猛，网络的负载将更加繁重【2 】。 以前，人们通过升级单台服务器来解决网络负载问题，但这种方式在建设 和维护大型网络服务时也面临着巨大的考验。一般来说，一台专用服务器能够 支持3 0 0 0 - - 5 0 0 0 个并发访问，千兆以太网服务器难以使其吞吐率达到1 g b ，所 以人们希望当网络负荷不断增长时，系统能够通过扩展来实现服务要求【3 】。 武汉理工大学硕士学位论文 首先，网络用户和业务的爆炸式增长，以及大量服务使用动态主页、c g i 等c p u 密集型应用，使服务器的性能要求越来越高，而由于处理速度、内存访 问速度等条件的制约，单台服务器并不能彻底地解决网络负荷过高的问题。并 且，单台服务器的升级不仅需要对协议栈( t c p i p ) 、操作系统、处理器等做 更深入的研究，还容易碰到服务器硬件性能极限等技术瓶颈【4 1 。另外，越高端的 服务器所花费的代价越大，服务器性能的升级远远赶不上i n t e r n e t 流量的增长。 其次，服务器升级会带来其他后续问题，例如升级过程繁琐，切换服务器 会造成服务中断，影响服务质量甚至带来巨大的经济损失。另外，单台服务器 的升级会弃用原来旧的服务器，造成原有资源的浪费。 另外，单台服务器是单一故障点，发生故障的风险高，造成的后果也更严 重，一旦该服务器或应用软件失效，整个服务都会中断，从而无法保障网络的 高可靠性。 由于以上原因，单台服务器性能的提升并不能彻底解决网络负载过高的问 题，建立高可用性和可伸缩性的服务器系统是满足日益增长的负载需求的有效 方式。为此，提出了用多台服务器组成一个虚拟服务器系统的技术方案，以解 决大量用户并发访问的问题，这种技术被称为服务器集群【5 】。负载均衡技术是由 多台服务器组成一个服务器集群，每台服务器都可以单独、透明地对外提供服 务，它为爆炸式发展的因特网提供了一种易于扩展处理能力，是一种具有较高 性价比的网络服务器解决方案。目前，负载均衡技术在中国移动通信、银行以 及b a i d u 、s o h u 等大型网站得到了实际应用。 本文研究了服务器集群的负载均衡技术，期望在现有的i p 网络架构上扩展 系统的性能，运用现有的服务器组成一个服务器集群，为不断增长的用户并发 请求提供服务，同时提高整个服务器集群的资源利用率和业务吞吐量。 本课题的研究意义在于：学习服务器集群负载均衡技术的实现方法和原理， 通过对负载均衡算法的研究，提出一种更高效可靠的负载均衡机制，对服务器 的并发请求进行负载均衡。此机制允许将用户端的连接请求均匀、科学地分配 到服务器上，从而给用户提供更满意的服务。 1 2 国内外研究现状 1 9 9 4 年美国u i u c 大学n c s a 首次在“n c s as c a l a b l ew e bs e r v e rc l u s t e r 系统中提出了服务器集群的概念，后来r i c e 大学、波士顿大学、c i s c o 公司及i b m 2 武汉理工大学硕士学位论文 公司等也参与了该项研究，使服务器集群的研究得到了进一步的发展【6 1 。 随着集群技术的发展，从1 9 9 6 年负载均衡研究处于起步阶段到目前各种负 载均衡算法的提出，负载均衡技术的研究和应用越来越广泛。国际上越来越多 的大公司投入研制负载均衡产品，例如i n t e l 、s u n 、c i s c o 、f o u n d r y 、f 5 n e t w o r k s 、 华为、深信服等。他们生产的负载均衡设备多种多样，如c o y o t ep o i n t 、h y d r a w e b 公司是将两块网络适配器集成到p c 机中来实现负载均衡的功能，a l t e o n 、 a r r o w p o i n t 公司则是在交换设备中集成负载均衡功能f 7 1 ，研制负载均衡专业设备 的公司更是不在少数，典型的产品有f 5b i g i p 、深信服公司出品的梭子鱼、h 3 c 公司开发的多业务负载均衡交换机等。 另外，目前市场上主流的负载均衡产品存在着内部结构复杂、服务开销大、 费用高昂等问题，国内外学者围绕如何设计一款高效可靠、简单易用、性价比 高的负载均衡产品，对负载均衡的理论和技术展开了深入研究。近几年提出的 负载均衡算法有： 伊朗的m i r r e z a e i ，s i ，s h a h p a r i a n , j 和g h o d s i ，m 等在2 0 0 9 年针对p 2 p 系 统提出了一种基于拓扑意识的负载均衡算法。在算法的实现过程中，每一个服 务器节点都从物理邻近节点收集邻近负载信息，并根据基础网络的拓扑结构进 行虚拟服务器的再分配，以实现节点的覆盖。因此它提供了一种快速收敛的负 载均衡，减少了负载传递成本，提高了密集覆盖节点间的负载均衡性能，降低 了负载转移成本，节省了网络带宽i 引。 英国的y i t u n gf c h a r t ，c h a r l e sa s h o n i r e g u n 和g a l y n aa a k m a y e v a 等在 2 0 0 9 年提出了一种基于三层对等网络拓扑结构的l b m m 负载均衡算法。通过设 置阈值，每一项待处理任务可以被迅速的指向合适的服务节点。本文l b m m 算 法结合o l b ( o p p o r t u n i s t i cl o a db a l a n c i n g ) 算法和移动代理机制来处理分配任 务，达到提高任务完成效率、减少节点处理时间的目的。在算法实现的过程中， 利用移动代理机制收集相关资源信息，利用o l b 算法将任务分割成多个子任务， 针对节点的不同特性和任务完成时间，采用l b m m 算法将资源分配到各节点， 使任务执行时间最矧引。 韩国的c h o i ，d o n g j u n ，c h u n g ，k w a n gs i k ，s h o n ，j i n g o n 等在2 0 1 0 年提出了一 种基于w 曲服务器集群的改进的加权最少连接数算法。该算法使网络请求被分配 到新的服务器节点，而不是最大连续分配号码。当收到连接请求时，该算法从 真实服务器调度列表中选择并启动新加入的服务器，然后将新节点添加到w r e b 服务器集群。该算法使集群服务器避免过载，维持负载均衡状态【1 0 1 。 3 武汉理工大学硕士学位论文 美国的a l i ，s h o u k a t ，e s l a m n o u r , b e h d i s ；，s h a h ，z e h r a 等在2 0 11 年介绍了一种 称为o n m a c h i n e 负载均衡机制，它要求资源分配算法在机器上分配大小相似的任 务，除了一些主要性能优化措施，如任务完成时间和平均响应时间。o n - m a c h i n e 负载均衡机制使所有资源都以相似的时间完成任务，来实现资源的负载均衡。 这种规则与传统的a c r o s s t h e m a c h i n e s 负载均衡机制相比，资源分配更合理，对 任务处理时间有更好的容忍性【l 。 马来西亚的j a yw y l i m ，p o ok u a nh o o n g ，e n g t h i a my e o h 等在2 0 1 2 年提 出了一种基于异构集群分散负载的启发式邻居选择算法。在该算法中，当超载 节点发起分散负载均衡策略时，每一个发送节点都需要读取相邻节点工作状态 的预设列表，一旦超载发生就根据启发式邻居选择算法选择一个相邻节点提供 服务。启发式邻居选择算法通过最小化平均响应时间的偏差值来优化负载均衡， 能够实现负载的快速转移【l 引。 相比于国外而言，国内对负载均衡的研究起步至少要晚十年，不过，目前 国内对负载均衡的理论研究也在加快步伐，出现了不少新的算法和技术： 2 0 1 0 年北京邮电大学的孙卓等在文章负载均衡的多接入选择算法中提 出一种新的异构无线分组网络中的接入选择算法，在多接入选择时考虑分组业 务q o s 和链路自适应机制( 链路层重传及自适应调制) 因素，来正确估计分组 业务在接入后平均消耗的资源量以及分组网络当前的负载情况【1 3 1 。 2 0 1 0 年软件开发环境国家点实验室的余彬彬等发表了论文基于最小负载 的l i n u xw e b 机群负载均衡算法，依据后端服务器实际状态：c p u 占用率、内 存使用率、网络带宽利用率和磁盘性能，通过定时获取后端服务器的状态信息， 导出服务器综合负载并放大取整，作为服务器权值。再由最小负荷调度功能块 进行调度，选择综合负荷值最小的服务器进行请求分配【1 4 1 。 2 0 1 0 年湖南大学的任国庆等在基于内容的负载均衡算法中引入时间间隔， 将其中的请求类别对应的服务器数与p i c k k x 算法相结合，在一定的时间间隔 内依照概率进行请求转发，避免了过于频繁的获取服务器负载而带来的延迟， 而减缓时间间隔内由于负载信息不真实而引起的负载不均衡【l5 1 。 2 0 11 年燕山大学的邓成玉等在文章动态负载均衡策略及相关模型研究 中提出了一种基于启动者动态改变和阈值自适应的高效动态负载均衡策略。该 策略根据分布式环境中各计算机的负载状态以及接受者启动策略和发送者启动 策略的优缺点，动态改变负载阂值和启动者策吲1 6 】。 2 0 1 1 年中科华核电技术研究院有限公司的金杉等设计了满足主机和网络性 4 武汉理工大学硕士学位论文 能约束的启发式目标函数，将模型转化为度约束最小生成树问题，设计了一种 模拟退火算法解决大型e r p 系统的网络资源负载均衡问题【 】。 2 0 1 2 年北京邮电大学的胡丽聪等在论文基于动态反馈的一致性哈希负载 均衡算法中针对分布式视频服务器集群将动态反馈机制与一致性哈希算法相 结合，并根据其业务特征进行优化和改进，增加系统的可靠性【1 8 】。 2 0 1 2 年南昌航空大学的周松泉在论文一种改进的集群动态负载均衡算法 中提出了一种改进的、能够实时收集服务器负载指标，进而动态地计算出服务 器在分配用户连接中的权重的方法。改进的算法还使服务器在活跃进程增加或 减少数量达到1 5 个时，也向负载均衡器汇报一次负载指标，以让负载均衡器及 时了解该服务器负载状况，对其权值做出相应的调整【1 9 1 。 2 0 1 2 年武汉船舶职业技术学院的汪洋在文章一种基于v o d 集群服务器的 遗传均衡算法的研究中根据v o d 集群服务器的特点，结合遗传算法的优点， 提出了一种遗传均衡算法【2 0 l 。 综上所述，从国内外发展状况来看，负载均衡技术的研究具有重要的意义 和广阔的发展前途，其未来的发展趋势是实现智能化，不拘泥于大型网站等应 用领域，在各行各业发挥作用。 1 3 论文主要工作和组织结构 本文主要研究服务器集群的负载均衡技术。 本文所做的主要工作有：收集、整理近几年国内外典型的负载均衡解决方 案，分析比较各自的特点，在它们所存在缺陷的基础上，针对服务器集群提出 一种新的负载均衡算法一自适应权值最小负载算法，然后在o p n e t 网络仿真 平台上对此算法进行建模仿真，并在相同的实验环境下对比仿真其他算法，针 对实验数据做出分析和总结，验证自适应权值最小负载算法的可行性和有效性。 论文的主要创新点主要表现在如下两个方面： ( 1 ) 理论上，本文通过分析经典负载均衡算法的不足之处，提出了一种新 的负载均衡算法。分析影响服务器综合负载的因素，综合考虑服务器自身性能 指标和外界输入指标的影响，更精确的衡量服务器负载状态；按服务器负载状 况采取不同的负载均衡算法，节点分级区别调度可以减少算法的复杂度和网络 延时；同时根据服务器的连接状况对权值进行动态调整，提高运行效率和精度。 ( 2 ) 实践上，在o p n e t 仿真平台上搭建服务器集群网络拓扑结构，模拟 5 武汉理工大学硕士学位论文 实际环境中集群服务器与客户端业务应用和流量传输的过程，例如实际应用中 多数集群的服务器性能存在差异。通过状态转移和p r o t o c 程序来仿真各种负载 均衡算法，并且在复制场景下比较自适应权值最小负载算法与其他负载均衡算 法的性能，分析和验证新算法的优越性。 本论文的各章节内容安排如下： 第1 章：绪论。主要介绍课题的研究背景及意义，简述国内外负载均衡的 发展现状，同时总结了论文的主要工作和创新点，最后列出了论文各章节的主 题和安排； 第2 章：服务器集群负载均衡技术分析。首先介绍服务器集群技术和负载 均衡技术，然后对i p 层的负载均衡方式和经典的负载均衡算法进行了详细分析， 最后总结i p 层负载均衡的三种实现方式和已有经典算法的优缺点，为新算法的 提出建立依据； 第3 章：提出的负载均衡算法原理及建模。阐述新提出的负载均衡算法原 理和流程图，定义系统的业务输入和统计输出，通过o p n e t 网络仿真平台对新 算法进行网络域、节点域、进程域三层建模仿真； 第4 章：测试与分析。在相同仿真环境下创建不同的仿真方案来比较几种 算法的仿真结果，分析验证提出的负载均衡算法的有效性； 第5 章：总结与展望。先对全文所做的工作进行总结，同时指出新算法在实 现过程中遇到的困难和有待提高之处，并对后续的研究工作进行展望。 6 武汉理工大学硕士学位论文 第2 章服务器集群负载均衡技术分析 2 1 集群负载均衡技术 集群系统是将计算机集合通过高性能l a n 或w a n 进行物理连接，这些计 算机为完成系统共同的任务而在工作中相互配合来执行任务。它们作为一个整 体以单一映射向用户提供服务。当用户和应用程序与集群系统进行交互时，用 户感受不到计算机集合的存在，集群系统表现得就像单台服务器在响应用户请 求 2 1 】。 集群中单个的计算机系统被称为集群的节点( n o d e ) ，集群的节点包括各种网 络设备。一个服务器集群由多个服务节点组成，每个服务器节点都可以代表整 个集群单独地、透明地对外提供服务。集群系统对外使用同一个i p 地址( 虚拟 i p 地址) ，当集群收到用户访问请求时，集群通过负载均衡技术选择合适的节点 为用户提供服务连接，然后将客户端请求转发给后台服务器，从而使整个集群 表现得如同单个服务于同一i p 地址的虚拟服务器拉2 1 。集群系统可以通过增加、 删除、修改服务器节点等操作来实现集群的扩展和缩减，以应对实际的网络需 求和负载变化。服务器集群的网络结构图如图2 1 所示。 图2 1 服务器集群系统示意图 集群将一组相互独立的计算机作为一个整体向用户提供服务，具有良好的 可用性、可管理性和伸缩性。因为集群里服务器节点的处理能力、i o 能力等性 7 武汉理工大学硕士学位论文 能存在差异，如何使各个节点合理的分配业务量，避免出现单个服务节点过忙、 而其他设备却未充分发挥处理能力的情况，就成了一个问题。服务器的负载均 衡是提高系统处理能力、减轻服务器压力、满足用户网络需求的关键，是服务 器集群系统里最急需解决的问题。 集群负载均衡技术的目的是在不改变现有网络体系结构的条件下，提供和 节点个数成比例的负载能力，通过在系统节点间合理分配工作负载来提高系统 的整体性能，如减少系统的平均响应时间、提高服务器集群的吞吐量等，适合 提供大访问量的网络服务。从根本上讲，负载均衡是在单台服务器性能有限时， 使多台服务器参与分担同一任务，各自提供相同服务的一种能力。负载均衡 ( l o a db a l a n c e ，简称l b ) 技术是在服务器集群接收到外部连接请求后，根据 一定的负载均衡策略选择合适的后台服务器提供响应，从而使集群节点合理分 配网络负载，协同响应客户端请求，达到快速获取目标信息的效果，并解决大 量并发访问的服务问题【z 3 】。 集群系统组合多台服务器，通过负载均衡技术来配置各个节点的负载，充 分利用服务器集群中的每个节点，让性能较好的服务器响应更多的连接，既保 证低性能的服务器不成为系统瓶颈，也确保高性能服务器的资源得到充分利用， 同时集群系统又可以根据网络需求增减服务器节点数，避免单节点故障，能够 极大地提升网络服务质量。负载均衡建立于现有的网络架构之上，提供了一种 成本低廉且有效透明的方法来扩展网络设备和服务器带宽，增加系统吞吐量， 提高网络数据处理能力和资源利用率，具有很高的可用性和伸缩性，能够很好 的满足日益增长的负载需求。 集群负载均衡技术具有如下特点 2 4 1 ： ( 1 ) 高性能。通过负载均衡算法，客户端请求被合理均衡地分配到后端服 务器上，有效的避免了系统可能存在的瓶颈，充分利用了服务器资源，提高了 系统吞吐量。 ( 2 ) 高可用性。由于集群由多个独立的服务节点组成，当部分服务器停机 升级、维护或出现故障时，服务器集群依靠其余节点仍能保持正常工作，不会 中断服务。因为集群软件会自动地将待处理事务分配到正常节点，继续向用户 提供持续的服务，可以有效避免“单点故障”给整个服务器集群带来的影响。 ( 3 ) 可管理性。虽然系统物理结构大，但集群都是由普通的网络设备和服 务器构成，操作简便，容易管理，其中服务器可以进行操作系统更新、硬件升 级等维护工作。另外，集群系统可以通过其管理界面显示整个系统的服务状态， 8 武汉理工大学硕士学位论文 同时可以对节点进行增、删、改等操作，实现集群系统的可视化管理。 ( 4 ) 可伸缩性。应用不再受单台服务器主机性能的限制，使用经济实用的 物理服务器，通过多台服务器协同工作，使应用资源与节点个数成比例增长。 支持即插即用，当服务的负载增加时，系统能方便的扩展来满足要求，保持高 效可靠的服务。 ( 5 ) 高性价比。大型机系统在开发和维护时会花费较高的代价，而且性能 的提升不明显、不迅速，性价比低。而在集群系统中，集群里的节点由现有的、 低费用的普通设备组成，集群系统的实现关键在于开发共享组可用的软件，它 们大大降低了软硬件成本。另外，集群的处理性能可以通过扩展服务器节点个 数迅速达到大型机甚至巨型机的水准，充分体现了集群系统的高性价比特点。 2 2i p 层负载均衡技术的实现方式 在服务器集群中，负载均衡的实现主要有负载均衡技术和负载均衡算法这 两个关键因素，首先我们来介绍负载均衡技术的实现方式。 目前负载均衡技术应用广泛，按照负载均衡技术应用的网络层次划分，负 载均衡主要分为网络层负载均衡和应用层负载均衡。网络层负载均衡是对网络 上的i p 地址进行处理，然后将其映射成多个内部的i p 地址，当集群收到连接请 求时，就将负载动态的分配到某一具有内部地址的服务器上。应用层负载均衡 是指根据应用层服务的内容来分配服务器负载，主要应用于h t t p 服务f 2 5 1 。 网络层( i p 层) 负载均衡技术在实际中应用较为广泛，如章文嵩等人开发 的l i n u xv i r t u a ls e r v e r ( l v s ) 等。本文也将重点阐述p 层负载均衡技术的原理 及实现方式。i p 层负载均衡根据其数据转发方式可以分为三种相对应的负载均 衡实现方式：网络地址转换n a t ( n e t w o r ka d d r e s st r a n s f e r ) 方式、直接路由 d r ( d i r e c tr o u t i n g ) 方式和m 隧道( i pt u n n e l i n g ) 方式。接下来本文将分别论 述这三种负载均衡方式。 1 n a t 负载均衡技术 网络地址转换n a t 是指根据包的流向，对局域网内私有地址与外部公有地 址进行双向转换，确保分别处于私有网络和外部网络的计算机能够相互访问。 n a t 内部主机( 即“n a t 用户”) 使用私有地址，然后通过外部可用的公有地址 将所有内部主机接入i n t e m e t 。当内部主机响应服务时，n a t 设备将数据包的源 地址由内部主机的私有地址改写为公有地址，然后连接外部主机。当n a t 网关 9 武汉理工大学硕士学位论文 所拥有的外部地址被远程用户访问时，n a t 设备就将用户请求转发给私有网络 里某一内部地址映射的计算机1 2 6 1 。 集群系统中以n a t 方式转发报文的负载均衡体系结构如图2 2 所示，集群 里的服务器组通过前端负载均衡器或s w i t c h h u b 等方式相连接。后台服务器分 配内部i p 地址，它们通过复制到本地硬盘、网络文件系统n f s 共享或分布式文 件系统等方式，可以给用户提供相同的网络服务和内容。负载均衡器就相当于 网关，拥有集群对外的虚拟i p ( 简称“v i p ”) 地址。在通常情况下，用户与服 务器集群之间的请求数据包和响应数据包都会经过负载均衡器。 图2 - 2n a t 负载均衡体系结构 n a t 负载均衡的实现过程是：“用户请求访问集群外部公有v i p 地址时，负 载均衡器通过特定策略从集群中选出一台真实服务器，将报文头中的目的地址 v i p 、目的端口号分别改写为该服务器的内部p 地址和相应端口号，然后将修 改后的报文发送给选定的服务器。反之，当真实服务器响应外部连接请求时， 负载均衡器再次转换报文头中的源i p 地址和源端口号，即将真实服务器的内部 i p 改写成公有v i i 地址，同时修改相应的源端口号，然后将修改后的报文转发 给用户 2 7 1 。 n a t 负载均衡具有透明性好、节省i p 地址资源等特点，但这种方式也存在 不足之处。由于负载均衡器是客户端与服务器端收发数据包的中转站，当系统 负荷较重时，负载均衡器可能会成为系统的新瓶颈【2 8 1 。另外，一旦负载均衡器 失效，整个系统的服务都会终止。n a t 负载均衡技术发展比较完善，得到了较 为普遍的应用。 2 d r 负载均衡 d r 方式利用大多数i n t e r a c t 服务非对称的特点，所有客户的访问请求都经 1 0 武汉理工大学硕士学位论文 过负载均衡( 简称“l b ”) 设备，负载均衡器只负责调度客户端到服务器端的连 接，而直接将响应数据返回给客户。 d r 方式实现负载均衡的体系结构如图2 3 所示。l b 设备和服务器共同拥 有v i p 地址，其中l b 设备配置的v i p 可以被网络路由寻址，接收外部用户访 问。集群所有的后台服务器都把v i p 配置在各自的反a r p 网络设备里，它们对 外不可见，只用于处理目标地址为v i p 的网络请求，所以服务器组和l b 设备必 须处于同一物理网段。 网络服务应答数据包 图2 - 3d r 负载均衡体系结构 d r 负载均衡的实现过程是：“当用户访问网络地址v i p 时，负载均衡器选 取一台合适的服务器，不对p 报文做任何处理，而是将数据帧的m a c 地址改 为真实服务器的m a c 地址，然后将修改后的数据帧在涵盖所有后台服务器的局 域网上发送。通过局域网传播，服务器接收到该数据帧，读取请求i p 报文，然 后直接将未经改动的响应报文转发给用户 2 9 1 。 在d r 方式中，l b 设备主要采用旁挂模式，应用中的服务器集群有i b m 的 n e t w o r kd i s p a t c h e r 和v s d s 等。采用d r 方式对集群进行负载均衡可以体会到 处理速度快、负载均衡器没有负担等优势，但它要求l b 设备与服务器组必须处 于同一物理网段，并且由于l b 设备和服务器组共享v i p 地址，这种负载均衡方 式还需解决a r p 问题p 。 3 i pt u n n e l i n g 技术 i pt u n n e l i n g ( 简称“t u n ) 技术的工作原理是使用i p 隧道技术将请求报 文封装在另一个i p 报文里，因此，集群可以将封装了的目标i p 地址的数据报文 武汉理工大学硕士学位论文 作为请求内容转发给其他p 地址，并以相同的形式将本地m 地址封装到数据报 文里，作为数据包内容层层传递到真实服务器。服务器收到报文后，先解封i p 报文头，获得原来目标地址为v i p 的报文，然后将响应直接转发给用户端。其 实现过程如图2 4 所示： 网络服务应答数据包 图2 4t u n 负载均衡实现过程 在t u n 的体系结构中，l b 设备和服务器组通过l a n w a n 连接，共享 v i p 地址。服务器的v i p 地址配置在各自的i p 隧道网络设备上，对外不可见， 仅客户端到集群服务器的上行网络流量经过l b 设备，服务器将响应报文直接返 回客户【3 1 1 。 t u n 负载均衡方式具有l b 设备和服务器跨局域网分布、调度效率高等特 点，但报文封装开销大，服务器还必须支持口n 删e l 协议。 2 3 经典负载均衡算法原理 在前文中，我们提到负载均衡的实现取决于负载均衡技术和负载均衡算法， 在介绍完i p 层各种负载均衡技术后，本章节将讲述负载均衡算法。负载均衡算 法是指将外部用户并发请求按照一定的策略，分发到集群系统中特定的服务器 上，尽可能的保证各台服务器负载均衡。接下来我们将详细介绍几种目前常用 的i p 层负载均衡算法。 ( 1 ) 轮转( r o u n d r o b i n ，简称“r r ) 算法 r r 算法的基本思想是将新的连接请求以简单线性轮转的方式依次调度到各 1 2 武汉理工大学硕士学位论文 服务器。轮转算法认为每台服务器都是等价的，l b 设备将新请求轮流分配给集 群系统中的成员节点，即每次新连接到达l b 设备后，对服务器执行 f = o + 1 ) m o d n 算法，选择下一个成员节点轮流提供服务。其原理如图2 5 所示： 匝丑堕丑三匦习巫巫正巫 百曹百i 1 目 2 i i + ln 1 1 + 1 图2 5r r 原理图 r r 算法实现简单高效，但它没有考虑各台服务器的实际性能差异和当前连 接状态，当服务器硬件配置和请求服务时间变化较大时，容易引起服务器间的 负载不均衡p 2 。 ( 2 ) 加权轮转w r r ( w e i g h t e dr o u n dr o b i n ) 算法 w r r 算法是基于r r 算法改进的一种负载均衡算法，它弥补了r r 算法没 有考虑服务器性能差异的缺陷，用服务器权值来代表各服务器的实际处理能力， 服务器性能越好，权值越高。w r r 算法根据服务器权值的高低来给后台服务器 分配用户连接请求。服务器权值越高，越优先收到连接请求，响应用户的次数 就越多；权值相同时则退化为轮转算法，l b 设备按照顺序轮询具有相同权值的 服务器，以r r 的方式给服务器分配连接请求。w r r 算法按照服务器的权值比 例来分配用户连接请求，实现过程如图2 - 6 所示。 服务器 权值 s e r v e r as e r v e r bs e r v e r cs e r v e r ds e r v e r e 24 3 23 678 图2 _ 6 w r r 原理图 w r r 算法考虑了服务器的性能差异，但它没有记录当前的服务器状态和请 求连接数，仍然是一种无状态负载均衡算法