（计算机应用技术专业论文）web集群中调度算法的研究.pdf

摘爱 摘要 目前i n t e m e t 上w e b 麻h j 乖l r 几m 请求爆炸性增k ，使得许多热i j 的w e b 站点都经常面临服务器 超载的问题，而集群技术止是解决服务器超载和提供高性能服务器的一种有效手段。另一方面，随 着电子商务麻_ l i j 的兴起，i n t e r n e ! 的服务模式止由传统的数据通信与信息浏览向电子交易与服务转变。 冈此，必须提供区分的服务性能并支持q o s 机制。 本文就从上述两方面山发，着重研究了如何在集群环境中添自h q o s 机制，以适应现代网络服务 的需求。 集群系统的设计主要涉及任务调度与资源调度两方面以往的人部分算法都只是孤立地考虑其 中一个方面。另外，近期的研究表明网络访问具有白相似特征，设计调度算法的时，必须考虑白相 似突发业务对系统的影响。本文针对这种情况，提山了一种基丁i 接纳控制的o o s a w a r e 动态请求调 度算法。该算法引入接纳概率p a 作为连接任务调度与资源调度的桥梁，将两种调度结合了起来。p a 是一个以任务服务类别与负载为白变耸的二元函数，随着负载的增加，p a 北增变化对丁不同q o s 需求的队列，p a 的变化速率不同，这样就可以达剑在不同负载情况卜动态地为各服务类分配带宽的 目的。文章最后通过仿真实验测试了结果。 关键词：w e b 集群；q o s ；调度；接纳控制；w r r 江南人学硕i 学位论义 a b s t r a c t w e ba p p l i c a t i o n sa n dh t t pr e q u e s t so ni n t e r n e ta r ei n c r e a s i n gd r a s t i c a l l yr e c e n t l y a c c o r d i n g l ym a n y f a m o u sw e bs i t e sa r ef a c i n gt h ed i f f i c u l t yo fs e r v e ro v e r l o a d c l u s t e rt e c h n o l o g yi so n eo ft h e e f f e c t i v e m e t h o d so fr e s o l v i n gt h i sp r o b l e m o nt h eo t h e rh a n d ，w i t ht h ep o p u l a r i t yo ft h ee - c o m m e r c e ，i n t e m e t s s e r v i c em o d ej sc h a n g i n gf o r mt r a d i t i o n a ld a t ac o m m u n i c a t i o na n di n f o r m a t i o nb r o w s et oe - t r a d ea n d s e r v i c e t h e r e f o r et h ed i f f e r e n t i a ls e r v i c ep e r f o r m a n c em u s tb ep r o v i d e da n dt h eq o sm e c h a n i s mm u s tb e s u p p o r t e d s t a r i n gf o r mt h et w oa s p e c t sm e n t i o n e da b o v e ，t h i sp a p e rf o c u so l lt h ei s s u et h a th o wt oa d dq o s m e c h a n i s mt ot h ec l u s t e rc i r c u m s t a n c es oa st oa d a p tm o d e mw e bs e r v i c er e q u i r e m e n t t a s ks c h e d u l i n ga n dr e s o u r c es c h e d u l i n ga r et w om a j o ra s p e c t sc o n c e r n e dw i t hc l u s t e rs y s t e m ，w h i l e m o s to ft h ea r i t h m e t i co n l yc o n s i d e ro n eo ft h e m i na d d i t i o n ，r e c e n tr e s e a r c hr e s u l ts h o w st h a tw e ba c c e s s h a sac h a r a c t e r i s t i co fs e l f - s i m i l a r i t y , s ot h ei n f l u e n c eo fs e l f - s i m i l a rb r e a k i n g o u tt a s km u s tb ec o n s i d e r e d t or e s o l v et h o s ep r o b l e m s ，a na d m i s s i o nc o n t r o l b a s e dq o s - a w a r ed y n a m i cr e q u e s ts c h e d u l i n ga r i t h m e t i c i s p r o p o s e di n t h i sp a p e r i ti n t r o d u c e st h ep r o b a b i l i t yp aw h i c hc o m b i n e ss e l f - s i m i l a rn e t w o r kt r a f f i c c h a r a c t e ra n da c ta sal i n kt oc o n n e c tt h et a s ks c h e d u l i n ga n dr e s o u r c es c h e d u l i n g p ai sa nf u n c t i o nw i t h t w oi n d e p e n d e n tv a r i a b l e sw h i c ha r es e r v i c ec l a s sa n dl o a d w i t ht h ei n c r e a s eo fl o a d p av a r i e sn o n i n c r e a s i n g l y f o rq u e e n sw i t h d i f f e r e n t r e q u i r e m e n t s ，t h ep a sv a r y i n gs p e e d i sd i f f e r e n ts o a st o d y n a m i c a l l ya r r a n g eb a n d w i d t hf o re v e r ys e r v i c ec l a s si nt h ed i f f e r e n tl o a ds i t u a t i o n s a tt h ee n do f t h i s p a p e rt h ei m i t a t ee x p e r i m e n ti sc o n d u c t e dt ot e s t i f yi t sr a t i o n a l i t y k e y w o r d s ：w e bc l u s t e r ；q o s ；s c h e d u l i n g ；a d m i s s i o nc o n t r o l ；w r r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：2 0 0 7 年6 月1 5 日 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名：蔓潍导师签名： 日期：2 0 0 7 年6 月1 5 日 第一章绪论 1 1 选题意义 第一章绪论 i n t e m e t 上w e b 应 q i h t r p 请求的爆炸性增蚝使得目前许多的w e b 站点都经常面临服务器超载 的问题，为此，如何对各类w e b _ i f j 户提供满意的服务性能和质龉保证己成为迪切需要解决的问题。 另一方面随着电子商务麻h j 的兴起，i n t e m e t 的服务模式止由传统的数据通信与信息浏览向电子交 易与服务转变w e b 服务器系统作为支持电子商务的核心设施迫切需要对不同类型的川户或服务 请求进行区分优先级别的处理，从而提供区分的性能服务。冈此仅椎网络q o s 机制并不能完全解 决端剑端的o o s 控制问题，w 曲服务器系统作为端剑端网络中不可缺少的一个重要环节，必须同样具 备建立和支持q o s 的机制与策略。 近年来，网络传输的o o s 控制技术研究已十分活跃，但是目前通川的w e b 服务器尚无w e b o o s 控 制机制，无法为w e b 应州提供服务区分和性能保证。冈此，如何在w e b l i 务器及其集群系统中引入和 实现q o s 控制的机制与策略，己成为实现f 一代网络o o s 控制技术不可或缺的关键环竹。 w e bo o s 控制的研究越来越受剑重视其主要的研究方向包括：w e b 请求的分类机制w 曲服务 器廊川软什的o o s 控制机制操作系统的w e bq o s 控制机制中间什的w e bo o s 控制机制以及w 曲服 务器集群q o s 控制的机制，策略与性能评价等等。其中集群技术已经成为目前解决超载与提高性 能的一种有效手段。 w e b 集群是由分布丁| 局域网或广域网的众多w 曲服务器土机f 同构或异构) 相互联结而成的一种 服务器体系结构。w e b 服务器集群系统为接入的客户端提供一个单一的入口，其内部对川户透明。 位丁集群系统虽前端的是一个h j 户请求分配器，后端连接多台服务器。分配器对剑达的川户请求进 行分级，然后将h j 户请求分发剑负载较轻的后端服务器。集群服务器主要解决的问题有：区分服务、 性能隔离、接纳控制、负载均衡。近期，针对这儿个环竹，人1 j 纷纷腱开了各种研究。a t o ne ta l i l l 将动态集群带宽资源管理门为一个带有条什约束的晟优化问题，并将现有的单仃点服务器的区分服 务机制扩展运h j 丁| 集群环境中。l i l 2 1 提出了一种名为g a g e 的通川的w e b , 青求分配系统，通过使川加权 轮循( w r r ) i 周度算法选择请求来向集群服务器服务系统中的所有川户提供性能保障。但这些研究往 往只是从某个元素单独考虑。朱从整体上考虑，任务的调度与资源调度相分离，前端任务调度没有 考虑后端各服务器的负载情况：任务凋度与接纳控制相分离，轻负载时与重负载时采取同一种任务 调度方案，从而导致重载时无法提供有效的q o s 保障。而引入集群的目的无1 | 就是为了应付日螽增 k 的w e b 请求增k ，在极端条什r 为h j 户提供满意的q o s 性能。因此，现在需要解决问题是如何在集 群中找剑一种任务调度与资源调度相结合的算法，井建立模拟网络集群服务器环境，通过分析新算 法与传统算法的仿真结果证明新算法的有效性。 1 2 国i 为j b 现状 国内外在对集群系统的研究中，已提出了一些请求分配与选扦调度算法，但是，人部分调度算 法往往只考虑静态请求p ，从本质上讲没有考虑负载均衡pj 问题。也就是说w e b 服务器q o s 控制和 集群负载均衡策略的研究是相且独、上的。w e bq o s 控制土要在服务器实现基丁请求优先级的调度策 略等米实现k 分的o o s ；集群负载均衡策略主要利川服务器的负载信息等米实现请求的均衡分配从 而提供撮好的服务性能。- 二者的分离使得分配器的负载均衡策略没有考虑剑请求的o o s 类型即是 q o s u n a w a r e 的，冈此不能实现基t - q o s 的请求分配和负载均衡。在这种情况r 客户的请求住集群 的前端被一视同f ：地执行分配处理，但在后端却铍分为不唰的q o s 类执行基丁优先级的进拌调度。 江南人学顾i 。学位论史 这种前j 亓过样控制目标的不一致和不协调将导致不能实现面向o o s 的请求分配的虽优化，从而影响 系统的q o s 性能。另外目前人多数的调度算法是以连接数的多少作为调度标准，这些并不完全符合 集群系统的实际情况：系统的需求是多维的而不是一维的，采州维标准上衡量系统的调度情况是 不准确的。 针对这种情况义有人提出了第7 层交换机承l c o n t e n t a w a r e 请求分配机制的山现，使得w e b 服务器 集群中实现基y - q o s 的负载均衡成为可能。第7 层交换机能够执行基丁唧内容的请求分类和优先 化，实现q o s a w a r e 请求分再己和负载均衡，与后端服务器的w e bq o s 控制机制协调一致。在这种情况 ，f ，第7 层交换机必须连续地建立两个t c p 连接：一个与客户端，另一个与选定的服务器结点。最后 使圳t c p 接合、t c p 转接锋机制实现客户与服务器的直接通信。 从系统科学的观点来看，局域集群和j “域集群系统都属丁- 规模庞人、结构复杂、功能综合、因 素众多的人系统。冈此，进一步可以从人系统控制论的角度，研究这些w e b 服务器集群人系统w e b q o s 的多级递阶、分解协调的综合控制，实现、v e b 服务器集群人系统w e bq o s 控制的最优化和协调化。 1 3 研究内容和方法 本文士要研究w e b 集群中基丁q o s 的调度策略、接纳控制以及负载平衡。 基丁q o s 的调度策略：川户h t t p 请求按照不同的q o s 要求，分为不同的类别排列丁相应的队列中。 使川什么方法对这些不瓦 q o s 需求的h i i d 请求进行分类以及如何在已分类的队列中有效地凋度这些 请求将是本文重点研究的内容之一。 基丁q o s 的请求分配以及负载平衡：将客户的请求分配剑集群中最适宜的、v e b 服务器结点进行处 理，从而获得晟佳的w e bq o s 性能，并且通过负载均衡策略使集群中各台服务器的负载处丁均衡状 态( 即服务器的请求负载与其处理能力成止比) ，使得辛4 个集群系统的效率最高。 目前w e b 集群中的调度策略、请求分配以及负载平衡往往都没有考虑其q o s 性能，或者是以 一维q o s 参数为调度的标准。本文将针对这种情况展开研究，综合考虑q o s 控制，调皮策略请求分 配以及负载平衡等诸多方面，并阅读人量国内外相关的文献，分析比较各种已有算法的优点及不足， 从中得到启发，提山白己的想法，更加有效的在w e b 集群上实现对q o s 的控制，并通过仿真实验模 拟。 1 4 论文的结构 第一章：绪论。如上所述，介纠课题背景，意义及国内外的研究现状以及本文的主要i ：作和论 文结构安排。 第一二章：w e b 集群服务器的的q o s 控制概述。本章士要分为二个部分：w e b 集群服务器架构的概 要性介纠，讨论集群o o s 需要解决的m 题，常地的分组调度算法介纠。 第二章：提出基丁接纳控制的q o s a w a r e 动态请求调度算法。在第二章介绍了分组调度，但它不 能直接远h j 丁集群环境，并且没有q o s 支持。本章针对这种怙况，结合网络访问的白相似特征提山 新的任务调度算法。然后通过实验验证它与传统算法相比的优越性。 第四章：提出了一种基y o o s 的负载均衡算法。集群中的渊度分为任务调度与资源调度。前面 已经介纠了任井调度算法，丁是本章着重研究资源调度。在分析了儿种资源调度的负载均衡策略之 后，提出了新算法。最后通过实验数据说明其止确性与有效性。 第五章：对论文所做的j 什进行总结，提山进一步研究探索的方向。 2 第- 二章w e b 服务器集肘慨述 第二章w e b 服务器集群概述 集群( c l u s l e r i n g ) 技术1 5 j 【6 1 是目前解决服务器超载和提供高性能服务器的一种有效手段。 2 1w e b 服务器集群 w e b 服务器集群系统是由分布在m 域网( l a n ) 或广域网n ，a n ) 上的多台w e b 服务器士机( 同构 的或异构的) 相互联结而成的一种服务器体系结构，采州负载均衡策略将到达的请求分配给集群中的 某台服务器进行服务。一般集群系统可以分为由局部范嗣内的多台服务器组成的局域集群和由多个 局域集群住地理上广域分布而形成的广域集群。与单一的i ：作站相比，集群系统具有更高的性能价 格比，良好的可扩展性更好的系统可靠性和容错性，但是其系统规模更人，设计的因素更多，w e b q o s 控制问题也更为复杂。 w e b 服务器集群需要设计的实现有效的请求分配( r e q u e s td i s p a t c h i n g ) 机制和负载均衡( 1 0 a d b a l a n c i n g ) , 策畦i 6 1 ，将客户请求分配剑集群中最适宜的w e b 服务器悔点进行处理，从而获取可得剑的 晟佳w e bq o s 性能，并且通过负载均衡策略，使集群中备台w e b 服务器的负载处丁- 均衡状态( e p 服 务器分得的请求负载与其处理能力成止比) ，使得整个集群系统的效率最高。因此，对于w e b 服务器 集群系统，有效的请求分配机制和负载均衡策略对其实现高系统性能和为川户提供o o s 性能保证具 有决定性作h j 。 目前，常见的w e b 服务器集群的体系结构主要有镜像站点，基td n s ( d o m a i nn a m es e r v e r ) h l 勺集 群平基丁请求分配器( d i s p a t c h e r ) 的集群。 2 1 1 镜像站点 镜像站点的客户是直接从多个具有独立u r l 的镜像站点中进行选择并接受服务这种体系结 构对客户不具透明性，而且集群也无法对请求分配进行任何控制，冈此这里不对其进行详细介绍。 而基丁d n s 和基丁请求分配器的集群体系结构则均对客户具有透明性而且可以实现各种请 求分配机制和负载均衡策略。 2 1 2 基于d n s 的集群 在基丁d n s 的集群体系结构中，集群所在的域的授权域名服务器( 称为“集群d n s ”) 向外部 提供一个单一的u r l 土机名作为粘个集群的虚拟接口，使得集辫对客户端具有透明性。集群中的每 台w e b 服务器都具有一个真实的l p 地址。集群d n s 作为集群系统的集中式请求调度器，在w e b 站 点域名( u r l ) 刮服务器结点i p 地址的映射过程中，能够实现多种负载均衡策略，从而为客户请求选 抨最适宜的目杯服务器。 但是，由丁中间域名服务器的地计映射缓存机制f 1 1 1 0 ) 当地址映射的有效期术过时，地址 映射请求就会被中间域名服务器直接处理并返同给客户端，而不会最终剑达集群d n s 。冈此，集群 d n s 只能处理很少一部分地址映射请求，从而只能实现一种粗粒度的负载均衡。 由丁集群d n s 对剑达请求的控制能力有限加之来白不同客户域负载的高度不一致性和真实 w e bi 作负载的高可变性，d n s 调度器通常需要使川复杂的负载均衡算法米实现可接受的性能。这 些算法典刑地依赖丁额外的状态信息，如每个域的隐藏的负载权( 表示来白该域的请求速率) 、客户 的分布什置、服务器的状态信息，等等。 另外由r1 1 乙的值越小集群d n s 控制地址映射请求的机会就越人，所以，白适麻地设置 3 江南人学顾t 学位论止 每个地自 映射请求的丁r l 值也能够显并地提高系统的性能。 文献1 5 】利1 6 1 对这种集群体系结构及其负载均衡算法进行了综述和分析，主要是针对局域集群。 c o l a j a n n i 等人研究了r 域分布的异构w e b 服务器集群的动态负载均衡策略【7 1 ，基丁d n s 请求分配 器提出了一种动态改变1 1 l 的白适应算法。c a r d e r l l i n i 等人研究了j 域分布的w e b 服务器集 弹的负 载均衡问题j ，提出了一种基丁d n s 邻近( p r o x i m i t y ) 调度和 r 几_ p 请求重定向的综合机制，能够为 地理上j “域分布的w e b 站点提供o o s 支持。采_ l i j 这种基丁d n s 的集群体系结构的典删例子有n c s a 的r o u n d r o b i nd n s n s r r ) m c i s c o 公司的d i s t r i b u t e d d i r e c t o r 等。 2 1 3 基于请求分配器的集群 与基丁d n s 的集群相对照，基丁请求分配器的w e b 服务器集群能够完全控制所有剑来的请求， 并且实现精细粒度的负载均衡p l 。 在基丁请求分配器的集群系统中，前端的请求分配器作为剑达请求的代理，负责集中地接受所 有剑达的 册请求，并且按照特定的负载均衡策略将客户的请求均衡、透明地分配给集群中的后 端服务器。辖个集群具有单一的虚拟i p 地址，即集群地址，使集群中的服务器对客户端具有透明性。 实际上，集群地址就是请求分配器的i p 地址。 2 2w e b 服务器集群中的o o s 控制 s c h r o e d e r 等人对w e b 服务器集群技术进行了综述1 4 j ，他们根据请求分配策略将w e b 服务器集 群分为以卜二类： l 4 2 第四层交换，第一二层分组转发： u 3 第四层交换，第二层分组转发； l 7 第七层交换。 这种体系机构中甲期的研究或产品典掣地采h 第4 层交换机( u 2 ，仅处理剑达的请求分组1 或t c p 路由器( l 4 3 ，处理剑达的请求分组和返州的麻答分组) 作为请求分配器，能够根据后端服 务器的私有i p 地址或m a c 地址对之进行独一无一的识别，并住t c p 层执行请求分配( 即第4 层处 理) 。所采川的典删请求分配机制包括分组重弓( p a c k e tr e w r i t i n g ) t o l 、分组转发( p a c k e t f o r w a r d i n g ) 1 2 1 、h 1 t r p 重定向( r e d i r e c t i o n ) l ”l 等。其负载均衡策略典型地根据后端服务器的活动连接数，运行 队列中的进w 数革、剑达的请求速率等情况米选扦负载最轻的服务器。采川这种集群体系结构的典 犁例子有c i s c o 公司的负载均衡产品l o c a l d i r e c t o r 和id i s t r i b u t e d d i r e c t o r 、i b m 公司的n e t w o r k d i s p a t c h e d “1 利b e l l 实验室的o n e i p 锋。 虽近的研究和产品已经开始采川第7 层交换机( 也称为第5 层交换机、w e b 交换机或内容交换 机) 1 4 l 作为集群的前端请求分配器f l 乃，实现c o n t e n t a w a r e ( 基r 请求i - q 容) 的请求分配。 c o n t e n t a w a r e 请求分配的实现机制要复杂的多这是冈为在对目标服务器进行选扦时必须首先检查 客户h r r p 请求的内容或服务的类型。为此，客户必须首先与不对请求事实服务的分配器建立一个 t c p 迮接，并且需要请求分配器执行比不考虑内容的第4 层( t c p 层) 处理复杂得多的第7 层( 麻 川层) 处理。 目前己提出了一些能够支持c o n t e n t a w a r e 请求分配的机制，典掣的有 r 几阳重定向、前端中继 ( r e l a y i n gf r o n t e n d ) i ”1 、t c p 结合( s p l i c i n g ) 1 1 4 l 【1 7 j 、t c p 转接( h a n d o f o ”1 等。目前典犁的支持 c o n t e r t a w a r e 请求分配的第7 层交换机产品有：c i s c o 公司( 收购了原来生产c s 一8 0 0 交换机的 a n o w p o i n t 公司) 的c s s l l 0 0 0 系列内容服务交换机f o r e ( 已铍g e c 公司收购) 的e s x 2 4 0 0 4 8 0 0 交换机，f o u n d r y 的s e r v e r l r o n w e b 交换机口“，以及a l t o e o n ( 己铍n o r t e ln e t w o r k s 合= i f ) 的w e b 交 换机等。 4 第一市w e b 服务器囊肿慨述 第7 层交换机和c o n t e n t a w a m 请求分配机制的山米厉，使得在w e b 服务器集群中实现基丁o o s 的负载均衡成为可能。与第4 层交换机和t c p 路由器等不考虑请求内容的分配器相比，第7 层交换 机除了能够获得第2 4 层信息以外，还能获得应川层信息( 如u r l ) ，从而能够执行基丁 r r t p 内容 的请求分类平| i 优先化，实现q o s a w a r e 请求分配和负载均衡，进而与后端服务器的w e bo o s 控制机 制协调一致。在这种情况f ，第7 层交换机必须迮续地建立两个t c p 连接：一个与客户端，另一个 与选定的服并器1 y 点。晟后使用t c p 接合、t c p 转接等机制实现客户与服务器的直接通信。 以往的研究i ：作对w e b 服务器q o s 控制和集群负载均衡策略的研究是相互独立的：w e bq o s 控制主要通过住服务器实现基丁| 请求优先级的调度策略等米实现区分的q o s ：集群负载均衡策略主 要利川服务器的负载信息等米实现请求的均衡分配，从而提供最蚶的服务性能。两者的分离使得分 配器的负载均衡策略没有考虑剑m 1 甲请求的o o s 类型，即是q o s u n a w a r e 的，冈此不能实现基于 o o s 的请求分配和负载均衡。在这种情况r ，客户的请求在集群的前端被一视同f ：地执行分配处理， 但在后端服井器却被分为不同的q o s 类执行基丁优先级的进拌调度。这种前后过科控制目标的不一 致和不协调将导致不能实现面向q o s 的请求分配最优，从而影响系统的w e bq o s 性能。据此本文 提出了在w e b 服务器集群的负载均衡过榉中考虑h t r p 请求的内容和优先级的q o s a w a r e 综合控制 思想i 】”，并且针对局域集群和广域集群提山了多种w e bq o s 控制的综合策略j i g , 驯，提山了采h j c o n t e n t a w a r e 请求分配器的、能够实现q o s a w a r e 综合控制策略的w e b 服务器集群体系结构。性能 分析的数值结果表明，与常_ l i j 的o o s u 1 3 a w a l e 控制策略相比，本文提山的q o s a w a r e 综合控制策略 能够为不同类型的客户或请求提供区分的w e bo o s 。 另外，z h a n g 等人提出了集中面向全球分布的w e b 服务器集群系统的o o s a w a r e 负载均衡算法 8 ”该算法基丁两级分布式w e b 集群体系结构，在为一个剑j 厶的请求选择服务器接点的同时利h j 了 失效的负载信息利基丁内容的请求调度，从而达剑减少响麻时间的目的。他们将不同的客户服务类 作为负载均衡中的一个参数，从而能够更好地实现端剑端的o o s 。 目前制造l o c a l d i r e c t o r 平d i s t r i b u t e d d i r e c t o r 等网络负载均衡设备的c i s c o 公司已经和生产 w e b q o s 服务质昔软什的h p 公司结为战略同盟联手推出支持w e bo o s 的集群系统解决方案。 麻该指山的是，从系统科学的观点来看，局域集群和广域集群系统部属丁规模庞人、结构复杂、 功能综合、冈素众多的人系统。因此，进一步地可以从人系统控制论的角度，研究这些w e b 服务器 集群人系统w e bo o s 的多级递阶、分解协调的综合控制，实现w e b 服务器集群人系统w e bo o s 控制的晟优化和协调化。 此外，一个完整的端剑端o o s 解决方案需要网络o o s 控制与w e bq o s 控制的结合。冈此，进 一步的研究i 作可以考虑将w e b o o s 控制机制和l 策略与网络q o s 机制( 如d i f f s e r v ) 相互综合，实 现统一的一体化的q o s 控制机制。 2 3w e b 服务器集群0 0 s - a w a r e 负载均衡的策略、模型与性能分析 本1 7 中，文章提山了将w e b 服务器进群调度中所使川的m t p 请求的内容和优先级与w e b 服 务器集群的负载均衡策略相结合的综合控制思想。这种综合控制策略能够同时实现负载均衡平l jw e b 服务质革( o o s ) 控制。 a r l i t t 和l j u 对1 9 9 8 年法国世界杯足球赛官方网站的w e b 服务器i 。作负载进行了统计和分析田j 。 根据他们的研究，世界杯期间该网站的w e b 服务器平均每分钟接收1 0 7 5 6 个h 1 r r p 请求，两个月期 间典收剑1 3 5 2 8 0 4 1 0 7 个请求，传输的全部数据鼙接近5 t b 。由此可见，一个单独的h 丁r p 服务器显 然无法处理数据姑如此庞人的请求负载，w 此需要可扩展的w e b 服务器体系结构来解；尖服务器超载 和提供高性能的服务器。 r 面分* l j i j 论w e b 服务器可扩展性的实现方法，w e b 服务器集群中的负载均衡问题以及端剑端 q o s 和w e b 服务器o o s 的概念。 5 江南人学坝l 。学位论史 实现w e b 服务器可扩展性的主要方法是对w e b 服务器的内容进行镜像，各个镜像服务器可以 放置丁地理上伉置不同的区域并且有各白的i p 地址。各服务器之间的负载均衡可以通过d n s ( d o m a i n n a m es e r v i c e ) f l i 务器米实现。f 面文章描述了将一个请求的u r l 映射剑某i p 地址的过程。当多个镜 像服务器同时可川时集群所在域的授权域名服务器将从后端服务器的i p 地址列表中进行选择，并且 将之作为请求分配的目的地。 使川d n s 将一个u r l 映射成i p 地址的过程如r ：( 1 ) 包含w e b 服务器u r l 的浏览器的请求从 客户发往本地域名服务器；( 2 ) 请求从本地域名服务器发往根域名服务器：( 3 ) 根域名服务器应答，提 供一个授权域名服务器的地址；( 4 ) 请求从本地服务器发往授权域名服务器应答，提供一个授权域名 服务器的地址；( 5 ) 授权域名服务器廊答，为本地域名服务器提供w e b 服务器的i p 地址；( 6 ) 本地域 名服务器为浏览器提供应答一- 口客户得到服务器的j p 地址即可发送h 1 r p 请求；( 7 ) 并且接收w e b 服务器返同的麻答。 为了减少网络的传输颦和客户请求的响应时间，客户端和本地域的d n s 服务器都可以对w e b 站点名剑服务器m 地址的映射进行缓存。这种地址映射的缓存机制r t t i ) o ) 导致了集群所在域的 d n s 只能处理很少一部分地址映射请求，所以基丁d n s 的w e b 服务器集群体系结构只能实现一种 祖粒度的负载均衡p j 。 w e b f l & 务器1 w e b 服务器2 w e b 服务器n i 璺i2 - 1m 1 p 服务器集群，前端的系统请求分配器将请求分配给后端服务器 这里，仅考虑另外一种基丁请求分配器的可扩展的w e b 服务器体系结构，i 笙i2 - 1 所示。该体系 结构中，集群前端的请求分配器作为剑达请求的代理负责集中地接收所有剑达的h 1 1 甲请求，然 j i 亓按照特定的负载均衡策略将客户的请求均衡、透明地分配给集群中的后端服务器1 y 点。该请求 分配器j t 有个单一的虚拟即地址，能够完全控制所有剑米的请求，升且实现精细粒度的负载均衡 1 7 8 j 。 如图2 1 所示，w e b 服务器集群系统是由分布在高速局域网七的多台后端w e b 服务器t 机相互 连接而成的一种服务器体系结构，采川负载均衡策略将刨达的请求分配给某台后端服务器进行处理。 6 第r 二章w e b 服务器集群慨述 集群中的每台服务器都能够响应任何客户的请求。通常地，信息住服务器1 7 点间的分布方式有以卜 两种： 1 在每个服务器的本地磁柱复制全部的内容树，即镜像备台服务器的内容； 2 通过管理全部w e b 文什树的分布式文件系统( 如a n d r e w 文仆系统) 来共享信息。 这里只考虑第一种信息分布方式，井且假设采川第7 层请求分配方式( l 刀，即集群中的每台服 务器都有一份复制的内容并且请求分配器可以采州麻川层信息进行请求分配。早期的研究或产品 典刑地采川第4 层交换机或t c p 路由器作为请求分配器即采川l 4 ，2 或l 4 口集群方式；而最近的 研究平产品已经开始使川第7 层交换机( 也称w e b 交换机或内容交换机) 作为请求分配器即采h j l 7 集群方式1 7 j 。与第四层交换机和t c p 路由器等c o n t e n t u n a w a r e 请求分配器相比，第7 层请求分 配器除了能够获得第2 _ 4 层信息以外还能获得应_ l j 层信息( 如u r l ) ，从而实现基于内容的请求分 类与优先化，从而与服务器直接通信。这样，第7 层请求分配器能够实现基丁| 内容的请求分类和优 先化，从而集群后端服务器的优先级的h 1 1 甲进判调度策略锋w e bq o s 控制机制相互协调度一致。 由丁| 能够实现q o s a w a r e 负载均衡策略闪此在电子商务领域，第7 层请求分配器比其它 c o n t e n t u n a w a r e 请求分配器有更好的分配器选择。 还有学者提出了一种能够实现q o s a w a r e 负载均衡的w e b 服务器集群系统模型。如图2 - 2 所示。 一一一+ 负载信息请求 幽2 2 一种实现q u s a w a r e 负载均衡的w e b 服务器集群模叩j 在此系统模型中，个c o n t e n t - a w a r e 请求分配器( 如第7 层交换机) 作为集群系统的前端负责 执行负载均衡策略。它接收所有剑达的请求，并且根据所获得的麻_ l 】层信息，如u r l 请求类剐、文 什名路狰等、将请求分成多个类别。不同类别的请求分配不同的优先级别。请求分配器将这些优先 级别运川刮负载均衡算法中，从而实现基丁优先级的请求分配，即o o s a w a r e 负载均衡。席该指山 的是，前端分配器和后端服务器恬点遵守相同的请求分类和优先化规! l ! j j 。 具体而吉，为了获得请求的麻h j 层信息请求分配器必须首先截取每个来自客户的t c p 连接建 立请求并且返同响麻与客户建立一个t c p 连接。然后分配器尽可能地读取所需的麻川层信息， 对请求执行分类和优先化升且基n 求的优先级作出请求分配的决定。之后，分配器与选定的j 亓 端服务器1 ，点建立了第1 二个t c p 连接。最后可以使川t c p 偿合机制1 1 4 , 1 6 1 将两个t c p 连接拼接起米 从而实现客户端到服务器竹点的商接通信即拼接_ l 亓的t c p 连接的i p 分组可以通过网络层直接从 一个端点转发给另一个端点，无需斤穿过请求分配器的t c p 层刮返其麻川层。 集群的各个后端服务器结点凡有相| 一j 的内存，每台服务器都能够响应任何客户的请求。所有的 7 江南人学坝l 学位论文 服务器部采川“进程每请求”( p r o c e s s p e r r e q u e s t ) 的体系结构冈此每个剑达的请求均对应丁一个单 独的进群进行处理。与请求分配器一样，服务器也要执行相同的请求分类和优先化操作。请求的优 先级被映射成处理该请求的m 1 甲进程的优先级。每个服并器仅有一个处理器( c p u ) ，他根据优先级 选择不同就绪队列中的进程加以执行。这种w e b 服务器集群模删能够通过修改l i n u x 操作系统r 的 a p a c h e 服务器得以实现。a p a c h e 服务器采h j 多进拌模刑并且具有“进拌每请求”的体系结构：服务 器启动时生成一定数颦的进利( 进拌池) 一个请求剑米时就分配一个单独的进稃进行处理。在l i n u x 操作系统中，实时进榉的f i f o 调度策略可以通过l i n u x 提供的s c h e d f i f o 调度类p 1 得以实现。 此外该体系结构中采i j 了反馈机制，从而将服务器的负载信息( 如每个就绪队列中的等待进样数 量) 动态地报告给请求分配器以实现负载均衡策略。 应该指山的是，这里的研究仅限丁处理器的优先排队。实际上，经验显示应该对进程或者控制 线样所使j 的全部计算资源实施优先排队，具体而言，除了c p u ，为客户请求提供响应所需要的计 算资源还有存储内容对象的辅助存储器以及向客户发送响应的网络设备等。但是，考虑多处优先排 队的系统必须使h j 排队网络( q u e u e i n gn e t w o r k ) 模刑，冈此其建模与分析相比之f 就要复杂得多。另 外，一日进样超过了内核的限度，包括l i n u x 在内的人多数操作系统都无法再墓r 进手! l 的优先级而 只能通过f i f o 的顺序处理v o 请求因此，为了有效地执行优先排队对操作系统内核的修改是十 分必要的。 最后简单说明一下该集群系统模喇中的o o s 性能苗度服务器的响应时i h 目( r e s p o n s et i m e ) 与服务 器的驻留时间。其中服务器的响应时间是指从客户发出h 1 t r p 请求剑响应返同客户所经历的时间。 服务器的驻留时间( r e s i d e n c et i m e ) 是从服务器收剑 r 几t 请求剑将应答响麻移交给t c p 连接的服 务器传输协议所经历的时间，该时间是由从辅助存储器或缓存中检索页面所需要的时间或者获取页 面中的对象所需要的时间决定的。在该模剐中，端剑端的响麻时间包括往复传输时间r t r ( r o u n dt r i p t i m e ) ，因此可见端剑端的q o s 保障需要网络q o s 机制的支持与协作。但廊该指出的是，这里的研 究主要是解决w e b 服务器集群系统的q o s 保证问题而朱考虑网络的q o s 冈素。 2 4 集群中的分组调度 调度是系统资源管理的核心机制之一，是解决多个业务竞争共享资源问题的有敛手段。网络系 统资源人致包括二个部分：缓冲区、链路带宽、处理器资源。这里所述的分组调度实现对链路带宽 的管理，是指按照一定的规则米决定从等待队列中选择哪个分组进行发送，使得所有输入业务流能 够按照预定的方式共享输山链路带宽。它影响的土要性能参数包括带宽分配、时延年抖动，是实现 网络服务质牮控制的核心技术之一。 2 4 1 分组调度的功能 典掣地，分组调度发生在路由器去往f 一个路由器或土机的输山接口，但可以满在地存在丁路 由器内部的任何发生资源党争而需要排队等待调度的地方，当一个分组到达网络仃点后，分类器根 据分组( 或业务类) 的上r 文平i i 粒度确定它所在的队列，分组进入响应队列排队等候直至调度器 将其选择发送。 如何把输入业务流对应剑不同的队列中，不同的调度算法在不同的网络环境f 有不同的方法， 需要分类功能和惆度规! i ! i | 的配合。先剑先服务ff i ：f s ) 只是根据分组的剑达时间对之进行服务，队列 数为l 。这种调度算法的粒度较人，因为把所有输入业务流对应剑不同的队列里，从而对输入业务 进仃有x 别的服务，成为c o s ( c l a 辐i f i c a l j o n ， q u e u i n g ， s c h e d u l i n g ) 结构。如图2 - 3 所示。比如在 i n t e m e t 中，可以基丁i p 源， 的地址、传输层源日的端r 】平i i 协议类叩j 对输入业务进行分类，也 可以根据i p 头中的t o s 字段进行分类，每一类可能对麻一个队列。而在a t m 网络中可基丁虚通 8 第一章w e bj i i 务器集群慨述 道标i _ n ( v i a u a lc h a n n e li d e n t i f i e r ，v c i ) 和虚通道标i 贝( v i r t u a lp a t hi d e n t i f i e r ，v p