（计算机应用技术专业论文）web服务器集群的qos控制研究.pdf

摘要 h t t p 是互联网高速发展的重要里程碑，据统计，目前w e b 流量已占互联网整体流 量的百分之七十以上，应用范畴更遍及信息社会的所有层面。w e b 服务器的q o s 控制 于是成为很有价值的研究课题。目前，i n t s e r v 雨ld i f f s e r v 是进行网络o o s 控制的重要 手段，而集群技术成为构建高可用高性能w e b 服务器的发展方向。然而，现在以负载 均衡策略为中心的w e b 集群系统不能实现区分q o s 类型的请求分配。本论文即围绕 w e b 集群的q o s 控制展丌，旨在为w e b 应用实现端到端的服务区分和性能保证寻求解 决方案。 论文首先分析了现有w e b 服务器集群系统的体系结构和请求分配策略，接着研究在 带有请求分配器的集群上运行单个w e b 站点的q o s 控制技术。存分析了传统的m m 1 和m m n 排队模型局限性的基础上，对需求驱动的w e b 集群服务区分算法d d s d 进 行了改进。使用m ，g 1 排队模型代替原算法中的m ，m l 模型进行建模和求解，同时给 出了参数测量、权值调整、接纳控制和请求分配的实现方案。其后基于n s 2 网络仿真 软件设计和实现了一个w e b 集群仿真器，并用它构建了一个具体的集群仿真环境，初 步的仿真结果表明该算法可以实现对不同服务类请求在平均伸展因子方面的服务区分。 文章最后结合i e t f 的d i f l s e r v 模型和w e b 集群的q o s 给出了端到端的q o s 实现方案。 论文的创新点在于给出需求驱动的w e b 集群服务区分改进算法、基于m g 1 的w e b 服务器模型的参数估计算法、使用n s 2 构造集群仿真环境的方法，以及网络q o s 和 w e bq o s 相结合的端到端q o s 方案。 w e b 服务器系统的q o s 控制技术甘前是网络研究的前沿领域，相关研究论文还不 多见，进行研究和测试所需的各种工具软件还很少，本文对w e b 集群的q o s 控制进行 初步的探索，许多研究专题还有待进一步拓展和深化。 关键词：w e b 集群；q o s 控制；集群仿真 a b s t r a c t h t t pi sa l li m p o r t a n tm i l e s t o n ei nt h er a p i dd e v e l o p m e n tp r o c e s so fi n t e r n e t w e bq o s c o n t r o lb e c o m e sav e r yv a l u a b l er e s e a r c ht o p i c c u r r e n t l y , i n t s e r va n dd i f l s e r va r et w o i m p o r t a n ta p p r o a c h e sf o rn e t w o r kq o sc o n t r o la n dc l u s t e r i n gb e c o m e st h ef u t u r et e c h n o l o g y o f c o n s t r u c t i n gh i g hp e r f o r m a n c ew e bs e r v e r h o w e v e r , t h el o a d b a l a n c i n gw e bc l u s t e r sa r e n o ta b l et oi m p l e m e n tq o s a w a r er e q u e s td i s p a t c h i n g t h i st h e s i so r i g i n a t e sf r o mq o s c o n t r o lo fw e bc l u s t e r i t sf o rt h ep u r p o s eo fs e e k i n ge n d t o e n dd i f f e r e n t i a t es e r v i c e s o l u t i o n sf o rw e ba p p l i c a t i o n s t h et h e s i sf i r s ta n a l y z e dt h ea r c h i t e c t u r e sa n dr e q u e s td i s p a t c h i n gs t r a t e g i e so ft h e e x i s t i n gw e bs e r v e rc l u s t e rs y s t e m s t h e nw es t u d i e dq o sc o n t r o lt e c h n o l o g i e so nt h ew e b c l u s t e rh o s t i n gs i n g l ew e b s i t e ，a f t e ra n a l y z i n gt h el i m i t a t i o no ft r a d i t i o n a lm m 1a n d m m nq u e u i n gm o d e l s ，w ee n h a n c e dd e m a n d d r i v e ns e r v i c ed i f f e r e n t i a t i o n ( d d s d ) a l g o r i t h m t h em g 1q u e u i n gm o d e lw a su s e dt or e p l a c et h eo r i g i n a lm m 1m o d e l w e r e m o d e l e dt h ec l u s t e rs y s t e ma n dp r o p o s e da ni m p l e m e n t a t i o ns c h e m ef o rp a r a m e t e r m e a s u r e m e n t ，w e i g h ta d j u s t i n g ，a d m i s s i o nc o n t r o la n dr e q u e s td i s p a t c h i n g t h e nw ed e s i g n e d a n di m p l e m e n t e daw e bc l u s t e rs i m u l a t o rb a s e d o nn e t w o r ks i m u l a t o r2 + w eu s e dt h a t s i m u l a t o rt oh j nap r e l i m i n a r yc l u s t e rs i m u l a t i o n t h er e s u l ts h o w st h a tt h ew e bc l u s t e r a p p l i e dt h ea l g o r i t h mc a ns e r v ed i f f e r e n t i a t ef o rd i f f e r e n ts e r v i c ec l a s s e so ns t r e t c hf a c t o r m e t r i c f i n a l l y , w ec o m b i n e di e t fd i f f s e r vm o d e la n dq o so fw e bc l u s t e rt od e l i v e ra n e n d - t o e n dq o ss o l u t i o n t h ei n n o v a t i v ep o i n t so ft h i st h e s i sa r e ：d e m o n s t r a t i n ge n h a n c e da l g o r i t h mo fd d s do n w e bc l u s t e r ；p r o p o s i n gp a r a m e t e re s t i m a t i o nm e t h o df o rm g 1 - b a s e dw e bs e r v e r ；u s i n gn s 2 t oc r e a t ew e bc l u s t e rs i m u l a t i o ne n v i r o n m e n t ；c o m b i n i n gn e t w o r kq o sa n dw e bq o si n t oa n e n d - t o - e n dq o ss o l u t i o n q o sc o n t r o lt e c h n o l o g yo fw e bs e r v e rs y s t e mi sc u r r e n t l yt h ef r o n t i e ro fn e t w o r k r e s e a r c h t h i st h e s i sc a r r i e s0 nap r e l i m i n a r ye x p l o r a t i o nt oq o sc o n t r o lo fw e bc l u s t e r m a n yt o p i c sn e e dt ob ee x p a n d e df o rf u r t h e rr e s e a r c h k e yw o r d s ：w e bc l u s t e r ；q o sc o n t r o l ；c l u s t e rs i m u l a t i o n 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本人 在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方式标 明。本人依法享有和承担由此论文产生的权利和责任。 声明人( 签名) ：写硪 - - o v b 年j 月王9 日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有 权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版，有权 将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查 阅，有权将学位论文的内容编入有关数据库进行检索，有权将学位论文的 标题和摘要汇编出版。保密的学位论文在解密后适用本规定。 本学位论文属于 1 、保密() ，在年解密后适用本授权书。 2 、不保密( v ) ( 请在以上相应括号内打“”) 作者签名：囊矿磊绚 导师签名谚石秽 日期：1 6 年r 月力日 日期：卿6 钞月z 7 日 第一章绪论 1 1 研究背景 第一章绪论 w e b 嗣前已经演变成为一个有着广泛内容和广大用户的仝球性系统，w e b 技术已经 成为人们在网上查询和共享信息的主要方法。据统计，目前w e b 流量已占互联网整体 流量的百分之七十以上，应用范畴更遍及信息社会的所有层西。 随着电子商务的兴起，i n t e m e t 的服务模式正由传统的数据通信与信息浏览向电子交 易与服务转变，这种变化使得w e b 服务器成为支持电子商务的核心设施。与传统的 t c p 1 p 平| ih t t p 服务的平均主义哲学不同，电了商务应用要求对其用户或服务进行区 分优先级别的处理，提供基于利润收益的区分服务。 例如，对客户而言，在线股票交易的h t t p 请求显然要比一般的浏览或下载请求更 加紧要，因而需要更加严格的实时保证；对w e b 服务器而言，它需要为付费的高级用 户提供较免费用户更好的服务级别保证。 i e t f 提出的综合服务( i n t e g r a t e ds e r v i c e s ，i n t s e r v ) 【l 】和区分服务( d i f f e r e n t i a t e d s e r v i c e s ，d i f f s e r v ) 【2 】是进行网络q o s 控制的重要手段。然而，仅靠网络q o s 机制并 不能完全解决端到端的q o s 控制问题。 日前通用的w e b 服务器系统尚无q o s 控制机制，无法为w e b 应用提供区分服务和 性能保证。现代w e b 服务器都是根据i n t e m e t 尽力而为( b e s t - e f f o r t ) 的服务模型平等 地处理所有到来的请求；大多数u n i x 内核的w e b 服务器采用f i f o ( f i r s ti nf i r s to u t ) 的调度策略，超载的情况下不加区别地丢弃高优先级的请求分组。在w e b 服务器超载 的情况下，具备网络q o s 控制的高级流可能仍会遭受服务拒绝，或者服务响应时间比 期望高出多个量级，造成事实上的“服务拒绝”，使得通过网络q o s 机制实现的性能改 进受到严重影响。 w e b 服务器作为端到端网络中不可缺少的一个重要环节，同样必须具备建立和支持 q o s 的机制与策略。w e b 服务器的q o s 控制于是成为很有价值的研究课题，是目前计 算机网络研究与开发的热点问题之一。【3 4 - 5 】 集群( c l u s t e r i n g ) 技术已经成为目前解决服务器超载和提供高性能服务器的一种有 w e b 擞务器集群的q o s 挖n c i j f 究 效手段。w e b 服务器集群系统可为w e b 服务提供高性能、高可用性、高性能价格比、 可伸缩的运行半台，是目前构建高性能w e b 服务器的主要发展方向。 然而。目前的集群系统是以负载均衡策略为中心，利用服务器的负载信息等来实现 请求的均衡分配从而提供最好的服务性能。它并没有考虑到h t t p 请求的q o s 类型， 不能实现基于q o s 的请求分配和负载均衡。无法为w e b 应用提供服务区分和性能保证。 【3 ，6 ，7 1 在w e b 集群上引入和实现q o s 控制机制与策略，具有重要的应用价值。本论文即 围绕w e b 集群的q o s 控制展开，旨在为w e b 应用实现端到端的服务区分和性能保证 提供解决方案。 目前在国际上，w e b q o s 控制的研究已经越来越受到网络研究者们和著名公司的重 视，许多网络q o s 和w w w 的国际著名会议都已经开始把w e bq o s 单独列为一个重要 的会议丰题：但在国内则很少见到w e bq o s 方面的研究论文，产品和专利方面更是空 白。本课题存该方向上进行研究和开发，具有一定的学术参考价值。四 1 2 论文结构 本文其后的内容安排如下： 第二章首先分析了现有w e b 服务器集群系统的体系结构，重点剖析了基于请求分配 器的集群体系结构和请求分配的实现技术。其后在基于请求分配器的集群上，对传统的 集群负载均衡策略和最新的基于第七层w e b 交换机的请求分配机制进行了概述。 第三章提出了一个在带有请求分配器的集群上运行单个w e b 站点的q o s 控制机制。 在分析了传统的m m 1 和m m n 排队模型局限性的基础上，对需求驱动的w e b 集群 服务区分算法d d s d 进行了改进，使用m g 1 排队模型代替原算法中的m m 1 模型进 行建模和求解，同时给出了参数测量、权值调整、接纳控制和请求分配的实现方案。 第四章描述了通过w e b 测量的方法来估计基于m g 1 的w e b 服务器模型的服务时 间参数的方法。本章通过w e b 测量得到不同请求到达速率下的平均响应时间，分析得 出w e b 服务器的过载点，进而利用最大似然估计来得到服务器服务时问的均值和方差。 第五章基于n s 2 网络仿真软件设计和实现了一个w e b 集群仿真器。本章首先介绍 了对w e b 集群进行性能评价的方法和n s 2 网络仿真软件的工作原理，并确定用基于n s 2 第一章绪论 进行网络仿真的方法来进行w e b 集群的性能评价。在分析了w e b 集群运行过程以及 w e b 服务过程的基础上确定仿真器的设计方案，并在n s 2 平台上完成仿真器的实现。 第六章利用第五章实现的仿真器，构建了一个具体的仿真环境，并对 e n h a n c e d - d d s d 算法进行了初步的仿真实验和结果分析。 第七章首先对现有的网络q o s 模型进行了比较，然后概述了m t f 的d i f f s e r v 模型 的功能特点，最后结合d i f f s e r v 给出了网络q o s 和w e b q o s 相结合的端到端q o s 方案。 第八章对本文进行总结并指出进一步的研究方向。 w e b 服务器集群的q o s 控制研究 第二章现有w e b 集群系统的体系结构和请求分配策略剖析 h t t p 请求的指数性增长和电子商务应用的蓬勃发展迫切需要高性能、高性价比和 高可用性的w e b 服务器系统。集群技术是目前解决服务器超载和提供高性能服务器的 一种有效手段。 w e b 服务器集群系统是由分布在局域网( l a n ) 或广域网( w a n ) 上的多台w e b 服务器主机相互联结而成的一种服务器体系结构。采用集群技术建立w e b 服务器系统 同单一工作站相比具有以卜明显的优势： 可伸缩性( s c a l a b i l i t y ) ：当系统的负载增加时，可以灵活地添加更多的主机而不断 地扩充服务器系统的性能； 高可用性( a v a i l a b i l i t y ) ：即使集群中的某些机器崩溃，系统仍可以运行，因此与单 一丁作站相比具有更好的系统可靠性和容错性。 可管理性( m a n a g e a b i l i t y ) ：整个系统可能在物理上很大，但容易管理。管理员可以 快速检查所有集群资源的状态，并控制集群的运行和资源分配。 高性能价格比( c o s t - e f f e c t i v e n e s s ) ：多台成本较低的w e b 服务器组成的集群系统同 具有相同性能的单一服务器相比具有显著的性价比优势； 由于w e b 服务器集群有上述优点，所以它已经成为当今w e b 站点所普遍采用的服 务器体系结构。【6 8 1 本章首先分析了现有w e b 服务器集群系统的体系结构，主要包括镜像站点、基于 d n s 的集群和基于请求分配器的集群。重点剖析了基于请求分配器的集群体系结构和 请求分配的实现技术。其后在基于请求分配器的集群上，分析了传统的集群负载均衡策 略和最新的基于第七层w e b 交换机的请求分配机制。 2 1w e b 服务器集群系统的体系结构 目前，常见的w e b 服务器集群的体系结构主要有镜像站点、基于d n s 的集群和基 于请求分配器的集群。【9 】 第二章现有w e b 集群系统的体系结构和请求分酣策略剖析 2 1 1 镜像站点 镜像站点的体系结构属于一种每个单独的节点都分散于地理上不同位置的集群。集 群中的每个节点具有不同的主机名( u r l ) ，但有相同的镜像内容。用户直接从多个具 有独立u r l 的站点进行选择，并将h t t p 请求发送给该镜像站点进行服务。用户可以 选择一个地理上距离最近的集群节点以减少响应时间。 这种体系结构对用户不透明，集群节点对用户是可见的；集群系统缺少对请求分配 的控制，集群节点的选择仅依赖于客户的主观意志。因为客户根本不清楚各节点的负载 情况，可能选择一个地理上距离较近的节点( 蕈载) 反而不如选择一个距离远的( 轻载) 的节点。另外集群节点的可见性也具有潜在的安全问题。 2 1 2 基于d n s 的w e b 服务器集群 在i n t e m e t | i 寻址一个特定的主机可以直接用它的i p 地址或使用主机名。使用主机 名进行寻址的客户在与w e b 服务器建立通信连接之前，必须向d n s ( d o m a i nn a m e s y s t e m ) 服务器发送1 个地址映射清求从而获得w e b 服务器的i p 地址。d n s 的作用是 负责将u r l 中的主机名映射成i p 地址。 集群的d n s 向外部提供一个u r l 作为整个集群的单一虚拟接l ( s i n g l ev i r t u a l i n t e r f a c e ) ，使得集群对用户端具有透明性。集群中的每台w e b 服务器都具有一个真实 的i p 地址。集群d n s 作为集群系统的集中式请求分配器，在w 曲站点域名到服务器 节点i p 地址的映射过程中选择集群的某个节点作为请求分配的目的地。在该映射过程 中允许集群d n s 实现多种负载均衡策略从而为客户请求选择最适宜的服务器。 该体系结构的主要问题是由于d n s 的t t l 和缓存机制将导致负载倾斜，同时系统 的可靠性和可维护性差，另外由于d n s 机制本身的限制使得它只能实现一种基于节点 主机的粗粒度的负载均衡( c o a r s e g a i n e db a l a n c i n g ) 。文献 7 】和 1 0 】对这类基于d n s 的 w e b 服务器集群及其负载均衡算法进行了详细的介绍和讨论。 基于d n s 的请求分配机制的典型例子有n c s a 的r r - d n s ( r o u n d - r o b i nd n s ) u l j 和c i s c o 公刮的d i s t r i b u t e d d i r e c t o r f l 2 1 。 w e b 服务器集群的q o s 控制研究 2 1 。3 基于请求分配器的w e b 服务器集群 与镜像站点和基于d n s 的集群相比，基于请求分配器( r e q u e s td i s p a t c h e r ) ( 或称 请求调度器( r e q u e s ts c h e d u l e r ) ) 的w e b 服务器集群能够完全控制所有到来的请求并 且可以实现精细粒度的负载均衡( f i n e - g a i n e db a l a l l c m g ) 。 基于请求分配器的w e b 服务器集群系统是由一台前端请求分配器和分布在高速局 域网上的多个相互联结的后端w e b 服务器节点构成。这里的请求分配器有的文献中也 称为w e b 交换机( w e bs w i t c h ) 1 3 】。前端请求分配器作为到达请求的代理，集中地接 收所有到达的请求，并且按照特定的负载均衡策略将请求均衡、透明地分配给集群中的 后端服务器。请求分配器具有一个单一的虚拟i p 地址( v i r t u a li pa d d m s s ) ，每台后端 服务器通过私有i p 地址( p f i v a t ei pa d d r e s s ) 来标识。 如图2 1 所示，请求分配器负责接收所有的h t t p 请求，然后按照一定的分配算法 将客户的请求分配给集群的后端服务器( b a c k - e n ds e r v e r ) 节点。请求分配器为集群系 统提供了一个单一的对外接口，使得整个集群对用户透明。 客户端请求 - 请求分配器 ( w e b 交换机) 一 - 臼一目。 w e b 服务器应用 服务器 l a n 图2 1基于请求分配器的w e b 服务器集群体系结构图 臼固i： 臼国 第二章现有w e b 集群系统的体系结构和请求分配策略剖析 集群中的每台后端服务器都能够响应任何客户的请求，而w e b 内容信息在服务器节 点间的分布方式可分为以下两种： i 在每个服务器的本地磁盘复制全部的内容树，即镜像各台服务器的内容： 2 通过管理全部w 曲文件树的分布式文件系统( 如a n d r e w 文件系统) 或使用存 储区域网( s t o r a g e a r e a n e t w o r k ) 来共享信息。 其中第2 种方式为服务器组提供统一的存储空间，使得系统的内容维护工作比较轻 松，系统管理员只需要更新共享存储中的页面，对所有的服务器都有效。分布式文件系 统提供良好的伸缩性和町用性，当分布式文件系统的存储空间增加时，所有服务器的存 储空间也随之增大。分布式文件系统在每台服务器上使用本地硬盘作c a c h e ，可以使 得访问速度接近于访问奉地硬盘。而存储区域网使集群的每个节点可以直接连接或共享 一个庞大的硬盘阵列。【6 】 2 2 基于请求分配器的w e b 服务器集群的实现技术 在基_ ：f 请求分配器的集群系统中，请求分配器可以工作在o s i 协议栈的第四层或第 七层。第四层交换机( l a y e r - 4s w i t c h ) 无法实现基于请求内容的分配( c o n t e n t - b l i n d ) ， 第七层交换机可以实现基于请求内容( c o n t e n t a w a r e ) 的分配。这两种类型的w e b 交换 机都可以采用o n c w a y 或t w o w a y 机制： 在o n e - w a y 机制下，客户端请求到达w e b 交换机，服务器的响应数据通过另一个网 络连接返回。 在t w o w a y 机制下，请求和响应都通过请求分配器返回。【9 l 2 2 1 第四层交换技术简介 早期的研究或产品采用第四层交换机( 仅处理到达的请求分组) 或t c p 路由器( 处 理到达的请求分组和返回的应答分组) 作为请求分配器，能够根据后端服务器的私有i p 地址或m a c 地址进行独一无二的识别，并在t c p 层执行请求分配( 即第四层处理) 。 所采用的典型请求分配机制包括分组重写( p a c k e tr e w r i t i n g ) 、分组转发( p a c k e t f o r w a r d i n g ) 、h t t p 重定向( h t t pr e d i r e c t i o n ) 等。其典型的负载均衡策略根据后端 w e b 服务器集群的q o s 控制研究 服务器的活动连接数、运行队列中的进程数量、到达的请求速率等情况来选择负载最轻 的服务器。采用这种集群体系结构的典型例子有c i s c o 公司的负载均衡产品 l o c a l d i r e c t o r 和d i s t r i b u t e d d i r e c t o r 、1 1 3 m 的n e t w o r kd i s p a t c h e r 、b e l ll a b s 的o n e 2 i p 等。 下面对第四层交换机的请求分配实现机制进行简介： 1 分组重写 h t t p 请求分组首先到达请求分配器，每个请求的目标服务器的选择由分配器的负 载均衡算法来决定。请求分配器将分组的目的i p 地址替换成所选择的服务器的t p 地址。 由于一个请求通常包含多个i p 分组，所以分配器跟踪地址表中每个己建立的t c p 连接 的源i p 地址，从而实现将属于同一个连接的请求分组分配到相同的w e b 服务器节点。 如果采用分组一次重写( p a c k e ts i n g l e r e w r i t i n g ) ，则响应分组不再经过请求分配器，服 务器在将响应分组返回客户之前要将分组头的服务器i p 地址替换成请求分配器的i p 地 址。如果采用的分组_ 次重写( p a c k e td o u b l e - r e w r i t i n g ) ，到达的请求分组和返回的应 答分组都要通过请求分配器，分配器必须重写所有返回的应答分组的源i p 地址，然后 将分组发回客户端。这两种情况请求的实际处理过程对客，、端都是透明的。 2 分组转发 在分组转发机制下，请求分配器和服务器节点位于同一局域网，并且共享相同的i p 地址。w e b 服务器节点禁止了a r p 地址解析功能，所以客户请求首先到达请求分配器。 请求分配器使用服务器节点的物理地址( m a c 地址) 对其进行选择并执行分组转发， 而无需对其i p 地址进行重写。由于不需要进行分组重写，这种方案下的请求分配器对 客户和服务器而言都是透明的。 3 h f t p 重定向 h t f p1 0 以及以上版本定义了一种重定向消息，如果浏览器发出一个h t t p 请求后 收到一个这种消息，意味着服务器上被请求对象已改变了位置，浏览器会自动地从这个 消息中取出新位置对应的u r l ( 其中可能包含一个新的服务器地址) ，再向此u r l 发 出第二个h t t p 请求就可以得到该对象。采用这种原理也可以实现请求分配，并且不需 要对进出分配器的分组i p 地址进行修改。h t t p 重定向实现起来比较简单，请求分配 器可以在t c p 咖议层打开请求，从而知道它的内容。缺点是客户端必须与集群建立两 第二章现有w e b 集群系统的体系结构和请求分配策略剖析 次连接，在网络延迟较大的时候需要较多的时间。 2 。2 2 第七层交换技术简介 最近的研究和产品已经丌始采用第七层交换机( 也称第五层交换机、w e b 交换机或 内容变换机) 作为集群的前端请求分配器。与第四层交换机和t c p 路由器等不考虑请 求内容的分配器相比，第七层交换机除了能够获得第二、三、四层信息以外，还能获得 应用层信息( 如u r l ) ，从而实现c o n t e n t a w a f e ( 基于请求内容) 的请求分配。 c o n t e n t - 删e 请求分配策略既能够提高集群后端服务器主存储器缓存的命中率又能够 实现负载均衡，提高了集群系统的性能。与不考虑请求内容的分配机制相比， c o n t e n t a w a r e 请求分配的实现机制要复杂得多，这是因为在对目标服务器进行选择时 必须首先检查客户请求的内容或服务的类型。为此，客户必须首先与不对请求实旌服务 的分配器建立一个t c p 连接，并且要求请求分配器执行比第四层( t c p 层) 处理复杂 得多的第七层( 应用层) 处理。目前已经提出了一蟪能够支持c o n t e n t a w a r e 请求分配 的机制，典型的有h t t p 重定向、前端中继( r e l a y i n gf r o n t - e n d ) 、t c p 接合( t c p s p l i c i n g ) 、t c p 转接( t c ph a n d o f f ) 等。典型的支持c o n t e n t a w a r e 请求分配的第七层 交换机产品有c i s c o 公司( 收购了原来生产c s 2 8 0 0 等w e b 交换机的a r r o w p o i n t 公司) 的c s s1 1 0 0 0 系列内容服务交换机、f o r e ( 已被g e c 公司收购) 的e s x 2 2 4 0 0 4 8 0 0 交 换机、f o u n d r y 的s e r v e r i r o n 系列w e b 交换机以及a l t o n ( 已被n o r t e l n e t w o r k s 合并) 的w e b 交换机等。 下面对第七层交换机的请求分配实现机制进行简介： 1 h t t p 重定向 如前所述，h t t p 重定向是一种由服务器发出的响应客户请求的消息，指示客户使 用另外一个u r l 去获取请求的内容。集群请求分配器可以利用h t t p 重定向指示客户 直接从选定的后端服务器节点获取所需的内容，从而实现c o m e n t a w a r e 请求分配。该 方法的缺点就是每个h t t p 重定向需要客户与服务器系统建立一个新的t c p 连接，因 而增大了客户感知的延迟。 2 前端中继 一个h t t p 代理( p r o x y ) 运行r 前端，负责接受客户连接并维护与所有后端节点的 w e b 服务器集群的q o s 控制研究 持续性控制t c p 连接。当客户连接上代理并发送请求，代理就将其通过相应的控制t c p 连接转发给选定的后端节点。当后端节点发来响应，代理就将其转发给客户。这种机制 简单并且能够使用标准的操作系统予以实现，缺点是由于请求和响应都要通过前端使得 前端容易变成瓶颈。 3 t c p 接合 t c p 接合足一种对前端中继的优化方法，前端的数据转发直接通过操作系统执行。 这就避免了使用用户层应用程序所导致的拷贝和上下文切换，因此系统开销较低。但是 由于请求和响应都要通过前端，因此前端仍然容易成为瓶颈，另外t c p 接合需要对前 端分配器的操作系统内核进行修改。 4 t c p 转接 t c p 转接能够实现将后端服务器的响应直接转发给客户而无需再通过前端分配器。 这是通过将前端分配器与客j 1 建立的t c p 连接转接给选定的后端服务器而实现的。该 机制保持了对客户的透明性，因为后端服务器返回的响应看起来就和从前端返回的一 样。这种机制需要对前端分配器和后端服务器的操作系统内核| 一j 时进行修改。 2 3w e b 服务器集群系统的请求分配策略 w e b 服务器集群需要设计和实现有效的请求分配( r e q u e s td i s p m c h i n g ) 机制和负 载均衡( l o a db a l a n c i n g ) 策略，将客户的请求分配到集群中最适宜的w e b 服务器节 点进行处理，从而获得最佳的w e bq o s 性能，并且通过负载均衡策略使集群中各台服 务器的负载处于均衡状态( 即服务器的请求负载与其处理能力成正比) ，使得整个集群 系统的效率最高。 w e b 服务器集群系统的请求分配策略主要是由请求分配器来完成的。目前大多数第 四层交换机实现传统的基于负载均衡的分配算法，不能进行基于q o s 的调度。新的分 配算法基于第七层w e b 交换机，通过请求分类得到一些和优先级相关的信息，调度时 利用这些信息可以为不同的用户提供不同的w e bq o s 。 第二章现有w e b 集群系统的体系结构和请求分配镱略剖析 2 3 1 传统的负载均衡算法 传统的负载均衡算法有：轮转法( r o u n d r o u b i n ，r r ) 、加权轮转法( w e i g h t e d r o u n d - r o b i n ，w r r ) 、最少连接算法( l e a s tc o n n e c t i o n ，l c ) 等。【6 j 这些算法考虑的 主要问题是如何将请求流调度到后端的各台服务器，使得各台服务器尽可能地保持负载 均衡。 以最少连接算法为例，它通过服务器当前活动连接数( a c t i v ec o n n e c t i o nn u m b e r ) 米 估计服务器的负载情况。请求分配器需要记录各个服务器已建立连接的数目，当一个请 求被调度到某台服务器，其连接数加1 ；当连接中止或超时，其连接数减1 。在调度时 将新的请求分配到当前活动连接数最小的服务器。 2 。3 2 请求分类和接纳控制算法 传统的负载均衡算法只使用服务器负载信息而不使用请求的内容信息，无法对请求 进行区分，无法控制囚过多的请求超过系统的处理能力而导致的系统性能降级。其表现 为当请求速率和系统资源消耗超过荣一个闽值，系统会变得不稳定，每个任务的响应时 间剧烈增加。改进的方法是在请求分配器上添加请求分类( r e q u e s tc l a s s i f i c a t i o n ) 和接 纳控制( a d m i s s i o nc o n t r 0 1 ) 模块。 请求分类模块根据请求的内容信息等将请求或客户端分成不同的服务类( s e r v i c e c l a s s ) 。目前已经有多种请求分类机制，这些机制大体上可以归纳为以下两类：【3 】 1 基于客户的分类 基于客户的分类是根据客户某些特有的属性和特征来进行分类，具体包括： ( 1 ) 基于客户端i p 地址的分类：根据客户端的i p 地址来辨别不同的客户。这种 方法最易实现，缺点是客户端的i p 地址会被代理服务器或防火墙所屏蔽，因此其应用 受到。定的限制。 ( 2 ) 基于h t t pc o o k i e 的分类：h t t pc o o k i e 是w 曲服务器返i 里| 给客户用来收集 客户信息的数据块，也是一种具有唯一性的标识符，它可以嵌入h t t p 请求内以表明 客户所属的类别。如对于特定商品或服务的网上定购就是通过持久的c o o k i e 来实现的。 另外，c o o k e 也可以用来识别一个已经建立起来的会话( s e s s i o n ) ，从而实现基于会话 w e b 服务器集群的q o s 控制研究 的淆求分类。 ( 3 ) 基于浏览器p l u g i n s 的分类：浏览器p l u g - i n s ( 用于扩充w e b 浏览器功能的插 件程序) 也可以在每个h t t p 的请求体中嵌入特定的客户标识符。 使用这些基于客户的分类方法可以设置优先的客户组，从而向其提供较其他客户更 好的w e b q o s 。 2 基于请求目标的分类 基于请求目标的分类是根据请求的目标所特有的一些属性和特征来进行分类，具体 包括： ( 1 ) 基于请求u r l 的分类：u r l 请求类型或文件名路径可以用来区分不同请求的 相对晕要程度。 ( 2 ) 基于目标i p 地址或端口号的分类：当多个站点位于同一w e b 服务器节点时， 服务器可以利用请求的目的i p 地址或端口号来对请求进行分类。 基于目标的分类方法可以为实现重要的请求( 如信用卡支付请求) 或者付费更多的 虚拟站点提供更好的w e bq o s ，也可以用来控制资源紧要型请求( 如动态文件的请求) 的资源消耗。 上述两种分类机制对于请求分类通常是足够的，当然也可以使用基于客户和基于目 标的特定属性的组合来进行分类。 请求分类是进行接纳控制的基础，而接纳控制是防止系统发生性能降级的关键，它 保证当集群负载超过一个给定的阈值时拒绝低级别用户的请求，当到达服务器的临界负 载时才拒绝高级别的请求。实现接纳控制的核心问题是如何评价临界负载闽值。 1 3 1c h e n 等在文献 2 1 w 的研究结果表明在服务器利用率接近饱和的情况下，使用请求分类和接 纳控制算法在适当牺牲低级别任务性能的情况下可以为高级别的任务提供更好的性能。 2 3 3 静态分区算法 单纯的接纳控制无法实现不同级别请求的性能隔离，而性能隔离是实现w e bq o s 的最重要的目标。性能隔离要求：系统将它的资源在服务类之问按一定的比例进行分配i 对给定的请求负载，每一个服务类至少可得到独立分配给它的资源而不受到其他服务类 的影响；当分配给某个服务类的资源没有被使用完时可以分配给其他的服务类。 第二章现有w e b 集群系统的体系结构和请求分配策略剖析 实现性能隔离的最简单方法是静态分区法( s t a t i cp a r t i t i o n ) ，它通过w e b 交换机将 后端服务器分成和服务类个数一样多的吲定分区，将不同服务类的请求分配给相应分区 中的服务器来执行。这种方法的优点是实现简单月无需修改后端的w e b 服务器软件。y 3 2 3 4 动态分区算法 由丁二请求到达的速率是变动的，服务器负载也是变动的，使用静态分区方法可能出 现有些分区的服务器出现过载时有些分区的服务器还处于空闲状态。山于不知道不同服 务类请求的比例，站点管理员无法事先准确地划分服务器分区，使得系统资源不能充分 得到利用。 最新的研究成果使用动态分区( d y n a m i cp a r t i t i o n ) 的方法。这种方法根据请求的服 务类组成、请求的资源需求和服务器负载状态动念调整分区，从而在实现了不同级别请 求的性能隔离的i 司时保证了系统资源利用率。 c a r d e l l i n i 等提出的d y n a m i c p a r t i t i o n 算法在初始化时使用和静态分区相同的分区方 法。随着集群系统的运行，请求分配器计算各服务类分区中服务器负载之和。当该值满 足一定条件时，将负载最小的服务器移动到其他分区，以此来调整各分区中的服务器个 数，从而适应请求到达的变化。f 1 3 】 2 4 其他与w e b 集群q o s 相关的研究工作 k a n o d i a 等提出了一种q o w s ( q u a l i t yo f w e b b a s e ds e r v i c e s ，q o w s ) 策略，它使 用接纳控制和性能隔离机制，可以为不同服务类提供达到预先指定的延时日标的保证。 【l4 】 单志广基于3 种请求分配策略( r r ，l c f 和s e d ) 和请求选择方案( r s ，h o l 和 w p ) 提出并分析9 种而向w w w 服务器集群系统请求分配和选择的综合调度方案，并 提供了这些方案的随机高级p e t r i 网( s t o c h a s t i ch i g h l e v e lp e t r in e t ，s h l p n ) 模型， 性能分析结果显示最小期望等待时间一加权优先级s e d w p ( s h o n e s te x p e c t e d d e l a y - w e i g h t e dp r i o r i t y ) 方案能够较好地实现系统负载均衡，同时兼顾了不同请求的 w 曲q o s 需求和公平性，是满足电子商务类应用需求的较好的推荐方案。这种方法需要 w e b 服务描集群的q o s 控制研究 同时修改请求分配器和后端w e b 服务器。 1 5 1 目前，在w e b 集群的q o s 领域的研究仍然处于探索阶段，基于q o s 的集群请求分 配算法等仍然是开放问题，迩没有出现实际可用的成熟产品。 第三章增强型需求驱动的w e b 集群服务区分机制 第三章增强型需求驱动的w e b 集群服务区分机制 为实现w