（计算机应用技术专业论文）web区分服务的技术与策略研究.pdf

三大学博士学位论文w e b 区分服务的技术与策略研究 摘要 l 电子商务应用的迅猛发展，以减少用户响应等待延时和降低响应失败为目的的服务质量 控制已经成为迫切需求。i n t e m e t 标准规范制定组织i e t f 从网络服务质量控制角度提出 j n t s e r v 和d i f l s e r v 两种传输模式，用来满足不同客户对网络带宽的业务需求。与之相应， w e b 区分服务顺应技术潮流应运而生，并迅速成为一个新的研究领域和重要的学术分支。 w e b 区分服务既有技术层面的要求，又有服务策略层面的要求，体文从这两个层面入手，展 开了广泛与深入的研究工作，提出了一些新的策略与方法。总结下来，论文有以下一些研究 成果： 1 w e b 区分服务在策略上与l m e m e t 区分服务具有相关性，在技术上跟传统w e b 服务 器具有继承性，本文重点分析了w e b 技术、w e b 集群技术、w e b 服务特点和i n t e r n e t 区分服 务策略作为全文研究工作的基础，然后从技术层次和策略层次指出了所要研究的问题。 2 通过嵌入模块方式基于传统w e b 服务技术构建了支持区分服务的w e b 服务模型，从 技术层次对区分服务莳实现进行了详细论述，重点讨论了业务类的请求识别、资源管理、请 求调度和访问控制等的技术要求和实现方法，并进一步分析了提高资源利用率和降低无效请 求资源消耗的措施。 3 资源满足需求是实现服务质量保证的前提，为满足业务类动态的资源需求，我们提 出种支持业务类优先级和资源需求的资源划分方法，通过按周期对业务类请求处理时间或 平均访闷率进行统计，以响应扩展因子为质量指标对业务类预期的资源需求作出评估，采取 按主机编号有序地分配给按优先级排序的业务类，减少业务类资源变动和提高主存c a c h e 命中率。 4 将绝对区分服务和相对区分服务的概念扩展到w e b 服务应用中，设计了一种支持绝 对区分服务方法s l a d 5 通过在业务类之间进行资源的周期性划分和控制周期内资源的有效 利用，使不同业务类最务按服务质量要求得到控制我们基于s l a d s 方法构建了支持区分服 务的集群w e b 服务器景型。 j i 经济模型以市场供需平衡为基础来实现资源最优分配，在计算机网络系统中已经得 到应用潍乏f | 、】将经济模型引入到w e b 区分服务的应用中通过采用微观经济模型中的p a r e t o 最优资源分配方法实现了w e b 集群中业务类的资源分配，然后基于资源利用率来控制业务类 服务质量：我们进一步提出s l a 经济策略，用来对w e bh o s t i n g 客户资源过剩和不足的情况 进行管理，目标是使屐务商和客户的利益最大化。通过与经济模型的结合，使区分w e b 服务 应用的研究更趋于实用化。 6 陋子商务网站广泛采用s e s s i o n 来执行事务处理，结合s e s s i o n 的事务性特点，体文 提出对s e s s i o n 过程步骤化思路，按访问用户的优先级和过程步骤的重要性来维护s e s s i o n 浙江大学博士学位论文w e b 区分服务的技术与策略研究 f t , 3 优先级，以保证重要s e s s l o n 的完整执行为前提，给出了支持s e s s i o n 的区分服务策略。 关键词：区分鹾务，电j 褊务，。b 月务器，。b 集群，i 。t 。t ，业务颤别，蒜舞管 理，请求调度访问控制服务等笔笋定经济模型，绝对区分服务 浙江大学博士学生论文w e b 区分服务的技术与策略研究 a b s t r a c t w i t ht h ee x p l o s i v eu s eo fi n t e r a c ta n dr a p i dd e v e l o p m e n to f c o m m e r c e ，i tb e c o m e sm o r e u r g e n tf o rw e bs i t e st op r o v i d eq u a l i t yo fs e r v i c e s ( q o s ) g u a r a n t e e sf o rc l i e n tr e q u e s t st or e d u c e t h er e s p o i a s ed e l a y sa n dr e s p o n s ef a i l u r e si n t e m e te n g i n e e r i n gt a s kf o r c e ( i e t f ) h a sp r o p o s e d t w ot r a n s p o r t sm o d e i n t s e r va n dd i t i s e r v t oi m p r o v eq o so ni n t e r n e t ，b u ti ti sn o t e n o u g h t om e e tt h eq o sd e m a n d ss i n c eq o s m a y b ea f f e c t e db yn e t w o r ko r a n ds e r v e r w i t hm o r e b a n d w i d t ha d d e dt oi n t e m e ta n dt h eb o n l e n e c km o v e dt os e r v e rs i d e ，h o wt oa s s u r eq o si nw e b s e r v e r sb e c o m e st h em a j o rp r o b l e m d i f f e r e n t i a t e ds e r v i c ei nw e bs e r v e r si s b r o u g h tf o n ht i m e l y , a n db e c o m e san e wr e s e a r c h f i e l da n di m p o r t a n ts c i e n t i f i cd i v i s i o nr a p i d l y t os u p p o r td i f f e r e n t i a t e ds e r v i c e si nw e bs e r v e r s ， t h em e t h o d so ft e c h n o l o g i e sa n di m p l e m e n t a t i o no fp o l i c i e ss h o u l db e d e e p l y s t u d i e d t h i s d i s s e r t a t i o nm a k e sal o to fr e s e a r c h e so nt h e s ea s p e c t sa n dp u t sf o r t han u m b e ro fn o v e lp o l i c i e s a n dm e t h o d s t h em a i nc o n t r i b u t i o n so f t h ed i s s e r t a t i o na r ec o n c l u d e da sf o l l o w s ： 1 w e bd i f f e r e n t i a t e ds e r v i c ei si n h e r i t e df r o mt r a d i t i o n a lw e b t e c h n o l o g ya n di n t e g r a t e dw i t h i n t e r n e td i f f e r e n t i a t e ds e r v i c et op r o v i d eq o sm a n a g e m e n t a st h ef o u n d a t i o no fo u rr e s e a r c h e s ， t h ed i s s e r t a t i o ns t u d i e st h ew e b t e c h n o l o g i e s ，w e bc l u s t e rt e c h n o l o g i e s ，w e ba c c e s sc h a r a c t e r i s t i c s a n di n t e r n e td i f f e r e n t i a t e ds e r v i c ep o l i c i e s ，a n dp r e s e n t st h ec o n c e m e dp r o b l e m so nt e c h n o l o g i e s a n dp o l i c i e s 2 w e bs e r v e ra r c h i t e c t u r e sb a s e du p o nt r a d i t i o n a lw e bs e r v e ra n dw e bc l u s t e rw i t he m b e d d e d m o d u l e sh a v eb e e nc o n s t r u c t e d ，a n dt h ei m p l e m e n t a t i o nm e t h o d so fd i f f e r e n t i a t e ds e r v i c e sa r e p r o v i d e d t h ec r i t i c a lf u n c t i o n sw h i c hi n c l u d ec l a s si d e n t i f i c a t i o n ，r e s o u r c em a n a g e m e n t ，r e q u e s t s s c h e d u l i n ga n da d m i s s i o nc o n t r o la r es p e c i f i c a l l ya n a l y z e d ，a n d t h ew o r k so ni m p r o v i n gr e s o u r c e u t i l i t ya n dr e d u c i n gr e s o u r c eo v e r h e a do nr e f u s e dr e q u e s t sa r ea l s od i s c u s s e d 3t h e p r e m i s e t oa s s u r eq o si st op r o v i d es u f f i c i e n tr e s o u r c et om e e td e m a n d s w ec o m eu p w i t ham e t h o dt op a r t i t i o nt h er e s o u r c e so f 、e bc l u s t e rf o re a c hc l a s sw i t hi t sr e s o u r c ed e m a n da n d p r i o r i t yr e q u i r e m e n tt a k e nf o rg r a n t e d ，w h e r es y s t e mp r o c e s s i n gt i m eo ra v e r a g ea c c e s sr a t e si s s u m m e du pf o re a c hc l a s sp e r i o d i c a l l ) 。a n dr e s o u r c ed e m a n d si se v a l u a t e dw i t hs t r e t c hf a c t o ra s p e r f o r m a n c em e t r i c a l s ot h en o d e sm a r k e di n n u m b e rw i l lb eo r d e r l ya s s i g n e dt ot h ec l a s s e s o r d e r e di np r i o r i t i e s ，w h i c hh e l p st om a i n t a i nd a t al o c a l i t ya n di m p r o v e sm e m o r yc a c h e h i t s 4 t h ed e f i n i t i o n so fa b s o l u t ed i f f e r e n t i a t e ds e r v i c ea n dr e l a t i v ed i f f e r e n t i a t e ds e r v i c eh a v e b e e ne x t e n d e dt ow e bs e r v i c e si n t h i sd i s s e r t a t i o n w ed e s i g nam e t h o d ，s l a d s ，t os u p p o r t a b s o l u t ed i f f e r e n t i a t e ds e r v i c ei nw e bc l u s t e r s w i t hr e s o u r c er e p a r t i t i o n e dp e r i o d i c a l l ya n dh a v i n g r e s o u r c eu t i l i t yc o n t r o l l e di ne a c hp e r i o d ，t h eq o sd e m a n d so fe a c hc l a s sc a nb em e e t b a s e do f f i v浙江犬学博士学位论文w e b 区分服务的技术与簧略研究 s l a d s w ec o n s t r u c ta 、7 e bc l u s t e rp r o t o t y p et h a tc a ns u p p o r ta b s o l u t ed i f f e r e n t i a t e ds e r v i c e s 5a se f f i c i e n tr e s o u r c ea l l o c a t i o n a p p r o a c h e s ，e c o n o m i cm o d e l sa r ew i d e l ya d o p t e di n c o m p u t e rn e t w o r ks y s t e m s w eh a v et h ee c o n o m i cm o d e l si n t r o d u c e di nw e b s e r v i c e s f i r s t ，w e h a v et h er e s o u r c eo fw e bc l u s t e ra l l o c a t e d a m o n gt h ec l a s s e sw i t hp a r e t oo p t i m a lm e t h o di n m j c r o e c o n o m i cm o d e l a n dh a v et h er e s o u r c el o a do fe a c hc l a s sc o n t r o l l e dn o tt ob eo v e r u s e d t h e nap o l i c yf o rs u p p o s i n gs e r v i c el e v e la g r e e m e n t ( s l a ) i sp r o p o s e dt oo p t i m i z et h er e s o u r c e u t i l i t ya m o n gt h ew e bh o s t i n gu s e r sw h om a yh a v ei d l er e s o u r c e so rl a c kr e s o u r c e s c o m b i n e d w i t he c o n o m i c m o d e l s ，w e bd i f f e r e n t i a t e ds e r v i c e si sm o r ep r a c t i c a l 6 i ne c o m m e r c ew e b s i t e s ，m a j o r i t yo ft h er e q u e s t si nw e bt r a f f i ca r es e s s i o n b a s e d w i t h t h et r a n s a c t i o n a lc h a r a c t e r i s t i c so fs e s s i o n s ，as e s s i o no n c ea c c e p t e dw i l le x p e r i e n c eaf e w s t a g e s s u c ha sm a i nm e n u ，b r o w s i n g - e m p t y _ c a r t ，b r o w s i n g - a r t i c l e s _ i n _ c a r ta n dc h e c k o u tb e f o r e c o m p l e t e d w eh a v et h e s e s s i o np r i o r i t ym a i n t a i n e do nt h eb a s i so ft h ec l i e n tw h oi s s u e st h e s e s s i o na n dt h es t a g ew h i c ht h es e s s i o nr e s i d e si n ，a n dp r o p o s ead i f f e r e n t i a t e ds e r v i c ep o l i c yt o a s s u r et h ei n t e g r i t yf o rt h es e s s i o n sw i t hh i g h e rp r i o r i t i e s k e y w o r d s ：w e bd i f f e r e n t i a t e ds e r v i c e ，i n t e r n e td i f f e r e n t i a t e ds e r v i c e ，e - c o m m e r c e ，w e bs e r v e r w e bc l u s t e r ，c l a s si d e n t i f i c a t i o n ，r e s o u r c em a n a g e m e n t ，r e q u e s t s c h e d u l i n g ，a d m i s s i o nc o n t r o l s e r v i c e sl e v e la g r e e m e n t ，e c o n o m i cm o d e l s ，a b s o l u t ed i f f e r e n t i a t e ds e r v i c e s 浙江大学博士学位论文w e b 区分服务的技术与簧略研究 1 1 研究背景 第一章绪论 ( 一) 电子商务与服务质量问题 l i n t e m e t 自八十年代出现以来蓬勃发展，近年来更以惊人地速度增长，连网主机量每年 翻一番，w e b 网站点每半年翻一番。同时伴随多媒体技术的飞速发展，i n t e m e t 上多媒体应 用层出不穷，多媒体信息的数量与日俱增。i n t e r n e t 使用的方便性和w e b 应用的多样化吸 引了越来越多的用户，据n u a i n t e r n e t 调查中心统计1 ，全球i n t e r n e t 用户人数已经超过6 亿，在经济发达国家，如加拿大、韩国等瞄址的用户经常使用i n t e r n e t ，信息技术最 发达的美国则拥有1 6 6 亿上网用户；在发展中国家，巴西拥有1 4 0 0 万上网用户、中国的 上网用户数字为5 6 6 0 万，而据中国互联网络信息中一0 ( c n n i c ) 2 0 0 2 年底的统计报告，这 个数字为5 9 1 0 万，并且还在迅速上升。i n t e r n e t 的无所不在和大量潜在客户的存在，为企 业创造另一个更直接面向客户的市场电子商务市场提供了条件，而这个市场的直 接性、广阔性和方便快捷的特点正吸引着越来越多的企业，加入i n t e r n e t 和开展电子商务 已经成为企业面向市场的一种潜在的必然趋势。 现有的i n t e m e t 是按非实时的单一数据类型通信( 如文件传输、e m a i l ) 模式设计的。 伴随着电子商务应用的发展，i n t e m e t 的服务角色已逐步由单一的数据传输网向数据、语音、 图象等多媒体信息的综合传输网转变，相应的服务模式也由传统的数据通信与信息浏览向 电子交易与服务演化。这种变化使w e b 服务器以及w e b 服务器系统成为支持电子商务的 核心。现在，企业和服务供应商都越来越倾向于将重要的服务转移到w e b 上去，例如，在 线银行、股票交易、网上预订、网上购物等，都是目前流行的通过w e b 服务器提供的电子 交易与服务形式。这些业务的开展，也使w e b 流量在i n t e r n e t 总流量中所占的比例超过6 0 ， 成为i n t e r n e t 上信息传输的主流。 然而，人们在进行电子商务交易时，仍不时经历着难以忍受的等待，这严重影响了电 子商务业务的开展。b o u c h 等 b k b 0 0 在对用户可感受到的服务质量影响研究中发现，用 户对响应延时超过1 0 秒以上的现象很难容忍，而根据z o n a 研究中心的统计，一个电子商 务网站必须保证其w e b 用户在7 秒内得到响应，否则将损失3 0 甚至更多的用户。据估 计，仅在美国电子商务市场，慢的通信速度、延迟的响应时间、频繁的连接中断等问题就 导致每年大约4 0 0 亿美元的销售损失。因此，针对w e b 技术特点，改善电予商务环境，减 少用户响应等待延时和降低响应失败等服务质量控制问题已经成为迫切需要解决的问题。 ( 二) 网络传输质量控制 h t t p ：w , v x v i n t e m e t s t a t sc o n # 浙江= = 学博士学位论文w e b 区分服务的技术与策略研究 缺少传输服务质量控制的i n t e m e t 是影响w e b 响应服务质量的重要因素。现时的 i n l e m e t 是基于传统i p 传输来实现的，由于i p 协议提供的是一种面向无连接的网络层传输 服务，必须辅以高层协议( 如t c p ) 才能实现端到端的可靠传输，因此是一种缺少必要服 务质量保证的“尽量做好”的服务。 为满足多媒体应用和对网络传输的服务质量控制，作为| n t e m e t 标准规范制定的最主 要的组织、创始于1 9 8 6 年的i n t e m e t 工程任务组( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，i e t f ) 以提高网络资源利用率和为用户提供更高服务质量为目标，先后提出了集成服务( i n t s e r v ) 和区分服务( d i f f s e r v ) 两种新的i m e m e t 传输模式 b e r 9 8 ，f k s 9 8 ，b b c 9 8 ，w h i 9 7 。 i n t s e r v 提供端到端的服务保证型服务( g u a r a n t e e ds e r v i c e s ) 【s p g 9 7 或可控负载型服务 ( c o n t r o l l e d 1 0 a ds e r v i c e ) w r 0 9 7 ，典型的应用如远程教学、视频点播等交互式音频和视 频应用。但i n t s e r v 方案中要求所有路由器在控制路径上处理每个流的信令消息并维护每个 流的路径状态和资源预约状态，同时在数据路径上执行流的分类、调度和缓冲区管理，对 系统的资源消耗较大，在可扩展性和鲁棒性方面存在不足；d i f f s e r v 方案通过在边界节点 根据用户的流规定和资源预留信息将进入网络的单流分类、整形、聚合为不同的流聚集， 在达到服务质量控制的同时克服了i n t s e r v 方案中资源消耗过大的问题。通过采用d i f f s e r v 与i n t s e r v 等先进技术，可以有效提高网络传输质量控制。 保障资源也是解决服务质量问题的重要手段。将大量带宽加到i n t e r n e t 骨干网可缓解 网络资源瓶颈和更好保证网络传输质量。当前网络传输速度的提高很大程度上也得益于网 络带宽资源的扩充。 ( 三) w e b 服务质量控制 w e b 服务器过载是影响用户响应延时的另一个重要因素，并随着网络带宽和网络质量控 制技术提高而成为主要因素。w e b 服务质量控制首先是一个避免服务器过载的控制过程。 在正常的负荷条件下，到达请求率通常不会超过服务器能力，服务器可以为所有请求提 供服务且不会引起很大的响应延时。但当需求超过服务器处理能力时，即服务器接收了超过 自身处理能力的用户请求时，将引起服务器的某种关键资源( 网络接口、硬盘i 0 带宽、物 理内存、c p u ) 成为瓶颈，并造成服务器的吞吐量降低和用户的等待延时增加，这种情况 我们称之为服务器过载。服务器过载在诸如恐怖袭击或股市危机等不可预见的事件中表现得 尤其突出，因为用户对相关w e b 服务器的访问急剧增长，从这些服务器获得响应变得非常困 难。服务器过载在股市危机中非常有害，因为w e b 不能响应用户请求，致使持股人无法完成 交易，结果造成巨大的经济损失。 我们把w e b 服务器看成是一个具有有限处理能力的交互系统，避免服务器过载有两种途 径：提高处理能力和减少任务输入。 提高系统处理能力是减少服务器过载发生的有效方法。w e b 访问量的指数性增长，很多 网站为了满足不断增长的访问需求。不得不经常对w e b 1 e j 务器进行升级。但单个服务器的升 浙江大学博士学位论文w e b 区分服务的技术与策略研究 级策略往往只能满足短期的需求，同时很不经济，因此人们更倾向于采用w e b 集群的方式。 集群w e b f l 务器是一种性价比很高的虚拟主机方案，可以通过不断增加后台主机数量来提高 整体性能，女n g o o g l e 、y a h o o 等一些著名网站，都是由上千个分布在全球的w e b f l e 务器组成， 每天接受几亿次的访问。然而由于w e b 访问的突发性特点，网站经常受到突如其来的巨量访 问，如遭遇恐怖袭击和股市危机等突发事件，而且这种突发性访问的访问率峰值通常是平均 访问率的数倍，要应付这种突发性访问就需要准备大量的在大多数时间里都是闲置的资源， 但这显然不符合经济利益要求。 监控服务器资源负荷，当访问负荷达到预先设定的负荷阈值时及时控制用户请求的接 收，通过限制过多请求处理任务的输入来避免服务器过载的发生，同时保证接收的请求能 够得到符合服务质量要求响应性能。限制任务输入虽然可以有效避免服务器过载，但是业 务响应能力却取决于系统处理能力，因此，人们通常按业务需求来配置资源，然后通过限 制任务输入来保证系统性能。 然而电子商务应用中的服务质量要求远远超过对服务器过载控制的需求。目前，企业或 个人 拘w e b 站点接入到i n t e m e t 的最主要方式是通过i n t e m e t 数据中心( i d c ) 。i d c 是近年来成长 起来的i n t e r n e t 商业服务模式，企业和个人可以采用主机托管方式将自己的w e b 服务器放置在 i d c 机房，也可以采用内容托管( w e bh o g i n g ) 方式将自己的w e b 站点构建在i d c 的w e b 服务 器上。前面方式通常为大企业和知名门户网站所采取，有些企业甚至采用集群方式来支持 w e b 业务，如开展网上业务的证券和银行；后面方式则用来满足广大中小企业和个人客户需 求的，他们只要支付很少的费用就可以构建自己的网站。无论是主机托管还是w e bh o s t i n g 方式，网站拥有者都会根据自身业务需要，开展广告宣传、网上下单、媒体下载等多种业务， 值得注意的是，他们对这些业务的服务质量期望是有差异的，对不同用户群的服务承诺也是 有差异的，而从i d c 服务商来说，对多个客户w e b 站点寄宿在同一个服务器上的情况，保证 付费高的客户相对于付费低的客户得到更好的服务质量更是一种要求。因此，我们需要在电 子商务应用中支持区分服务。 区分服务最先在网络应用中提出，前面所介绍的d i f f s e n ，传输模式就是用来在网络上 实现区分服务。本文研究的对象是面向w e b 的区分服务。 传统的w e b 服务采用传统操作系统先到先服务的服务策略，为所有用户提供公平服 务，提供区分服务就是要改变这种服务策略。本文的研究工作以背景项目“上海电信大客 户数据网管系统”中i d cw e bh o s t i n g 业务综合管理为切入点，针对i d c 客户不同类型的 服务要求，我们设计了不同的服务策略，然后基于不同的控制算法通过掏建功能模块来支 持这些服务策略，最后通过以功能模块嵌入的方式来实现不同用户之间的w e b 服务区分。 1 2 研究现状 w e b 出现以来，如何提高w e b 性能一直是人们研究的热点。然而，i n t e m e t 的发展速 4 浙江大学博士学位论文w e b 区分服务的技术与策略研究 度远远超过人们的预想，在资源普遍有限的前提下，保证w e b 性能在任何时候都能够满足 服务需要是一件非常困难的工作。幸运的是，w e b 服务提供的业务在重要性方面总是有差 异的，我们根据业务重要性进行归类，在负荷较低时，所有业务类都可以得到较好服务， 高负荷时，则按重要性为业务类提供有选择的服务，因此，根据业务重要性提供优先服务 就成为区分服务的重要依据。 对w e b 性能的度量方式通常有响应延时、响应成功率、吞吐量等。当w e b 遭遇资源 瓶颈时，w e b 性能表现为响应延时急剧增加、吞吐量降低、响应成功率下降为提高w e b 的处理性能，人们引入了c a c h e 技术和集群技术。其中c a c h e 技术的作用是将w e b 网页 内容按一定的维护策略存放在主存c a c h e 中，使用户的请求能够直接从内存中得到响应， 减少因硬盘读取的系统消耗和等待延时，同时可以将c a c h e 部署在靠近用户的位置，降低 因信息在广域网传输的延时，乃至屏蔽网络临时中断对用户的影响按照c a c h e 体系结构、 c a c h e 部署方案和c a c h e 设计技术在应用中的问题发现，人们侧重在内容替换策略 v a k 0 1 r v 0 0 s s v 9 8 、内容一致性维护 g s 9 6 ，t n r 0 2 ，b b 0 2 、动态内容c a c h e z y 0 1 ，c z b 9 8 】 等技术方面寻找解决方法。w e b 集群技术通过将一组主机组合成一个虚拟w e b 服务器，然 后发挥所有主机的性能来支持大容量的用户访问。w e b 集群技术主要解决各主机之间的负 荷平衡，同时降低中间环节的处理消耗和处理延时。从扮演处理负荷平衡的角色来看， w e b 集群可以分为四类，分别由客户端 y c e 9 7 、d n s 服务器 c y c 9 8 、t c p 路由器 d c h 9 7 】 和服务器 a y h 9 6 1 来控制。对集群技术的技术要求，我们将在第二章内容中作更具体的分 析。另外，人们通过对w e b 任务优化处理研究，认为按最小任务优先的调度策略是最高效 的 c f h 9 9 。 传统的w e b 服务器按照先到先服务( f c f s ) 的策略为所有用户提供公平服务，导致高负荷 时所有用户的服务都受影响。w e b 区分服务就是要改变这种策略，在不同优先级用户之间体 现出差别来。有关w e b 月e 务质量控制的研究，目前主要集中在国外的知名高校和著名公司的 科研机构。w i s c o n s i n m a d i s o n 大学的p e ic a n 研究小组是较早研究w e b 区分服务的工作组之 一，他们在1 9 9 8 年第一届i m e r n e t , 服务器性能专题研讨会上提出了两种面向w 曲服务器支持不 同业务类之间区分服务的方法 a d m 9 8 1 。用户级方法是由一个称为调度器的进程来决定请求 的处理次序；基于内核级方法将请求优先级映射为处理这些请求的b t c p 进程的优先级，然后 由内核来调度进程。方法只考虑了两个优先级业务类之间的区分服务；高优先级和低优先级。 每个请求在接收后都分配一个优先级，然后按相应优先级得到处理调度策略由两个组件构 成：s l e e p i n g 策略用来决定一个新请求是马上处理还是延时处理，w a k e u p 策略用于决定哪一 个被延时的请求可以继续得到处理 p a n d e y 等 p b 0 9 8 1 提出一个面向h t t p 服务器的服务质量模型，目的是使网站能够按怎 样来响应外部请求进行定制。主页或主页集都具有服务质量限制，请求的响应服务仅当符合 限制要求时才被执行。一个专用的服务质量后台控制进程放置在w e b 服务器节点上，用来决 浙江大学博士学位论文w e b 区分服务的技术与策略研究 定哪个节点来响应服务、根据每个节点和每个服务类当前资源消耗来决定是否接受请求。系 统中，请求无需重新排序，它们或者被接受，或者被拒绝 e g g e r t 和h e i d e m a r m e h 9 9 提出一组应用层控制技术来支持两类w e b 服务优先级：前 台请求类和后台请求类，其中后台请求定义为低优先级可抢占的事务，它们在系统中的出 现不会降低并发前台请求的处理性能。这表示后台请求不能按尽量努力方式接受服务，而 仅当有足够空闲资源时才被处理或传送，否则后台事务被无限期拖延或拒绝。文中提出三 种后台机制，意图都是降低后台请求处理，从而保证为前台请求处理留出足够资源。这三 种方式都通过a p a c h e 服务器来实现，操作系统则设置为能够将到访请求分解为两个队列， 服务器在这两个队列上获取请求机制1 通过限制后台进程执行的并发数，当最大数达到 以后，其它后台请求到达后都将被滞后处理。方法中对前台进程不进行限制机制2 在机 制一的基础上增加了对进程优先级的设置，可以同时降低其优先级。机制3 是通过协调和 调度后台进程的发送操作，限制其聚集网络传输率。后台进程有意地通过暂停来降低网络 传输，同时后台并发进程数受到限制，并只能按最低优先级来执行 h p 试验室的b h a t t i 和f r i e d r i c h b f 9 9 j 面过更改a p a c h ew e b 服务器来支持w e b 区分服务， 他们给出了一个w e b q o s 模型。模型中的连接管理器负责截获所有h t t p 请求并进行类识别， 然后放到不同业务层队列，由工作进程从队列中将请求提取出来进行处理。连接管理器必须 充分运行以保证接收任何可能的高优先级请求，否则可能导致t c p 队列溢出和高优先级请求 丢失。一个请求是接收还是被拒绝由访问控制策略决定，接收的请求由调度策略来控制请求 之间被工作进程处理的优先关系。 加州大学的d a v i s 分校的p r a s a n t m o h a p a t r a 教授也较早地参与t w e b 区分服务技术研究， 他在1 9 9 9 年1 e e e 计算机通信与网络国际会上提出一个支持区分服务的w 曲服务器模型 c m 9 9 。服务器由四个逻辑组件构成：i n i t i a t o r 、s c h e d u l e r 、任务服务器、通信信道。请求 在i n i t i a t o r 处排队进入，每个接收的请求被指派为一个任务，每个任务由调度器授权一个合 适的优先级。调度器将任务指派给各个任务服务器，由任务服务器按任务优先级进行调度和 处理。响应将通过通信信道反馈给用户，其中通信信道的能力由用户与服务器的i n t e m e t 接 入点和主干带宽共同决定。另外，他的研究小组针对w e h f l t 务器的负荷过载访问控制继续进 行了深入研究，可预测响应延时方法 c m c o u 通过跟踪系统资源现状，对到达的请求首先评 估能否在规定的期限内完成，然后决定是否接收。 v i r g i n i a 大学的t a r e k ea b d e l z a h e r 等通过实验发现，系统拒绝一个请求所消耗的系统资 源与对一个小文件的请求响应所消耗的资源较为接近。他们提出了另一种形式的区分服务策 略 a b 9 9 ，基本思想是为不同业务类准备高质量内容( 如高分辨率图片) 和低质量内容( 如 低分辨率图片) 两套方案。低负荷时，所有业务类都可按高质量内容得到响应，随着负荷增 加，控制系统首先将低优先级业务类切换为按低质量内容响应他们在后来的工作中进一步 从控$ l j w e b 请求的响应延时和系统整体性能对方法的使用进行了研究【a l 0 0 ，l a s 0 1 。 浙江丈学博士学位论文w e b 区分服务的技术与策略研究 以上方法都是基于单主机的w e b 区分服务策略，都只是作为一种可行的方法被提出本 身仍存在不足之处 v a s 0 0 。在为业务类提供区分服务时，尤其在高负荷状态下通过对低优 先级业务类进行服务降级来保证高优先级业务类服务质量时，如何减少对低优先级业务类服 务的过分降级和提高系统整体资源利用率方面，都缺少深入研究。 对应集群m b 服务策略的情况，f o u n d r y 网络和a r r o w p o i n t 通信等公司在2 0 0 0 年推出的 交换产品中采取的区分服务策略从简单化出发采用内容感知的w e b 交换和静态资源划分 ( s t a t i c p a r t i t i o n ) 方法，通过将后台主机分成几组并控制不同业务类请求转发到对应主机组 来实现由于无法知道不同业务类的预期访问比例，资源划分缺乏依据，同时访问具有突发 性 c b 9 7 ，c t 9 9 因此可能造成一个业务类资源不足而另一个业务类资源过剩的负荷不平衡 情况而且资源不足的业务类有可能就是高优先级业务类。 美国加州大学s a n t a b a r a r a 分校t a o y a n g 研究小组在2 0 0 1 年提出一种需求驱动的区分 服务策略( d d s d ) z t y 0 1 ，方法以响应扩展因子 r a j 9 1 为服务等级指标，对不同业务类 周期性地根据实际需求进行重新资源划分，划分方法归结为求解一个以服务等级为条件的 最优问题。d d s d 方法相对s t a t i c p a r t i t i o n 方法有很大改进，但以一个周期为评估粒度的访 问控制同样不能适应在周期内访问率的较大波动，同时，d d s d 在负荷不超过系统能力情 况下对动态内容访问的区分服务处理结果较好，但当访问负荷超过系统能力时，业务类之 间的区分服务表现也不尽人意。 惫大利r o m a t o r v e r g a t a 大学v c a r d e l l i n i 等随后提出一种以响应延时作为区分服务 指标的d y n a m i c p a r c i f i o n i n g 方法 c c c 0 1 a ，c c c 0 1 b l ，对资源使用的粒度控制较为灵活， 通过从低优先级类调拨主机的方式解决高优先级类资源不足的问题，但方法缺少对低优先 级类资源不足的有效调整，同时业务类之间按单独占有主机方式达到性能隔离，容易造成 过多睛求做拒绝，不利于提高资源利用率；不同请求处理所需的系统时间差别很大，响应 延时并不能很好体现系统负荷情况，按响应延时作为性能指标来实现的区分服务技术仍不 彻底。vc a r d e l l i n i 继续对集群w e b 服务器性能与主机数的关系进行研究，提出通过调整 w e b 集群的扩展性来为所有用户的服务质量保证提供支持【c c c 0 2 1 。这是一种资源过度供 应的策略，对虚的是区分服务的低负荷状态，而区分服务的目的主要在于高负荷状态下业 务类之间的服务差异。 美国r i c e 大学的p e t e rd r u s c h e l ，m o h i ta r o n 等人从操作系统的资源管理入手。提出 新的操作系统资源管理抽象 b d m 9 9 a d z 0 0 ，将系统的资源主体跟业务类的资源保护域 分离开来。通过评估业务类对资源的需求，为业务类分配资源和建立资源保护域并捆绑 到相应的系统资源主体，然后控制业务类在w e b 服务器中的资源使用f a r 0 0 0 d b 9 6 在 对业务类资源需求进行合理评估的基础上，按这种细粒度的资源隔离方法为业务类分配资 源可以有效地保证业务类服务质量和提高资源利用率，但是采用新资源主体的前提是改 变传统操作系统的资源管理方法，因此。基于资源主体和资源保护域