（计算机应用技术专业论文）基于请求分类的web+qos控制策略模型研究.pdf

太原理工大学硕士研究生学位论文 基于请求分类的w | e bq o s 控制策略模型研究 摘要 随着计算机网络和多媒体技术的迅猛发展，i n t e r n e t 的服务模式正由传 统的数据通信与信息浏览向电子交易与服务转变。由于h i t p 请求的增长过 快，导致许多的网站的w e b 服务器面临超载的问题，主要表现是响应时间过 长甚至拒绝服务。w e b 服务请求的响应时间主要由两个因素决定，网络传输 的质量和w e b 服务器的处理性能。近年来，网络传输的服务质量( q o s ) 技术 研究已经比较成熟，然而，仅仅靠网络q o s 机制并不能完全解决端到端的 q o s 控制问题。例如，在服务器过载的情况下，即使网络传输质量能够得到 很好的保证，仍然有可能被拒绝服务，或者响应时间大大延长而导致“拒 绝服务”的效果。由此可见，由于服务器的超载问题，w e b 服务器已经在某 种程度上成为实现端到端服务质量控制的瓶颈。因此，w 曲服务器系统作为 核心设施，必须同样具备建立和支持q o s 的机制与策略，对不同的用户或者 h t t p 请求提供区分服务和性能保证，为用户提供满意的服务性能，已经成 为一个迫切需要解决的问题。 针对上述问题，论文就其中的关键性问题展开了工作，重点研究了请 求分类策略和队列调度控制策略等等，本论文研究的主要内容如下： ( 1 ) 研究了当前流行的w ，e b 服务质量控制的体系结构，分析了其核心技 术以及国际上主要的w 曲服务质量的商用产品，这部分对把握最新的发展趋 势以及对w e b 服务质量研究具有指导意义。 ( 2 ) 提出了一种基于请求内容和s e s s i o n 级别的请求分类策略。一种同时 兼顾s e s s i o n 、w e b 内容和用户权限的请求分类思想，并给出了兼顾s e s s i o n 和内容同时考虑公平性的请求分类性能函数。通过对不同的请求内容和 s e s s i o n 级别可以识别用户的级别，对各类用户实施不同的基于请求内容和 s e s s i o n 级别的访问控制策略，使得级别较高的用户获得更多的系统资源， 得到更好的服务和响应，从而达到对用户实行分类服务的目的。 ( 3 ) 提出了一种自适应优先级调度策略a p s p ( a d a p t i v ep r i o r i t y s c h e d u l i n gp o l i c y ) 。该策略的基本思想是在系统相对空闲时，将不同级别队 太原理工大学硕士研究生学位论文 列中的所有请求交给服务器进行处理；在系统繁忙时，为等待在不同队列 中的客户请求设置不同的调度次序，挑选优先级最高的请求交给服务器进 行处理。 ( 4 ) 提出了一种基于最小覆盖集的属性约简算法。在对相关理论充分研 究的基础上通过构造一种改进的相关矩阵，将属性约简问题简化为一个最 小覆盖集的问题。 ( 5 ) 利用粗糙集理论中的粗糙近似关系来挖掘w e b 日志文件中的用户访 问模式，通过对用户访问模式的聚类分析后将不同的页面组合根据其支持 度的不同确定不同的级别，并以此作为对w e b 用户请求分类的基础。 关键词：w e bq o s ，请求分类，自适应队列调度，w e b 日志挖掘，n e t s i m u l a t o r r e s e a r c ho n t h ec o n t r o l l i n g p o l i c y o fw e b q o sb a s e do nt h e r e q u e s tc l a s s i n c a t i o n a b s t r a c t w i t ht h e d e v e l o p m e n t o ft h e c o m p u t e r n e t w o r ka n dm u l t i m e d i a t e c h n o l o g i e s ，t h e i n t e r n e ti s u n d e r g o i n g s u b s t a n t i a l c h a n g e s f r o ma c o m m u n i c a t i o na n d b r o w s i n g i n f r a s t r u c t u r et oam e d i u mf o r c o n d u c t i n g b u s i n e s sa n ds e l l i n gs e r v i c e s m o s to ft h ew e ba p p l i c a t i o n sa r et h eh t r p r e q u e s t s m a n yw e bs i t e sh a dt of a c et h ep r o b l e mo ft h es e r v e ro v e r l o a d i n g t h e m a i ns y m p t o mi st h a tu s e r sh a v et ow a i ta v e r yl o n gt i m ef o rt h e r e s p o n s e a n de v e nt h eh n 甲r e q u e s t sw i l lb er e j e c t e d t h er e s p o n d i n gt i m ei sg e n e r a l l y i n f l u e n c e db yt w oe l e m e n t s ：t h eq u a n t i t yo ft h es e r v i c eo fn e t w o r k 。st r a n s f e r l a y e ra n d 血ep e r f o r m a n c eo ft h ew e bs e r v e nr e c e n t l yy e a r s t h er e s e a r c hh a s b e e nc a r r i e do u ta c t i v e l yi nt h i sf i e l d h o w e v e r , t h ei n t e m e tq o sm e c h a n i s m c a n n o tc o m p l e t e l ys o l v et h ee n dt oe n dc o n t r o lp r o b l e m s f o re x a m p l e i n c o n d i t i o no ft h es e r v e ro v e d o a d i n g ，i fa n ym e a s u r ew a sn o tt a k e na b o u tt h eq o s c o n t r o li nt h ea p p l i c a t i o n sl a y e r , a l t h o u g ht h eq o so ft h en e t w o r k t r a n s f e r r i n gi s e n s u r e dv e r yw e l l ，t h er e q u e s tm a ya l s ob er e j e c t e do rm er e s p o n d i n gt i m eb e d e l a y e ds ol o n gt h a tl e a d st o r e j e c tr e q u e s t r e s u l t s ow ec o u l dc o n c l u d et h a t t h eo v e d o a do ft h ew e bs e r v e ri s b e c o m i n gt h eb o t l e n e c ko ft h eq o sc o n t r 0 1 t h ew e bs e r v e rs y s t e m sa sc o r ee s t a b l i s h m e n tm u s th a v et h em e c h a i l i s m sa i l d s t r a t e g i e s t os e tu pa n ds u s t a i n q o s ，p r o v i d es e r v i c ed i f f e r e n t i a t i o i la n d p e r f o r m a n c ea s s u r a n c et od i f f e r e n tu s e r so rh t y p r e q u e s t d u et ot h ea b o v ep r o b l e m s ，i nt h i sa r t i c l ew ed os o m ek e yr e s e a r c hi nt h e f i e l d w em a i n l yf o c u so nt h es t r a t e g yo fc l a s s i f i e ds e r v i c e s ，t h eq o s c o n t r o lo n t h ew e bs e r v e r s ，e t c t h ec o n t e n t so ft h ea r t i c l ea r ea sf o l l o w i n g ： ( 1 ) w es t u d yt h em a i n s t r e a mt e c h n i q u ea n dt h ea r c h i t e c t u r eo fw e bq o s s y s t e m ，a n a l y z i n gt h e i rk e r n e lt e c h n i q u e s t h i sw o r kh e l p su sm a s t e rt h el a t e s t d e v e l o p i n gt r e n do ft h i sf i e l d ( 2 ) i nt h i sa r t i c l e ，aw e bq o sc o n t r o ls t r a t e g yt h a ti sp r o p o s e di sb a s e do n t h es e s s i o n 、t h ec o n t e n to f 1 er e q u e s ta n dm eu s e r sp r i v i l e g e b yt h es e s s i o n 、 c o n t e n to ft h er e q u e s ta n dt h eu s e r sp r i v i l e g e l ec u s t o m e r sc a nb ec l a s s i f i e d i n t od i f f e r e n tc l a s s e s d i f f e r e n ta c c e s sc o n t r o ls t r a t e g i e sc a nb ei m p o s e dt ot h e d i f f e r e n tc l a s s e s c u s t o m e r s h i g h e r - c l a s sc u s t o m e r sc a ng e tm o r es y s t e m r e s o u r c e ，s ot h a tt h e nc a ne n j o yb e t t e rs e r v i c ea n df a s t e rh t f p r e s p o n s e ( 3 ) a na d a p t i v ep r i o r i t ys c h e d u l i n gp o l i c yi sp r o p o s e dt oc h a n g et h eo r d e r o fs e r v e rp r o c e s sr e q u e s t o nt h eo n eh a n d ，w h e nt h es y s t e mw a s i d l er e l a t i v e l y , a l lr e q u e s t sw h i c hw i l lb eh a n d l e d b yt h ew e bs e r v e r sa r ef r o md i f f e r e n tq u e u e s o nt h eo t h e rh a n d ，w h e nt h es y s t e mw a s b u z yr e l a t i v e l y , t h ew e bs e r v e r sw i l ls e t t h es c h e d u l i n go r d e rf o rt h ed i f f e r e n tq u e u e s ，a n dt h e ns e l e c tt h eh i g h p r i o r i t y r e q u e s tt ot h ew e b s e r v e rf o rp r o c e s s i n g ( 4 ) a na t t r i b u t er e d u c t i o na l g o r i t h mo fr o u g hs e tb a s e do nt h em i n i m a l c o v e r i n gs e ti sp r o p o s e d t h ea t t r i b u t er e d u c t i o ni nr o u g hs e ti ss i m p l i f i e dt h e p r o b l e mo ft h em i n i m a lc o v e r i n gs e tb yc o n s t r u c t i n gt h er e l a t i o nm a t r i xo ft h e k n o w l e d g es y s t e m ( 5 ) ar o u g ha p p r o x i m a t i o n b a s e dc l u s t e r i n gt oc l u s t e rw e bt r a n s a c t i o n s f o r mw e ba c c e s sl o g si sp r o p o s e d b a s e do nt h e c l u s t e r i n ga n a l y s i so ft h eu s e r s p a t t e m ，t h ed i f f e r e n tw e bp a g e sw i l lb ec o m b i n a t e db yt h e i rs u p p o r t a n c e u s i n g t h i sa p p r o a c h ，u s e r sc a n e f f e c t i v e l yn l i n ew e bl o gr e c o r d st od i s c o v e rw e bp a g e a c c e s sp a t t e r n s t h i si st h eb a s i ct h e o r yo ft h ec l a a s i f i c a t i o no f u s e r sr e q u e s t k e yw o r d s ：w e bq o s ，r e q u e s t c l a s s i f i c a t i o n ，a d a p t i v es c h e d u l i n g p o l i c yo fq u e u e s ，w e bl o gm i n i n g ，n e ts i m u l a t o r i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；。学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 j 签名：皿l1 习： 导师签名： 日期： 巡：笸：墨 日期： 太原理工大学硕士研究生学位论文 1 1 论文选题 第一章绪论 随着i n t e m e t 技术的快速发展，在网络技术迅速普及的同时传统的数据与信息的浏览 向电子交易与服务转变，网络上的w e b 应用级h t t p 请求也随之高速的增长，由此而来 的问题和挑战是如何为了网络用户提供满意的服务性能保证。目前，w e b 流量在i n t e m e t 总流量中所占的比例已经超过了6 0 ，称为i n t e m e t 上信息传输的主流。通常，w e b 站点 的理想响应时间为1 s ，这与人类的响应时间相当。研究表明，普通的w e b 用户通常不会 忍受超过8 - - , 1 0 秒的等待时间。而根据z o n a 研究中心的统计，一个电子商务网站必须保 证其w e b 用户在7 秒内得到响应，否则将损失3 0 或者更多的客户。具体而言，w 曲服务 请求的响应时间主要由两个因素决定：网络传输的质量和w 曲服务器的处理性能。 与传统的t c p i p 和h t l p 服务的尽力服务( b e s t e f f o r t ) 、一视同仁平均主义服务哲学 不同，电子商务的应用层上通常要求对用户或服务进行区分优先级别的处理。随着w e b 应用资源的不断增加，电子商务类增值服务迫切要求为其提供基于利润收益的有竞争力 的区分服务，而不应该在遵守传统的尽力而为的服务规范。 近年来，网络传输层的q o s ( q u a l i t yo fs e r v i c e ，即服务质量) 技术研究已经十分活跃， 而且相当的成熟。这其中包括通过建立l n s e r v 和d i f f s e r v 体系结构来提供性能保证和区分 服务。然而，如果应用层的w e b 服务器不支持任何的q o s 控制，那么，在w r e b 服务器过 载的情况下，具备端到端的网络层q o s 控制保证的高级流仍然可能遭受w e b 服务器的拒 绝，或者导致事实上的“拒绝服务”的效果。由此可见，由于服务器的超载问题，w e b 服务器从某种程度上称为了实现端到端的q o s 控制的瓶颈。因此，如何在应用层实现w e b q o s 控制，为用户提供满意的端到端服务性能保证，已经成为一个迫切需要解决的问题， 也是下一代网络q o s 控制技术的关键环节【l j 。 总之，如何在w e b 服务器及其系统中实现q o s 控制的机制与策略，为不同类型的用户 或请求提供性能保证和服务区分，这是目前w e b 发展所迫切需要解决的问题，也是实现下 一代网络q o s 控制不可或缺的关键环节。 1 2i n t e m e tq o s 研究 i n t e m e t 自2 0 世纪6 0 年代末出现以来，一直在以惊人的速度发展。伴随多媒体技术 太原理工大学硕士研究生学位论文 的飞速发展，i n t e m e t 已逐步由单一的数据传送网向数据、语音、图像、口电话等多媒体 信息的综合传输网演化。现有的i n t e m e t 最初是以面向非实时的、单一数据类型的通信网， p 协议提供一种无连接的网络层传输服务，必须辅以其他的高层端到端协议( 女n t c p ) 才 能实现端到端的可靠传输。由于缺少必要的传输服务质量控制或保证，这种传统口传输 服务被称为“尽力而为”型服务。尽力而为型服务的传输流不需要o o s 控制，信息传输 控制一般不依赖于网络状态，带宽分配可以动态地改变，但需要流控制。这种服务己经 不能满足当今各种网络应用的需要。 为了满足在i n t e m e t 中传输实时业务的要求，i e t f 先后提出了两种不同的i n t e m e t q o s 体系结构：i n t s e r v ( 综合服务) 模型2 1 和d i f f s e r v ( 区分服务体系结构) 模型3 1 。 1 2 1 综合服务 i n t s e r v 由i e t f 的i n t s e r v 工作组1 9 9 4 年在r f c l 6 3 中提出。i n t s e r v 模型实际上是一个从 端到端行为的开始，在网络中各元素如何控制和实现这些行为，为用户提供满意的q o s 的总称。在实现的层次上，i n t s e r v 需要所有的路由器处理每个流的信令信息并维护每个 流的路径和资源预留状态，并且执行基于流的分类、调度和缓冲区管理。从技术层次上 依靠r s v p ( 资源预留协议) 提供q o s 协商机制，逐节点地建立或拆除每个数据流的路径 状态和资源预留“软状态”；依靠接纳控制决策链路或网络节点是否有足够的资源满 足用户的资源预留请求；依靠传输控制将p 分组分类成不同的传输流，并根据每个流的 状态对分组的传输实施q o s 路由、传输调度等控制。i n t s e r v 定义了三种服务类型：保证服 务( g u a r a n t e e ds e r v i c e s ，r f c 2 2 1 2 ) ，对带宽、时延分组丢失率提供定量的质量保证；可控 服务( c o n t r o l l e d 1 0 a ds e r v i c e s ，r f c 2 2 1 i ) ，给用户提供一种类似在网络欠载情况下的服务， 它是一种定性的指标；尽力服务( b e s t - e f f o r t ) ，类似于目前i n t e m e t 网上提供的服务，是一 种尽力而为的工作方式，基本上无任何质量保证。 为了实现上面的服务，i n t s e r v 定义了4 个功能部件，网络中的每个路由器都需要实 现这4 个部件。 ( 1 ) r s v p ( r f c 2 2 0 5 ) ：r s v p 即资源预留协议，它是i n t e m e t 上的信令协议。通过r s v p ， 用户可以给每个业务流( 或连接) 申请资源预留，要预留的资源可能包括缓冲区及带宽的 大小。这种预留需要在路径上的每一跳都要进行，这样才能提供端到端的q o s 保证。r s v p 是单向的预留，适用于点到点以及点到多点的通信环境。 ( 2 ) 访问控带t ( a d m i s s i o nc o n t r 0 1 ) ：它基于用户和网络达成的服务协议，对用户的访问 进行一定的监视和控制，有利于保证双方的共同利益。 ( 3 ) 分类器( c l a s s i f i e r ) ：根据预置的一些规则，它对进入路由器的每一个分组进行分 2 太原理工大学硕士研究生学位论文 类。这可能需要查看p 分组里的某些域：p 源地址、妒目的地址、上层协议类型、源端口 号、目的端口号；分组经过分类以后被放到不同的队列中等待接收服务。这方面的技术还 不很成熟，是一个有待研究的领域。 ( 4 ) 队列调度器( s c h e d u l e r ) ：它主要是基于一定的调度算法对分类后的分组队列进 行调度服务。这方面的技术目前已比较成熟，常见的调度算法椰q ，w f 2 q ，s c f q ， v c ，m d s c f q ，w 噼。 目前i n t s e r v 的q o s 研究和开发在很多方面仍然是开放的，与传统的“尽量做好”服 务相比，i n t s e r v 是一种具有更高的灵活性和更好服务级别保证i n t e m e tq o s 解决方案。但 也有很多不足，其主要问题是：网络系统状态和链路带宽容量变化的不确定性使传输通 道在端到端带宽预留上缺乏有效的保证；q o s 路由、资源预留和传输调度算法过于复杂； q o s 要求容易导致资源利用的无效性，不能充分利用网络资源提高网络的吞吐量；多路 径传输的q o s 控制策略与算法的复杂仍是很大的挑战；现存的主流网络交换机和路由器 缺乏简单有效的控制方案和算法实现，还不能向用户提供有效的q o s 保证。因此，q o s 路由和基于q o s 的传输调度等是i n t s e r v 领域q o s 研究的热点问题。 1 2 2 区分服务 i n t s e r v 的局限性推动了d i f f s e r v 的发展。d i f f s e r v 寻求简单有效的机制满足实际应用 对可扩展性的要求。为了解决i n t s e r v 的一些缺点，i e t f 在r f c 2 4 7 5 中提出d i f f s e r v ( d i f f e r e n t i a t e ds e r v i c e sa r c h i t e c t u r e ) 体系结构，旨在定义一种实施i p q o s r 更容易扩展的 方式，以解决i n t s e r v 扩展性差的缺点。d i f f s e r v 简化了信令，对业务流的分类颗粒度更 粗。它通过汇聚( a g g r e g a t e ) 和逐跳行为( p e rh o pb e h a v i o r , p h b ) 的方式来提供一定程度上 的q o s 保证。汇聚的含义在于路由器可以把q o s 需求相近的各业务流看成一个大类，以 减少调度算法所处理的队列数：p h b 的含义在于逐跳的转发方式，每个p h b 对应一种转 发方式或q o s 要求。 在d i f f s e r v 里，引入了d 璐e r v 域( d o m a i n ) 的概念，一个d i f f s e r v 域可以认为是一个 能提供d i f f s e r v 业务的子网。d i f f s e r v 域主要由一些路由器组成，并对这些路由器进行了 区分，把位于d i f f s e r v 域边界的称为边界路由器( e d g er o u t e r ) ，而把d i f f s e r v 域内部的称 为内部路由器( c o r er o u t e r ) 。边界路由器需要具有的功能有：对业务流的分类( 基于口分 组中一些字段的与i n t s e r v 类似的较细分类或者为基于汇聚的较粗分类) 、整形( s h a p i n g ) 、 标记( m a r k i n g ) 和调度( s c h e d u l i n g ) ；内部路由器需要具有的功能有：分类( 为基于汇聚的 较粗的分类) 、调度。d i f f s e r v 力图通过对业务流的分类、整形、标记、调度来实现对业 务q o s 一定程度上的保证。 3 太原理工大学硕士研究生学位论文 d i f f s e r v 利用了i p v 4 分组头的t o s 字段( 或i m 的t o s 字段) ，作d s c p ( d i f f s e r v 编码点) 使用。每一种d s c p 对应一种p h b 方式。路由器在转发分组时只需查看每个分组的d s c p 值，从而对此分组提供相应的p h b 转发方式。目前，己定义的d s c p 值有：0 0 ( 0 ) o 为缺 省( b e s t - e f f o r t ) ，1 0 11 0 0 为e f 及1 2 个a f d s c p 。 实际上，d i f f s e r v 仅提供了一种在子网络域内实施q o s 的框架结构，而具体的一些策 略和相应的实现机制则由不同的厂商来决定。尽管d i f f s e r v i ：l 较灵活，但同时提出的一 个问题是它能否真正提供q o s 保证。 1 3w e bq o s 研究的迫切性 w 曲q o s 属于用户层的q o s ，它度量的是用户在与w e b 站点进行交互时所感受到的 服务性能。例如，下载时间、交易时间( 如银行结算、股票交易、网上购物等) 、服务 器的可用性、遇到的错误( 如失败的连接、丢失的页面或组件、中断的链路、交易失败) ， 等等。事实上，w e bq o s 概念的提出正是反映了当今w e b 应用和电子商务应用对于q o s 控制的迫切需求。 l 、延迟越大，损失的用户越多 当w e b 服务器接收大量的连接请求时，那么他们的响应时间将变得不确定；同时w e b 服务器超负荷运作时，它将不加区分的丢弃连接请求。在对一些热门页面访问占据了大 部分服务器资源的情况下，对于其他页面的请求自然受到了很大的影响，可能那些页面 更重要。通常，人们期望的w e b 站点的理想响应时间为1 秒，这与人类的响应时间大体 相当。研究表明，普通的w e b 用户通常不会忍受超过8 - 1 0 秒的等待时间。统计表明，一 个电子商务网站必须保证其w e b 用户在7 秒内得到响应，否则将损失3 0 或者更多的用 户o 2 、较大的延迟以及频繁的中断会造成不可计量的经济损失 1 9 9 8 年美国股票市场恐慌，大量的投资者通过在线交易公司进行在线投资交易，但 不幸的是，由于在线交易系统过载，大多数投资者并没有获得他们所需的交易结果，而 是系统繁忙的提示信息。为此，不论企业，个人与国家都蒙受了巨大的损失。据估计， 仅在美国的电子商务市场，慢的通信速度、延迟的响应时间、频繁的连接中断等问题已 经导致了每年大约4 0 0 亿美元的销售损失。现在，大部分网站都需要提供2 4 x 7 的服务， 对电子商务类网站尤为突出，任何服务中断和关键性的数据丢失都会造成直接的商业损 失。例如，根据d e l l 的新闻发布，d e l l 现在每天在网站上的交易收入为一千四百万美元， 一个小时的服务中断就会造成平均五十八万美元的损失。 4 太原理工大学硕士研究生学位论文 3 、改进w e bq o s n p , 产生巨大的收益 w e b 站点的性能直接影响用户对公司的印象，糟糕的响应时间导致用户对公司信任 程度和安全保证大打折扣。同时，用户发现更快的访问速度可以使得用户对页面的内容 更感兴趣，而页面装载时间过长，那么用户就会中止现行的交易。因此，毫无疑问升级 服务器的性能，从i s p 处租用更多的带宽可以改善用户的访问速度，可以更牢固的抓住 客户，可以获取更大的经济利润。但是，为了分配那么多资源使我们在i s p 身上花费更 多的钱，多花费的钱是否能够满足用户的要求，用户对q o s 提供的感觉是否明显，换句 话说我们多花的钱值不值，我们需要在这两者之间进行平衡。 4 、实际需求说明提供w 曲q o s 迫在眉睫 比较热门的站点会吸引前所未有的访问流量，例如根据y a h o o 的新闻发布，y a h o o 已经每天发送6 2 5 亿页面。一些网络服务也收到巨额的流量，女h a m e r i c a no n l i n e 的w e b c a c h e 系统每天处理5 0 2 亿个用户访问w e b 请求，每个请求的平均响应长度为5 5 k b y t e s 。 1 4 国内外研究现状 近年来，国际上w e bq o s 控制技术的研究已经越来越多的受到研究者和著名大公司 的重视。许多著名的国际会议，如：i n t e r n a t i o n a lw o r k s h o po i lq u a l i t yo fs e r v i c e ( i w q o s ) 、 i n t e m e t i o n a lw o r l dw i d ew e bc o n f e r e n c e 等，都已经将w e bq o s 作为个重要的会议议 题。针对w 曲应用对q o s 提出的需求，许多研究人员对该领域展开研究，并取得了一些 初步的研究成果。这些研究分别从不同的层面提供一定的机制来支持w e bq o s 。 w e bq o s 属于应用层的q o s ，它度量的是用户在与w e b 站点进行交互时所感受到的 服务性能。例如，下载时间、交易时间( 如银行结算、股票交易、网上购物) 、服务器的 可用性、遇到的错误( 如失败的连接、丢失的页面或组件、中断的链路、交易失败) 等。 由于w e b 基础设施的复杂性，影响w e bq o s 的因素很多。实际上，w 曲q o s 控制涉及到 构成w e b 的每一个元素，从网络技术和协议，到w 曲服务器( 以及代理服务器) 的硬件、 软件( 包括服务器应用软件、操作系统以及中间件) 体系结构。由于大多数w e b 基础设施 的组件通常都无法轻易进行控制，所以实现w 曲q o s 并非易事。相对而言，网络通信公 司对其主干网具有完全的控制能力，因而能够向其客户提供基于网络可用性和保证网络 响应时间的服务水平协议：而w 曲服务供应商则无法提供类似的服务保证契约，因为他们 只能对w r e b 基础设施的- - , b 部分进行处理和操作。概括地讲，w 曲服务供应商可以实施 的w e b 系统解决方案可以分为以下两类： ( 1 ) 有区分的w 曲服务机制与策略 5 太原理工大学硕士研究生学位论文 它是通过定义用户或请求的类别，确定优先级，利用基于优先级的请求分配策略和资 源监控与调度机制来保证不同的服务水平协议。 ( 2 ) w 曲服务器系统的体系结构设计 它的目的是确定能够向所有w e b 用户或请求提供服务水平协议保证的正确体系结 构。可分为三个方面：通过增加内存和c p u 来扩大单个服务器的处理能力；在局域范围内 通过复制服务器内容建立w e b 集群来增强本地处理能力；在地理上的广域范围内通过复 制服务器集群来扩大全局处理能力。 1 4 1 基于操作系统核心的w e bq o s 技术 一些研究从操作系统的核心入手，通过修改操作系统的部分功能模块，在网络传输、 资源管理和进程调度等模块中增加区分服务( d i f f e r e n c e ds e r v i c e ) 机制，以满足不同q o s 要 求的应用需求。然而，现有流行的操作系统，如u n i x 、l i n u x 和w i n d o w sn t 等，在设计 时均未考虑支持面向网络应用的q o s 机制，在系统资源分配上往往采用基于优先级的分 时共享机制。在这些系统中，资源管理的目标主要是让系统资源的利用最大化，同时为 相互竞争的进程提供资源使用的公平性。 为了给不同的应用提供区分服务，以支持不同的服务质量，需要对操作系统中资源 分配的原则进行调整。一些研究将网络传输模块的f i f o 队列改进成为具有不同优先级的 多队列，分别将不同服务质量要求的请求放入不同优先级的队列中；对磁盘的访问也可 以采用类似的机制加以改进；内存页面的分配可以根据不同的服务质量要求来确定，而 不是片面考虑页面的利用率；c p u 资源的使用原本得到严格的监控，因此可以沿用原有 的优先级调度策略。这样，整个系统资源的分配将围绕不同服务质量要求来进行。 这类研究成果能够为应用的服务质量控制提供区分服务的能力，并且其应用范围不 局限于w e b 应用，因此具有较强的普适性。但是，由于需要对操作系统的内核机制进行 较大的改动，其技术实现难度很大。并且商用的操作系统通常没有公开源代码，该技术 还往往面临非技术性的困难。另外对w e b 应用而言，w 曲服务器软件还需要专门针对所 运行的操作系统做针对性的改动，才能利用操作系统提供的q o s 控制机制，实现应用级 的q o s 保证。 1 4 2 基于w e b 服务器软件的w e bq o s 技术 一些研究从外围入手，通过修改现有的w 曲服务器软件提供区分服务，从应用层支 持w e bq o s 。目前的w r e b 服务器应用软件系统，例女h a p a c h ew e bs e r v e r ，通常采用公平 服务的机制，将所有的h 1 田请求平等对待。系统按照先来先服务( f i f o ) 的原则，从等 6 太原理工大学硕士研究生学位论文 待队列中选择h 1 田请求为其提供服务，系统没有考虑对不同的h 1 p 请求进行一定的区 分服务，无法为高优先级的请求提供更好的w e bq o s 保证。 h p 实验室的b h a t t i 和f r i e d r i c h 在a p a c h e 艮务器的基础上引入了w 曲q o s 控制机制【4 】， 具体做法是增加一个连接管理进程处理到达的请求，引入基于优先级的多队列机制。根 据h 1 田请求不同的类别将它们放入不同的分类队列中，每个队列具有不同的优先级。 系统将优先级高的队列中的请求分配给工作进程，从而使它获得更好的服务质量。 应用层的q o s 技术只需要对w 曲服务器软件进行必要的修改就能够提供w r e bq o s 支 持，比直接修改操作系统核心要简单很多。但是限于操作系统基于进程或线程的调度机 制，系统缺乏对每个h t t p 请求所消耗资源的控制和管理能力。因此这种控制机制能够 达到一定的区分服务的目的，而不能对各种类别的请求资源进行量化和度量，也很难避 免某些请求对象消耗过多系统资源影响其它服务对象的情况发生，不能根据服务对象明 确的服务质量指标提供相应的服务保证。 1 4 3 基于中间件的w e bq o s 技术 中间件是一种独立的系统或服务程序，分布式应用软件借助这种软件在不同技术之 间共享资源，中间件位于操作系统和w - e b 服务器软件之间，主要负责管理计算和网络通 信。基于中间件的方法可以在w e b 服务器中实现透明的负载监测、超载保护、动态q o s 自适应、q o s 隔离和服务区分，而无需修改服务器软件、操作系统核心中的下层协议和 调度及通信资源管理机制。因此，这种技术可以无需对客户和服务器进行修改而直接应 用，具有很强的实用性。但是中间件层对于h t t p 请求的控制和管理能力十分有限，一 旦将请求提交给w e b n 务器，中间件就基本上失去了对h i q p 请求的控制，可见通过中 间件技术来支持w e bq o s 存在一定的局限性。 目前，h p 实验室的b h o j 等人在w e b 2 k 产品中采用了中间件q o s a w a r e 的来实现w 曲 q o s 的控制【6 j ，该服务器的体系结构如图1 1 所示。 这类基于中间件的方法可以在w 曲服务器中实现透明的负载监测、过载保护、动态 q o s 自适应、q o s 隔离和服务区分，无须修改服务器软件代码、下层协议、操作系统的 调度及通信资源管理机制。因此，这种方法无须对客户和服务器进行修改，可以直接应 用于目前的i n t e m e t 环境，具有很强的实用性和应用前景。 此外，m i c h i g a n 大学的a b d e l z a n h e r 等人利用中间件方法实现了w e b 匹j 容的自适应提 供机制；v i r g i n i a 大学w - e bq o s 研究小组和h p 的b h o j 等人开展了一系列的基于中间件的 w e bq o s 机制的研究。 7 太原理工大学硕士研究生学位论文 ，一 、 j ，w e b 2 k 中间件 、! w b b ， l 列卜 库 服务器 t | i：先；及5 r 、 t c p 口堆栈 接收器 高级队列 h t t p 。il 会话管理 请求7 i l分类 t c p 监听队列 接纳控制 l 普通队列 l j ， 一一 、， 图1 - iw e b 2 k 服务器的体系结构 f i g u r e1 - 1 t h ea r c h i t e c t u r eo fw e b 2 ks e r v e r 1 4 4w e b 集群服务器系统的q o s 技术 w 曲服务器集群系统中实现q o s 控制比单个w 曲服务器中控制更加复杂和困难，系 统不仅仅要保证每台服务器的负载均衡，同时还要做到对后端服务器资源从q o s 控制的 角度进行调度和分配。 w 曲服务器集群系统的q o s 控制一般需要从集群和w r e b 服务器两级分别进行控制。 首先，集群系统级确定h 耶 p 请求对q o s 的需求，根据负载均衡和q o s 控制策略，决定请 求在后端服务器上的分配，后端服务器则负责对接收的请求进行q o s 控制。 w - e b 服务器集群环境下的q o s 控制技术的研究目前还非常少。r o m a 大学的q o w s 、 m h i ta r o n 等人的c l u s t e rr e s e r v e 和v a l e r i ac a r d e l l i n i 等人的d i f f e r e n t e ds e r v i c e s 等在这方 面进行了初步的探索，但还显得很不成熟。c l u s t e rr e s e r v e 试图通过在服务器集群系统 中设立一个单独的资源管理器来管理整个集群系统的资源分配和调度。但是，集中式的 管理带来较大的系统复杂度和开销，而且影响集群系统的可用性【7 弗j 。 1 5 论文主要工作及章节安排 本文对w e bq o s 控制策略技术进行了深入的研究，目的在于解决w e b 应用服务中为 不同级别的用户提供区分服务的问题，讯b 服务器资源得到合理的分配，使有限资源 产生最大的经济效益。一方面，从w e b 用户请求的分类出发，提出了基于w e b 请求内容 和s e s s i o n 级别的请求分类函数，利用粗糙近似关系通过对w 曲日志进行用户访问模式的 提取，根据不同的用户访问模式将一个网站的w e b 页面进行聚类分析，为w r e b 服务提供 w 曲q o s ；另一方面，提出了一种自适应优先级调度策略，该策略根据请求内容的级