（计算机应用技术专业论文）基于应用区分的多级web+qos服务模型研究与实现.pdf

东南大学硕士学位论文 摘要 随着电子商务应用的逐步深入，i n t e m e t 的服务模式已经由传统的数据通信与信息浏览向电子交 易与网上服务转变，这种变化使w e b 服务器以及w 乩服务系统成为支持电子商务应用的核心设施。 然而，现有的w e b 服务器尚未有很好的服务质量保证机制，无法为w e b 应用提供服务区分和性能保 证，致使在w e b 服务器超负荷运作时，损失了大量的客户，甚至造成不可计量的经济损失。因此， 面向w 曲客户并为h 丁i p 请求提供性能保证和服务区分的w 曲q o s 技术应运而生，可以说，w 曲q o s 技术的出现是w 曲应用和电子商务应用飞速发展的必然结果。 本文在充分阅读和研究国内外w 曲q o s 学术论文以及商业化w e bq o s 产品资料的基础上，明确 了影响w 曲服务器性能的关键因素，把握了w 曲0 0 s 解决方案设计与实现的切入点和关键点。w e b 服务器不能提供高质量的服务是由于服务器对连接请求不加区分、不加控制造成的，因此设计与实 现w 曲0 0 s 解决方案时，就必须解决以下几类问题：服务请求的分类、提高资源利用率、请求的接 纳控制以及实现负载均衡。在有效解决w 曲o o s 主要问题的基础上，同时考虑网络系统设计的高性 能、高可用性、高可扩展性、高可管理性及透明性、可定制性，提出了一种基于应用区分的多级w 曲 0 0 s 服务模型。由于没有哪一种负载均衡算法可以完全满足各种应用的要求，但是对于单一的应用 来说一般能够找到一种比较适用的算法，基于这样的原因，本文设计的w 曲0 0 s 服务模型首先对客 户端的请求进行应用分类，通过高层内容交换机把请求交换给支持相应应用的负载均衡器上，负载 均衡器根据该应用适用的调度算法再把请求分发到后台应用服务器进行处理，以此达到对服务请求、 对服务器资源更好的控制。 为了验证设计模型的有效性，本文通过网络仿真软件o 鼢m t 模拟w e b 服务发展的历史过程， 从单一服务器提供w 曲服务、只有少量客户端请求的情况，到客户端数量的大量增加，使单一服务 器不堪重负，进而采用多台服务器甚至集群系统解决需求的增长，进而再到客户端的剧烈增长，已 有的w e b 服务模式无法满足现有需求的情形下，通过w e bq o s 模型的研究改变w 曲服务质量难以 确保的局面。通过o p n e t 仿真结果的比较，可以看到本文设计的应用区分的多级w 曲q o s 服务模 型可以很好的满足日益增长的w 曲访问需求。同时为了验证设计模型的可实现一陛，本文通过改进与 实现l i n u x 下内核级l a y e r _ 7 交换机k t c p v s 满足模型要求的高层内容交换，通过分析h t t p 请求 内容的类型，把h t t p 请求交换到相应的集群负载均衡器上。使用、聃n d o w s2 0 0 0a d v a i l c e ds e r v e r 网络负载均衡技术创建服务器群集，为客户提供最终的w 曲服务。可以说本文设计的模型是具有可 行有效的现实意义，但是在模型设计过程中，有些问题涉及的还不够深入，有些问题还有其他更好 的解决方法，这些都是需要在以后的研究和实践中不断补充和完善的。 关键字：w 曲服务器，服务质量，w e bq o s ，内容交换，负载均衡，集群系统 东南大学硕士学位论文 a b s t r ac t s i i l c em ee - c o m m e r c eh a sb e e nw i d e l ya d o p t e db ym a l l ye n t e r p r i s e s ，t h ei n t e m e ts e j c em o d eh a s t f a n s f o r t n e df o mc o n v e m i o n a li n f o m l a t i o nb r o 、v s et o 仃a d ea n ds e i c eo r 卜l i n e ，a n dt h i sc h a n g em a d ew e b s e r v e ra i l dw e bs e i c et ob eav e r yi m p o r t a i 】tc o f ef k i j 埘h o w e v e lc u r r e n tw e bs e r v e rd i dn o ts u p p i yu s w i t hs a t i s f a c n o nq u a l i t yo fs e r v i c eg u a r a n t e e t 1 1 e r 。f 豳，nw o u i dl o s tm a r 珂o fu s e f sa n dm a k eg r e a t m o n e yl o s i n gw h e nt h ew e bs e r v e ro v e r l o a d e d s oat e c h n 0 1 0 9 yn a m e dw 曲q o st u m e du p nf 配e dt oe n d w e bu s e ra n ds u p p l i e d 1 eh t t p r e q u e s t sw i t hp e r f o r r n a n c eg u a r a n t e e b a s e do nr e a d i n ga i l ds t u d y i n gal o to fd o m e s t i ca 1 1 do v e r s e 8p 印e r sa n dp r o d u c t sa b o u tw e bq o s ，血e k e yf a c t o r sm a ta f f 色c tt h ep e r f o m a n c e0 fw e bs e r v e ra r eg o n e n ，a 1 1 dt h es o i u t i o n sd l e c k p o i n ti sh e l dc o o t h er e a s o nt h a tw e bs e r v e rc a n n o ta c h i e v eg o o dq u a l i 锣诅r g e ti st 1 es e r v e rd i dn o td i s t i n g u i s hm ed i 丘毫r e n t r e q u e s to na p p l i c a t i o n sa n du s e r s ，a 1 1 dd i dn o tc o m r 0 1t h eu s a g eo fr e s o u r c e s ow h e nd e s i g n i n ga n d i m p l e m e n 矗n gw 曲q o ss e r v i c em o d e ，f o i i o w i n gq u e s t i o n s ：d i 丘色r e n 廿a t et h er e q u e s t s ，i m p r o v et h e u t i l i z a t i o no f r e s o u r c e ，c o n t r o lt h ea c c e p t i n go fr e q u e s ta n dr e a l i z ei o a d _ b a l a n c em u s tb es 0 1 v e d m e a i l w h i l e t h ef e q u i r e n 忙n to fn e t w o r ks y s t e md e s i g n h i 曲p e r f o r m 柚c e ，s c a l a b i e ，m a n a g e a b i l j _ y ，t r a n 印a e n c ea n d c u s t o m i z a t i o nm u s tb ec o n s i d e r e d b a s e do nt h i sp h i l o s o p h y ，am u n i - 1 e v e ia p p l i c a t i o nd i 虢r e n t i a t ew 曲 q o ss e r v i c em o d ei sp u tf o n v a r db e c a u s et 1 1 e r ei s n 0o n e1 0 a d _ b a l a l l c m ga l g o r i 妇sc a i ls a t i s 毋a l l a p p l i c 鲥彻sd e m a f l d ，b u ti tc o u 】dn n das u j t a b i ea 】g o h t 协sf o ro n ec e r t a j na p p 】i c a t i o n ，亡h i sp a sw e b q o ss e r v i c em o d ed i 丘h e n n a 把s t h e r e q u e s t s o fc l i e n t s n r s t i 弘 s w “c h r e q u e s t st oc o r r e s p o n d i n g l o a d b a l a l l c e rt h i o u 曲h i 曲- i e v e lc o m e n t - b a s e ds w i t c h e la 1 1 dt h e nm e1 0 a ( 1 - b a l a i l c e ra s s i g nab a c k - e dw e b s en ，e la c c o r d i n gt oc o r r e s p o n d i n gl o a d _ b a l a i l c i n ga l g o r i t | 1 1 1 1 s ，t od e a lw i 血t h er e q u e s t i no r d e r t oc e n i f ym ev a l i d i 可o f 廿1 i sm o d e ，t h ed e v e i o ph i s t o r yo fw e bs e r v i c ei ss i m u l a t e db yn e t 、o r k s i m u l a t i o ns o 脚a r e0 p n e tm o d e l e r8o ，疗o mf e wc i i e n ta i 】do n l yo n es e r v e lt ob e c a u s eo ft h e 伊e a t m c r e a s n go fc l i e n t ，o n es e r v e rc a 加o t 碉b r de n o m o u sr e q u e s t s ，t h e nl o t so fs e e r sa | 1 dc l u s t e rt e c h n 0 1 0 斟 a r ea d o p t e d ，a 1 1 dt ot 1 1 en u m b e ro fc l i e n ti so nm ee x p l o s i v ei n c r e a s e ，t h ew 曲q o ss e r v i c em o d ei ss n l d i e d a 1 1 da d o p t e d f r o mt h ec o m p a r e dr e s u l to fo p n e ts i m u l a t i o n ，i tc a l lf l n d 曲a tt h em u l t i - l e v e l 印p l j c a t i o n d l f r e r e n t i a t ew e bq o ss e r v i c em o d ec a nm e e tt h ei n c r e a s i n gd e m 柚do fw e b r 8 q u e s t s m e a n w h i l e ，i no r d e r t oc e r t i f ym o d e sr e a l i z a b i l i 吼ak e r 玎e l s p a c el a ) f e r - 7s w i t c h e n a m e dk t c p v s k e r n e lt c pv i r 眦a l s e r v e li si m p r o v e da n dr e a l i z e dt os u p p i yh i g h - 1 e v e lc o n t e m _ b a s e ds w i t c hf u n c t i o n n 眦1 y s e st h eh t l p r e q u e s t s c o n t e n ta n ds w i t c h e sr e q u e s t st ot h e i rc o r r e s p o n d i n gl o a d _ b a l a n c e ra c c o r d 曲gt or e q u e s t s c o r l t e n t 呻ea n d t h en e t w o r kl o a d _ b a l a 工1 c et e c i m o l o 斟i su t i l i z e dt oc r e a t ew e bs en ，e rc l u s t e r1 1 1 1 d e rw i n d o w s2 0 0 0 a d v a n c e ds e r v e la n dn n a l l yt h eb a c k e n dw 曲s e e ri nc l u s t e rs e r v et 1 1 er e q u e s t so fu s e r s t h r o u g h a n a l y s i n ga n dt e s t i n g ，t h i s 铀q o ss e r v i c em o d ea r c h i e v e so r i g j n a 1 d e s i g “p u r p o s e ，b u tt 1 1 e r e a r es t i n s o m ep r o b l e m st i l a tc o u l dn o ts o l v es u i t a b l y s og r e a te f f b r t ss h o u l db em a d et om a k ei tp e r f e c ti nm e 如t u r e s t u d ya n dp r a c t i c e k e y w o r d s ：w e bs e t v e q u a l h yo f s e i c e ，w e bq o s ，c o n t e n ts w i t c h ，l o a db a l a n c e ，c i u s t e rs y s c e m i l 东南大学硕士学位论文 图2 - l o o s 的分层图 论文插图索引 图3 1h pw e b o o s 工作机理图 图3 - 2 h p w e b q o s 与c i s c o l o c a l d i r e c t o r 协同工作。 图3 3 虚拟服务器的体系结构 图3 4 “n u x 虚拟服务器框架 图3 5k t c p v s 的实现细节 图4 一1w e b q o s 框架图 图4 - 2 应用区分的多级w e b q o s 服务模型 图4 3 应用区分的多级w e b q o s 服务模型详细设计 图4 4w e bd i 腩r 的一种实现方式 图4 5 各种集群分配器 9 9 1 0 1 0 1 2 1 4 1 6 1 7 1 8 1 9 图5 1o 孙m t 仿真流程3 l 图5 2o n 咂t 使用界面，3 2 图5 3 应用参数设置3 2 图5 4 业务主询设置3 3 图5 5 服务器支持应用的配置3 3 图5 。6 实验数据的采集一3 4 图5 7 运行仿真3 4 图5 8 轻型数据库服务器c p u 使用情况3 5 图5 9 轻型数据库服务器负载情况及任务处理时间3 5 图5 1 0 数据库更新、查询负载情况及任务处理时间3 5 图5 11 轻型数据库服务器综合性能情况3 6 图5 1 2 重型数据库服务器c p u 使用情况3 6 图5 1 3 轻型、重型数据库服务器负载情况及任务处理时间比较3 7 图5 1 4 轻型w e b 服务器c p u 使用情况3 7 图5 1 5 轻型w e b 服务器负载情况及任务处理时间3 7 图5 1 6 轻型w e b 服务器综合性能情况3 8 图5 1 7 轻型、重型数据库系统和轻型w 曲服务器系统c p u 利用率情况比较3 8 图5 1 8 轻型、重型数据库系统和轻型w 曲服务器系统负载情况比较3 8 图5 。1 9 重型w e b 服务器c p u 使用情况3 9 图5 2 0 轻型、重型数据库系统和轻型、重型w e b 服务器系统负载情况比较3 9 图5 2 1 重型w e b 服务器负载情况及任务处理时间3 9 图5 2 2 重型w e b 服务器综合性能情况4 0 图5 2 3 轻型、重型数据库及w e b 服务器的服务器性能比较情况4 0 图5 2 4 多应用集成、多客户端网络4 1 图5 2 5 设定业务主询同时支持多种应用4 1 图5 2 6 设置服务器同时支持多种应用4 2 图5 2 7 分别设置客户端支持的应用4 2 图5 2 8 多应用集成、多客户端网络c p u 使用情况与先前测试比较4 3 v 东南大学硕士学位论文 图5 2 9 引入5 0 的c p u 背景利用率 图5 3 0 引入5 0 c p u 背景利用率后数据库服务部分负载及任务处理时间比较 图5 3 1 引入5 0 c p u 背景利用率后w 曲服务部分负载及任务处理时间比较 图5 3 2 客户端数扩展后的网络拓扑图 图5 3 3 客户端数扩展后的c h j 使用情况比较 图5 3 4 客户端数扩展后的数据库服务部分负载情况和任务处理时间比较 图5 。3 5 客户端数扩展后的w e b 服务部分负载情况和任务处理时间比较 图5 3 6 传统的负载均衡集群方案网络拓扑图 图5 ，3 7 负载均衡器设置 图5 3 8 采用负载均衡策略后各服务器的c p u 、数据库负载、w 曲负载情况比较 图5 3 9 轻型数据库服务器的数据库更新和查询的情况 图5 4 0 客户端访问轻型数据库服务的c p u 使用情况 图5 4 l 重型数据库服务器的数据库更新和查询的情况 图5 ，4 2 客户端访问重型数据库服务的c p u 使用情况 图5 4 3 客户端访问重型w 曲服务器， 图5 4 4 客户端访问重型w e b 服务器c p u 使用情况。 图5 。4 5 基于应用区分的多级w 曲o o s 模型网络拓扑图 图5 4 6 高层交换机接收，转发数据情况一 图5 4 7l o a dba l a n c e r 的接收，转发数据情况 图5 4 8l o a db a l a n c e r 的数据包处理延迟情况 图5 4 9l o a db a l a l l c e ro 的接收，转发数据及请求分配情况 图5 5 0l o a db a l a n c e r1 的接收，转发数据及请求分配情况 图5 51l o a db a l a n c e r2 的接收，转发数据及请求分配情况 图5 5 2 客户端对轻型、重型数据库的访问情况 图5 5 3 客户端对轻型、重型w 曲的访问情况 图6 1 模型实现拓扑图 图6 2 高层内容交换机处理规则列表 图6 3w 曲d o w s2 0 0 0 负载均衡服务器集群设置 图6 4 实现模型测试结果 v i 4 3 4 4 4 4 4 4 4 4 4 5 4 5 4 6 4 6 4 7 4 7 4 8 4 8 4 8 4 9 4 9 5 0 5 0 5 l 5 l 5 1 5 2 ，5 2 5 2 5 3 5 4 5 6 5 7 5 7 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：舀! 坠日期：2 旦! ：乜：芦 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：! 塾! 坠导师签名 ， 日期：1 。o 6 、毕，1 第一章绪论 1 1 研究背景及研究内容 第一章绪论 伴随着电子商务应用的逐步深入，i n t e m e t 的服务模式已经由传统的数据通信与信息浏览向电子 交易与网上服务转变，这种变化使w e b 服务器以及w e b 服务系统成为支持电子商务应用的核心设 施。鉴于现有用户对w e b 方式的认知程度及w e b 实现的弱客户端性，现在的企业和服务提供商都 越来越崇尚将重要的服务转移到w e b 上去，通过w 曲前端的方式提供电子交易与网上服务，例如， 在线银行、股票交易、网上预订、网上购物等等各类应用。 正是由于现有互联网的应用在往w e b 方向集中，使得w e b 服务成为了互联网的关键应用，w c b 服务器也成为了互联网的关键部件，但与此同时在请求激增的背景下，没有很好的服务质量保证的 w e b 服务器不堪重负。当w e b 服务器接收大量的连接请求时，用户请求的响应时间变得不确定，有 时甚至被丢弃，w e b 用户在不堪忍受w 曲应用给他们带来漫长等待时间的情况下，将主动放弃这种 基于w 曲的电子商务方式。同时现有的基于w e b 的电子商务将会因为铀服务器的崩溃而遭受到 不可估量的经济损失。为了增强w 曲服务器的性能，通常采用通过增加内存和c 兀j ，甚至使用冗余 服务器来扩大w 曲服务器的处理能力的方法，但这种单纯的加大硬件投资的方式在现在看来已经不 太合理了。如何有效、可靠的利用现有的硬件资源，为用户提供更高效的服务己成为现在迫切需要 解决的问题。这就需要我们为w e b 服务器提供相应的服务质量保证机制，即所谓的w 曲o o s 。 但是，目前通用的w e b 服务器尚未支持w 曲q o s 机制，无法为w 曲应用提供服务区分和性能 保证。而仅靠网络q o s 机制并不能完全解决端到端的q o s 控制问题，某种程度上说w e b 服务器已 经成为实现端到端0 0 s 的瓶颈。因此，如何实现w 曲系统的q o s 控制，为用户提供满意的服务性 能保证，已经成为一个迫切需要解决的问题。如何在w 曲服务器及其系统中引入和实现0 0 s 控制 的机制与策略，从而满足不断增长的w e b 性能需求，为不同类型的用户或请求提供服务区分和性能 保证，这是目前w e b 发展迫切需要解决的问题，也是实现下一代网络0 0 s 控制技术不可或缺的关 键环节。 为了向w e b 服务器提供服务质量保证机制，本文设计了一种基于应用区分的多级w e b0 0 s 服 务模型为w e b 服务器提供一整套服务质量保证解决方案。在充分阅读和研究国内外w 曲。o s 学术 论文以及商业化w 曲o o s 产品资料的基础上，把握了w 曲o o s 解决方案设计与实现的切入点和关 键点一一w e b 服务器不能提供高质量的服务是由于服务器对连接请求不加区分、不加控制造成的。 为了设计与实现更好的w 曲q o s 解决方案，本文从以下几类问题：服务请求的分类、提高资源利用 率、请求的接纳控制以及实现负载均衡入手，解决了一些影响w e b 服务器性能的关键问题。 1 2 本文的主要工作及创新点 目前国内学术界，关于w 曲q o s 的研究论文还不是很多，在w 曲q o s 的理论研究上，尤其是 模型架构，实现算法及整体解决方案方面还处于起步阶段：在工业界，这方面的产品和专利技术更 是少之又少，基本上属于空白。因此，紧密追踪国际上q o s 领域的研究方向和技术前沿，积极开展 w e b0 0 s 技术的研究、开发实现以及商业推广，是科研工作者和科技企业面前的一项紧要任务。 本文在研究和总结现有w 曲o o s 实现技术优缺点的基础上。融合各种实现方法的可取之处，同 时尽量避免引入原有技术的缺陷。从原有通过如w 曲集群、高层交换等单一技术实现一定意义上的 w 曲o o s 控制，到本文设计的高层分类交换、负载均衡的请求分配以及冗余集群的一整套w 曲q o s 解决方案。同时本文通过o p n e t 网络仿真的方式对原有试图提高w 曲服务质量的实现技术进行仿 真测试，了解和比较各种技术之间的异同和优劣，进而仿真实现本文设计的对应用进行区分的多级 l 东南大学硕士学位论文 w e b o o s 模型，通过仿真测试获取各类统计数据，并同先前实现技术的测试数据比较后，晟终确定 本文所设计模型是可取的。同时为了验证设计模型的可实现性，本文通过改进与实现l i n u x 下内核 级l a v e r 7 交换机k t c p v s 满足模型要求的高层内容交换，通过分析h 1 v r p 请求内容的类型，把h t t p 请求交换到相应的集群负载均衡器上。使用w i n d o w s2 0 0 0a d v a n c e ds e e r 网络负载均衡技术创建 服务器群集，为客户提供最终的w e b 服务，证实模型是具有可行有效的现实意义的。 1 3 论文结构 本文设计了一种基于应用区分的多级w e b0 0 s 服务模型为w e b 服务器提供一整套服务质量保 证解决方案，为了验证设计模型的有效性本文使用o p n e t 网络仿真软件对模型的性能进行了详 尽的测试，同时为了验证设计模型的可实现性，本文通过改进l i n u x 下内核级l a y e r - 7 交换机k t c p v s 实现了高层内容交换，使用w i n d o w s2 0 0 0a d v a n c e ds e r v e r 网络负载均衡技术实现了后端w 曲服务 器群集系统。 第一章绪论部分，介绍了w e bq o s 的研究背景及其主要研究内容，简述了本文所作的工作及对 推进w e b0 0 s 研究的一些贡献。 第二章介绍了服务器服务质量q o s 尤其是w e bq o s 研究的兴起，说明什么是w 曲q o s 及其研 究的内容，总结了w 曲q o s 研究的重要意义以及研究的迫切性。 第三章在充分阅读国内外w 曲q o s 研究的学术论文以及商业化w 曲q o s 产品资料的基础上， 在明确影响w e bo o s 的关键因素的前提下，探讨了w 曲q o s 解决方案的切入点，并对已有实现方 法进行了归类，指出了各类实现方法的意义与不足。最后列出了两个具有典型意义的w 曲q o s 产品 一一1 ) h p 公司的w e b o o s 集成解决方案；2 ) l i n u x 下的l v s 项目在w 曲上的应用。此两类产品 中采用的一些理念对本文及其他w 曲q o s 研究都具有一定的指导意义。 第四章给出了w e b0 0 s 模型设计的原则以及设计w 曲q o s 解决方案所要解决的几类问题( 服 务的分类、提高资源利用率、请求的接纳控制以及实现负载均衡) ，同时在给出模型设计基本要求的 前提下，提出了一种新的基于应用区分的多级w 曲q o s 服务模型，并对其部件进行了详细的分析与 说明。在对传统w e bo o s 解决办法进行深入的剖析和挑选的基础上，创新的实现了一种具有实际意 义的w e bo o s 集成解决方案。 第五章首先简介了一下o p n e t 的使用方法，同时测试了各类服务器在仿真实验下的效果；而 后测试了服务器集成多种应用的条件下，加大客户端的数量，进一步测试不进行应用区分在日益增 长的用户需求的环境下的弊病；再者进行了传统负载均衡集群系统的仿真测试，查看服务器和客户 端在此环境下的表现；最后用仿真的方法实现了本文设计的基于应用区分的多级w e bq o s 服务模 型，并对其进行了详尽的测试。 第六章介绍了模型的实现情况，通过改进与实现l i n u x 下内核级l a ”r _ 7 交换机k t c p v s 满足 模型要求的高层内容交换，通过分析h t t p 请求内容的类型，把h t t p 请求交换到相应的集群负载 均衡器上。使用w m d o w s2 0 0 0a d v a i l c e ds e r v e r 网络负载均衡技术创建服务器群集，为客户提供最 终的w 曲服务。 第七章对文章进行了总结，进一步凸现w 曲q o s 研究的重要性，同时分析了本文设计的基于应 用区分的多级w 曲0 0 s 服务模型的优劣，同时对文章的未尽事宜进行了展望。 2 第二章w c b0 0 s 研究的兴起及其意义 第二章w e bq o s 研究的兴起及其意义 2 1w e bq o s 介绍 2 1 1 服务质量q o s 用直观的语言讲，它体现的是消费者对服务方所提供服务的满意程度，是对服务方服务水平的 一种度量和评价。q o s 控制技术的基本目标是为i n t e r n e t 应用提供性能保证和服务区分，强调端到端 或网络边界到边界实现的整体性。 2 1 2 各个层次的q o s 研究 由于网络设施以及主机系统的庞杂性，实现端到端的q o s 需要考虑的因素很多，从网络的链路， 到连接各链路的路由器、交换机，再到提供服务的服务器软硬件系统，还要考虑实现交互的协议等 等。从q o s 的分层图，可以了解到提供完善的端到端的q o s 需要研究的问题。 可感知的q o s 一一 用户对服务效果的主观感受 应用期望底层系统 能够提供的资源或性能 夕统。主机设备和网络 所自黧蕊能 设备q o s 网络q o s 匠叵 图2 1q o s 的分层图 系统级的q o s 包括设备q o s 和网络q o s 两个部分，主要强调主机设备和网络能为用户提供的 资源和性能。系统q o s 更多的是从性能保证上考虑，如解决带宽，丢包率，延迟及延迟抖动等性能 指标的保证问题。现有的研究方法主要从流量分析入手，如何调度和如何优化路由的研究。 o o s 控制技术作为下一代网络的核心技术之一，一直是计算机网络和多媒体通信领域研究与开 发的热点问题。一般而言，o o s 是指网络在传输数据流时要求满足的一系列服务要求，具体可以量 化为带宽、延迟、抖动、丢包率、吞吐量等性能指标。随着研究的推进，目前为止已有两种不同的 i n t e m e tq o s 体系结构，即综合服务( i n t e g r a t e ds e i c e s ，i n t s e ) 和区分服务( d i 髓r e m j a l e ds e i c e s ， d i f f s e r v ) 。 应用级的q o s 更多的考虑的是服务区分的问题，它要求底层系统可以根据不同应用的需求提供 不同的服务。 以上讨论的两层o o s 更多的是对所提供服务的质量的客观标准问题的研究，是可以用资源或性 能指标进行量化的。但是我们还需要从用户对所提供q o s 的主观感受上进行考虑，这就是用户q o s 所研究的问题。 东南大学硕士学位论文 2 1 3 w 曲q o s 的兴起 可以说现在对系统0 0 s 的研究和讨论还是相当激烈的，尤其是网络服务质量的研究，同时也取 得的了一定的成果。随着网络o o s 研究的深入，同时考虑到除了网络层服务质量外，应用层服务质 量的要求更加迫切，因此一种面向w e b 客户并为h t t p 请求提供性能保证和服务区分的技术一一w 曲 o o s 应运而生，已经成为q o s 研究一个新的热门的领域。 w e bo o s 属于用户层的q o s ，它量度的是用户在与w 曲站点进行交互时所感受到的服务性能。 例如，下载时间、交易时间( 如银行结算、股票交易、网上购物等) 、服务器的可用性、遇到的错误 ( 如失败的连接、丢失的页面或组件、中断的链路、交易失败) ，等等。事实上，w e bq o s 概念的提 出正是反映了当今w e b 应用和电子商务应用对于0 0 s 控制的迫切需求，可以说，w e b q o s 技术的出 现是w 曲应用和电子商务应用飞速发展的必然结果。 2 2w e bq o s 研究的迫切性 1 延迟越大，损失的用户越多 当w e b 服务器接收大量的连接请求时，那么他们的响应时间将变得不确定：同时w 曲服务器超 负荷运作时，它将不加区分的丢弃连接请求。在对一些热门页面访问占据了大部分服务器资源的情 况下，对于其他页面的请求自然受到了很大的影响，可能那些页面更重要。通常，人们期望的w e b 站点的理想响应时间为1 秒，这与人类的响应时间大体相当。研究表明，普通的w e b 用户通常不会 忍受超过8 1 0 秒的等待时间。统计表明，一个电子商务网站必须保证其w 曲用户在7 秒内得到响 应，否则将损失3 0 或者更多的客户。 2 较大的延迟以及频繁的中断造成不可计量的经济损失 1 9 9 8 年美国股票市场恐慌，大量的投资者通过在线交易公司进行在线投资交易，但不幸的是， 由于在线交易系统过载，大多数投资者并投有获得他们所需的交易结果，而是系统繁忙的提示信息。 为此，不论企业，个人与国家都蒙受了巨大的损失。据估计，仅在美国的电子商务市场，慢的通信 速度、延迟的响应时间、频繁的连接中断等问题已经导致了每年大约4 0 0 亿美元的销售损失。现在， 大部分网站都需要提供2 4 x 7 的服务，对电子商务类网站尤为突出，任何服务中断和关键性的数据 丢失都会造成直接的商业损失。例如，根据d e n 的新闻发布，d e l l 现在每天在网站上的交易收入为 一千四百万美元，一个小时的服务中断就会造成平均五十八万美元的损失。 3 改进w 曲o o s 能产生巨大的收益 w e b 站点的性能直接影响用户对公司的印象，糟糕的响应时间导致用户对公司可信程度和安全 保证大打折扣。同时，用户芨现更快的访问速度可以使得用户对页面的内容更感兴趣，而页面装载 时间过长，那么用户就会中止现行的交易。因此，毫无疑问升级服务器的性能，从i s p 处租用更多 的带宽可以改善用户的访问速度，可以更牢固的抓住客户，可以获取更大的经济利润。但是，为了 分配那么多资源使我们在i s p 身上多花费了钱，多花费的钱是否能够满足用户的要求，用户对q o s 提供的感觉是否明显，换句话说我们多花的钱值不值，我们需要在这两者之间进行平衡。 4 实际需求说明提供w 曲o o s 迫在眉睫 比较热门的站点会吸引前所未有的访问流量，例如根据y 曲0 0 的新闻发布，y 曲o o 已经每天发 送6 2 5 亿页面。一些网络服务也收到巨额的流量，如a m e r i c a no n l i n e 的w e bc a c h e 系统每天处理 5 0 2 亿个用户访问w 曲的请求，每个请求的平均响应长度为5 5 k b y t e s 。 4 第三章国内外研究现状 第三章国内外研究现状 3 1 影响w e bq o s 的关键因素 对服务请求的类别、用户的优先级不加区分，以及对请求的分配和资源的监控与调度不完善是 影响w e b 服务器性能的关键因素。以上w e b 不能提供高质量服务情况的产生，正是由于服务器对连 接请求不加区分，不加控制的结果。 从用户的角度讲：他当然要求他所提出的请求能够得到满足，如尽可能短的响应时间，尽可能 大的传输带宽。但从服务器的角度讲：在资源有限的条件下，他不可能都满足用户的最高要求，因 此他就需要区分不同用户不同请求的优先级，再针对不同的优先级分配不同级别的资源，提供不同 质量的服务。 事实证明过载的服务器将严重影响对用户的响应时间。如果还是按照原有的f i f o 的调度策略， 将不能够满足不同服务的0 0 s 要求。可以说服务器在当前情况下是端到端延迟的重要因素。而使 w e b 服务器响应时间增加的几个原因：1 ) 对热门服务器瞬时访问量的增大，将导致服务器负载的增 大。2 ) 由于客户端的非退避性，导致连续的访问失效服务器，加剧服务器的过载。3 ) 新的应用程 序需要消耗服务器更多的处理资源( 如j a 、，a ，s s l ，动态数据，数据库事务，及更为复杂的中间件) 。 4 ) 需要传输更多的多媒体数据，如图片，音频，视频。 归根结底，由于各种新的应用的产生，如电子商务，个性化数据的查询，科学计算，它们对内 容动态化的要求比较高，而动态数据的处理又要求有较高的i o 和c p u 处理能力，因此摆在w e b 服务器面前一个很现实的问题是：如何提高w 曲服务器的性能，如何有效的利用w 曲服务器。 3 2w e bq o s 控制技术研究的切入点 当前w 曲o o s 控制技术研究主要有两个切入点： 1w 曲服务器系统体系结构自身的改进 把w e b 服务器系统体系结构完善成能够向所有的w 曲用户或请求提供服务水平协议要求的服 务。主要从三个方面入手：通过增加内存和c p u 来扩大单个w 曲服务器的处理能力；在局域范围 内通过复制服务器内容建立w e b 服务器集群来增强本地处理能力；在地理上广域分布的范围内，通 过复制服务器集群来扩大全局处理能力。 2 应用及用户区分的w 曲服务机制 主要方法：定义服务请求的类别及用户的服务等级，确定优先级的数目，利用基于优先级的请 求分配策略，同时辅之以资源监控与调度机制来保证不同的应用和用户获取到不同质量的服务。 3 。3 现有w e bq o s 实现方法的基本思想 3 | 3 1 动态网页静态c a c h e 的方法 1 9 9 8 年日本冬季奥运会中使用了动态网页静态c a c h e 的方法，减少了每次动态网页执行给系统 带来的额外负担。但是动态网页静态c a c h e 的方法是有适用范围的，对于新闻的发布，产品信息的 介绍这样的应用，这种方法是可行的，也是非常有效的。但是对于需要与用户实时交互的应用如 在线交易等，这种方法就显得无能为力了，另外，对于那些数据库系统更改非常频繁的动态网页系 统，进行静态c a c h e 的方法不但不能达到原有的效果，反而会适得其反增加系统的负担。 东南大学硕士学位论文 3 3 2 优先级调度及提供专用资源 文献建议合理控制处理进程的数量，以为高优先级的请求提供更快的响应时间。 文献 2 在静态的主机资源分配方案中：静态把服务器分成两类，高性能集( h 培hs e t ) 和低性 能集( l o ws e t ) ，分别服务不同类的请求，关键业务的请求分配给h s ，次要业务的请求分配给l s 。 文献 3 使用了预留方案。在分布式w e b 服务器集群中，为那些高优先级的请求单独提供几个专 用节点。 文献【4 提出了一种以控制响应延迟为目标的分类模型，换句