（计算机系统结构专业论文）web+qos技术研究.pdf

重庆大学硕士学位论文中文摘要 摘要 随着计算机网络和多媒体技术的迅猛发展，i n t e r n e t 上的w e b 应用一直呈爆炸 式的增长，其中绝大部分是h t t p 请求服务。由于h t t p 请求的增长的过快，导 致许多的网站的w e b 服务器面临超载的问题，主要表现是响应时间过长甚至拒绝 服务。w e b 服务请求的响应时间主要由两个因素决定，网络传输的质量和w e b 服 务器的处理性能。近年来，网络传输的服务质量( q o s ) 技术研究已经比较成熟， 然而，如果应用层的w e b 服务器服务质量不能保证。那么，在服务器过载的情况 下，即使网络传输质量能够得到很好保证，仍然有可能被拒绝服务，或者响应时 间大大延长而导致“拒绝服务”的效果。由此可见，由于服务器的超载问题，w e b 服务器已经在某种程度上成为实现端到端服务质量控制的瓶颈。因此，如何实现 w e b 服务器系统的服务质量控制，为用户提供满意的服务性能，已经成为一个迫 切需要解决的问题。 针对上述问题，论文就其中的关键性问题展开了工作，重点研究了分类访问 控制策略，集群环境的w e b 服务质量控制等等，本论文研究的主要内容如下： ( 1 ) 研究了当前流行的w e b 服务质量控制的体系结构，分析了其核心技术以 及国际上主要的w e b 服务质量控制的商用产品，这部分工作对把握最新的发展趋 势以及对w e b 服务质量研究具有指导意义。 ( 2 ) 提出了一种基于会话( s e s s i o n ) 的w e b 服务质量的控制策略。通过用户的 会话可以识别不同用户的级别，对各类用户实施不同的基于会话访问控制策略， 使得级别较高的用户获得更多的系统资源，得到更好的服务和响应，从而达到对 用户实行分类服务的目的。 ( 3 ) 提出了一种在集群环境下的w e b 服务质量控制策略。在前端的分配器和 后端服务器两个层面上实施不同的控制策略。首先分配器以会话单位来分配访问 负载，同一个会话中的请求确保被分配至0 同一台服务器，同时保证服务器间负载 的合理均衡分配。后端服务器采用基于会话的服务质量控制策略，实现对集群系 统的服务质量控制。 ( 4 ) 设计并实现了一种基于l i n u x 平台的w e b 服务器集群原型系统。在开放 源代码的l i n u x 系统上实现并验证了论文提出的一些技术方案。获得了实验数据， 同时也为下一步的研究积累了经验。 关键词：w e bq o s 、分类服务、负载均衡、电子商务 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ec o m p u t e rn e t w o r ka n dm u l t i m e d i at e c h n o l o g i e s ，t h e w e ba p p l i c a t i o no nt h ei n t e r n e ti si n c r e a s i n ge x p l o s i v e l y m o s to f t h ew e ba p p l i c a t i o n s a r et h eh t t pr e q u e s t s m a n yw e bs i t e sh a dt of a c et h ep r o b l e mo ft h es e r v e r o v e r l o a d i n g t h em a i ns y m p t o mi st h a tu s e r sh a v et ow a i tav e r yl o n gt i m ef o rt h e h t t pr e s p o n s ea n de v e nt h eh t t pr e q u e s t sw i l lb er e j e c t e d t h er e s p o n d i n gt i m ei s g e n e r a l l yi n f l u e n c e db yt w oe l e m e n t s ：t h eq u a n t i t yo ft h es e r v i c eo fn e t w o r k st r a n s f e r l a y e ra n dt h ep e r f o r m a n c eo ft h ew e bs e r v e r , r e c e n t l yy e a r s ，t h er e s e a r c hh a sb e e n c a r r i e do u ta c t i v e l yi nt h i sf i e l d i nc o n d i t i o no ft h es e r v e ro v e r l o a d i n g ，i fa n ym e a s u r e w a sn o tt a k e n a b o u tt h eq o sc o n t r o li nt h ea p p l i c a t i o n sl a y e r , a l t h o u g ht h eq o so ft h e n e t w o r kt r a n s f e r r i n gi se n s u r e dv e r yw e l l ，t h er e q u e s tm a ya l s ob er e j e c t e do rt h e r e s p o n d i n gt i m eb ed e l a y e ds ol o n gt h a tl e a d st o “r e j e c tr e q u e s t ”r e s u l t s ow ec o u l d c o n c l u d et h a tt h eo v e r l o a do ft h ew e bs e r v e ri sb e c o m i n gt h eb o r l e n e c ko ft h eq o s c o n t r 0 1 t h e r e f o r e ，h o wt oa p p l yt h ew e bs e r v e rq o sc o n t r o la n dp r o v i d et h ec u s t o m e r s t h es a t i s f i e ds e r v i c e s ，h a sb e c o m et h ei m m i n e n c ep r o b l e m st h a tm u s tb es e a l e d d u et ot h ea b o v ep r o b l e m s ，i nt h i sa r t i c l ew ed os o m ek e yr e s e a r c hi nt h ef i e l d w e m a i n l yf o c u so nt h es t r a t e g yo fc l a s s i f i e ds e r v i c e ，t h eq o s c o n t r o lo nt h ew e bs e r v e r c l u s t e r ，e t c t h ec o n t e n t so f t h ea r t i c l ea r ea sf o l l o w i n g ： 1 ) w es t u d yt h em a i n s t r e a mt e c h n i q u ea n dt h ea r c h i t e c t u r eo fw e bq o ss y s t e m ， a n a l y z i n gt h e i rk e r n e lt e c h n i q u e s t h i sw o r kh e l p su s m a s t e rt h el a t e s t d e v e l o p i n gt r e n do f t h i sf i e l d 2 ) as e s s i o n b a s e dw e bq o sc o n t r o ls t r a t e g yi sp r o p o s e d b yt h es e s s i o n ， c u s t o m e r sc a r lb ec l a s s i f i e di m od i f f e r e n tc l a s s e s d i f f e r e n ta c c e s sc o n t r o l s t r a t e g i e sc a nb ei m p o s e dt ot h ed i f f e r e n tc l a s s e sc u s t o m e r s h i g h e r - c l a s s c u s t o m e r sc a ng e tm o r es y s t e mr e s o u r c e ，s ot h a tt h e yc a ne n j o yb e a e rs e r v i c e a n df a s t e rh t t pr e s p o n s e 3 、aw e bq o sc o n t r o ls t r a t e g yo nt h ew e bc l u s t e rs y s t e mi sp r o p o s e d a tt h e f r o n t - e n d ，t h ed i s p a t c h e rt a k e sas e s s i o n - b a s e dl o a d - b a l a n c i n ga l g o r i t h m a t t h eb a c k e n d ，t h eq o sc o n t r o ls t r a t e g yw i l lb ec a r r i e do u ti nt h es e r v e r s 4 1al i n u x b a s e dp r o t o t y p es y s t e mo fw e bs e r v e rc l u s t e ri sd e s i g n e da n d i m p l e m e n t e d s o m et e c h n i c a lm e t h o d ss t u d i e d i nt h i sd i s s e r t a t i o na r e i m p l e m e n t e da n dv a l i d a t e du n d e rt h eo p e ns o u r c ee n v i r o n m e n to fl i n u x ，a n d 重庆大学硕士学位论文英文摘要 p r e l i m i n a r ye x p e r i m e n t a ld a t ag a i n e d e x p e r i e n c e so fi m p l e m e n t a t i o na r e a c c u m u l a t e dt h o r o u g hd e v e l o p i n gt h ep r o t o t y p eo f w e bs e r v e rc l u s t e rs y s t e m k e y w o r d s ：w e bq o s ，c l a s s i r ys e r v i c e ，l o a db a l a n c e ，e c o m m e r c e i 重庆大学硕士学位论文缩略语 缩略语及专用术语 a r pa d d r e s sr e s o l u t i o np r o t o c o l ，地址解析协议 c g ic o m m o ng a t e w a yi n t e r f a c e ，公共网关接口 d i f f s e l - vd i f f e r e n t i a t e ds e r v i c e ，区分服务 d n sd o m a i nn a m es e r v i c e ，域名服务 f i f of i r s ti nf i r s to u t ，先进先出 h t m l h y p e rt e x tm a r k u pl a n g u a g e ，超文本标记语言 h r r p h y p e rt e x tt r a n s f e rp r o t o c o l ，超文本传输协议 i e e ei n s t i t u t eo f e l e c t r i c a la n de l e c t r o n i c se n g i n e e r s ，电子电气工程师协会 i n t e r s e r v i n t e g r a t e ds e r v i c e ，集成服务 i p i n t e m e t w o r k i n g p r o t o c o l ，网际互连协议 i p s v a i ps i n g l ev i r t u a la d d r e s s ，i p 单一虚拟地址 i s oi n t e m a t i o n a ls t a n d a r do r g a n i z a t i o n ，国际标准化组织 l 4 2 集群l a y e r4 2 ，采用四层交换，二层转发技术的集群系统 l 4 3 集群l a y e r 4 3 ，采四层交换，三层转发技术的集群系统 l 7 集群l a y e r7 ，采用七层交换技术的集群系统 l a nl o c a la r e an e t w o r k ，局域网 l a r d l o c a l i t y - a w a r er e q u e s td i s t r i b u t i o n ，局部性识别请求分配 m a cm e d i a a c c e s sc o n t r o l ，介质访问控制 q o sq u a l i t yo fs e r v i c e ，服务质量 s b a cs e s s i o nb a s e d a d m i s s i o nc o n t r o l ，基于会话的访问控制 t c pt r a n s m i s s i o nc o n t r o lp r o t o c o l ，传输控制协议 t c ph a n d o f ft c p 联传 t c ps p l i c i n gt c p 跨传 u d p u s e r d a t a g r a m p r o t o c o l ，用户数据报协议 u r lu n i f o r mr e s o u r c el o c a t e r ，统一资源定位器 重庆大学硕士学位论文1 绪论 1 绪论 1 1 论文选题 随着i n t e m e t 技术快速发展，网络技术迅速普及的同时，网络上的w e b 应用级 h t t p 请求也随之高速的增长，由此而来的问题和挑战是如何为网络用户提供满意 的服务性能保证。伴随着电子商务应用的发展，各种传统的商务活动都转向了方 便快捷，节约成本的网上进行。i n t e r n e t 的服务模式正由传统的数据与信息的浏览 向电子交易与服务转变，这种变化使得w e b 服务器以及w e b 服务器系统软件成为 支持电子商务的核心设施。目前，企业和服务提供商都越来越崇尚将重要的服务 转移到w 曲上去，例如：在线银行、股票交易、网上购物、网上预定，网上拍卖 等等，都是目前流行的通过w e b 前端提供的交易与服务形式。因此，保证用户的 服务质量对企业来说显得越来越重要，为了改善这种情况。近年来，网络传输中 的q o s 技术研究工作十分活跃，但目前通用的w e b 服务器尚不支持w e b q o s 控制 机制，无法为w e b 应用提供服务区分和性能保证。因此，如何在w e b 服务器机器 系统中引入和实现q o s 控制的机制与策略，从而满足不断增长的w e b 性能需求， 为不同类型的用户或请求提供服务区分和性能保证，这是目前w e b 发展中所迫切 需要解决的问题。 与传统的t c p i p 和h t l l p 服务的尽力服务( b e s t e f f o r t ) 、一视同仁平均主义服 务哲学不同，电子商务的应用层上通常要求对用户或服务进行区分优先级别的处 理。在这方面与传统服务业务相类似，并不是所有的w e b 事务对客户或服务而言 是同等重要的，不同的业务或客户对企业的重要性也不是同等重要的。随着w e b 应用资源的不断增加，电子商务类增值服务迫切要求为其提供基于利润收益的有 竞争力的区分服务，而不应该在遵守传统的尽力而为的服务规范。 近年来，网络传输层的q o s 技术研究已经十分活跃，而且相当的成熟。这其 中包括通过建立i n s e r v 和d i 腮e r v 体系结构来提供性能保证和服务区分。然而， 如果应用层的w e b 服务器不支持任何的q o s 控制，那么，在w e b 服务器过载的情 况下，具备端到端的网络层q o s 控制保证的高级流仍然可能遭受w e b 服务器的拒 绝服务，或者导致w e b 服务平均响应的时间比用户的期望值高很多个数量级，使 用户失去耐心，从而导致事实上的“拒绝服务”的效果。由此可见，由于服务器 的超载问题，w e b 服务器从某种程度上成为了实现端到端的q o s 控制的瓶颈。因 此，如何在应用层实现w e bq o s 控制，为用户提供满意的端到端服务性能保证， 已经成为一个迫切需要解决的问题，也是下一代网络q o s 控制技术的关键环节。 重庆大学硕士学位论文1 绪论 1 2 w b b q o s 的定义 要在w e b 服务器实施有效的q o s 控制，首先需要确定w e b 应用的服务质量类 型定义。论文根据目前w e b 应用的需求，并结合网络传输q o s 的服务类型定义， 提出了一套w e b 应用的服务质量类型定义。 定义1 1 系统( s y s t e m ) 指拥有硬件和软件资源，提供w e b 主机服务的单一 服务器或服务器集群。 定义1 2 服务类( s e r v i c ec l a s s ) 是个请求的集合，系统以该集合作为请求 所消耗资源记帐和调度的实体。 定义1 3 资源类( r e s o u r c ec l a s s ) 是系统中可利用的某类资源，它可以独立于 其它资源进行调度和分配。 定义1 4q o s 度量( q o sm e t r i c ) 指特定服务的性能度量指标，可以从某个方 面反映对用户的服务质量。例如每秒的平均请求数或平均响应时间等。 定义1 5q o s 目标( q o so b j e c t ) 指系统需要满足的特定的q o s 度量指标值。 定义1 6 服务类型( s e r v i c et y p e ) 指系统为服务类实现特定q o s 目标的方式， 包括保证服务( g u a r a n t e e ds e r v i c e ) 、可预测服务( p r e d i c t a b l es e r v i c e ) 和尽力交付 服务( b e s te f f o r t d e l i v e r ys e r v i c e ) 等三种，它们的服务约束强度依次降低。其中保 证服务要求系统能够在任何负载状态下满足q o s 目标，系统随时为该服务类预留 为达到相应q o s 目标所需要的最大系统资源量；对可预测服务，系统能够在大多 数情况下满足q o s 目标，但是可能出现不能满足q o s 目标的情况，但出现的概率 控制在规定的范围之内；对尽力交付服务，系统没有明确的q o s 目标，在满足前 两种类型服务的基础上，尽可能为该服务类提供服务。 在上述定义的基础上，将w e bq o s 描述为特定服务类在某种服务类型下，以 一定的q o s 度量方式描述的q o s 目标。 这里首先确定q o s 度量的方式。根据h t t p 请求的自身特性，不能简单地将 网络传输的q o s 度量方式直接用于w e bq o s 的度量。我们采用单位时间内服务类 所消耗的各种资源类的量作为w e b q o s 的基本度量。这些资源主要包括c p u 时间、 内存容量、磁盘带宽和网络带宽等。在许多应用中常常采用请求平均连接数和平 均请求响应时间来表示w e b 服务器的性能。因此，对特定的应用需求，需要根据 目标系统的硬件配置将性能需求转换为资源需求，确定出q o s 目标。这种换算关 系需要通过实际系统的测量来获得。 针对q o s 目标还需要确定相应的服务类型。根据定义保证服务必须在任何系 统负载状态下满足服务类的q o s 目标；可预测服务能够在大部分情况下满足服务 类的q o s 目标，但是局部可能会出现资源不足的情况；尽力交付服务对q o s 目标 没有明确的要求。 重庆大学硕士学位论文1 绪论 于是我们可以给出w e bq o s 模型的定义： 定义1 7 e 6 q o s 。( 磅= 。w e b ( 2 0 s 是一个与时间段f 相关的六 元组，它表示服务类s 在t 时间段对服务质量的需求，其中： t 表示服务类型，分别为g 保证服务，p 可预测服务和b 尽力交付服务； p 只对可预测服务有意义，表示满足q o s 目标的概率，取值范围为0 1 ； c 表示时间段t 内对c p u 资源类的需求： d 表示时间段t 内对磁盘带宽资源类的需求； 1 表示时间段t 内对内存页面资源类的需求； n 表示时间段t 内对网络带宽资源类的需求。 1 3 国内外研究现状 近年来，国际上w e bq o s 控制技术的研究已经越来越多的受到研究者和著名 大公司的重视。许多著名的国际会议，如：i n t e r n a t i o n a lw o r k s h o po nq u a l i t yo f s e r v i c e ( i w q o s ) 、i n t e r n a t i o n a lw o r l dw i d ew e bc o n f e r e n c e 等，都已经将w e bq o s 作为一个重要的会议议题。针对w e b 应用对q o s 提出的需求，许多研究人员对该 领域展开研究，并取得了一些初步的研究成果。这些研究分别从不同的层面提供 一定的机制支持w e bq o s 。 1 3 1 基于操作系统核心的w e bq o s 技术 一些研究从操作系统的核心入手，通过修改操作系统的部分功能模块，在网 络传输、资源管理和进程调度等模块中增加区分服务( d i f f e r e n c e ds e r v i c e ) 机制， 以满足不同q o s 要求的应用需求。 现有流行的操作系统，如u n i x 、l i n u x 和w i n d o wn t 等，在设计时均未考虑 支持面向网络应用的q o s 机制，在系统资源分配上往往采用基于优先级的分时共 享机制。系统中的每个应用一般对应于一个进程。进程主要在用户态运行，通过 系统调用进入核心态完成一些系统功能，或者因等待慢速的i o 操作而阻塞。在这 些系统中，资源管理的目标主要是让系统资源的利用最大化，同时为相互竞争的 进程提供资源使用的公平性。系统资源通常包括c p u 、内存空间和i 0 带宽( 包 括网络带宽和磁盘存取带宽) 等。由于绝大部分应用程序需要大量的计算，因此 c p u 资源的使用被严格地监控以便在不同进程( 或线程) 间公平地分配c p u 资源。 然而由于i o 操作开销很大，对y o 设备使用率的考虑往往胜过了使用公平性，因 此，i o 操作的进程一般被赋予更高的优先级，以便i o 设备能够尽快被释放给其 它进程使用。类似地，内存资源的利用通常也主要考虑内存页面的利用率而不是 使用的公平性。正是这样，页面替换算法一般会替换最没有使用价值的页面，比 如最近最少使用的页面。 重庆大学硕士学位论文1 绪论 为了给不同的应用提供区分服务，以支持不同的服务质量，需要对操作系统中 资源分配的原则进行调整。一些研究将网络传输模块的f i f o 队列改进成为具有不 同优先级的多队列，分别将不同服务质量要求的请求放入不同优先级的队列中： 对磁盘的访问也可以采用类似的机制加以改进；内存页面的分配可以根据不同的 服务质量要求来确定，而不是片面考虑页面的利用率；c p u 资源的使用原本得到 严格的监控，因此可以沿用原有的优先级调度策略。这样，整个系统资源的分配 将围绕不同服务质量要求来进行。 这类研究成果能够为应用的服务质量控制提供区分服务的能力，并且其应用 范围不局限于w e b 应用，因此具有较强的普适性。但是，由于需要对操作系统的 内核机制进行较大的改动，其技术实现难度很大。并且商用的操作系统通常没有 公开源代码，该技术还往往面临非技术性的困难。另外对w e b 应用而言，w e b 服 务器软件还需要专门针对所运行的操作系统做针对性的改动，才能利用操作系统 提供的q o s 控制机制，实现应用级的q o s 保证。 1 1 3 2 基于w 曲服务器软件的w 曲o o s 技术 一些研究从外围入手，通过修改现有的w e b 服务器软件提供区分服务，从应 用层支持w e bq o s 。目前的w e b 服务器应用软件系统，例如a p a c h ew e bs e r v e r ， 通常采用公平服务的机制，将所有的h t t p 请求平等对待。系统按照先来先服务 ( f i f o ) 的原则，从等待队列中选择h t t p 请求为其提供服务，系统没有考虑对 不同的h t t p 请求进行一定的区分服务，无法为高优先级的请求提供更好的w e b q o s 保证。 t i p 实验室的b h a t t i 和f r i e d r i c h 在a p a c h e 服务器的基础上引入了w e bq o s 控 制机制，具体做法是增加一个连接管理进程处理到达的请求，引入基于优先级的 多队列机制。根据h t t p 请求不同的类别将它们放入不同的分类队列中，每个队 列具有不同的优先级。系统将优先级高的队列中的请求分配给工作进程，从而使 它获得更好的服务质量。 应用层的q o s 技术只需要对w e b 服务器软件进行必要的修改就能够提供w e b q o s 支持，比直接修改操作系统核心要简单很多。但是限于操作系统基于进程或 线程的调度机制，系统缺乏对每个h t t p 请求所消耗资源的控制和管理能力。因 此这种控制机制能够达到一定的区分服务的目的，而不能对各种类别的请求资源 进行量化和度量，也很难避免某些请求对象消耗过多系统资源影响其它服务对象 的情况发生，不能根据服务对象明确的服务质量指标提供相应的服务保证。 此外，该技术要求w e b 服务器软件开放源代码，这在实际应用中也会面临一 些问题。 4 重庆大学硕士学位论文 1 绪论 1 3 3 基于中间件的w 曲0 0 s 技术 中间件是一种独立的系统或服务程序，分布式应用软件借助这种软件在不同 技术之间共享资源，中间件位于操作系统和w e b 服务器软件之间，主要负责管理 计算和网络通信。基于中间件的方法可以在w e b 服务器中实现透明的负载监测、 超载保护、动态q o s 自适应、q o s 隔离和服务区分，而无需修改服务器软件、操 作系统核心中的下层协议和调度及通信资源管理机制。因此，这种技术可以无需 对客户和服务器进行修改而直接应用，具有很强的实用性。 中间件层的w e bq o s 组件接管w e b 服务器软件监听服务端口( 通常为t c p 的8 0 或4 4 3 端口) ，并替换t c ps o c k e t 的系统调用接口，如a c c e p t 、r e a d 、w r i t e 和c l o s e 等，同时还提供基于优先级的多队列机制，这样就能够实现对进入系统的 请求进行分类、排队和接入控制。在系统出现过载情况时，过滤掉部分低优先级 的请求，以便系统为高优先级的请求提供足够的资源。但是中间件层对h t t p 请 求的控制和管理能力十分有限，一旦将请求提交给w e b 服务器，中间件就基本上 失去了对h t t p 请求的控制，可见通过中间件技术来支持w e bq o s 存在一定的局 限性。 目前，h p 实验室的b h o j 等人在w e b 2 k 产品中采用了中间件q o sa w a r e 的来 实现w e bq o s 的控制。m i c h i g a n 大学的a b d e l z a n h e r 等人利用中间件方法实现了 w e b 内容的自适应提供机制；v i r g i n i a 大学w e bq o s 研究小组和h p 的b h o j 等人 开展了一系列的基于中间件的w e bq o s 机制的研究。 1 3 4 w 曲集群的o o s 技术 w e b 服务器集群系统中实现q o s 控制比单个w e b 服务器中控制更加复杂和困 难，系统不仅仅要保证每台服务器的负载均衡，同时还要做到对后端的服务器资 源从q o s 控制的角度进行调度和分配。 w e b 服务器集群系统的q o s 控制一般需要从集群和w e b 服务器两级分别进行 控制。首先，集群系统级确定h t t p 请求对q o s 的需求，根据负载均衡和q o s 控 制策略，决定请求在后端服务器上的分配，后端服务器则负责对接收的请求进行 q o s 控制。 w e b 服务器集群环境下的q o s 控制技术的研究目前还非常少。r o m a 大学的 q o w s 、m h i ta r o n 等人的c l u s t e rr e s e r v e 和v a l e r i ac a r d e l l i n i 等人的d i f f e r e n t e d s e r v i c e s 等在这方面进行了初步的探索，但还显得很不成熟。c l u s t e rr e s e r v e 试图 通过在服务器集群系统中设立一个单独的资源管理器来管理整个集群系统的资源 分配和调度。但是，集中式的管理带来较大的系统复杂度和开销，而且影响集群 系统的可用性。 重庆大学硕士学位论文1 绪论 1 3 5 国内的研究现状 目前，国内在w e b q o s 的研究和开发上起步比较晚，还很少看到关于w e b q o s 的研究论文，这方面的产品和专利技术也基本上属于空白。清华大学计算机系的 单志广、林闯等人在从事相关领域的研究工作。 1 4 论文主要工作和内容章节安排 本论文是在重庆市科技攻关项目w 如服务器集群技术研究( 项目编号： 2 0 0 1 6 7 1 5 ) 背景支持下，对w e bq o s 控制技术进行了深入研究，旨在解决w 曲 服务应用中为不同级别的客户提供分类服务的问题，使w e b 服务器资源更合理的 分配，使有限的资源产生最大的经济效益。该项目已经于2 0 0 3 年1 0 通过重庆市 科委组织的专家组验收。 论文围绕w e bq o s 控制策略和集群系统中q o s 控制等进行较为深入的研究。 论文内容的安排如下： 第二章对w e bq o s 研究中的一些基本概念、关键技术和实现机制进行了讨论， 这是进一步研究工作的基础； 第三章在对s b a c 策略研究的基础上，提出了改进措施，实现基于s e s s i o n 的 用户分类服务。并建立了一个基于s e s s i o n 的访问控制仿真模型，对改进的策略进 行了验证； 第四章设计和实现了一个基于l i n u x 平台的w e b 服务器集群试验原型系统， 提出了在集群系统中实现w e bq o s 控制的策略； 第五章对全文工作进行总结，同时对下一步的研究工作进行展望。 1 5 小结 本章介绍并分析了w e bq o s 的主要研究内容及发展现状和趋势。并介绍了论 文的选题背景和主要的研究内容。 6 重庆大学硕士学位论文 2 w e bq o s 相关技术研究 2w e bq o s 相关技术研究 2 1 引言 w e bq o s 主要是为用户提供基于w e b 的分类服务，它与w e b 技术、s e s s i o n 技术和h t t p 协议等是密切相关的，这些技术是进行w e bq o s 研究的基础。本章 通过对这些相关技术的讨论，分析它们的实现思想和技术，特别是对实现w e bq o s 的影响，这对进一步开展w e bq o s 技术的研究具有十分重要的意义。 2 2 h t t p 协议 h t t p ( h y p e rt e x tt r a n s f e rp r o t o c 0 1 ) 是w e b 应用的基础协议，它是一个基于请 求响应范式的协议。一个客户机与服务器建立连接后，发送一个请求给服务器， 请求方式的格式为，统一资源标识符、协议版本号，后边是m i m e 信息包括请求 修饰符、客户机信息和可能的内容。服务器接到请求后，给予相应的响应信息， 其格式为一个状态行包括信息的协议版本号、一个成功或错误的代码，后边是 m i m e 信息包括服务器信息、实体信息和可能的内容。w e b 通过该协议识别传输 的信息的类别，声音、图片、文字等等各种多媒体文件。 h t t p 规定协议双方采用客户服务器模式工作，每个w e b 网站运行服务器， 它通常监听t c p 的8 0 号端口，接受来自客户端( 通常是浏览器) 的连接请求。一 旦监听到连接建立请求并建立t c p 连接之后，浏览器就向服务器发出浏览某个页 面的请求，服务器接着返回所请求的页面作为响应。最后，释放此次t c p 连接。 h t t p 是一个面向事务( t r a n s a c t i o no r i e n t e d ) 的客户朋匣务器协议。虽然h t t p 是用了t c p ，但h 兀1 p 是无状态的( s t a t e l e s s ) 。每个事务独立进行处理，事务开始 前建立t c p 连接，事务完成后立即断开t c p 连接。虽然t c p 是面向连接的的服 务，但是h t t p 本身是无连接的。 图2 1h t t p 直接连接模式 f i g u r e2 id i r e c t l yt c p c o n n e c t i n gm o d eo f h t t p 重庆大学硕士学位论文2 w e bq o s 相关技术研究 h t t p 定义了三种不同的操作模式，其中最简单的情况，就是在用户代l 里( u s e r a g e n t ) 和原始服务器( o r i g i ns e r v e r ) 之间直接建立一个t c p 连接，如图2 1 所示。 用户代理就是一个浏览器，原始服务器是一个用户想获得的资源的驻存的服务器， 通常是w e b 服务器。用户代理首先发起t c p 连接，然后发送h t t p 请求，原始服 务器接收到请求后，以结果页面响应。h t t p 将请求和响应在t c p 连接上的传输 分别定义为请求链( r e q u e s tc h a i n ) 和响应链( r e s p o n s ec h a i n ) 。另外两种是多段t c p 连接模式和高速缓存模式，它们对本文研究的w e bq o s 来说和第一种模式没本质 的区别，所以不作介绍了。 h t t p 协议定义了请求报文和响应报文两类报文，请求报文中的信息和响应报 文的首部信息是用a s c i i 码传递的，响应的实体信息则是采用m i m e 格式传递。 报文的头部有以下四种： 请求头部( r e q u e s th e a d e r ) ：是客户向服务器传递的请求和客户的其他信 息。 响应头部( r e s p o n s eh e a d e r ) ：提供关于服务器的信息以及关于对“请求资源 u r l ”标识的资源进一步访问信息。 通用头部( g e n e r a lh e a d e r ) ：缓存控制、连接选择，编码类型。 实体头部( e n t i t yh e a d e r ) ：定义了可选的关于实体正文或由请求资源的内部 标识。 在w e bq o s 技术研究中需要将h t t p 首部信息进行解析获取请求的内容，并 根据其中的内容进行q o s 控制。h t t p 报文结构如图2 2 所示。图2 3 是一个h t t p 请求报文的示例，其中的部分内容可以作为集群系统负载分配的依据。 为了获得一个h t m l 的页面，通常需要向w e b 服务器发送若干个h t t p 请求， 以便分别得到文档中的文字和文档中嵌入的声音和图片等等。 目前，m 1 甲协议有1 0 和1 1 两个个版本。在h t t p l 0 中每个h t t p 请求都 要在浏览器和服务器之间建立一个t c p 连接，这增加了服务器对每个请求处理的 资源消耗和每个请求的网络分组的开销，直接影响客户端的响应速度。 r e q u e s tl i n e g e r l e r a lh e a d e r r e q u e s th e a d e r e n t j t yh e a d e r e n t i t yb o d y s t a t u sl i l l c g e n e r a lh e a d e r r e s p o n s eh e a d e r e n t i t yh e a d e r e n t i t yb o d y 图2 2h r r p 报文结构 f i g u r e2 2s t r u c t u r eo f h t t pm e s s a g e 8 t 甲一 重庆大学硕士学位论文2 w e bq o s 相关技术研究 h t t p1 1 增加了一种持续连接( p e r s i s t e n tc o n n e c t i o n ) 机制，允许浏览器通过 一个t c p 连接发送多个h t t p 请求。w 曲服务器在接收到一个请求之后的一个时 间段内( 通常是可配置的，例如1 5 秒) 保持连接开放。这种办法降低了因建立多 个t c p 连接而引入的开销，包括c p u 、内存和网络带宽等开销，同时由于多个请 求可以在一个t c p 连接中以流水线方式工作，因此缩短了h t m l 文档的响应时间。 此外，在t c p 传输内部还可以避免多次因拥塞控制而引入的t c p 慢启动( s l o w s t a r t ) ，提高了网络带宽的利用率。 图2 3h r r p 请求报文示例 f i g u r e2 3e x a m p l eo f h t t pr e q u e s tm e s s a g e 2 3s e s s i o n 技术 2 3 1c o o k i e 技术 c o o k i e 是在w e b 上用于存储客户系统信息的对象。所有的信息都以每行一个 c o o k i e 的形式存放在客户端的一个名为c o o k i e s t x t 的文件里。c o o k i e 在h t t p 头 标( 客户和服务器用来标识自身的分组) e e 在客户机与服务器之间传输。c o o k i e 由某 个w w w 网页在某客户机上进行设置。比如，某个w w w 网页已在一个用户的计算 机上设置了一个c o o k i e ，其中存储的信息是该用户的身份号( 随机赋予该用户的唯 一标识) ，当该用户的浏览器连接该w w w 站点时，站点要求浏览器将c o o k i e 送回， 他的身份号就通过c o o k i e 传递给该网页所在的w w w 服务器。服务器上的一个 c g i 程序查找一个服务器端的文件以确定关于他的预设内容。 当某个服务器在客户的计算机上设置c o o k i e 后，如果要让c o o k i e 信息确实写 入文件，必须关闭浏览器。在浏览器未关闭之前，任何新的或变化的c o o k i e 都存放在 内存中，以提高性能。 每个c o o k i e 包含有6 个元素，常用的有：n a m e 、v a l u e 、e x p i r e s 、d o m a i n 和s e c u r e 。 这些元素存放了这个c o o k i e 的作用范围及实际的数据。 9 重庆大学硕士学位论文 2 w e bq o s 相关技术研究 1 n a l t l e 这是每一个c o o k i e 必须有的元素，它是该c o o k i e 的名字。n a n ! e 元素 是一个不含分号、逗号和空格的字符串。其命名方式与变量命名相同。 2 v a l u e 它是该c o o k i e 的值。v a l u e 元素是实际存放于c o o k i e 中的信息。它 是由任何字符构成的字符串。 3 e x p i r e s 它是一个c o o k i e 的过期时间。没有设置e x p i r e s 元素的c o o k i e 在用 户断开连接后过期，但在用户关闭浏览器之前c o o k i e 依然存在。c o o k i e 有一个过期 时间并等于会从c o o k i e t x t 文件中被删除的时间。在它的位置被用来存放另一个 c o o k i e 前，它依然存在着。过期的c o o k i e 只是不被送往要求使用它的服务器。e x p i r e 是一个串，e x p i r e s 元素是可选的。它的形式如下： w d y , d d m o n y yh h ：m m ：s sg m t 4 d o m a i n 它是设置某个c o o k i e 的w 曲网页所在的计算机的域名。这样，由一 个站点创建的c o o k i e 不会影响到另一个站点上的程序。对于较高层的域名 如c o i f