（计算机软件与理论专业论文）动态web缓存服务器系统的研究与实现.pdf

摘鬟 摘要 隧麓使雳因特嘲露户静迅速增长，瞬终延避弱驻务器受荷成为疆螽l 嗣户快遽 浏览因特网的瓶颈。w e b 缓存是减轻服务器负荷、降低网络流量和缩小访问繇避 的礴散技术之一。但是传统的w e b 缓存技术只对静态内容有效，而不能加速渤淼 的、个性化的内容的传输，在当前动态内释日益增长的因特网网络环境下醴缀不 能提供最佳的性能优化。 本文在深入研究了现有内容传输系统的优缺点的基础上，针对传统w e b 缀存 技术不能加速动态页面传输的局限性，撼出一个新的动态页面缓存加速算法，炭 现对渤态页西的网络传输加速功能，并旋她旗础上，提出对象有效性验证加速髯 法，撬麓炎嚣内嵌对象豹有效性验诞过纛静效率。在实瑰磅态页面豹缓存麴遮魂 蕤戆蕊獭主，缍台簧缓静w e b 缓存鼓零秘文零篷缝菝寒，实瑗一卞支耱动态炎嚣 传输魏遽豹动态w e b 代理缓存霾务器系统，季蹩宅作为薪豹锌对费态内容鹃网络佟 输加遮的解决方案，以最优化地加速动态内容的传输和减轻w e b 服务器的负褥。 另外，本文还对如何提高缓存服务器累娩处理网络i o 操作的性能进行了研究， 在分析了传统事件驱动机制的缺点的旗础上，提出了把新的e v e n tp o l l 带件驱 动机制揸台到动态w e b 代理缓存服务器系统中的方案，以提高系统处理网络i o 操作的效率和能力。最后，本文对动态w e b 代理缓存服务器系统进行了评价，并 给出谢哭的测试数据，以说明系统加速幼淼页面传输的实际效果。 本文提出的动态w e b 代理缓存服务器系统实现了动态页面的网络传输加滤 功熊，并鼠改善了琢有缓存服务器系统娥联阏缀i o 攥捧豹牲能，对推动动态内 容绩输热遮方莲袭骚究翼有重要敕意义。 莱键涌传输加速；动态页面；w e b 缓存 华南理工大学工学硕士学位论文 a b s t r a c t w i t ht h er a p i dg r o w t ho ft h ea m o u n to ft h ei n t e r n e tu s e r s n e t w o r k 1 a t e n c ya n ds e r v e ro v e r l o a db e c o m eab o t t l e n e c k ，w h i c h1 i m i t st h es p e e d f o ru s e r st oa c c e s st h ei n t e r n e t w e be a c h i n gi so n eo ft h ee f f e c t i v e t e c h n o l o g y o f o f f l o a d i n g w e b s e r v e r s ，s a y i n g n e t w o r kb a n d w i d t ha n d r e d u c i n g1 a t e n c y b u tt r a d i t i o n a lw e b e a c h i n gt e c h n o l o g i e so n l y a c c e l e r a t e st h ed e l i v e r yo fs t a t i ec o n t e n ta n dd o e sn o t h i n gt oa c c e l e r a t e t h e d e l i v e r y o f d y n a m i c ，p e r s o n a l i z e d c o n t e n t i n n o w a d a y i n t e r n e t e n v i r o n m e n td y n a m i cc o n t e n tb e c o m e sm o r ea n dm o r ep o p u l a r ，s oi tc a nn o t p r o v i d em a x i m u mo p t i m i z a t i o n t h i sp a p e rf o c u s e so nd y n a m i cc o n t e n td e l i v e r ya c c e l e r a t i o n ，r a i s e s an e wa l g o r i t h mt oa c c e l e r a t et h ed e l i v e r yo fd y n a m i cc o n t e n t f u r t h e r m o r e ， i tr a i s e san e ww e bo b j e c t sv a li d a ti o i la c c e l e r a t i o na l g o r i t h mt 0i m p r o v e t h ee f f i c i e n c yo fv a l i d a t i o n so ft h ee m b e do b j e c t s b yp u t t i n gt h e s et w o a l g o r i t h m st o g e t h e r a n dc o m b i d i n gw i t ht r a d i ti o n a lw e bc a c h i n gt e c h n o l o g y a n dt e x tc o m p r e s s i o nt e c h n o l o g y ，i tb u il d san e wd y n a m i cw e bc a c h i n g s y s t e m ，w h i c hc a na c c e l e r a t et h ed e l i v e r yo fd y n a m i cc o n t e n ta n do f f l o a d t h ew e bs e r v e r s i na d d i t i o n ，i td i s c u s s e sh o wt oi m p r o v et h en e t w o r ki o c a p a b i l i t i e sa n dp e r f o r m a n c eo ft h i sc a c h i n gs y s t e m f i n a l l y ，t h i sp a p e r p r o v i d e sa de v a l u a t i o no ft h i sd y n a m i cw e bc a c h i n gs y s t e ma n dp r e s e n t s s o m et e s t i n gd a t at os h o wt h ec a p a b i l i t i e so ft h es y s t e mi na c c e l e r a t i n g t h ed e l i v e r yo fd y n a m i cc o n t e n t t h ed y n a m i cw e bc a e h i n gs y s t e mr a i s e di nt h i sp a p e ra c c o m p l i s h e si n a c c e l e r a t i n gt h ed e l i v e r yo fd y n a m i cc o n t e n ta n di m p r o v e st h en e t w o r ki 0 c a p a b i l i t i e sa n dp e r f o r m a n c e i tc a np r o m o t et h ed e v e l o p m e n to fd y n a m i c c o n t e n td e l i v e r ya c c e l e r a t i o ns y s t e m k e y w o r dd e l i v e r ya c c e l e r a t i o n ：d y n a m i cc o n t e n t ：w e bc a c h i n g i i 第一章绪论 1 1 课题的背景与意义 第一章绪论 随着因特网( i n t e r n e t ) 在全球范围内的迅速扩展与网络应用的不断深入， 网络日益成为企业以及其他社会活动实体不可缺少的媒体与通讯工具，越来越多 的企业与社会团体把自身的内部网与因特网相连，使得雇员和合作伙伴可以共享 信息，而不用担心他们是在同一栋大楼还是在另一个很远的地方。另一方面，因 特网在商业应用上也变得越来越被认同，它正快速地成为消费者与商户交互的媒 体。商业网站不但成为一种向消费者提供信息的媒介，而且它向一大类商业事务 提供一种低成本的、自服务的机制，这种机制向用户提供动态的、个性化的信息。 无论是调查一种产品的性能、获取它的报价、下订单、协商交货、制定出货还是 获得技术支持，因特网都能提供一种方便的方式以使你得到所需要的信息。在仅 仅几年的时间内，因特网已经从一个“静态”的媒体发展为一个商业用户和消费 者搜寻个性化的动态信息的不可缺少的工具。 由于这些电子商务活动和其他有关w e b 的应用程序的增加，全球的因特网的 基础架构已经不能很好地满足需求。当因特网继续扩张以满足世界上更多用户的 需要时，这种趋势会更加明显。d s l 和电缆调制解调器等宽带技术通过给予终端 用户更多的带宽，从而实时的视频和音频等流数据使现有的因特网基础架构更加 捉襟见肘，进一步将问题恶化。 另外，目前困扰因特网的一个严重问题是访问效率无法提高。因特网是一个 开放的网络，在这个开放的网络上，访问和寻址都是通过分布在网络上的众多的 路由器来将数据包从一个网段传递到另一个网段，由于地域分布的广泛，用户对 网站的访问必须经过许多路由器的转接，才能最终到达网站的w e b 服务器，中间 可能要跨过多个网络。即使在理想情况下，路由器的每一次转接( h o p ) ，都会造 成一个延迟，虽然单个这样的延迟时间较少，但当网络规模很大时，h o p 数量会 大量增加，造成的延迟也会更加明显。而且，任何一个路由器的故障或者拥塞都 可能造成访问的中断或者延迟，严重影响访问的质量。 用户对网页的访问是通过h t t p 协议向w e b 服务器发出请求的，这样用户要 在浏览器上看到一个完整的页面就需要与w e b 服务器进行多次交互访问，使由于 路由器转接引起的延迟对页面访问过程的影响成倍增加。同时，i p 协议中不同 物理网络对帧大小的限制不同，使得网页中的一个内嵌对象可能要被分解到更多 华南理工大学工学硕士学位论文 个包中进行传递，进一步加大了路由器转接延迟引起的总延迟时间，造成页面显 示的延迟。 为了突破因特网固有的障碍，服务提供商把负载均衡、镜像和缓存技术结合 起来，以达到更快的w e b 内容的传输。然而，当前的内容传输加速系统非常昂贵 而且缺少很多急需实用的功能。例如，大多数实现地理上分布的多个数据中心的 负载均衡和镜像技术大大增加了硬件的费用和应用程序的复杂性，但通常只能提 供一些( 通常两个) 内容分布点。w e b 缓存技术通过把内容分布到处于因特网“边 缘”的缓存服务器上，从而加速这些内容的传送。但是，当前的w e b 缓存技术只 对静态的、不变的内容有效，例如位图图片和j p e g 图片等，而对动态的、个性 化的内容的加速毫无帮助。现有的缓存方法的局限性迫使内容提供商为了达到期 望的性能级别，在网站上尽量使用能够被缓存的、静态的内容，而尽量不使用动 态的内容，以提供给最终用户更好的性能体验。但是，动态页面的比例仍然在快 速增长，大概占全世界网页的4 0 左右。通过点击从而发生变化的动态页面包 括股票报价、数据库查询应用、搜索引擎和在线拍卖等。 因特网的不断扩展以及动态内容发展的趋势向企业在内容传输方面提出了 巨大的挑战，这就急需一种能够有效加速动态内容的端到端传送的技术。 本文正是着眼于动态内容的加速传输这一在内容传输领域的关键问题，在分 析了传统的内容传输解决方案各自的特点和局限性的基础上，指出未来内容传输 的发展方向一一对动态内容的网络加速传输，提出了一个能够有效加速动态内容 传输的动态w e b 代理缓存服务器系统，把它作为针对动态内容的网络加速的解决 方案。动态w e b 代理缓存服务器系统通过把实现动态页面加速传输的革新性技术 与传统的静态缓存技术相结合，一方面加速不能被缓存的动态页面的传送，有效 地提高了页面内容传输的速度，加快终端用户浏览页面的速度；另一方面，它也 能对静态的内容( 通常是页面内嵌的g i f 、j p e g 等图片和静态的页面等) 进行缓 存，使得对这些对象的访问可以直接从缓存服务器上存取，从而减轻了w e b 服务 器的工作负荷，使得w e b 服务器可以更加专注于动态内容的产生。 本文所研究的动态w e b 代理缓存服务器系统通过使用动态页面缓存加速技 术和对象有效性验证加速技术，大大加速了动态内容的传送和页面的显示速度， 减少了传输所占用的带宽，大大提高了用户( 特别是拨号用户) 浏览页面的速度。 它为内容传输领域中对动态内容的网络加速提供了新的解决方案，也为急需这一 方面应用的公司和企业提供了现成的解决方案，具有重要的现实意义。本文所实 现的动态页面缓存加速功能作为加速动态内容传输的一种方法，希望能为类似产 品的开发提供有益的参考，起到抛砖引玉的作用。 2 第一章缝谂 t 。2 奉谍熬麓寒滚爱主要矫窕内容 搀浚静鞯e 矗缓毒技术季麓缓咎漤态斑嚣麓鼹蔽洼焱鲞嚣不赣发袋瓣嚣黪援 的网络环境下，已缀不能提供最好的性能优化，能够支持动态甄面的加逋缓存的 解决方案残凳裁多烩鼗戆遍穗需要+ 零舔题歪楚疆舞实蕊一个辩动态鼹、争瞧张 的页面进行网络传输加速的w e b 代璁缓存服务器系统的需疆而提出的自选题。 本文紧密溪袭辫实瑰毯纛茭蕊静蕊输燕迷鹩喾曲我毽缓襻簸务器系统豹擒 想展歼研究，以实现动态页丽的缀存加速辣法为研究的煎点，并麒分析了当前的 h t t p 蛰谈巾簿蒙鹣蠢教犍验谨技米憨不足，把瓣装春羧热验诞燕速鼓零与动态 页面的缓存加速技术相结禽，共同提高页筒的传输速度，加快蒜户端的页面戥示 速度。零文逑醭究了t c p 逐接瓣霉e b 浆务器淫裁蕊彰殡，遵遘对黻羊p 烩浚串t c p 连接的保活功能的支持，褥激一步缩合传统的静恣w e b 缓存技术，从而遮到降低 w e b 黢务器麴受蓊鞫翔速动态蠹容熬产生缒嚣熬。 本文的难要研究成果能括： l ，搦了动态燹礴缓存翻逮技拳，实现澍动态鹣、令性识豹页颡豹网终麴逮按 输功能，提高了传输速庹和节省了弼络的带宽。 2 。分椽了当懿豹h t t p 据议巾对象蜘有效性验诞技零鸵不足，通过把对象豹有效 散骏证的任务献客户端的浏览器转移剜动态w e b 代疆缓存服务器系统上来宛 藏，加快了客户端页面的显示速度，减少了对象验诞带来的数据健输的额外 群镝，节省了弼络带燕。 3 。分辑了h t t p 协议燧个请求单独搜羯一个t c p 涟接的髑限性及典对w e b 服务器 谶熊静辩镌，在动态w e b 代瓒缓存鼹务器系统上荔入了对t c p 连接斡像滔臻 熊的支撩，减轻了w e b 服务器的负荷和加速了动态内容的产生。 4 。稳整蔫动态页露缓存翻蘧技零游萋穑上，避一涉菠掰符台娥器棘漆黥匿翁技 术，减少了实际传输的数据量，进一步提高了内容传送的速度。 5 。实现了馘窘土逐耱髓羲凌态w e b 代理缀存藤务器系缝，为蠢察筵赣赣壤审鼹 动淼内容的网络加速传输提供了新的解决方棠，也为需要支持动态内容的传 输蕊遮戆产螽懿公霉窥金建提供了瑰成翡方案黎藤鬃产螽。 零文努魏浚下a 个蘸努； 落一章介绍了本课题的学术衬潦、研究意义以及研究的主袋内容和成果。 第二章分缮了港蓠蕊一婆箍供癌骞翔遽戆系统鲮磊妖嚣袭鼹趋势，迸嚣亵分 析现谢的w e b 缓存技术不能对动态内容谶行缓存加速的缺陷的嫠础上，指出实现 动悫痰客豹淄终簧输麓遮翡系统麓两容撩浚熬发震方向。 3 华南理工大学工学硕士学位论文 第三章提出了解决动态内容的加速传输的动态w e b 代理缓存服务器的解决 方案，从总体上给出了该系统的功能和构成，并阐明了本文所解决的问题。 第四章详细讲述了本系统用于实现动态页面的加速传输的有关算法，包括动 态页面缓存加速算法和对象有效性验证加速算法。 第五章对动态w e b 代理缓存服务器系统的各个模块的组成及其功能进行了 讲述，并对系统的连接减载功能的实现和带来的好处进行了分析讨论，最后对缓 存服务器系统处理一个客户端h t t p 请求的基本流程进行了介绍。 第六章从提高系统的网络i o 操作的效率出发，分析了传统的事件驱动机制 的缺点以及该机制对系统性能的影响，指出了现有的一些改进思想和方案，最后 给出一个整合新的e v e n tp 0 1 1 事件驱动机制的动态w e b 代理缓存服务器系统的 实现方案。 第七章对动态w e b 代理缓存服务器系统进行了评价，通过测试数据去验证系 统加速动态页面的网络传输功能的有效性以及e v e n tp o l l 事件驱动机制对系统 处理网络i o 操作的性能提高，最后对系统进一步的改进工作进行了探讨。 4 第二章当前的内容传输加速方案的现状与分析 第二章当前的内容传输加速方案的现状与分析 2 1 内容传输加速系统的概述 随着因特网的迅猛发展与广泛应用，以及电子商务活动和其他有关w e b 的应 用程序的增加，全球的因特网的基础架构已经不能很好地满足需求。当因特网继 续扩张以满足世界上更多用户的需要时，这种趋势会更加明显。服务器瓶颈问题 和网络传输的延迟是最需要解决的问题。 当今互联网上最忙的也许要算w e b 服务器了。随着上网用户的巨增，每天穷 于应付用户并发的点击，这种情况在许多重大事件( 例如世界杯足球比赛等) 时 更为严重，w e b 服务器会面临大量的、动态的、蜂拥而至的突发访问，用户在不 耐烦的等待中往往意味着网上交易的放弃和用户的流失，根据z o n ar e s e a r c h 公司的调查数据：用户登录网站的响应时间超过8 秒钟以上，会有超过3 0 的用 户流失。反过来用户的投诉又使运营方对服务器进行大量的扩容，但伴随产生的 服务器平台管理问题以及对不同带宽用户的响应时间并没有象运营方期望的那 样满意，投资与回报不成正比，使得运营方头痛不已。 另外一个问题是因特网服务提供商( 简称i s p ) 通常要租用电信一定的带宽， 对这部分的昂贵的投入，怎样才能在这有限的带宽中传送更多的内容、从而扩展 更多的用户，这对因特网服务提供商来说是非常重要的。 因此减少网络的传输延迟，提供快速的响应时间以满足用户的期望，在有限 的带宽中扩展更多的用户，成为现在服务提供商晟迫切要解决的问题。为此，服 务提供商们把负载均衡、镜像和缓存等技术结合起来，以达到更快的w e b 内容传 输。用得最为广泛的是一种内容加速系统是内容传输网络( c d n ) 。它是构筑在现 有的因特网上的一种先进的流量分配网络。该网络将网站原服务器中的内容存储 到分布于各地的缓存服务器( c a c h es e r v e r ) 中，通过网络的动态流量分配控制 器，将用户请求自动重定向到可用并且离用户最近的缓存服务器上，以提高用户 访问的速度和服务的可用性，改善用户访问因特网的服务质量。 2 2 现有的内容传输加速的解决方案及其分类 现在市场上有一批提供内容加速解决方案的产品和服务。产品包括负载均 5 华南理工大学工学硕士学位论文 衡，边缘缓存服务器，服务器端的静态或反向代理缓存服务器，以及服务器端的 动态缓存服务器。企业通常会购买多个这样的产品并且组合起来使用，把它们作 为加速内容的产生和传输的架构的一部分。而服务是指把这些产品装配组合而成 的一个所谓的内容传输网络( c d n ) ，并把它出租给企业使用。从更广泛的观点来 看，上述的这些产品和服务可以划分为“服务器加速方案”和“网络加速方案” 两类，而每一类解决方案又可以进一步划分为“对静态内容的解决方案”和“对 动态内容的解决方案”。 2 2 1 服务器加速方案 服务器加速方案应付当用户数量增长时有效地伸缩服务器的能力的挑战。这 些解决方案使得企业可以聚集低成本的服务器平台并以一定的容错性来增加服 务器的处理能力，除去了使用单一一台高成本、高性能的服务器的很多缺点。服 务器加速方案分为负载均衡和服务器端的静态和动态缓存两类： 1 负载均衡 负载均衡是能够智能地把w e b 流量分配给多台服务器的高可用性系统。通过 把用户的请求分发给一组服务器，负载均衡减少了所有者的成本和改善了服务器 的容错能力。通过把额外的低成本的服务器绑定到指定的虚拟i p 地址或者虚拟 的d n s 域名，从而达到较高的性价比和可伸缩性。然而，负载均衡不是用来优化 内容传输所需要的带宽的。 边缘缓存技术( 后面将会谈到) 已经能有效地把静态内容分布到处于因特网 “边缘”的因特网服务提供商上，因此对静态内容的请求很大一部分由边缘缓存 服务器来完成。这样，大多数由负载均衡来处理的请求是访问动态内容的。这种 情况在配置有反向缓存服务器( 后面会谈到) 的企业环境下更为突出。因此，负 载均衡的解决方案属于对动态内容的服务器加速方案。 在业界处于领先的负载均衡产品包括c i s c os y s t e m s ，m t e o n w e bs y s t e m s ， f 5n e t w o r k s ，r e s o n a t e 和f o u n d r yn e t w o r k s 。本地的( 基于局域网) 和全球的 ( 基于广域网) 负载均衡这两种负载均衡的解决方案在今天是非常流行的。 本地的负载均衡器 本地的负载均衡器( 也叫“内容交换机”) 工作在i p 层而且通常通过一个路 由器或交换机连接并直接摆放在一组w e b 服务器的前面。很多流行的本地负载均 衡器使得企业能够使得客户端通过一个虚拟的i p 地址就能访i ；1 在物理上i p 地址 各不相同的一组服务器，使得一个w e b 服务器群能以一个虚拟服务器的形式被访 6 簿二章惑翦熬癌拳传输鸯醴迷方案的蠛状与势瓣 阕。缀多这类设蠡动态这嫠用嬲络螅蛙转换( n a t ) 恕i p 包头孛的地址遴萼亍转换， 使褥客户端能够快速地从当黼最有能力处理请求的服务器( 基于服务器的负荷、 饕发豹t c p 连接数目簿) 去敷褥请袋豹凌褰。缀多受鼗均鬻器壤褥垒韭麓够创建 “糕逶”酶会话( s t i c k ys e s s i o n ) 默馁掰户在一次事务楚瑾过程中将蛤终秘鼯 缎务器群中静台服努器；遂样的“糕浚”会话可以基于客户糍熬源i p 地救、 s s l 会话i d 和融w e b 服务器或负载均键器提供的h t t pc o o k i e 来区分。使用 c o o k i e 寒提爨这襻黪“蕤连”会诿在蕊输令慈葶 二肉漤戆嚣夔下蓬邃来熬滚嚣。 除了邋过增加熙关联个虚拟i p 地址的雾台低成本的服务器来掇供较赢的傲价 比和嘲站豹可扩展性外，这始设备还提供透明的服务器失散忽略机制( 客户抒勺请 袋只会鼗转舞蒋散黪黢务嚣土，恧不会旋转判失羧翡激务器主) 。这襻，霹璐熬 “激务器不可糯”信患就不会箨密瑷了。这样的裔掰扩展镶藕可溺往在今天麓电 子商务应用环瓣下是必不可少的。 会琏戆受鼗均簿嚣 全球的负载均衡嚣通常以智能域名服务器的形掰= 工作在应用滕。这螺设备扮 演一个解褥请求辩u r l 静撤域名的城名滕务器豹角色。这麴设备键褥分蠢各镳熬 髑懿缀努爨遴避个纛掇的d n s 域襄来谚闷。使爝扶惩终牧集裂豹i p 踌由袭、 连接稳应薅舔测凝等信惠，这些设蚕使褥惫蜚能够觳辫户蜷请求转爨箨黧在赫矜 上最接近的而腿可用的服务器，潜猩地掇离了端到端访问服务器的性能。 交予这骜受羧稳囊器遴避怒请求臻避零霹燕豹数据零惑瑟转裂戆掇供辙势 懿数据孛心，绫蠢蓬爱大继7 蘩令瓣懿秘霹鬻性，窀 l 麓囊蠢亵蔽萼l 为的灾难浚复 方爨。全球受鼗熄餐瓣典型髑户趣揍需赣程遮理主分耀臻惑魏大黪跨晷公司。 垒球的负栽均衡器可以用来在几个地理上分散的本地负载均衡器之间分配 流黧。在速释鬣黧下，垒臻的囊载均鬻嚣挺客产麴瀵求转鬟“最矮”翡本蘧受载 均衡器，然后率熊负载均衡器实现本绝的、餐髓的受载均衡来保谖祀连赣分酝缭 鄹鍪霹黉注最蒜戆爨务器。遴誊，纛是这些羚充按零皴攘荐的酝爨方案，困搀它 既向冗佘的簇集服务器提供本地的w 扩麟性，又向地壤上分数的濯特弼服务掰蛄 挺袋金鼹静可扩激毪。 2 + 瑕势器端静态蠖动态缓夺( 反商代理缀学) 菠蠢霞毽缓缮援救在企溲夔数据孛，斑，通过帮魏骧始驻务器楚毽爨鬻谈浓 鹣对簸来扩鼹服务器豹处理麓力霸热速内容麓产壤。瑕务器端静淼缓存处理的请 求是郊些经常陡被访问的静漆对蒙，以便撼高服务器的处理能力，因诧这些解决 方案糕手对静态内容翁联务器加速方案。炎织她，服务器蠛豹动卷缓存处理缀镦 经被谤阕兹穗态辩象，霞忿它糖属予对臻态痞容麓掇务器巍速方絮。 ? 华南理工大学工学硕士学位论文 首先，介绍一下缓存服务器的基本知识。w e b 缓存服务器是一种专门用来截 取对象的请求的设备，通常以透明代理的方式工作。当一个缓存服务器接收到一 个请求的时候，它就检查自己有没有存储这个被请求的对象。如果有存储这个对 象，就直接把该对象返回给请求方。如果缓存中没有存储这个对象，它就把请求 转发给存储这个对象的w e b 服务器。当缓存服务器接收到从w e b 服务器返回的内 容时，它再把内容传回给请求方，同时把内容在本地保存一个拷贝以便后续的对 这个对象的请求能从缓存中提取。 1 请求 圈三 3 返回页面 1 7 ：从缓存中取出页面 = = = = = = = = 了 3 返回页面 页面写入缓存 图2 2 缓存没有命中的情况 圉 服务器端( 反向代理) 缓存和下面将会讲到的边缘缓存是w e b 缓存服务器的 两种不同的配置方式。服务器端缓存的配置方式把w e b 缓存服务器放在企业本 地，在原始服务器附近。服务器端缓存扮演服务器代理的角色多于浏览器代理的 角色。服务器端缓存接收访问原始服务器的请求，如果请求的内容在缓存中就直 接返回请求内容，否则就把请求转发给服务器。服务器端缓存与边缘缓存根不相 8 第二章当前的内容传输船速方案瓣现状与分析 弱，窀只羧务一枣帮分戆爽嚣( 那些在缀始撮务器上戆夏嚣) ，嚣不是蘑有约客 户端请求的斌面。服务器端缓存使得管理员可以防止那魑经常被请求、高访问率 敕对豢影响熬个骚务器兹羧笺，扶瑟就热逮了痰容豹产生。羧努器端缓莓可以增 强服务器的处理能力，但它不能节省带宽和加速内容的传输，因为从服务器端缓 存获取豹对象仍然簧漉经整个网终才能返圄绘发爨请求救客户端。 激然有魑时候配置一个服务器端的缓存服务器会眈在一个负载均衡器后面 增加额外的w 曲服务器豹燃馀比更高，但是它的管理维护较为复杂。因此，更多 企业潜欢使掰简单赫用的负载均衡方案来提升w e b 服务器的处瑗能力。另外，很 多企舭不使用多服务器的可扩展机制，丽是简单地通过增加低贼本的硬件设餐， 再外加一个基本的熊载均衡架构来增强服务器系统的处理能力。 服务器端的静淼缓存产品的供应商包括c a c h e f l o w 和n e t w o r ka p p l l a n c e 。 在概念上与服务器端静态缓存相似的是服务器端的动态缓存。这些产品致力 于加速动态内容的产生，穗藏是说，提高w e b 霰务器生成癌容的能力多于加遽这 些内农的传输。由予动态内容的有效期是不可预知的，动态缓存必须紧密地跟踪 霰缓存懿雨容蠹每有效往，僚证它们楚薪鲜鹣。因豫，魂态缓存遴常登颓要蠢应耀 程序和数据库紧密结合在一起，导致更高的整合成本。因此通过增加服务器的 硬件来蕊速动态内攀静产鬃遥霉芟兵往价院。 幼态缓存的解决方案最适合予那些服务器端的内容产生有比较长的响应时 阗豹念监。铡蘩，翔条在零遮嚣域瓣豹应爝摇痔瀚麴壅辩藏稷嫒，这逶掌表夔楚 一个内容生成的问题而不愁一个内容传邀的问题。动态缀存能够有效减少服务器 静稳瘫薅阂氍燕速凌容夔产生。稳爱，魏豢在奉戆羼壤耀瓣痤弱程疼戆凌痤黪翊 很快，但远端用户的就很慢，这就表明是一个内裙传送的问题而不是内容生成的 翊嚣。 服务器端的动态缓存的产品提供商包括o r a c t e ，p e r s i s t e n c es o f t w a r e 和 s 蚤主d e r e a e h e 。 2 2 2 网络加速方案 网络加遽方案用于加蘧内容农网络中的传送速度，掇高用户下载的速度和节 省对臀于网络带宽的占用。现有的网络加速方寨主要是边缘缓静服务器。 边缘缓存服务器通过把经常被访问的内容存储到靠近客户端的地方来改善 用户艘下载对闯和节省下 亍的网络带宽。边缘缓存采用搬宵e b 缓存放置到靠近磐 户端的策略，这种类型的配鬣使得对内容的请求能够在熏靠近客户端的缝方被完 9 牮媾理工丈学工学硕士学位论文 簸，从而消除了举必要驹两辫避信量。边缘鹱存是滚计来处壤经常被请求的静态 对苏的，因此它属于对静态内容的网络加速解决方燕。 透缘缓存羧务器骞下羲a 个兹点： 它在允诲甭户谤闯黼页静溺露使褥去获取那些鬻筒新占甭黔广域离流鬣凝 小。对于企、眦内部的局域网用户来说，这意味着程局域网内肖缓存的内容就 没螫要霉运避广壤鬻去获取了。霹予万缳溪霜户来说，遂意辣饕在蘧粕静邋 特阉服务提供商( i s p ) 的电话接入网那腱被壤存的内容就不必再通过闲特 瓣戆纛干弼畿获取了。遮掰耱绪嚣下，不瞧爱户辩瓣页蠡孽 毒浓戆褥嚣瑟浚黥 晌波，恧且硷救和i s p 也降低了使用广域嗣的费趱，同狸尊降低了网络的滤撼 帮箴轻了网络的摇爨。 波缘缓存在搿方面减少了艇迟：第一，经常被访问的页阿是从邻近的缓存服 务器上嚣不麓运蟪熬w e b 簸务器上袋敷弱，这榉，簧簸麴延迟怒最，l 、豹。繁 二，嚣舞猿少了羽终滚爨，豢些没蠢羧缓存豹燹瑟，据瓣予没露嚣置迭缘缓 = | 挈辍务器静清浇，簇能够爨快建被驳取黉，嚣菊程传送瓣路强上建络麴寨麓 少了以及w e b 服务器的负载更低了。 遮缘缓存逶越恕数豢数南戳整令薹联潮黪备台缓襻黢务器上，扶嚣降联了送 灞w e b 服务糕的工俸爨载。 如果运端装w e b 服务器必教了或者网络誉逶了，耀户j 丕怒可以搓缓存服努器 那里获取到个缓存的拷贝。这样，就增强了w e b 服务的健壮性。 服务提供商和企业都试为边缘缓存根有吸弓l 力。服务提供商葡馘使用媳缘缓 存产品来改善用户的整体下泼 生能，这掸旗增加了磐户的满意度和保持力，丽盛 穗够苓省颓鸯赞德戆带宽。垒媲通过程靛稻瓣络翡窭翻煮使麓边缘缓存产菇寒擞 遴颡姆弼睫容懿下载，这样魏提高了熹员熬生产力和减少了鼯蠹麓广域霹带寓鹣 占用。几个c o n 撇务提供者邋避使甭禚入拥有的“潞豳”技术重寇向客户端的请 求划“最靠近的”或者爨佳磷凰可用的含肖被请求对镦的边缘缓存服务器上的方 滚采挺供餐蕤豹边缘缓荐戆交。宅疆舞了下蓑簿嚣，逮楚震户冒默鹤显感受戮鹣 它把内容广泛地龄布到c 脒的边缘缓存结构上，从而增强了内容的可用性；丽臆 它减少了稚务器供裔韵费干测帮金登缀始糇务器的带宽需要。 缓存鼹务撬供巍包括a k a m a it e c h n o l o g i e s 黎m i r r o ri m a g et n t e r n e t 。缓 存产品提供商包括n o v e l l ，c a c h e f l o w t c i s c os y s t e m s 和n e t w o r ka p p l i a n c e 。 1 0 纂二二牵毒纛熬癌窭餐赣糖逮露寨鹩理壤等分褥 2 ；3 臻煮戆巍察传输热遮菇案妻毫缺黧 零期妻孽c d n 戆爨蠛是键耀氲攒感容盼缓存秘凌褰瓣努滚数瓣旋他游雾黉蟪 按零。缓存瀵过蛰内容移到鼹终麴透缭，扶最冀邂耀产翡她方提供囊容，毽褥被 缓存下聚戆对象霹醛技缀多麴褰户淤爨蔌辜，扶鬻减少阉一晦察的熏黧佟簸。边 缭缓脊蕤节省粢宽、减少丢包势提洪较挟辩穗斑黠麓，缮黎簿奏效遵改蕾最终燃 户的建线器鞠骣蹰感受戮熟矮爨，遮静释凝方法魄增加棱一0 瓣终结梅驰辩宽耍疑 滂褥多。熬掰，夔绕艇w e b 缓器技拳熬一个誉哥忽视救缺赡楚它对动态熟搀饔不 越穆穗，毽就是滋，传统戆缓存技凇只艟缓存娜臻不会魏饕簿次请求蔼蹙纯静瓣 象( 黪惑内容，两澍予裁态秘积个性纯戆魂客如c g i 、a s p 、p h p 餐页瑟，就不 戆被缓存下鬻鼍，献两餍户之闻就不熊共事这些对糠了。使灞传统酶w e b 缓存技术 静c d n 畿不可涟炱她存在繁这个缺陷一一幂懿缓襻动态内容。 举髓疆存蕊速动态海褰静骚煮大太戳瓣了传统静c d n 瓣络带来静内容勰速 潮带瓷谯纯麴好妊。当今黪禹特嬲已经飙静森内蜜囱动态酌馥个穗诬艟秘容转 交，藕态页藤瓣魄穰在铰遮潜妖，褥虽惫予窿务等与w e b 有荧豹应溪毽不可避凳 熄要使用动淼煲箍毅零，嚣疵，现嚣静内辫健输解决舅案戆经不艴携镶疑裔效麴 内容船邃辩带宽捷麓辩稳张。 麓一方澍，边缘缓存和c d n 鞭静的广邋经霜，傻褥缀丈一酃分羧请袋豹静卷 逡容( 惫瑟黧蒙窝赘态静夏嚣鑫经褒鑫特瘸瓣“遮缘”被缓存下来。溺越，w e b 缀务器蕊接彼燮耱瓣静森斑容请求瓣滋镶汪缀大大释嚣了。辖蔽缝，蕤赘越来越 多数渤态麓秘个犍钝黥痣褰携搜惑，w e b 擞务蒸攘牧瓣酌黠黎态蠹褰请浓戆琵链 不凝琏鬻翘，阂筑靛鬻辩动惑内容避暂缓露翱蘧袋为撬纯繁宽笺怒窝提凝瓣终娥 攀翅关键。 攀瑟浆海察转辕熬速方寨对繁麴鼹终糖宽帮游态态释豹麓遮鸯一怒瓣荧熬， 燕对动态魏静个淫豫斡疼套潦夏考黪。虽然一鳖逸缭疆存鼗务撬供囊氇考纛魏蠖 瓣毽 l 豹“迭缘缓移”絮拣激掘速琴熬鼓缓移豹动态痰辫，辍是这魑祭决方寨嚣 要w e b 嚣蘩瓣蠹套避褥曩薪辩袭动，鬻嚣葵安装簇辫转w e b 骚务器较磐，麦夫增 熬了黪餐耍斡投资，举蘧谳羽霹飘势器翥瀑户爆嬲遴骧。 缀囊显，来寒鹣蠹签蕊辍热速策绫毂靛餍方翔，是辩劫态患密翁支持+ 黠个 赣後豹、囊态煞凑容捷蒜内容霸逮窝豢宽警缝，势萎婺尽虿魅镞裂对客户端秽 髫e b 臌务器逡骥，焱瑷蠢簿蒸绫上誉甏要嵌装粳秘瓣软转和徽额外躲改动。 华南理工大学工学硕士学位论文 2 4 内容传输系统的发展方向 要解决目前内容传输系统不能加速动态内容的网络传输问题，就必须开发出 能优化动态内容传输的技术，构造出能加速动态内容传输的w e b 缓存系统，在传 统的静态w e b 缓存技术的基础上，实现动态内容的缓存加速。 现有的内容传输解决方案分为“服务器加速方案”和“网络加速方案”， 而每一类解决方案又可以进一步划分为“静态内容的解决方案”和“动态内容的 解决方案”。服务器端的静态和动态加速方案和对静态内容的网络加速方案己经 在前面进行了介绍，仍然缺少的就是对动态内容的网络加速解决方案，可见，对 动态内容的网络加速系统是未来的内容传输系统的发展方向。本文所研究的动态 w e b 缓存服务器系统就提供了缺少的这一块功能，作为对动态内容的网络加速的 解决方案，与上述三种方案共同构成图2 3 的内容传输加速解决方案分类图。 静态 网络加速 厂 、 动态w e b 缓 边缘缓存 存服务器系 | 统 冬容f1 动墨 1 。 服务器端 负载均衡 静态缓存 服务器加速 图2 3 内容传输加速方案 内容 第二章警前豹肉释传输加逮方案鲍醺状与分析 2 。5 本章，l 、结 本牵蓄兔对内容传输掬遴系统邂行了裰述，然霰全蠢介绍了瑗有的内容终输 加速方案的现状，指出了其中的优点和存在的问题。在分析了现脊w e b 缀存系统 不能对劝态静、个往豫静痰容遗嚣缀存翔遮懿缺陷静基稿上，捂褰实王霆羲态疼寨 的网络加速是内容传输系统发展的方向，是本文的研究重点和值得深入研究的课 蘧。 1 3 华南毽工大学工学硕士学位论文 第兰章实现动态页面的传输加速的缓存服务器系统 3 。1 实现动怒页面的缓存加速的内容传输加速新方案 如前所述，谍港前的因特网环境下，动态页面已成为因特网系缆的主要部分， 蒋统麴w e b 缓存波零不貔对溺淼豹、拿潍纯豹内容_ l 释缓存翔速瓣缺鬻，镬灏窀 己经不懿满足当髓因特嘲发袋酌需要。对动态建容的潮络如遮方察贼冀下一代的 漆器博赣系统鹣发展方巅，具蠢广演静发矮藤綦。 为了适应因特网发展的需要，我们把贸现动态页顾缓存加速的新技术与传统 翡黪悫缓存技本裰蘩台，实醺一个臻态w e b 戴莲缓存暇务嚣系统。动态w e b 代建 缓器羧务器系统敖萋在念鼗瓣数据中秘薅灸壤嚣瑟，嘉迸簧热速戆w e b 黢务 器。淀叛透臻戴糕豹方式工 留，宅截取谤邂w e b 骚务器携谤求势怒请求转浚缭 w e b 服务器，通道扫描w e b 服势器生成的页面内容并胤只把被多次访问的贸筒的 交纯帮努发送出去，酸嚣缀减了簧曩产爆鹣数据量，遮到糖遴芩畿缓存款旗态廷 瑟戆传送瀚霹盼，有效魏提蕊了茭蟊内容健输豹速炭，加侠精终薅声溅鼙炎舔秘 速震。雯一方露，它也熬黠静卷的悫骞( 瀵掌是页露斑嵌的g i f 、j p e g 等隧片和 静态贸面) 进行缓存，使得对这些对象的访问可以真撩从缓存服务器上存取，从 蠢藏轻了w e b 辍务器爨受蘅。 幼态w e b 代理缓存服务潞系统通过渤态孤面缓襻加速技术德将企业西戳加 速动杰生成的和个性化的内游的传输，同时减少了对步 的带宽饿用。使用动凑 w e b 援理缓存缀努器系统，公嗣帮内骞提爨巍浆能够建立墓怒裴够快速逮怒袋精 熬内容传送给终端熙户瞧稳定鹣鼹站系统。舅终，动态w e b 鼹瑾缓存濂务器悉统 以稀对内容提供商和掰户都完全透明韵方筑来翔德动态贸面酌传送帝缓存传 统始静态妇容，客户端驷w e b 服务器都不需要安装额处的软件和做额外的改动， 瑟双方聱无纛滋嚣程褥羧交秘定裁。 3 。2 魂态w e b 筏毽缓存鼹务器系统麓功麓撮述 秘态w e b 代避缓存照务器系统在健绫的静态w e b 缓存技术鲮越燃上，邋避以 下豹凝凌耱戆实璇寒爨纯内容麓簧羚秘减轻w e b 辍务器戆负萄： 1 4 第三章实瑗动态页压的传输趣速的缓存暇务器系统 渤态页面缓禄加速功能，谨计算动态顾面之间的变化或者差弗，而且只把遂 燃发生变化的部分通过因特网传送给终端用户，从而达到加逋动态页面传输 静毯豹。 对象有效性骚疆加速功能，把对象的鸯效往验证强务扶客户端的潮览器转移 剿动态w e b 代理缓存服务器系统上来毙成，减少了对象有效憾验证所占用的 额外传输开销。 羧务器连接减藏功镌，实瑷与w e b 辍务器稳t c p 恣接戆保溪臻戆，疆多了多 次与w e b 服务器建立t c p 连接的额外开销。 对文本内容的压缩功能，实现对h t m l 页面和t e x t 等文本内容的g z i p 压缩， 遴步减少褒嬲络上接输戆数据量，撼速茭蟊的技送速疫。 下面将详细蛾对每一个新功能进行讲述。 3 。2 。l 魂态瑟藿缓存鸯羹遴功襞 该功能通过使用动态页耐缓存加速技术，可以发掘出被一个或多个用户相继 请求戆页蘑之闼豹糖蓑蛙。剽蠲这些摇关键诗算出页溪豹差冥，扶褥绚造出只穗 含新数据和恢复攒令的文橙，把它传送给客户端鲍洌魏嚣就可戳设测览器重新榆 造出鬃请求的页酾内容。 如果没有动淼页面缓存技术，随后的对一个w e b 页薅的访问将迫使客户端下 载整个h t m l 页瑟，静使在逶零愤嚣下哭蠢- - 4 , 部分内容发生了炎健霞要露垂乏。 页面内容的差异可能是由一条更新过的新闻或公告、股票价格的变化或者是更新 过的图片或广告所引起的。即使有边缘缀存服务器的存在，每次页面被请求时， 翅户述是不褥不麸羧务器下鼗整令h t m l 黉霆，霾秀抟绫豹w e b 缓存技拳不黢缓 存韵淼的内容。闲此，即使页筒的差异或凌纯可能只裔几个千字节，整个页霹酃 会被传送。动态筻面缓存技术就可以找出这些页面之间的变化或激异，而且只把 这些变化的部分传送给客户鲻。假设一个h t m l 页面嬲大小是5 0 k b ，与上一次访 阕静凝蟊院较，发生了交纯瓣部分是2 k b 。翔莱浚舂韵态页嚣缓移皴本，客户壤 不得不取回所有5 0 k b 的页面以获得最新的内容。大约9 6 的内释是没必要传送 而且怒可以避免的，因此动态页面缓存技术改善了性能和减少了带宽的使用。幼 态夏甏缓存技术运避免了在霹茭瑟豹多次谑超之霆下簸踅余豹页瑟售塞，取露钱 之的怒，使得客户端只下载霹蔺中发生变化的内容。这就改善了用户的性能体验 和为念业减少了带宽的开销。 动态页面缓搿技术是以一个“基准燹疆”和“差异页面”豹概念为基础的。 “墓准页面”是撂一个特定u r l 戆页覆静裙始蠹察。“差异页薤”氛含了告谣客 1 5 华南理工大学工学硕士学位论文 户端浏览器如何修改一个“基准页面”( 通常缓存在浏览器的缓存目录中，如果 不存在的话，也可以从动态w e b 缓存服务器上获取) 以重组出最新一次访问的页 面内容的指令和数据，它使得客户端可以动态地从以前获取过的基准页面构造出 新页面的内容。 动态页面缓存加速功能是整个动态w e b 代理缓存服务器系统的核心功能，也 是本课题研究的重点，具体的算法实现将在后面的章节详细讨论。 3 2 2 对象的有效性验证加速功能 该功能使用对象有效性验证加速技术消除了页面中内嵌的w e b 对象，例如图 片、样式表、j a v a s c r i p t 文件等造成的网络延迟。一般情况下，当显示含有图 片的页面时，用户会感到图片的显示会有所延迟，这是因为每个图片都需要去验 证有效性以保证用户看到的是最新的版本。这能够导致2 0 k b 或更多的额外的“上 行”通信量。每一个验证包括一个从客户端到服务器的h t t p 请求。对象有效性 验证加速技术使得内嵌对象的版本管理在动态w e b 缓存服务器上完成。所有对象 的有效陛信息将包含在父页面中并随着父页面的下载而完成，这就避免了不必要 的验证请求的发送。 当前的w e b 对象的有效性验证机制的一个主要缺点是它迫使客户端在随后 的访问中假设所有的缓存在浏览器中的对象都是失效的，直到服务器明确地把对 象的有效性信息告诉客户端为止。这种方法对访问一个已经被缓存下来的页面时 将产生明显的页面显示延迟，因为它迫使客户端对每个对象都要发出一个有效性 验证请求。对应含有很多内嵌对象的页面，所造成的显示延迟将是比较长的，因 为要等到客户端到服务器的一个往返完成才能把对象显示出来。另外，这种验证 过程浪费了不少的上行带宽。 对象有效性验证加速技术通过把验证有效性的任务交给缓存服务器而不是 客户端来完成，从而克服了这个缺点，而且更有效率。这个技术保证客户端只去 请求最