（信号与信息处理专业论文）cdn负载均衡和内容路由研究.pdf

y 6 8 9 2 5 9 浙江大学硕 _ 学位论文 摘要 互联网的高速发展给人们的工作和生活带来了极大的便利。网络的应用趋于多样 化，电子商务、多媒体等业务的出现使用户对网络的性能要求也越来越高。为了提高 用户访问网站的响应速度、优化现有互联网中信息的流动、提高网站的安全性和可用 性，在现有的互连网络中建立一个完善全面的中间层一一内容分送网络 ( c o n t e n t d e l i v e r y n e t w o r k , c d n ) ， 将内 容服务提供商 ( i n t e rn e t c o n t e n t p r o v id e r , i c p ) 和电 子 商务应用站点的信息迅速有效地发布到离用户最近的服务节点土，使用户访问站点时 可以就近得到快速响应，提高用户的响应速度，同时减轻原站点的负荷，提高设备和 网络利用率。内容分送网，是目 前流行的应用解决方案。 内容分送网络主要涉及的关键技术包括内容管理、内容路由和内容分发同步。内 容路由包括全局内容路由 ( 实现全局负载均衡)和局部内容路由 ( 实现本地内容服务 器群负载均衡)是构建内容分送网络的关键技术。本文根据内容分送网络的现状和发 展要求，针对大型c d n覆盖网络，提出构建覆盖网的分层拓扑结构和逻辑组织思想， 并在此基础上提出分级均衡，以及实现分级均衡的内容路由技术 ( 包括局部内容路由 技术) 。 第一章是绪论， 简单介绍了c d n的概念， 并对几种重要的内 容路由和交换技术做 了简要的介绍。 第二章是c d n分层覆盖网，针对大型c d n覆盖网络，根据c d n的发展要求和 i n t e rne t 网络特点，构建具有分层拓扑结构和逻辑组织特点的大型 c d n覆盖网，井在 此基础上提出分级均衡和对应内容路由思想。 第只章是局部内容路山，介绍了 实现c d n最基本的均衡技术局部内容路由， 分类阐述了当前用于局部内容路由的各种分发算法和转发机制，并对这些算法和机制 做了简单的分析比较。 第四章是c d n分级内 容路由，在第三章建立的c d n分层覆盖网基础之上，根据 分级均衡思想，提出分层覆盖网上的分级路由。并对比与传统的内容路由，对分级内 容路由算法做了定性的分析。 最后是总结和展望，对本文的主要思想的意义作了总结，与并对进一步的研究进 行了展望。 关键字:内容分送网络，局部内容路由，内容路由，负载均衡，分层覆盖网 浙江大学硕上学位论文 a b s t r a c t wi t h t h e d e v e l o p m e n t o f t h e n e t w o r k t e c h n o l o g y , i n t e rn e t u s e r s a r e g e t t in g b e tt e r a c c e s s . b u t w e n e e d a h i g h - p e r f o r m a n c e a n d r e l i a b l e v e h i c l e t o d e l i v e r s p e c i f i c c o n t e n t , s u c h a s s t a t i c w e b p a g e s , t r a n s a c t i o n b a s e d we b s i t e s , s t r e a m i n g m e d i a , o r e v e n r e a l - t i m e v i d e o o r a u d i o f o r t h e a p p e a r a n c e o f b a n d w i d t h - i n t e n s i v e . t o a d v a n c e t h e u s e r a c c e s s s p e e d , a r e s o l v e n t n a m e d c d n ( c o n t e n t d e l i v e r y n e t w o r k s ) i s d e v e l o p e d , w h i c h i s a n i n t e r m e d i a t e l a y e r o f i n fr a s t r u c t u r e t h a t h e l p s t o e f fi c i e n t l y d e l i v e r t h e e v e r i n c r e a s i n g c o n t e n t fr o m c o n t e n t p r o v i d e r s t o a l a r g e c o m m u n i t y o f g e o g r a p h ic a l ly d i s t r i b u t e d c l i e n t s . c d n i s t h e c u r r e n t s o lu t i o n s c h e m e t o a d v a n c e t h e u s e r a c c e s s s p e e d a n d g u a r a n t e e t h e n e t w o r k s e c u r it y . t h o u g h t h e m e c h a n i s m s a n d p h y s i c a l e q u i p m e n t u s e d m a y v a r y d e p e n d i n g o n t h e c o n t e n t , c d n h a v e t h r e e c o m m o n b u i l d i n g b l o c k s i n a d d i t i o n t o t h e n e t w o r k i n fr a s t r u c t u r e : c o n t e n t ma n a g e m e n t , c o n t e n t r o u t i n g , a n d c o n t e n t s w i t c h i n g . c o n t e n t r o u t i n g i s t h e m a in t o p i c o f t h i s p a p e r . a l a y e r e d o v e r l a y n e t w o r k s f o r l a r g e - s c a l e c d n i s p r o p o s e d , a n d b a s e d o n t h i s o v e r l a y n e t w o r k s , w e d e v e l o p e d c o r r e s p o n d in g h i e r a r c h i c a l l o a d b a l a n c i n g a n d h i e r a r c h i c a l c o n t e n t r o u t i n g t h i s t h e s i s i s c o n s t r u c t e d a s f o l l o ws : c h a p t e r 1 i n t r o d u c e s t h e c o n c e p t o f c d n , a n d p r e s e n t s t h e m a i n c u r r e n t t e c h n o l o g y o f c o n t e n r o u t i n g . c h a p t e r 2 , a ft e r a n a l y s e t h e s t r u c t u r e o f i n t e r n t e , a l a y e r e d o v e r l a y n e t w o r k s f o r l a r g e - s c a l e c d n i s p r o p o s e d , a n d b a s e d o n t h i s o v e r l a y n e t w o r k s , w e d e v e l o p e d c o r r e s p o n d i n g h i e r a r c h i c a l lo a d b a l a n c i n g a n d h i e r a r c h i c a l c o n t e n t r o u t i n g a n t i l o g y . c h a p t e r 3 p r e s e n t s t h e a r c h i t e c t u r e s o f l o c a l c o n t e n t r o u t i n g , c l a s s i f i e s a n d d e s c r i b e s m a i n c u r r e n t r o u t i n g m e c h a n i s m s a n d d i s p a t c h i n g r e q u e s t a l g o r it h m s t o s p l i t t h e l o a d a m o n g t h e s e r v e r n o d e s , a n d a n a l y s e s t h e i r p e r f o r m a n c e c h a r a c t e r q u a l i t a t iv e l y . c b a p t e r 4 e x p li c a t e h i e r a r c h i c a l c o n t e n t r o u t i n g , i n t r a - c l u s t e r c o n t e n t r o u t i n g a n d i n t e r - c l u s t e r c o n t e n t r o u t i n g , a n d t h e n c o m p a r e s t h e ir p e r f o r m a n c e w i t h c o m m o n g l o b a l c o n t e n t r o u t i n g u s i n g q u a l i t a t i v e a n a l y s i s . c h a p t e r 5 c o n c l u d e s t h i s p a p e r a n d p r o s p e c t s t h e t e c h n o l o g y o f c o n t e n t r o u t i n g f o r f u t u r e r e s e a r c h . k e y w o r d : c d n , c o n t e n t s w i t c h i n g , c o n t e n t r o u t i n g , l o a d b a l a n c i n g , l a y e r e d o v e r l a y n e t wo r k s 1 1 一 浙江大学硕士学位论文 第一章绪论 1 . 1 引言 2 0世纪8 0年代以 来，随着个人计算机 ( p c )的不断发展和普及，一种全新概念 的计算机网络逐步建立并迅速膨胀，最终成为今天大家所熟悉的、世界上最大的国际 性计算机互连网i n t e rne t 。 人们在i n t e rn e l 上可以轻松地通过各种搜索引擎查找自己 需要的信息，与全世界各地的人通过 e - m a i l 等各种手段实现实时和非实时的通讯。 i n t e rn e t 己 经渗入到人类生活的 每个角落。 中国i n t e rn e t 的发展开始于2 0 世纪9 0 年代初，到9 5 年左右进入了一个快速发展 阶段。 而在c n n i c的调查报告中， 最引人注意的一项统计是 4 2 % 的用户认为 速度 太慢是当前 i n t e rn e t 服务最令人不满意的地方。这个比例在历次c n n i c的调查报告中 都没有太大的变化，而在同一时期中国i n t e rne t 骨干网的带宽提高了超过 1 0 0 倍。 随着互联网用户的迅速增长和用户对提高互联网服务质量需求的不断增加，传统 的由i c p和电子商务网站提供信息服务的模式正面临着严重的挑战。i c p和电子商务 应用站点一般是在一个或少数儿个地方建立物理站点，面向全国乃至全球互联网用厂 提供信息服务和电子商务服务。互联网的自身结构特点和网络带宽瓶颈问题使得人们 访问全球站点时延迟长，效率低。根据一家名为z o n a的研究机构的研究显示，一个 电子商务网站必须在 8 秒之内对用户的访问做出响应，否则将流失超过3 0 %的潜在客 户。z o n a还估i 卜 每年由于网络问题 ( 缓慢甚至不通)导致电子商务业务的损失高达 4 4 亿美7 g o 纵观整个宽带服务的价值链，内容提供商和用户位于整个价值链的两端，中间依 靠网络服务提供商将其串接起来。随着互联网工业的成熟和商业模式的变革，在这条 价值链上的角色越来越多也越来越细分。比如内容应用的运营商、托管服务提供商、 骨干网络服务提供商、接入服务提供商等等。在这 一 条价值链上的每个角色都要分 工合作、各司其职刁 能为客户提供良好的服务，从而带来多赢的局面。从内容与网络 的结合模式上看，内容的发布己经走过了i c p的内容 ( 应用) 服务器和i d c这两个阶 段。i d c的热潮也催生了托管服务提供商这一角色。但是，i d c并不能解决内容的有 效发布问题。内容位于网络的中心并不能解决骨十带宽的占用和建立i p网络上的流量 秩序。因此将内容推到网络的边缘，为用户提供就近性的边缘服务，从而保证服务的 质量和整个网络上的访问秩序就成了一种显而易见的选择。 而这就是内 容发布网( c d n ) 服务模式。c d n的建立解决了困扰内容运营商的内容 集中与分散” 的两难选择。无疑 浙江人学硕上学位论史 1 1引言 第一章绪论 2 0 世纪8 0 年代以来，随着个人计算机( p c ) 的不断发展和普及，一种全新概念 的计算机网络逐步建立并迅速膨胀，最终成为今天大家所熟悉的、世界上最大的国际 性计算机互连网i n t e m e t 。人们在i n t e r n e t 上可以轻松地通过各种搜索引擎查找自己 需要的信息，与全世界各地的人通过e - m a i l 等各种手段实现实时和非实时的通讯。 i n m e t 已经渗入到人类生活的每个角落。 中国i n t e m e t 的发展开始于2 0 世纪9 0 年代初，到9 5 年左右进入了一个快速发展 阶段。而在c n n i c 的调查报告中，最引人注意的一项统计是4 2 的用户认为速度 太慢是当前i n t e m e t 服务最令人不满意的地方。这个比例在历次c n n i c 的调查报告中 都没有太大的变化，而在同一时期中国i m e m e t 骨干网的带宽提高了超过1 0 0 倍。 随着互联网用户的迅速增长和用户对提高互联网服务质量需求的不断增加，传统 的由i c p 和电予商务网站提供信息服务的模式正面临着严重的挑战。i c p 和电子商务 应用站点一般足在一个或少数几个地方建立物理站点，面向全国乃至全球互联网用j o 提供信息服务和电子商务服务。互联网的自身结构特点和刚络带宽瓶颈问题使得人们 访问全球站点时延迟长，效率低。根据一家名为z o n a 的研究机构的研究显示，一个 电子商务网站必须在8 秒之内对用户的访问做出响应，否则将流失超过3 0 的潜在客 户。z o n a 还估计每年由 二网络问题( 缓慢甚至不通) 导致电子商务业务的损失高达 4 4 亿美元。 纵观整个宽带服务的价值链，内容提供商和用户位于整个价值链的丽端，中徊j 依 靠网络服务提供商将其串接起来。随着互联网工业的成熟和商业模式的变革，在这条 价值链上的角色越米越多也越来越细分。比如内容应用的运营商、托管服务提供商、 骨干网络服务提供商、接入服务提供商等等。在这一条价值链上的每个角色都要分 工合作、各司其职才能为客户提供良好的服务，从而带来多赢的局面。从内容与网络 的结合模式上看，内容的发御已经走过了i c p 的内容( 应用) 服务器和1 d c 这两个阶 段。i d c 的热潮也催生了托管服务提供商这一角色。但是，i d c 并不能解决内容的有 效发布叫题。内容位于网络的中心并不能解决骨十- 带宽的占用和建立i p 网络上的流量 秩序。因此将内容推到网络的边缘，为用户提供就近性的边缘服务，从而保证服务的 质量和整个网络上的访问秩序就成了一种显而易见的选择。而这就是内容发布网( c d n ) 服务模式。c d n 的建立解决了凼扰内容运营商的内容”集中与分散”的两难选择。无疑 浙江人学硕士学位论文 对于构建良好的互联网价值链是有价值的，也是不可或缺的。 1 _ 2c d n 简介 c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。其目的是通过在现有 的i n t e m e t 中增加一层新的网络架构，将网站的内容发布到最接近用户的网络”边缘”， 使用户可以就近取得所需的内容，解决i n t e m e t 网络拥塞状况，提高用户访问网站的响 应速度和服务质量。 1 2 1c d n 系统设计思想 目前，几乎所有的i n t e r n e t 的应用服务访问都是基于域名服务来进行的。让我们 来看一下传统的i n t e r n e t 网络的基本结构【2 】如图卜1 所示。 i li n t e r n e t 网络基本结构及数据传输方式 2 浙江大学硕士学位论文 用户访问传统嘲站的流程： i 用户在自己的浏览器中输入要访问的网站的域名； 2 浏览器向本地d n s 请求对该域名的解析： 3 ，本地d n s 将请求发到网站的授权d n s ( a u t h o r i t a t i v ed n ss e r v e r ) ； 4 ，授权d n s 将服务器的地址作为解析结果( i p 地址) 送给本地d n s ； 5 本地d n s 再将解析结果返还给用户，同时将该域名的解析结果保存内存中， 并直接响应下一个用户的解析请求。直到相应的t t l ( 生存周期) 过期，才再向网站 的授权d n s 请求解析； 6 用户得到i p 地址后，就可以直接对网站的服务器进行访问。 传统的访问模式虽然简单，但存在几个主要的问题，会严重影响i n t e m e t 用户的访 问效率和质量： 首先，传统的d n s 解析，在将主机名转换为i p 地址时，并不预先判断网络的的 状态，当服务器停机时，请求仍将被发往这台停机的服务器，造成i n t e r n e t 服务的中断。 其次，- 个严重的问题是访问效率无法提高。用户对同网站的内容的访问必须 经过询：多路由器的转接，才能最终到达网站的服务器，中间可能要跨过多个i s p 和网 络。即使在理想情况下，路由器的每一次转接( h o p ) ，都会造成一个延迟，虽然单个 这样的延迟时间较少，但当网络规模很大时，h o p 数会大量增加，造成的延迟也会更 加明显。而且，任何一个路由器的故障或者拥塞都可能造成访问的中断或者延迟，严 重影响访问的质量。 c d n 服务正是针对上述问题，采用智能动态负载均衡系统和内容分布存储设备， 在现有的i n t e m e t 网络中，为众多的网站用户提供加速服务，同时减轻i s p 广域闷出u 带宽。 1 2 2c d n 基本工作流程 我们以目前流行的摹于d n s 的c d n 服务过程为例说明c d n 基本工作流程。 当用，访问已经加入了c d n 服务的i c p 的网站刚，其解析过程勺传统解自i 方式的 最人区别就在于d n s 重定向服务器不是以传统的轮询( r o u n dr o b i n ) 方式来响应本 地d n s 的解析请求，而是充分考虑用户发起请求的地点和当时网络的情况，来决定把 用户的请求定向到离用户最近同时负载相对较轻的节点服务器卜。通过d n s 耍定向照 浙江_ 凡学硕j j 学位论文 务器的智能动态负载均衡技术，可以将用户的请求就近定向到c d n 内容服务器卜。 c d n 内容服务器的高性能则进一步保证了i n t e r n e t 用户的访问能得到更及时剧靠的响 应。同时，作为c d n 内容分发和管理机制，自动保障各个c d n 内容服务器与i c p 的 源服务器的数据同步，用户访问c d n 内容服务器将得到与原服务器完全相同的内容。 图1 2 说明了一个用户访问加入c d n 服务的网站的完整过程 i c p 授权d n s 服务器 图1 2 “第一个”用户访l 司流程 用户的访问加入c d n 服务的阀站的流程： 1 用户点击相应的连接，浏览器根据u r l 中包含的域名尝试与服务器建立连接， 并向本地d n s 请求对该域名的解析； 2 本地d n s 将解析请求发到t c p 的授权域名服务器( a u t h o r i t a t i v ed n s ) ，授权 域名服务器通知本地d n s ，卡耳应的授权域名服务器为c d n 的熏定向服务器； 3 ，本地d n s 再向重定向服务器发出域名解析清求； 4 ，重定向服务器根据预设策略，选择最佳c d n 内容服务器节点，并将结果( i p 地址) 返回本地d n s ； 5 本地d n s 将该c d n 内容服务器节点的i p 地址发给用户： 6 浏览器向c d n 内容服务器节点发出请求； 7 ，c d n 内容服务器节点中的服务器直接响应用户的请求并提供相关内容n 浙江人学硕士学位论文 上面描述的是第一个用户，在篼一+ 次访问一个域名时，同时所访问的本地域名服 务器在没有解析过该域名的情况下的访问流程，看似烦琐。不过因为该过程中的本地 域名服务器会对解析过的域名进行缓存，并且c d n 内容服务节点中的服务器会对用户 访问过的内容进行缓存。所以接下来的后续用户的访问过程就大大简化和高效了。如 下图所示： l c p 授权i ) n s 服务器 a 图l 一3 后续用户访问流程 如图1 4 所示，c d n 的所有设备可以方便地集成在现有的i n t e r n e t 网络中，在传统 的i s p 和i c p 中间架设了一层虚拟的内容分布网络。无论是i s p 、i c p 或者是最终用户， 都能轻松享受到c d n 服务带来的益处。 当图示的用户访问i c p 2 的网站时，虽然他在浏览器里输入的仍然是i c p 2 的域名， 但由于i c p 2 已经加入了c d n 服务，所咀熏定向服务器在实现解析时，首先选择离用 户最近的c d n 内容服务节点来响应用户的请求。这样，用户的访问只用经过2 个路由 器就能得到响应，这将大大提供用户的访问速度。所有这些重定向对用户都是透明的。 浙江人学硕士学位论文 1 2 3c d n 的益处 图1 4 c d n 网络图 无论是i s p 、i c p 或者是最终用户，都能享受到c d n 服务带来的益处。 给i s p 带来的益处： 对于i s p ，出于用户请求被自动定向到了离用户最近的节点，减少了由于距离和 路由器转接造成的延迟，提高用户访问时的响应时间。由于用户的访问不用通过不同 阀络服务商( c a r r i e r i s p ) 之问来同移动( 通常是网络中的瓶颈) ，所以对于网络服务 商i s p 能够节省大量的广域网的出口带宽，这样，在有限的带宽情况下，既可以提高 对用户的响应速度，同时也能为更多的用户提供更多的服务。提高带宽利用率，节省 i s p 资源，优化网络，减少拥塞，消除不同i s p 之问嘲闻互联拥堵的弊病，提商t i 户 6 浙江大学硕士学位论文 访问的响应速度，提高i s p的服务质量。 给网站带来的益处: 对于网站， 在使用了c d n服务后， 用户对网站的访问将直接由分布在全国各地的 c d n服务节点直接响应，网站的源服务器的负载会迅速降低，从而减轻网站为应付访 问量的不断增加所需的人力、物力投资的压力。同时，c d n服务中的智能动态负载均 衡技术，可以将用户的访问自 动定向到 c d n网络中的不同节点，消除了单点故障对 用户访问造成的影响，提高了网站的可用性和服务质量。将网站的内容发布到更接近 用户的地方， 明显提高网站服务质量， 减轻源网站服务器的负荷， 解决服务器端的“ 第 一公里”问 题，降低网站的扩容压力， 减小投资风险，降低 通信风暴的影响，自 由选择分布在各处的c d n服务节点， 多种内容同步手段， 确保c d n上内容与源服务 器的及时同步，对外隐藏源服务器，代替网站抵御各种非法访问和攻击，提高网站的 安全性。 1 . 3 c d n内容路由 . 3 . 1 c d n内容路由的概念 c d n内容路由指的是把用户的内容请求重定向，或者说 “ 路由”到一定策略下最 佳的内容服务器。 c d n内容路由通常是指从全局的角度找到一个最合适的c d n内容服务节点，并 将客户的请求路由到该接入点。 c d n内容路由以现有的i p网络为基础， 支撑点依然是现有的i p 路由机制。 图1 - 5 表明了c d n路由、i p 路由和用户请求的层次关系。 我们把c d n路由 所处的层次形象 地称为 “ 内容层” 。内容层充分利用现有的 i p核心路由网络，通过特定的内容路由策 略，为用户的内容请求选择最佳的内容服务器，完成内容的重定向。 工 p 核心路由 图 1 一 5内客路由层次图 浙江大学硕士学位论文 在木文中， 我们还会常提到“ 局部内 容路由， 的 概念3 1 ， 它是当c d n内 容 服务竹 点由一个前端交换机作为对外接入点，控制节点内部一个内容服务器群的时候刁有的 概念。前端交换机通过4 -7 层交换技术将路由到该c d n节点的客户请求分配到合适 的内部实际内容服务器，实现服务器群内的负载均衡。本质上，在前端交换机上对客 户请求的 分发过程也是内容路由， 有时 相对于先前介绍的 全局路由 我们称它为局部路 由。由于我们将在本文中提出分级路由、分级均衡的概念，我们在此作如下约定: 前端交换机和内 容服务器群组成一个对外c d n服务节点， 前 端交换机将路由到该 c d n服务节点的客户请求分发到服务器群内某一实际内容服务器的过程称为 “ 局部内 容路由” ，实现内容服务器群内 部内容服务器之间的负载均衡。 在整个c d n覆盖网中， 通过各种路由 算法、重定向 机制 ( 算法考虑整个c d n覆 盖网所有c d n服务节点负载和网络状况) ， 实现将客户内容请求路由到整个c d n网中 的一个最佳c d n服务节点的过程成为全局内容路由，实现全局负载均衡。 在本文将要提出的大型c d n覆盖网中， 根据拓扑分层结构和逻辑组织结构， 在一 定范围内进行内容路由、 请求重定向( 算法考虑一定层次和区域范围内的c d n服务节 点负载和网络状况) ，将客户请求路由到一定层次或范围内的一个最佳c d n服务节点 的过程称为一定范围内容路由 分层内容路由，实现一定范围内的负载均衡 ( 分级 均衡) 。局部内容路由 和全局内容路由是一定范围 ( 范围最小和最大情况下)内容路由 的特例。 1 .3 .2 基于d n s的内容路由 我们在上一节介绍的c d n系统就是基于d n s的内容路由的例子。 针对基于d n s 的内 容路由 研究比 较多 g a o l ， 在此就不重复介绍了 。 基于d n s 重定向的内容路由充分利用了现有的网络结构，结构简单，易于实现， 因而被人们认为是一种有效的技术，是现阶段c d n应用中主要采用的内 容路由技术。 但是，它的缺陷也是显而易见的: 重定向过程包括了访问远端根 d n s服务器和 c d n重定向服务器的过程，需要花 较长时间去定位离用户实际很近的c d n内容服务器。d n s 重定向路山延时成为c d n 性能提高的瓶颈之一。 采用基于d n s 重定向机制，内容路由只能在访问站点名的尺度上进行路由， 而不 能在具体内容的 u r l的尺度上进行路由，一个大站点的内容不能被分开存储与不同 c d n内容服务器。 一 8 一 浙江大学硕上 学位论文 当c d n内容服务器数量较大时， d n s 重定向服务器在获取c d n内容服务器的状 态参数和测试网络性能过程中， 重定向服务器的处理和通讯能力成为限c d n网络性能 提高的瓶颈之 一 。 由于d n s路由过程中固有的i p缓存机制，导致内容路由 在很多时候控制力受到 很多限制。另外，由于采用中心服务器方式，如果通往重定向服务器链路严重拥塞或 者重定向服务器故障，c d n系统瘫痪。 1 .3 . 3 基于名字的内容路由 由于d n s 重定向技术存在的缺陷， 斯坦福大学和mi t的研究者提出了一种叫“ 名 字路由”的方案。它不同于传统的基于i p 地址的路由思想，而是基于用户请求的内容 的名字 通常是一 u r l ) 进行路由。 下面就斯坦福大学提出的 名字路由 方案l4 1 作简单 介绍。 名字路山技术: 在下一代网络里，用户想要连接的不是一个特定的服务器或者一个i p 地址，而是 以名字( 如u r l ) 标识的内容。 基于名字路由的体系主要由内容服务器( c o n t e n t s e r v e r , c s )和内容路由器 ( c o n t e n t r o u t e r , c r )构成。图 1 - 6 代表了未来的名字路由结构。 图 l - 6名字路由结构 c r的功能包括: 参加名字路由体系的动态路由 表更新过程; 负责为用户的内容请 求选择最佳的c s ， 或者将内容请求前递到邻近的c r 。 从这个意义上说， c r相当于分 布式d n s服务器。 c s的功能包括:提供内容分发功能;响应通过 c r最终路由到c s的用户请求; 通过 c r通告 c s的内容信息。 浙江大学硕士学位论文 支撑名字路由体系的两个核心协议: in r p ( i n t e r n e t n a m e r e s o l u t i o n p r o t o c o l ) , i n r p 与d n s 协议兼容， i n r p 的 报文 格式与d n s 报文格式一 致。inr p的作用如下: 根据用户的请求的内容名 ( u r l )进行路由表的最长后缀匹配搜索，并通过一 定 算法将用户的内容请求从匹配结果中选择最佳的下一跳c r或者c s . 在响应超时等出错情况下，重定向用户内容请求到新的c r或c s o 建立 c r和用户、c r和 c r ( c s )的连接。 n b r p ( n a m e - b a s e d r o u t i n g p r o t o c o l ) : n b r p 在c d n路由 中的 作用相当于b g p 在i p路由中的作用。 与b g p 一样， n b r p的着眼点是选择最好的路由并控制路由的传 播。 它们的差别就是b g p 是基于i p的， 而n b r p 是基于名字 ( u r l ) 的。 n b r p的作 用如下: 传播和更新节点可达路由信息，包括 c r和 c s的添加和删除等路由信息。 当网络拓扑和网络状态发生改变时，维护和更新内容路由表。 用户访问举例: 我们用一个用户访问案例来阐述名字路由的工作原理和流程。 案例分成三个部分: c s 路由 通告:浙江杭州 存在一c d n节点c s ， 域名 z j u .e d u .c n o c s 向 邻近c r 通告可达信息。c r又向邻近c r通告该c s 的可达信息。 内 容请求的路由: 杭州一用户输入u r l : h t t p / / :g r s .z j u .e d u .c n 时， 该内 容请求到达 用户配置的 c r o c r 通过路由表查询将该 u r l路由到离用户最近的节点 c s ( z ju .e d u .c n ) o c s 响应内 容请求。 响应沿c r 原路返回。 h t t p : / / crs . z i u . e d u . c n i a p l ) 1 1 (:ff l l - 一 ) l f七 一 一 t j 一 j j专一一一 x j u . e d u . c n 1 . 2 . 3 . 4 x j u . e d u . c n 1 . 2 . 3 . 4 图1 - 7名字路由 过程 图 1 - 7 中c r与c r之间的虚线连接表示内容请求可能通过多个c r到达目的c s . 内容获取:用户根据返回的c s的i p地址，向日的c s发起h t t p等内容请求获 浙江大学顾十学位论文 取内容。这一部分与基于d n s路由时用户获取内容过程 一 样，充分利用了现有 i p资 源 。 基于名字的内容路由技术采用了分布式体系结构， 在应用层c d n节点之间借鉴i p 路由的思想。内容路由的过程主要是在局部邻近客户的路由器中进行，大大减小了路 由时间; 基于名字的路由。 基于名字的路由无论在国内还是国外都是一项崭新的技术， 还存在很多有待论证和研究的方面: 由于是基于内容名字 u r l的路由，路由器需要在路由过程中打开 t c p包获取内 容u r l 和其他参数信息。复杂的包分析将增加路由开销和延时。 基于u r l的路由 表和路由协议还没有成熟方案。h u b , c h r i s t m a s t r e e和 i c a p 等路由协议都只有一个雏形。 名字路由需要对已有网络做较大改动。 1 . 3 .4 局部内容路由 c d n内容路由本质上 是完成客户请求重定向，通过将客户请求路由到离用户 “ 最 近” 的内容服务器实现全局负载均衡。 在此我们介绍c d n中另外一个实现负载均衡的 技术: 局部内容路由， 有时我们也称它为本地内容路由。 局部内容路由是当c d n节点 内存在多个内容服务器时， 由前端交换机将路由到该c d n内容服务节点的客户请求通 过 一 定策略分发到节点内某个内容服务器的过程。 木文所 指的 局部内 容 路由 即 为4 - 7 层交换5 ,6 1 。 如图1 - 8 所示， 我 们 在 研究 局部内 容路由时， 假设客户的请求直接到达某个服务器接入点 ( p o p )的前端交换机，山交换 机将客户的请求分发到合适的内容服务器上。 局部内容路由的主要功能是实现c d n内 容服务节点内服务器之间的负载均衡、提高内容缓存的命中率，从而提高客户访问的 服务质量。 浙江大学硕止学位论文 客户端 图1 - 8 局部内容路由的网 络结构 在上面的结构中，c d n内容服务节点内使用服务器群技术。基于服务器群的网络 系统，其内 部的多个内容服务节点对用户来说是透明的，用户只知道位于服务器群前 端的设备 ( 前端交换机)的虚拟i p 地址。也就是说，一个服务节点对全局路由系统来 说只有一个i p 地址和一个与之对应的域名。内容服务器的数量可以是几个到几十个， 它们可以通过高速的局域网相连。每个内容服务器都有一个特有的i p 地址。当一个用 户的请求到达某个前端交换机 ( 或者 p o p )时，首先根据一定的分发算法选择适当的 内容服务器，然后使用一定的转发机制将该请求发送的相应的服务器上。基于前端交 换机不同的分发算法和转发机制的选择方法， 可以将其分为第4 层交换和第7 层交换: 第4 层交换: 当客户要求建立一个t c p / i p连接， 即当第一个t c p s y n包到达时， 交换机马上根据数据报选择目 标服务器。由于这种路由机制客户的数据包没有到达应 用层，所以交换机在选择目 标服务器时并不知道客户请求的内容。 第7 层交换:这种交换技术首先与客户端建立一个完全的t c p 连接，然后在应用 层检查请求数据包再选择目 标服务器。由十它分析数据包的应用层，因此它知道客户 请求的内容。对t c p / i p 模型来说， 应用层为第5 层， 所以也有些人将这种交换技术称 为第5 层交换 ( 或者应用层交换) 。 另外，我们还可以在本地再使用多级的交换结构，也就是说，本地可以首先有一 个前端交换机不考虑请求的内容 ( 即使用第 4层算法如轮询算法等)将其转发到下 - 级的交换机上，而下 一 级交换机再根据请求的内容 ( 即使用第 7层算法) 进一步分发 到响应的服务器_ 。这些方案实际上结合了第4 层算法和第7 层算法的优点得以实现 的。随着当前用户对服务质量要求的提高和服务种类的增加，实现整个局部内容路由 的q o s 也是一个重要的 研究方向 浙江大学硕士学位论文 1 .4 本文的研究内容和主要贡献 通过上面几个小节的介绍， 我们对 c d n的概念以及其整体的结构组成有了一个全 面的了 解。 内 容分送网络主要涉及的关键技术包括内容分发和管理、内容路由。内容路由 包 括全局内容路由 ( 实现全局负载均衡)和局部内容路由 ( 实现本地内容服务器负载均 衡)是构建内容分送网络的关键技术。 本文的主要内容和贡献: 本文根据内 容分送网络的现状和发展要求， 针对大型c d n覆盖网络， 提出构建覆 盖网的分层拓扑结构和逻辑组织思想，并在此基础上提出分级均衡，以及实现分级均 衡的内容路由技术 ( 包括局部内容路由技术) 。 文章的内容结构具体安排为: 第一章是绪论， 简单介绍了c d n的概念， 并对几种重要的内容路由做了简要的介 绍。 第二章是 c d n分层覆盖网结构，针 一 对大型 c d n覆盖网络，根据 c d n的发展要 求和 i n t e rn e t 网络特点，构建具有分层拓扑结构和逻辑组织特点的大型c d n覆盖网， 并在此基础上 提出分级均衡和对应内容路由思想。 第只章是局部内容路由，介绍了实现c d n最基本的均衡技术局部内容路由， 分类阐述了当前用于局部内容路由的各种分发算法和转发机制，并对这些算法和机制 做了简单的分析比 较。 第四章是c d n分级路由，在第二章建立的c d n分层覆盖网基础之上，根据分级 均衡思想，提出分层覆盖网上的分级路由。并对比与传统的内容路由，对分级内容路 由算法做了定性的分析。 最后是总结和展望，刘木文的主要思想的意义作了总结，与并对进一步的研究进 行了展望。 1 . 5 本章小结 木章介绍了c d n的概念和结构，对c d n的主要模块内容路由技术做了简要 的介绍:并描述了本文的研究内容和篇章结构。 浙江大学硕士学位论文 第二章c d n 分层覆盖网 2 . 1 c d n应用现状 在短短几年内，c d n技术迅速发展，众多的网站纷纷采用 c d n服务来改善其服 务质量， 为用户带来更好的上网体验。 根据美国h t r c公司的调查报告， 在美国， 1 9 9 9 年有8 %的网站采用了c d n服务; 而到2 0 0 1 年， 这一比例已上升到3 1 %， 并且同期内 只剩下约 1 4 %的网站仍未有采用 c d n服务的计划。 目 前的c d n服务主要应用于证券、金融保险、i s p , i c p 、网上交易、门户网站、 大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到，甚至可以对 局域网进行网络优化。 c d n网络的建设主要有企业建设的c d n网络，为企业服务:i d c的c d n网络， 毛 要服务于i d c和增值服务;网络运营商主建的c d n网络，主要提供内容推送服务; c d n网络服务商， 专门建设的c d n服务，内容提供商通过与c d n网络服务机构进行 合作，c d n负责信息发布工作，保证信息正常传输，维护传送网络，而网站只需要内 容维护， 不再需要考虑发布问题。 由于对于特殊应用的c d n存在很大差异， 在本文中， 我们只针对c d n网络服务提供商建设的c d n进行研究。 到月前为止，几乎所有大型网站都采用了c d n服务，随着 c d n服务需求的快速 增长，c d n网本身的规模和数量也在不断加大，分布区域更广，同一 c d n覆盖网由 多个i s p共同提供支持，跨越整个i n t e rn e t 网络。己有c d n服务提供商建设了包含上 万个c d n内 容服务器，覆盖上千个网 络的c d n覆盖网， 如a k a m a i o 当前的大部分 c d n产品都是通过基于 d n s 重定向实现全局负载均衡，并且通过 4 - 7 层交换技术实现c d n节点内服务器群负载均衡; 整个c d n通过中心服务器实行集 中管理和控制。 随着c d n规模的不断扩大， 集中控制和全局路由 均衡等思想开始面临 挑战。 随着 c d n技术的发展，c d n支持越来越多类型内容的发布，由初期的静态网页 到动态网页，再到各种音频视频流媒体。c d n己经支持几乎所有源站点内容的发布。 钊对各种新业务， 特别是点播媒体，直播媒体等需要与原先静态网页不同的q o s 要求 和发布方法，比如在 c d n覆盖网中支持应用层组播技术。这些都对c d n覆盖网的结 构和内容发布技术提出新的要求。 当前的c d n系统对于用户是完全透明的，这样的要求在 c d n服务越来越普及之 浙江大学硕 上 学位论义 后并不 一 定是必须的。如果通过不透明的方法，比如客户端配置力 一 法，可以减小内容 路由延时为用户带来更好的服务，那也是可以接受的。 c d n提供商不断推出满足各种特殊应用的c d n服务， c d n数量不断增加， c d n 之间的融合已经成为一个热点。 同时，