（计算机系统结构专业论文）cdn系统内容路由的研究.pdf

摘要 摘要 c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。其目的是通过在 现有的i n t e m e t 中增加一层新的网络架构，将网站的内容发布到最接近用户的网络 边缘”，使用户可以就近取得所需的内容，从而解决i n t e m e t 网络拥挤的状况，提 高用户访问网站的响应速度。 本文在北京市科委“基于i p v 6 的下一代互联网关键技术研发及产业化推动一 项目课题“i p v 6 流媒体分发应用系统支持系统的开发 带动下，综合了其它内容 发布模式的优点，提出了一种新的内容路由系统( c o n t e n tr o u t e r ) ，并对该系统进 行了设计和实现，c o n t e n tr o u t e r 是在c d n 系统中为用户提供内容定位和发布等 功能的子系统。用户通过c o n t e n tr o u t e r 可以搜索定位资源，发布内容。c o n t e n t r o u t e r 对内容还要进行管理，删除过了期的内容。c o n t e n tr o u t e r 同时负责自己域 的边缘服务器的管理和与d h t ( 分布式h a s h 表服务) 网络的交互。c o n t e n tr o u t e r 基 于l i n u x 平台，采用模块化的思想进行设计，针对系统高网络i o 的特点，采用 l i n u x 2 6 内核的e p o l l 机制进行网络事件交互，是一个单线程非阻塞的服务器。数 据库的操作一般都是阻塞进行的，m y s q l 并不提供非阻塞的数据库操作接口。为了 能够更好地进行数据库的操作，我们采用线程池的方式( 类似于磁盘的异步i o ) 实现对数据库的非阻塞操作。线程池是由许多个( 个数可以配置) 预先创建好的 工作线程构成。这些工作线程都在一个请求队列上等待，当有新的请求加入队列 时，工作线程就从请求队列中取出请求，然后根据请求的类型，执行相应的操作， 操作完成后，将这个请求所对应的t a s k 的地址写入到一个管道中，这个管道被e p o l l 监听，e p o l lw a i t 会返回这个管道的描述符，主线程可以从这个管道中读出t a s k 的地址，调用t a s k 的状态机，执行相应的操作。由于多个线程共享请求队列，所 以放请求到请求队列要加锁，为了能够非阻塞的加锁，c r 采用尝试锁的方式 ( p t h r e a dm u t e x，如果发现请求队列已被加锁，就把这个请求放到另一个trylock) 备用队列中，访问备用队列无需加锁，因为备用队列只会被主线程访问。放请求 时，当发现请求队列没有加锁，就先加锁，然后把新请求和备用队列中的所有请 求都放到请求队列中。 经过测试，该系统能够很好地完成搜索定位资源，发布内容，删除过了期的内 容等功能，给中小型机构提供了一种比较实用的内容路由系统。 摘要 关键字：内容分发网络，内容路由器，边缘服务器，追踪服务器，分布式h a s h 表 a b s t r a c t c d ni ss h o r tf o rc o n t e n td e l i v e r yn e t w o r k , n a m e l yc o n t e n td e l i v e r yn e t w o r k b y i n c r e a s i n gan e wl a y e ro fn e t w o r ka r c h i t e c t u r eo v e re x i s t i n gi n t e m e tn e t w o r k ，c d n p u b l i s h e sw e b s i t e sc o n t e n tt ot h e e d g e s w h i c ha l ec l o s e s tt ou s e r s , u s e r sc a ng e tw h a t t h e yw a n tf r o mn e a r b y , s oi n t e m e tn e t w o r kc o n g e s t i o nc a nb es o l v e d ，a n dt h es p e e do f v i s i t i n gw e b s i t ec a na l s ob eg a t h e r e d b a s e do nt h es u b j e c t 一 d e v d o p m e n to fs u p p o r t i n gs y s t e mo fl p v 6s t r e a m d i s t r i b u t i o na p p l i c a t i o ns y s t e m w h i c hs u p p o r t e db y r e s e a r c ho ft h ei p v 6b a s e dn e x t g e n e r a t i o n i n t e r n e t k e yt e c h n o l o g ya n di n d u s t r i a l i z a t i o np r o m o t i o n o fb e i j i n g m u n i c i p a ls c i e n c ea n dt e c h n o l o g yc o m m i s s i o n ，诵血t h ea d v a n t a g eo ft h e o t h e r c o n t e n td e l i v e r yn e t w o r km o d e s , t h i st h e s i sp u t sf o r w a r dan e wc o n t e n tr o u t es y s t e m ， a n di n t r o d u c e st h ed e s i g na n di m p l e m e n t a t i o nd e t a i l so fac o n t e n tr o u t e r , c o n t e n t r o u t e ri sas u b s y s t e mu s e df o rc o n t e n tl o c a t i n ga n dp u b l i s h i n g u s e r sc a ns e a r c h c o n t e n t ，l o c m er e s o u r c e s ，a n dp u b l i s hc o n t e n tt h r o u g hc o n t e n tr o u t e r c o n t e n tr o u t e r m a n a g e st h ec o n t e n ta n dd e l e t e st h eo u to fd a t ec o n t e n t c o n t e rr o u t e ri sa l s oi nc h a r g e o ft h e i ro w nd o m a i n se s pa n di si n t e r a c t i v e 丽n ld h t ( d i s t r i b u th a s ht a b l es e r v i c e ) c o n t e n tr o u t e ri sd e v e l o p e du n d e rl i n u xu s i n gm o d u l a r i z a t i o ni d e a , a n di sa s i n g l e - t h r e a d e df r a m e w o r ka n di so p t i m i z e df o rt h eh i g hn e t w o r kf o ，u s i n ge p o l lf r o m l i n u x2 6k e r n d t h eo p e r a t i o n so ft h ed a t a b a s ea r eg e n e r a l l yb l o c k e d ，a n dm y s q l d o e s n tp r o v i d en o n - b l o c k i n gi n t e r f a c e s i no r d e rt ob e t t e rc a r r yo u tt h eo p e r a t i o n so f t h ed a t a b a s e ，w eu s et h r e a dp o o l ( s i m i l a rt ot h ed i s ka s y n c h r o n o u si o ) ，t h r e a dp o o li s c o m p o s e do fm a n y ( t h en u m b e rc a l lb ec o n f i g u r e d ) w o r k i n gt h r e a d si na d v a n c e t h e s e w o r k i n gt h r e a d sa r ew a i t i n gi n ar e q u e s tq u e u e ，w h e ns o m en e wr e q u e s t sj o i nt h e q u e u e ，w o r k i n gt h r e a d sr e t r i e v et h er e q u e s t sf r o mt h er e q u e s tq u e u e ，a n di m p l e m e n tt h e c o r r e s p o n d i n go p e r a t i o n sa c c o r d i n gt ot h et y p eo fr e q u e s t s ，a f t e rt h a t ，m e yw r i t et h e t a s k sa d d r e s si n t oap i p e ，t h i sp i p ei sl i s t e n e db ye p o l l ，e p o l l a i tw i l lr e t u r nt h e d e s c r i p t o ro ft h ep i p e , t h em a i nt h r e a dc a nr e a do u tt h et a s k s a d d r e s sf r o mt h e p i p e ，t h e n ，t h em a i nt h r e a dw i l lc a l lt h et a s k ss t a t em a c h i n ea n dd ot h ec o r r e s p o n d i n g o p e r a t i o n s a san u m b e ro ft h r e a d ss h a r et h es a n a er e q u e s tq u e u e , w es h o u l dl o c kt h e i l l a b s t r a c t q u e u ew h e nw ep u tt h er e q u e s t si n t ot h eq u e u e w et r yam e t h o dc a l l e d p t h r e a d _ m u t e x _ t r yl o c k , i no r d e rt h a ti ti sn o n - b l o c k i n g w h e nw ef i n dt h a tt h er e q u e s t q u e u eh a sb e e nl o c k e d ，w ep u tt h er e q u e s ti n t oa n o t h e rs p a r eq u e u e t h es p a r eq u e u ei s n o tl o c k e d , b e c a u s eo n l yt h em a i nt h r e a dv i s i t si t w h e nw ep u tar e q u e s ti n t ot h eq u e u e a n df i n dt h a tt h eq u e u ei sn o tl o c k e d ，w el o c ki tf i r s ta n dp u tt h en e w r e q u e s ta n dt h e r e q u e s t si nt h es p a r eq u e u e i n t ot h er e q u e s tq u e u e t h er e s u l to ft h et e s ti n d i c a t e st h a tt h ec o n t e n tr o u t e rs y s t e mc a ns e a r c hc o n t e n ti n l o c a ld a t a b a s eo rd h t , l o c a t er e s o u r c e s ，p u b l i s hc o n t e n t ，a n dd e l e t et h eo u to fd a t e c o n t e n t s o ，c o n t e n tr o u t e rs y s t e mi sap r i t i c a ls y s t e mf o rt h es m a l la n dm i d d l e o r g a n i z a t i o n s k e y w o r d s ：c o n t e n td e l i v e r yn e t w o r k , c o n t e n tr o u t e r , e d g es e r v i c ep r o v i d e r , t r a c k e r , d i s t r i b u t e dh a s h1 a b l e i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：趑吼年月曰 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 日期：年月日 第一章绪论 1 1 研究背景 第一章绪论 随着目前宽带网络建设的迅猛发展，其应用越来越丰富，使得宽带用户迅速增 加，对骨干网构成了极大的压力。其中，占用网络带宽最大的流媒体【l 】应用和软件 下载业务占了很大比重，且该比例还会随着宽带的普及而迅速增长。对于当前应 用而言，减少访问流量的拥塞及用户的访问响应时间，是一个亟待解决的问题。 于是，c d n ( 内容分发网络圜) 网络出现了。 c d n 的全称是c o n t e n td e l i v e r yn e t w o r k ，即内容分发网络。其目的是通过在现 有的i n t e r n c t 中增加一层新的网络架构，将网站的内容发布到最接近用户的网络”边 缘，使用户可以就近取得所需的内容，解决i n t e r n e t 网络拥挤的状况，提高用户访 问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分 布不均等原因所造成的用户访问网站响应速度慢的问题。实际上，内容分发网络 ( c d n ) 是一种新型的网络构建方式，它是为能在传统的口网发布宽带丰富媒体而特 别优化的网络覆盖层【3 】；而从广义的角度，c d n 代表了一种基于质量与秩序的网络 服务模式。简单地说，内容分发网( c d n ) 是一个经策略性部署的整体系统【4 1 ，包括 分布式存储【5 】、负载均衡【6 】、网络请求的重定向l7 】和内容管理4 个要件，而内容管理 和全局的网络流量【8 】管理_ ( t r a f f i em a n a g e m e n t ) 是c d n 的核心所在。 结合p 2 p 9 】和c d n 技术优势的p p c d n 系统来源于北京市科委“基于i p v 6 的下一 代互联网关键技术研发及产业化推进 项目课题“i p v 6 流媒体分发应用系统支撑 系统的开发”，课题主要研究的是如何设计一个能够支撑大规模用户的高性能的 内容分发系统。 p p c d n 整个系统主要是由内容路由服务器( c r ) 、分布式哈希表( d h t ) 、存 储服务器( e s p ) 、认证服务器( c a ) 、下载跟踪服务器( t r a c k e r ) 、客户端( c p ) 组成。其中内容路由服务器的作用是为用户提供内容定位，发布，搜索定位【1 0 l 资 源。对内容还要进行管理，删除过期了的内容。同时负责自己域的边缘服务器的 管理以及与d h t 网络的交互。存储服务器是负责存储具体的文件数据，负责为用 户发布和下载文件提供服务；下载跟踪服务器负责统计下载文件的用户信息，负 责为用户提供其他下载用户的地址。系统拓扑结构如图1 1 所示。系统的组织关系 电子科技大学硕士学位论文 为：一个域( 一般是分城市部署) 由一个内容路由服务器、多个存储服务器、一 个认证服务器，一个下载跟踪服务器组成，各个域的内容路由服务器通过d h t 网 络互联，将所存储的文件发布至i j d h t 网络上，并从d h t 网络上获得文件的索引信 息( 文件名，大小，内容路由服务器地址，发布用户等) 。 本文阐述的内容路由系统c r ( c o n t c n tr o u t e r ) 是p p c d n 的一个子系统，如图1 1 所示。c r 基于l i n u x 平台，采用模块化的思想进行设计，针对系统高网络i o 的特 点，采用l i n u x 2 6 内核的c p o l l 机制进行网络事件交互，是一个单线程非阻塞的服务 器。 1 2 本文的工作及创新 图1 - 1p p c d n 拓扑结构 在总结其它内容路由系统的优缺点上，本文提出了一种新的内容路由系统c r ， 并对其进行了设计和实现。该系统为用户提供内容定位，发布，搜索定位资源。 对内容还要进行管理，删除过期了的内容。同时负责自己域的边缘服务器的管理 和与d h t 网络的交互。本系统基于l i n u x 2 6 平台，针对本服务器高网络i o 的特 点，设计出一套基于异步事件驱动的网络服务运行框架，然后在此运行框架之上， 使用面向对象，模块化的方式对服务器进行了设计。 本文的贡献和创新点主要如下： 2 第一章绪论 1 ) c r 服务器采用了基于l i n u x 2 6e p o l l 机制的高性能异步事件驱动的服务器架构， 适合处理在复杂的业务逻辑下与多个通信实体的交互，采瘸面向对象的体系结构， 使得该结构可以适应不同的服务器需求，具有很好的扩展性 2 ) 模块化的设计，使褥该c r 服务器能通过开发额外的模块增加扩展协议支持。 3 ) 数据库的操作一般都是阻塞进行的，m y s q l 并不提供非阻塞的数据库操作接口。 为了能够更好地进行数据库的操作，我们采用线程池的方式( 类似与磁盘的异步 i 舱) 实现对数据库的非阻塞操作。 1 3 本文的内容和缓织 本文的主要内容是在l i n u x 平台下，设计出一个为用户提供内容定位，发布， 搜索定位资源，对内容还要进行管理，删除过期了的内容，同时负责自己域的边 缘服务器的管理和与d h t 网络的交互的内容路由系统。以下是各部分的介绍： 第一章绪论 对课题的相关背景，本文主要工作进行了简要介绍。 第二章c d n 技术概述 对c d n 的技术原理，网络框架，关键技术，应用作了介绍。 第三章c d n 内容路由的研究 对c d n 系统的关键技术内容路由作了研究，提出了一种新的内容路豳系统 c r 。 第四章c r 概要设计 对c r 的各个功能模块进行了概要设计。重点对服务器框架，程序运行框架和 环境以及各个模块的功能和主要的数据结构进行了设计。 第五章c r 详细设计 瓣c r 的各个功熊模块进行了详细设计。 第六章系统测试 对c r 的各个功鑫氅分别进行测试。 第七章结论 对内容路由系统进行了总结，并给出了以后的研究方向。 3 电子科技人学硕士学位论文 第二章c d n 技术概述 根据中国互联网络信息中心( a 州i c ) 发布的第2 1 次中国互联网络发展状况 统计报告，截止2 0 0 7 年1 2 月3 1 日，中国网民总人数达n 2 1 亿人，预计在2 0 0 8 年初 中国将成为全球网民规模最大的国家。在网络迅速普及的同时，互联网的应用模 式也发生了天翻地覆的变化，其中很重要一点，就是视频应用的爆发性增长。来 自艾瑞咨询的分析显示，在2 1 亿网民中，有1 7 亿的网络视频用户，占网民总数的 8 1 。互联网的发展可以说一日千里。1 0 年前，将数字相片在网上传输是不可想象 的事情，而现在，人们面临的问题已经转变为：一部高清电影要花多长时间可以 到达用户的电脑。播客、视频分享、视频直播、网络游戏和网络影音，在线订票、 网络购物等，已经成为互联网应用的主流。与此相适应，c d n ( c o n t e n td e l i v e r y n e t w o r k ，即内容分发网络) 服务也在不断进化。 c d n 体系架构【i l 】的演进，最大的驱动力是互联网应用，或者说是客户需求。 自c d n 服务从1 9 9 8 年开创以来，c d n 已经发展l o 年，体系架构经历了三代的发展。 c d n 第一阶段，互联网的应用主要是静态的文字和图片应用为主，这时候， c d n 主要以a k 锄a i 【1 2 】为代表，信息源通过分发到分布式部署的边缘服务器，来实 现小文件的分发，达到加速的效果。c d n 第二阶段，互联网开始出现流媒体，更 大文件分发应用增多。这时候，其特点是更多的边缘服务器部署，以及网络节点 的建设，一些c d n 服务商节点已经达到十几个，从而实现了较大文件的分发。而 c d n 第三阶段是随着w e b 2 0 【1 3 】的发展，实时互动、高清视频日益普及；同时，无 论是网民还是互联网应用均空前发展。在这一需求特点之下，c d n 进入了第三阶 段。其主要特点是能很好地支持高清视频，能很好实现实时互动，并实现高性价。 整体来说，服务质量【1 4 埂有保障、更安全。而从技术层面来说，融合了一些最 新的网络技术，如p 2 p 技术、清洗中心、高清技术，以及g s l b 1 5 】、v p n ( 虚拟专 用网络) 、w a a s ( 广域网加速业务) 等技术。 2 1c d n 的技术原理 在描述c d n 的实现原理之前，让我们先看看传统的未加缓存服务1 明的访问过 程，以便了解c d n 缓存访问方式与未加缓存访问方式的差别。 4 第二章c d n 技术概述 用户访问未使用c d n 缓存网站的过程为： 1 ) 用户向浏览器提供要访问的域名： 2 ) 浏览器调用域名解析函数库对域名进行解析，以得到此域名对应的p 地址； 3 ) 浏览器使用所得到的口地址，向域名的服务主机发出数据访问请求； 4 ) 浏览器根据域名主机返回的数据显示网页的内容。 通过以上四个步骤，浏览器完成从用户处接收用户要访问的域名到从域名服务 主机处获取数据的整个过程。 c d n 网络是在用户和服务器之间增加c a c h e 层【1 7 】，如何将用户的请求引导到 c a c h e 上获得源服务器的数据，主要是通过接管d n s 实现的。 下面让我们看看访问使用c d n 缓存后的网站的过程： 1 ) 用户向浏览器提供要访问的域名； 2 ) 浏览器调用域名解析库对域名进行解析，由于c d n 对域名解析过程进行了调 整，所以解析函数库一般得到的是该域名对应的c n a m e 记录，为了得到实际m 地 址，浏览器需要再次对获得的c n a m e 域名进行解析以得到实际的母地址；在此过 程中，使用的全局负载均衡d n s 1 8 】解析，如根据地理位置信息解析对应的i p 地址， 使得用户能就近访问； 3 ) 此次解析得至i j c d n 缓存服务器的口地址，浏览器在得到实际的i p 地址以后，向 缓存服务器发出访问请求； 4 ) 缓存服务器根据浏览器提供的要访问的域名，通过c a c h e 内部专用d n s 解析得到 此域名的实际口地址，再由缓存服务器向此实际i p 地址提交访问请求； 5 ) 缓存服务器从实际i p 地址得得到内容以后，一方面在本地进行保存，以备以后 使用，另一方面把获取的数据返回给客户端，完成数据服务过程； 6 ) 客户端得到由缓存服务器返回的数据以后显示出来并完成整个浏览的数据请求 过程。 通过以上的分析我们可以得到，为了实现既要对普通用户透明( 即加入缓存以 后用户客户端无需进行任何设置，直接使用被加速网站原有的域名即可访问) ，又 要在为指定的网站提供加速服务的同时降低对i c p 的影响，只要修改整个访问过程 中的域名解析部分，以实现透明的加速服务。 下面是c d n 网络实现的具体操作过程： 1 ) 作为i c p ，只需要把域名解释权交给c d n 运营商，其他方面不需要进行任何的 修改；操作时，i c p 修改自己域名的解析记录，一般用c n a m e 方式指向c d n 网络 c a c h d 艮务器的地址。 5 电子科技人学硕士学位论文 2 ) 作为c d n 运营商，首先需要为i c p 的域名提供公开的解析，一般是把i c p 的域名 解释结果指向一个c n a m e 记录； 3 ) c d n 运营商可以利用c n a m e 指向的域名解析过程进行特殊处理，使d n s 服务器 在接收到客户端请求时可以根据客户端的i p 地址，返回相同域名的不同p 地址； 4 ) 由于从c n a m e 获得的i p 地址带有h o s t n a m e 信息，请求到达c a c h e 之后，c a c h e 必须知道源服务器的m 地址，所以在c d n 运营商内部维护一个内部d n s 服务器， 用于解释用户所访问的域名的真实m 地址； 5 ) 在维护内部d n s 服务器时，还需要维护一台授权服务器，控制哪些域名可以进 行缓存，而哪些又不进行缓存，以免发生开放代理的情况。 2 2c o n 关键技术 c d n 的关键技术主要有内容路由技术、内容分发技术、内容存储技术、内容管 理技术等。 内容路由技术 c d n 负载均衡系统实现c d n 的内容路由功能。它的作用是将用户的请求导向 整个c d n 网络中的最佳节点。最佳节点的选定可以根据多种策略，例如距离最近、 节点负载最轻等。负载均衡系统是整个c d n 的核心，负载均衡的准确性和效率直 接决定了整个c d n 的效率和性能。 通常负载均衡可以分为两个层次：全局负载均衡( g s l b ) 【1 9 】和本地负载均衡 ( s l b ) 2 0 l 。全局负载均衡( g s l b ) 主要的目的是在整个网络范围内将用户的请 求定向到最近的节点( 或者区域) 。因此，就近性判断是全局负载均衡的主要功能。 本地负载均衡一般局限于一定的区域范围内，其目标是在特定的区域范围内寻找 一台最适合的节点提供服务，因此，c d n 节点的健康性、负载情况、支持的媒体 格式等运行状态是本地负载均衡进行决策的主要依据。负载均衡可以通过多种方 法实现，主要的方法包括d n s 、应用层重定向【2 l 】、传输层重定向等等。 对于全局负载均衡而言，为了执行就近性判断，通常可以采用两种方式，一种 是静态的配置，例如根据静态的m 地址配置表进行i p 地址到c d n 节点的映射。另一 种方式是动态的检测，例如实时地让c d n 节点探测到目标i p 的距离( 可以采用r r t ， h o p s 作为度量单位) ，然后比较探测结果进行负载均衡。当然，静态和动态的方式 也可以综合起来使用。 对于本地负载均衡而言，为了执行有效的决策，需要实时地获取c a c h e 设备的 6 第二章c d n 技术概述 运行状态。获取的方法一般有两种，一种是主动探测，一种是协议交互。主动探 测针对s l b 设备和c a c h e 设备没有协议交互接口的情况，通过p i n g 等命令主动发起 探测，根据返回结果分析状态。另一种是协议交互，即s l b 和c a c h e 根据事先定义 好的协议实时交换运行状态信息，以便进行负载均衡。比较而言，协议交互比探 测方式要准确可靠，但是目前尚没有标准的协议，各厂家的实现一般仅是私有协 议，互通比较困难。 内容分发技术 内容分发包含从内容源【2 2 至u c d n 边缘的c a c h e 2 3 】的过程。从实现上看，有两种 主流的内容分发技术：p u s h 和p u u 尸4 1 。 p u s h 是一种主动分发的技术。通常，p u s h 由内容管理系统发起，将内容从源 或者中心媒体资源库分发到各边缘的c a c h e ：宵点。分发的协议可以采用h t t p f r p 等。通过p u s h 分发的内容一般是比较热点的内容，这些内容通过p u s h 方式预分 发( p r e l o a d ) 到边缘c a c h e ，可以实现有针对的内容提供。对于p u s h 分发需要考 虑的主要问题是分发策略，即在什么时候分发什么内容。一般来说，内容分发可 以由c p ( 内容提供商) 或者c d n 内容管理员人工确定，也可以通过智能的方式决 定，即所谓的智能分发。它根据用户访问的统计信息，以及预定义的内容分发的 规则，确定内容分发的过程。 p u l l 是一种被动的分发技术，p u l l 分发通常由用户请求驱动。当用户请求的 内容在本地的边缘c a c h e 上不存在( 未命中) 时，c a c h e 启动p u l l 方法从内容源 或者其他c d n 节点实时获取内容。在p u l l 方式下，内容的分发是按需的。在实际 的c d n 系统中，一般两种分发方式都支持，但是根据内容的类型和业务模式的不 同，在选择主要的内容分发方式时会有所不同。通常，p u s h 的方式适合内容访问 比较集中的情况，如热点的影视流媒体【2 5 l 内容；p u l l 方式比较适合内容访问分散 的情况。在内容分发的过程中，对于c a c h e 设备而言，关键的是需要建立内容源 u r l 、内容发布的u r l 、用户访问的u r l ，以及内容在c a c h e 中存储的位置之间的 映射关系【2 6 1 。 内容存储技术 对于c d n 系统而言，需要考虑两个方面的内容存储问题。一个是内容源的存储， 一个是内容在c a c h e 节点中的存储。对于内容源的存储，由于内容的规模比较大( 通 常可以达到几个甚至几十个t b ) ，而且内容的吞吐量较大，因此，通常采用海量存 储架构，如n a s 和s a n t 2 7 】。对于在c a c h e 节点中的存储，是c a c h e 设计的一个关键 问题。需要考虑的因素包括功能和性能两个方面：在功能上包括对各种内容格式 7 电子科技大学硕士学位论文 的支持、对部分缓存的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、 稳定性。其中，多种内容格式的支持要求存储系统根据不同文件格式的读写特点 进行优化，| 良提高文件内容读写的效率，特别是对流媒体文件的读写。部分缓存 能力指流媒体内容可以以不完整的方式存储和读取。部分缓存的需求来自用户访 问行为的随机性，因为许多用户并不会完整地收看整个流媒体节因，事实上，许 多用户访问单个流媒体节目的时间不超过l o 分钟。因此，部分缓存能力能够大大 提高存储空间的利用率，并有效地提高用户请求的响应时阂。但是部分缓存可悲 导致内容出现碎片问题，需要进行良好的设计和控制。 c a c h e 存储的另一个重要因素是存储的可靠性，目前，多数存储系统都采用了 r a i d 技术团】进行可靠存储。但是不同设备使用的r a i d 方式各有不同。 内容管理技术 内容管理在广义上涵盖了从内容的发布、注入、分发、调整、传递等一系列过 程。在这里，内容管理重点强调内容进入c a c h e 点后的内容管理，我们称为本地内 容管理。 本地内容管理主要针对一个c d n 节点f 2 9 】( 由多个c d nc a c h e 设备和一个s l b 设 备构成) 进行。本地内容管理的主要目标是提高内容服务的效率，提高本地节点 的存储利用率。通过本地内容管理，可以在c d n 节点实现基予内容感知的调度， 通过内容感知的调度，可以避免将用户重定向到没有该内容的c a c h e 设备上，从而 提高负载均衡的效率。通过本地内容管理还可以有效地实现在c d n 节点内容的存 储共享，提高存储空间的利用率。 在实现上，本地内容管理主要包括如下凡个方面。一是本地内容索琴| 。本地蠢 容管理首先依赖予对本地内容的了解。包括每个c a c h e 设备上内容的名称、u r l 、 更新时间、内容信息等。本地内容索引是实现基予内容感知的调度的关键。二是 本地内容拷贝。通常，为了提高存储效率，褥一个内容在一个c d n 节点中仅存储 一份，霹仅存储在某个特定的c a c h e 上。但是一旦对该内容的访闯超过该c a c h e 笺j 服务提供能力，就需要在本地( 而不是通过p u s h 的方式) 实现内容的分发。这样 可以大大提高效率。三是本地内容访问状态信息收集。搜集各个c a c h e 设备上各个 内容访问的统计信息，c a c h e 设备的可用服务提供能力及内容变化的情况。可以看 出，通过本地内容管理，可以将内容的管理从原来的c a c h e 设备一级，提高至m j c d n 节点一级，从而大大增加了c d n 的可扩展性和综合能力。 综上所述，c d n 作为一种支持大规模高质量的流媒体服务的关键技术，目前已 经基本成熟，具备了广泛应用的糍力。 s 第二章c d n 技术穰述 2 。3e d n 的网络框架 鉴于c d n 网络系统在整个网络系统中的重要性，网络系统设计肿】必须既适应 当前应用考虑，又面向未来信息化发展需求。 在设计网络技术方案时，廒遵循以下设计原则： 1 ) 实用性和先进性，采用先进成熟的技术满足当前的业务需求，兼顾其他相关的业 务需求，尽可能采用先进的网络技术以适应更高的数据、多媒体信息的传输需要， 使整个系统在一段时期内保持技术的先进，并具有良好的发震潜力，以适应未来 业务的发展和技术升级的需要。 2 ) 安全可靠性【3 1 1 ，为保证将来的业务应用，网络必须具有高可靠性。要对网络结 构、网络设备、服务器设备等各个方面进行高可靠性的设计和建设。在采用硬件 备份、冗余等可靠性技术的基础上，采用相关的软件技术，提供较强的管理机制、 控制手段、事故监控和网络安全保密等技术措施，提高网络系统的安全可靠性。 3 ) 灵活性与可扩展性网络系统是一个不断发展的系统，所以它必须具有良好的扩 展性。能够根据将来信息化的不断深入发展的需要，方便地扩展网络覆盖范围、 扩大网终容量和提高网络各层次节点的功能。具备支持多种通信媒体、多种物理 接口的能力，提供技术升级、设备更新的灵活性。 4 ) 开放性互连性，具备与多种协议计算机通信网络互连互通的特性，确保网络系 统基础设施的作用可以充分发挥。在结构上真正实现开放，基于国际开放式标准， 包括各种广域网、局域网、计算机及数据库协议，坚持全国统一规范的原则，从 而为未来的业务发展奠定基础。 5 ) 经济性投资保护，以较高的性能价格比构建网络系统，使资金的产出投入比达 到最大值。缝以较低的成本、较少的人员投入来维持系统运转，提供离效能与高 效益。尽可能保留并延长已有系统的投资，充分利用以往在资金与技术方面的投 入。 在c d n 环境中，所有相关设备是分布在不丽的地域的，所以对设备的远程管理 便非鬻重要。由于系统本身具有一定复杂性，随着业务的不断发展，网络管理的 任务必定会日益繁重。所以在网络的设计中，必须建立一个全面的网络管理解决 方案。网络设备必须采用智能化、可管理的设备，同时采用先进的网络管理软件， 实现先进的分布式管理。最终能够实现监控、监测整个潮络的运行状况，合理分 配网络资源、动态配置网络负载，可以迅速确定网络赦障等。 c d n 网络架构【3 2 】主要由两大部分，分为中心和边缘两部分，中心指c d n 网管 9 电子科技大学硕士学位论文 中心和d n s 重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房， 边缘主要指异地节点，c d n 分发的载体，主要由c a c h e 和负载均衡器等组成。当用 户访问加入c d n 服务的网站时，域名解析请求将最终交给全局负载均衡d n s 进行 处理。 全局负载均衡d n s 通过一组预先定义好的策略，将当时最接近用户的节点地址 提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有 c d n 节点保持通信，搜集各节点的通信状态，确保不将用户的请求分配到不可用 的c d n 节点上，实际上是通过d n s 做全局负载均衡。 对于普通的i n t e r n e t 用户来讲，每个c d n 节点就相当于一个放置在它周围的 w e b 。通过全局负载均衡d n s 的控制，用户的请求被透明地指向离他最近的节点， 节点中c d n 服务器会像网站的原始服务器一样，响应用户的请求。由于它离用户 更近，因而响应时间必然更快。 每个c d n 节点由两部分组成：负载均衡设备和高速缓存服务器。负载均衡设备 负责每个节点中各个c a c h e 的负载均衡，保证节点的工作效率；同时，负载均衡设 备还负责收集节点与周围环境的信息，保持与全局负载d n s 的通信，实现整个系 统的负载均衡。高速缓存服务器( c a c h e ) 负责存储客户网站的大量信息，就像一 个靠近用户的网站服务器一样响应本地用户的访问请求。 c d n 的管理系统是整个系统能够正常运转的保证。它不仅能对系统中的各个子 系统和设备进行实时监控，对各种故障产生相应的告警，还可以实时监测到系统 中总的流量和各节点的流量，并保存在系统的数据库中，使网管人员能够方便地 进行进一步分析。通过完善的网管系统，用户可以对系统配置进行修改。 理论上，最简单的c d n 网络有一个负责全局负载均衡的d n s 和各节点一台 c a c h e ，即可运行。d n s 支持根据用户源m 地址解析不同的m ，实现就近访问。为 了保证高可用性等，需要监视各节点的流量、健康状况等。一个节点的单台c a c h e 承载数量不够时，才需要多台c a c h e ，多台c a c h e 同时工作，才需要负载均衡器， 使c a c h e 群协同工作。 2 4c d n 的应用 既然c d n 的核心作用是提高网络的访问速度，那么其用户也就是访问量很大的 网站，例如i c p 、i s p 、大型企业、电子商务网站和政府网站等。利用c d n 技术， 这些网站无需投资昂贵的各类服务器，设立分站点。通过采用c d n 就能很好地解 1 0 第二二章c d n 技术概述 决访问速度的问题，c d n 将负责信息传递工作，保证信息正常传输，而技术人员 只需要维护隧站内容，不需要考虑流量润遂。这样，丽站可保证用户得到更多的 新业务，可以快速访问网络上的内容，获得更好的服务质量。 举个例子来讲，对予访闯量比较大，而被访问内容更新周期比较长的踺站，如 政府网站，用户往往进行大量的查询工作。这类网站比较适合采用c d n 。还有， 大家是否注意到，在所谓的宽带社区中，瓶颈是社区的对外出口。这样，如果采 用c d n 无疑对社区用户使用视频点播、网络教育等宽带应用提供了保证。 目前的c d n 服务主要应用于证券、金融保险、i s p 、i c p 、网上交易、门户网站、 大中型公司、网络教学等领域。另外在行业专网、互联网中都可以用到，甚至可 以对局域网进行网络优化。应用c d n 网络，把内容复制到网络的最边缘，使内容 请求点和交错赢之闻酶距离缩至最小，从丽促进w e b 站点性链的提高，具有重要的 意义。 c d n 网络的建设主要有企业建设的c d n n 络，为企业服务：i d c 的c d n 网络， 主要服务于i d c 和增值服务；网络运营上主建的c d n 网络，主要提供内容推送服 务；c d n 网络服务商专门建设的c d n 用于做服务，用户通过与c d n 机构进行合作， c d n 负责信息传递工作，保证信息正常传输，维护传送网络，而网站其需要内容 维护，不再需要考虑流量问题。 c d n 能够为网络的快速、安全、稳定、可扩展等方面提供保障。i d c 建立c d n 网络，i d c 运营商一般需要有分布各地的多个i d c 中心，服务对象是托管在i d c 中 心的客户，利髑现有的网络资源，投资较少，容易建设。例如某i d c 全国有1 0 4 - 机房，加入i d c 的c d n 网络，托管在一个节点的w e b 服务器，相当于有了l o 个镜像 服务器，就近供客户访闯。宽带城域网，域内网络速度很快，出城带宽一般就会 成为瓶颈，为了体现城域网的高速体验，解决方案就是将i n t e r n e t 网上内容高速缓 存到本地，将c a c h e 部署在城域网各p o p 点上，这样形成高效有序的网络，用户仅 一跳就熊访褥大部分的内