（计算机科学与技术专业论文）基于cdn的流媒体代理研究与实现.pdf

北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 1 f 。 北京邮电人学2 0 1 0 届研究生毕业设计( 论文) l i i ii i ii ilitii iii irl ll y 17 5 8 6 9 1 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：盈篮旦仨i 日期：丝丝：笪12 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：丢醯型王 日期：丝 翌：墨：兰 导师签名：乏窿孑寻仁日期：二趁丘坠二l 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) ，、 j 、 l 上 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 基于c d n 的流媒体代理研究与实现 摘要 随着互联网的飞速发展，流媒体技术的应用也随着视频点播、直 播、视频会议等技术的发展流行起来，随之而来的网络的带宽不足与 需求不断增长的矛盾越来越大，媒体传输系统的优劣对服务质量的影 响越来越受到关注。在解决主干网络带宽问题的同时，提高传输质量 问题，成为解决问题需要考虑的关键因素，利用代理缓存服务器，同 时利用c d n 技术可以得到较好效率。 本文主要先分析了原始的传输方式不适合当前的多媒体数据传 输，从而选用流媒体传输的原因。并在此基础上分析了解决这一问题 的诸多方法，主要完成了主流的c d n 网络请求处理方法，完成连接 建立；实现代理服务器数据存储及传输；着重的考虑了负载均衡问题， 在本地负载均衡以及全局负载均衡两个方面都进行了详细的研究。并 在仔细研究c d n 的基础上，对流媒体分段缓存算法和替换算法进行 了研究，在分析算法后，对滞后分段算进行改进，提出了自己的基于 流行的高效分段算法，并验证了其性能优点。主要的工作如下： ( 1 ) 基于c d n 的分发策略和负载均衡策略的研究和策略的研究。 ( 2 ) 完成整体设计、各个模块之间的偶合、每个模块内部的设计。 ( 3 ) 基于用户的前台通信，利用f l e x 技术实现b s 模式访问，并 实现用户本地化执行。 ( 4 ) 实现了用户端到代理服务器的探测，实现了本地负载均衡和全 局负载均衡模块，完成了整体的数据交互。 ( 5 ) 完成了代理服务器端到源服务器的服务质量探测，实现了选优 的工作，可以支持较好的服务器选择。 ( 6 ) 实现了代理服务器的协作式p u l l 工作，完成了代理间的动态的 交互。 ( 7 ) 完成代理服务器端缓存算法的研究、比较流媒体服务器分段缓 存算法，逐出算法，提出改进算法，并进行验证。 北京邮电大学2 0 10 届研究生毕业设计( 论文) ( 8 ) 实现了仿真系统间模块的交互，对算法模型进行了优化性评 价。 对d e m o 系统进行测试；同时对优化性能进行测试，在c d n 策 略、缓存分段与逐出算法和整个系统进行性能测试分析，对延迟比率、 缓存命中率等信息进行比较，评判系统的性能改进情况。 关键词：流媒体代理缓存算法c d n 负载均衡 i i 广 北京邮电人学2 0 1 0 届研究生毕业设计( 论文) c d n b a s e ds t r e a m i n gm e d i ap r o x y r e s e a r c ha n di m p l e m e n t a t i o n a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to ft h ei n t e r n e t ，s t r e a m i n gm e d i a t e c h n o l o g ya p p l i c a t i o n sh a sb e e nu s e d ，s u c ha sv i d e oo nd e m a n d ，l i v e v i d e oc o n f e r e n c i n g t h ec o n t r a d i c t i o nb e t w e e nt h eg r o w i n gd e m a n d sa n d t h el a c ko fn e t w o r kb a n d w i d t hh a sb e c o m eb i g g e ra n db i g g e r t h em e d i a t r a n s m i s s i o nq u a l i t yi si m p a c to ft h eq u a l i t yo ft h es e r v i c e s t os o l v et h e b a c k b o n en e t w o r kb a n d w i d t h p r e s s u r e a n di m p r o v et r a n s m i s s i o n e f f i c i e n c ya r et h ek e yf a c t o r st h a tm u s tb et a k e ni n t oa c c o u n t ，t h eu s eo f p r o x yc a c h es e r v e r s ，w h i l ec o o p e r a t i n gw i t ht h ec d nt e c h n o l o g yw i l lg e t b e t t e re f f i c i e n c y t h i sp a p e rf i r s ta n a l y z e st h eo r i g i n a lt r a n s m i s s i o ni sn o ts u i t a b l ef o r t h ec u r r e n tm u l t i m e d i ad a t at r a n s m i s s i o n ，s os t r e a m i n gh a sb e e ns e l e c t e d t oa n a l y z et h ee x i s t i n g s t r e a m i n gm e d i ac a c h i n ga l g o r i t h m sa n dt h e r e p l a c e m e n ta l g o r i t h ma n daa l g o r i t h mh a sb e e nr a i s eu pi nt h i sp a p e r p o p u l a rh i g h - p e r f o r m a n c es e g m e n t - b a s e dp r o x yc a c h i n ga l g o r i t h m ，i ti s b a s e do nt h ee x i s t i n ga l g o r i t h m ；a n a l y s i so ft h ee x i s t i n gs t r e a m i n gm e d i a t r a n s m i s s i o nt e c h n o l o g yt os t u d yt h ea d v a n c e dc d nn e t w o r ka n dt o 北京邮电人学2 0 1 0 届研究生毕业设计( 论文) ( 3 ) u s e ri n t e r a c t i o no ff r o n tp a g ec o m m u n i c a t i o n ，u s i n gf l e x t e c h n o l o g yb sm o d e ，a n dt oa c h i e v el o c a l i z a t i o ni m p l e m e n t a t i o no ft h e u s ( 4 ) a c h i e v et h ec l i e n tt ot h ep r o x ys e r v e rd e t e c t i o n ，t oa c h i e v el o c a l l o a db a l a n c i n ga n dg l o b a ll o a db a l a n c i n gm o d u l e s ，t oc o m p l e t et h e o v e r a l ls y s t e md a t ae x c h a n g e ( 5 ) c o m p l e t e dt h ed e t e c t i o nb e t w e e nt h es o u r c es e r v e ra n dp r o x y s e r v e r , a c h i e v e dt h eo p t i m a ls e l e c t i o n ，g e tab e t t e rc h o i c eo fs o u r c es e r v e r ( 6 ) a c h i e v ec o l l a b o r a t i o no ft h ep r o x ys e r v e r , c o m p l e t e dt h e 。 d y n a m i ci n t e r a c t i o n sb e t w e e np r o x i e s ( 7 ) c o m p l e t e dt h ec a c h i n ga l g o r i t h mr e s e a r c ho ft h ep r o x ys e w e r , t o c o m p a r et h es t r e a m i n gp r o x ys e r v e rs e g m e n t a t i o na l g o r i t h m , e x p e l l e d a l g o r i t h l n ，c r e a t e dai m p r o v e da l g o r i t h m ，a n dg e tav a l i dr a t i o ( 8 ) a c h i e v et h ei n t e r a c t i o nb e t w e e nt h em o d u l e so ft h es i m u l a t i o n s y s t e m ，g e tt h ee v a l u a t i o no f t h ea l g o r i t h mm o d e l a tl a s tf i n is h e dt h ed e m os y s t e mt e s t i n g ；a tt h es a m et i m ef i n i s h e d t h eo p t i m i z i n gt h ep e r f o r m a n c e t e s t ，t e s t i n gt h ew h o l es y s t e mi nt h ed e l a y r a t i o ，t h ec a c h i n gh i tr a t i o ，t oc o m p a r et h ee v a l u a t i o np e r f o r m a n c eo ft h e s y s t e m k e yw o r d s ：s t r e a m i n g - m e d i a p r o x yc a c h i n g a l g o r i t h m c d n l o a d b a l a n c e ， 北京邮电人学2 0 10 届研究生毕业设计( 论文) 目录 第一章绪论1 1 1 课题背景1 1 2 课题目的与意义2 1 3 课题主要工作3 1 4 论文章节安排。4 第二章c d n 网络与技术介绍5 2 1 网络综述一5 2 1 1 覆盖网络综述。5 2 1 2c d n 网络现状及结构。5 2 2 流媒体传输和控制协议6 2 2 1r t s p i u p r t c p 7 2 2 2m m s 。7 2 2 3 】 ：】 。l 位8 2 3 代理端分发技术8 第三章c d n 网络与流媒体缓存研究9 3 1c d n 网络模型研究9 3 2c d n 中心处理9 3 2 1 内容分发系统1 0 3 2 2 路由请求系统1 0 3 3 主要缓存策略研究1 2 3 3 1 整体缓存1 2 3 3 2 前缀缓存1 2 3 3 3 分段缓存1 3 3 4 替换策略15 3 4 1 基于时间替换策略1 5 3 4 2 基于频率替换策略l5 3 4 3 基于时间和频率的替换策略1 5 3 5 基于流行度的缓存及替换算法1 6 3 5 1 算法模型一1 6 3 5 2 算法验证设计19 3 5 3 算法验证实现2 2 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 3 5 3 算法验证结果2 7 第四章基于c d n 流媒体代理系统设计3 0 4 1c d n 网络构建整体概要设计3 0 4 1 1c d n 网络逻辑设计3 0 4 1 2c d n 网络整体流程设计。3 l 4 2 路由请求功能模块详细设计3 2 4 2 1 总体设计3 2 4 2 2f l e x 前端交互模块3 3 4 2 3 全局负载均衡模块3 4 4 2 4 本队负载均衡模块3 6 4 2 5 源服务器选优模块3 8 4 3 内容分发功能模块详细设计。4 0 4 3 1 总体设计4 0 4 3 2 协议分析模块4 0 4 3 3p r o x y 协作p u l l 模块。4 l 4 3 4 主动式p u s h 模块4 3 4 4 模块间接口设计。4 4 4 5 数据库设计4 5 4 5 1 数据流设计4 5 4 5 2 数据表结构设计4 6 第五章基于c d n 流媒体代理实现。5 1 5 1 路由请求功能模块实现5 l 5 1 1f l e x 前端交互模块实现。5l 5 1 2 全局负载均衡模块实现5 3 5 1 - 3 本队负载均衡模块实现5 5 5 1 4 源服务器选优模块实现。5 6 5 2 内容分发功能模块实现。5 7 5 2 1p r o x y 协作p u l l 模块实现。5 8 5 2 2 协议分析模块实现6 0 5 2 3 主动式p u s h 模块实现6 0 5 3 代理服务器定位及d n s 解析6 l 5 3 1 代理服务器的定位实现6 l 5 3 2d n s 系统实现6 2 第六章系统测试6 3 i i 北京邮电人学2 0 1 0 届研究生毕业设计( 论文) 6 1 测试环境6 3 6 2 测试方法6 4 6 3 测试结果6 5 6 4 未来展望6 6 参考文献6 7 至| 【谢一6 9 硕士期间发表的学术论文目录7 0 i i i 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) i v 一 一 r 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 1 1 课题背景 第一章绪论 随着网络技术的不断发展，用户人数的激增，使得人们对互联网的内容访 问量、以及提供服务的服务器数量越来越多，应用也随之趋于多样化，多媒体 业务，尤其是流媒体视频服务成为下一个时期主要的网络服务发展方向。r e a l n e t w o r k 作为最早的提供媒体业务的公司之一，提出了较为成熟的流媒体服务 框架，i n t e m e t 上各种流媒体新应用迅速涌现，逐渐成为了网络多媒体的首选和 主流技术。电子商务、多媒体等业务的出现使得用户对网络的性能、服务方式、 服务质量的要求也越来越高，他们对包括网站在内的网络访问速度要求也越来 越高，传统的网络应用己不能满足客户的需求，简单的下载后播放的方式已经 落伍，随之而来的是如何实现流媒体采用流式传输的方式在i n t e r n e t 播放的 媒体格式，通过视频传送服务器把节目当成数据包发出，传送到网络上，用户 通过解压设备对这些数据进行解压后，收看视频或音频。这样提高了视频的实 时性，随着视频点播、直播、网络教学、视频会议等需求的日益增加，流媒体 技术也因此也同时得到了长足的发展。然而随之而来的是如何在带宽固定的情 况下，提高视频的传输质量，提高点播系统的流畅性，提高同时访问的客户数 量，如何提高流媒体服务器的效率，根据代理服务器的系统信息，为客户动态 分配代理服务器等等一系列问题。 网络带宽随着网络的升级、传输介质的更改，有了很大的发展，但人口的 增长与个人p c 的普及使得对带宽的需求变的更大。以我国为例，据中国互联 网信息中心c n n i c ( c h i n ai n t e r n e tn e t w o r ki n f o r m a t i o nc e n t e r ) 统计截止到2 0 0 7 年1 2 月，数据显示，截止2 0 0 8 年1 2 月3 1 日，我国网民总人数达到3 2 亿人， 随着流媒体服务被广泛接受，用户数量的增多，主服务器越来越大的压力促使 我们研究有效的分发用户请求，合理调度避免主服务器的阻塞，提高服务质量， 这样提高用户访问效率成为我们需要考虑的非常有意义的问题，因此基于c d n 的网络构建在当今这个网络高速发展的社会中成为我们研究的课题。 代理服务器主要可以提供内容和应用的分布式服务，基于分布式的代理服 务器，可以有效地减少网络负载，根据具体的网络状况选择合适的代理服务器， 提高传输速度和传输质量。因而在现在的网络需求日益扩大，质量控制、实时 性要求越来越高的时候，代理服务器的研究变的越来越重要。代理服务中的高 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 级形式内容分发网络c d n ( c o n t e n td i s t r i b u t i o nn e t w o r k ) 作为要实现的对象， 是一个建立并覆盖在i n t e m e t 之上、由分布在不同区域的节点服务器群组成的虚 拟网络，c d n 可以实现把服务器的内容高效、稳定地发布到离客户端最近的地 方。其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的 瓶颈和环节，使内容传输的更快、更稳。通过在网络各处放置节点服务器所构 成的在现有互联网基础之上的一层智能虚拟网络，c d n 系统能够实时地根据网 络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将 用户的请求重新导向离用户最近的服务节点上。因此如何构建一个合理的策略， 构造一个合理的网络，更好的响应用户的请求，是本文要讨论的问题之一。在 网络构建成功后，我们可以合理的把请求分配给相应的代理服务器，但是用户 从代理服务器中获得数据的过程中，又出现一个需要解决的问题。我们要考虑 一个缓存策略，可以合理的提高主干网络的利用率，避免单一代理服务器的长 时间占用主干网，提高网络利用率。同时代理服务器端还有一个问题就是如何 建立一个基于受欢迎度的算法，可以更好的提高预存视频流的命中率【l j 。 1 2 课题目的与意义 对于代理服务器选择上，传统的h t r p 服务器是b s 模型的，随着互联网 的发展网络带宽的增长已经不能和用户数量的增长进行匹配，由于流媒体的数 据量大、时延要求高、连接时间长等固有特点，传统架构中已经出现了骨干网 络流量激增拥塞严重、流媒体服务器负载过大、客户端传输时延大、服务质量 下降等不良现象。 h t r p 代理服务器的作用就是在服务器和流媒体客户端之间架设一个中间 结点，可以部分的扮演主服务器的角色，从而降低主干网络的带宽，通过广泛 的架设服务器可以充分的提高用户的访问效率降低主干网络压力。 对于m 耶传输和流媒体传输存在着一些差别，这些差别导致我们不能选 择传统的服务器传输手段，因为： 1 流媒体数据量不像传统的数据，它占用的空间较大如果全部存储将会 。 占用大量的数据空间，导致资源浪费，而且一个文件中大部分数据可 能不会被访问这样会造成无用功的产生。 2 对于流媒体数据传输因为数据量较大一般传输时间较长，如果采用 h t t p 方式传输会导致i o 瓶颈，从而限制了流媒体代理服务器的服务 吞吐率。如何节约系统资源是流媒体代理服务器和传统代理服务器的 重要不同之处。 3 流媒体代理服务器由于持续时间较长因此存在一些访问上的交互问 2 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 题，因此它的复杂度更大实现也存在一些问题。 对于c d n 网络的选取有下面的一些原因： 1 。基于c d n 合理的调度实现服务器边缘化，使得用户可以就近访问提高 访问质量、降低服务器压力和主干服务器及代理服务器负载，同时降低 代理服务器架设数量，降低成本损耗。 2 缓存代理服务器的缓存机制研究，包括缓存策略( 全部缓存、分段缓存、 头部缓存等) 、替换算法和预取算法等；针对部分缓存策略的分发技术 研究以及多代理服务器间的协作等，通过合理的设计缓存算法，较好的 完成缓存策略，提高播放流畅性。 本课题设计和实现的流媒体代理系统将在实际应用中使用，因此本课题重 点研究如何在现有网络环境下有效缓存流媒体数据方法及替换算法、以及对 c d n 网络进行构建，利用改造的代理系统完成整体架构。通过流媒体代理服务 器的分流作用，终端用户可以通过就近访问，提高流媒体应用响应速度和服务 质量；通过服务器边缘化，降低骨干网络流量；通过分布式访问降低流媒体服 务器负载。并且根据当前的网络特点选择合理的c d n 网络构建方式，提高代理 服务器利用率，提高系统效率【2 】。 1 3 课题主要工作 本文重点工作有：1 ) 完成c d n 缓存策略研究。2 ) 完成系统的整体设计， 全局负载均衡模块、本地负载均衡模块的设计3 ) 完成对内容分发模块的设计。 4 ) 完成了代理与服务器的选优过程，可以就近的提供视频服务。5 ) 实现了代 理服务器之间优化选择，能够选择服务质量较好的服务器完成协作式p u l l 。 6 ) 对代理服务器的缓存算法进行改进，并对流媒体代理服务器的替换策略改进， 仿真实现验证优化程度。 主要的研究内容包括： 1 基于c d n 的分发策略的研究，提出一种优质的策略可以更合理的为每一个 用户提供合适的代理服务器，对负载均衡策略进行研究，包括全局负载均 衡和本地负载均衡策略进行研究。 2 着重研究流媒体服务器的缓冲算法、替换算法、预存算法。对已有的算法 进行分析，总结出他们的优点以及缺点，从而提出自己的算法，并设计这 一算法具体的交互过程，这个问题的研究主要是针对代理服务器与用户之 间。阅读大量论文，了解最新研究成果，借以寻找突破点。同时还要做的 是如何找出一个标较好的替换算法，实时的更新代理服务器上的内容借以 可以更好的提高用户点播的命中率。 3 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 3 可以显示统计结果，借以分析和测试系统的优劣，并且为改进系统提供帮 助。 主要的实现内容包括： 1 完成前期的调研工作，主要对服务器的负载均衡策略、内容分发策略、以 及传输文件的格式，协议等方面进行研究。 2 完成整个系统的整体设计，并对前端的用户探测模块、本地负载均衡模块、 数据库模块、内容分发模块的模块化进行设计。 3 完成了整个c d n 网络的架构设计，以及代理服务器选优模块设计和代理服 务器之间互通性设计。 4 针对上面的各个模块进行了模块的实现，实现了d e m o 系统并进行了测试。 1 4 论文章节安排 本论文章节安排如下： 第一章绪论，介绍了课题背景和课题意义、目的等。 第二章c d n 网络及技术介绍，主要介绍c d n 网络以及研究他们用到的主 流技术。 第三章主要介绍c d n 网络的主要架构，以及网络中各个模块的作用，介 绍代理服务器端主要的缓存算法及替换策略。 第四章本章主要是对c d n 流媒体代理服务器中主要的路由请求进行调度 进行设计，主要考察调度工作中的负载均衡，以及内容分发策略， 对整体的系统框架进行设计，同时完成各个模块的设计。同时完成 代理到服务器、代理到代理的选优化设计；提出改进缓存算法思想 及仿真设计。 第五章本章主要是对第四章中具体设计的整体实现，主要的工作重心在如 何进行c d n 调度策略的实现，包括本地负载均衡、全局负载均衡、 内容分发策略等，同时为实现代理的选优模块；同时实现了仿真系 统模拟代理端的整个交互过程。 第六章测试系统的使用情况，完成可行性测试，完成流媒体缓存替换算法 的具体仿真优化测试，并对以后的工作进行展望。 参考文献 致谢 硕士期间发表的论文列表 4 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 第二章c d n 网络与技术介绍 本章我们主要来讨论的问题是覆盖网络的概念，以及处于其中的c d n 网络 的基本运行机制和存在意义，同时我们要介绍主流的流媒体传输协议栈，以及 他们的工作环境。 2 1 网络综述 这一节我们主要的工作是覆盖网络综述及c d n 网络运行机制、调度模块、 每个模块的功能。 2 1 1 覆盖网络综述 覆盖网络的基本含义就是在现有的因特网上构建一个完全位于应用层的网 络系统。覆盖网络服务不是由因特网服务提供商i s p 提供的，而是由一种新型 的服务提供商提供。它存在于因特网基础设施和应用程序之间，利用i s p 提供 的服务来向其用户提供更加优化的服务。可以认为，覆盖网络是分布在因特网 上的一组提供服务的主机的集合，它们为一个或多个应用程序提供下层的基础 设施，在某种程度上转发和处理应用程序的数据，所采用的方式与目前因特网 上的不同；由第三方运营和管理，不是当前因特网体系结构的一部分。 覆盖网络是一个由应用推动的研究领域。人们对因特网的诸多新的需求促 使很多研究人员开始关注这一领域，并业已取得显著效果，许多覆盖网络已由 实验室走向因特网，为人们提供了更为方便的服务。本文只介绍了三种最受关 注的覆盖网络，实际上还有很多功能各异的覆盖网络，限于篇幅，本文没有再 作介绍。覆盖网络是一个新兴的研究领域，有着很高的应用价值和商业价值， 发展前景十分广阔，值得广大研究人员继续深入研究。 2 1 2c d n 网络现状及结构 c d n 网络是当前比较热门的话题，对于互联网服务提供商来说，如果采用 传统的中央网站式的内容传送，会有主干网带宽浪费及会话时间过长等原因。 c d n 是这样一种覆盖网络，它将内容和服务动态地缓存在分布在因特网各处的 结点上，用户不需集中访问源服务器，而只需访问物理上或逻辑上“较近 的 服务器的镜像，这样可以大大缩短延迟，同时减少主干网的带宽消耗。 国内主要的研究状况的是c h i n a c a c h e ，经过多年建设，c h i n a c a c h e 的c d n 5 北京邮电人学2 0 1 0 届研究生毕业设计( 论文) 网络成为国内最大的互联网内容分发网络。 它的解决方案的优势：上传与分发节点分布广泛，便于互联网用户就近上 传和读取。支持跨i s p 的高速传输，使互联网用户文件通过c d n 网络快速访问。 传输透明性，对于互联网用户来说不需安装任何插件。全局负载均衡，最快的 c d n 节点响应最近的用户。减轻源站负载与带宽压力，源站不再分心只需专注 内容。专业的客户服务及雄厚的资源储备，保障源站服务质量。 国外c d n 系统介绍，国外基于c d n 的研究主要有： 1 ) 网络内容缓存和复制方面： c a c h e m e s h ：代理之间地位平等，没有从属和层次关系，一般使用路由表 和组播技术来发现及定位其他代理服务器上的数据。 优点：业务流通过底层网络，造成很少的拥塞，对于中间的网络层没有额 外的磁盘空间要求，具有较好的负载分配和更高的容错能力；缺点：具有高的 连接时间、使用较高的带宽和管理较复杂。 s q u i d ：代理被组织成树状的层次，同一层和上下层的代理之间进行协同和 数据共享，缓存结点之间存在着双亲孩子或兄弟关系。 优点：减少了命中文件的期望距离，可随需发布流行文件；缺点：每一层 增加了额外的延迟，接近于根的高层缓存可能变成主要的性能和业务瓶颈。 2 ) 流量工程和负载均衡领域t 主要集中在流量分析、m i r r o r 站点和基于n a t , i pt u n n e l i n g , d n s 等技术的 服务器集群系统方面。i b m 就是采用m i r r o r 技术和服务器集群系统成功的向全 球提供了亚特兰大奥运会的网络信息服务。先进路由技术与常规路由技术的区 别在于它可以实时监控网络流量和线路拥塞清况，并对这些情况综合分析，选 出一条优化的访问路径，从而提高网络访问速度。 国际上c d n 服务的最大提供商a k a m a i ：a k a m a i 公司向全球企业提供发 送互联网内容，汇流媒体和应用程序的服务。它将数百个服务器置于i s p 的网络中，以便尽可能地接近最终用户，同时将一些客户网站内的东西放在 自己网络的高速缓存网站中，每天为像a u d i ，n b c ， f u j i t s u ，美国国防部 和纳斯达克这样的公司和机构处理数以亿万的网络请求，成为互联网经济新模 范。【2 】【3 】 2 2 流媒体传输和控制协议 下面的两节主要在流式传输、控制协议上进行分析展开，为更好的理解整 个系统的分段缓存、替换策略，打好基础，同时这也是分发策略实现的基础。 6 ， 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 果，因此现实社会中主要的开发都是基于我们上一节中所介绍的协议族和基于 f l a s h 的r t m p 协议。 2 2 3r t m p r t m p ( r e a lt i m em e s s a g i n gp r o t o c 0 1 ) 是实时消息传送协议，是a d o b e 公 司推出的，r t m p 的包头是由下面的四个部分组成，h e a dt y p e 长度为l 字节， 表示的是包头的类型，前两个b i t o 为包头长度的标志，后面六个b i t o 用来和 s i r e , a m i d 配合使用，决定c h a r m e l i d ；t i m m e r 占用3 个字节记录的是时间戳 信息，其中时间戳的设定对于音频和视频是统一安排的。a m f s i z o 长度为3 个字节，这个长度是a m f 长度，可超过r t m p 包的最大长度1 2 8 字节数据 大小a m f t y p e 为1 个字节，标志数据类型，s t r e a m l d 为4 个字节为音视频流 的d 。 2 3 代理端分发技术 传统的分发方式可以分为三种，单播、广播、组播，代理服务器端的解决 网络传输问题的多是组播和周期性广播，尽量的滞后发送数据包，可以保证数 据的共享性，同时提高代理服务器端的数据利用率，但是这就对网络的要求较 大，同时对用户端的要求也很大，所以如何找到一个更好的改进策略，成为关 键。 批处理：主要思想是将前缀长度内发起的用户请求，以批处理的方式共享 后缀数据流。它的具体工作步骤是，多个媒体后缀请求一起进行成批传输，减 少了分时传输造成的带宽占用。 补丁方式：通过补丁处理技术对为存储在代理服务器端的数据进行获取， 理论上它是一种在基于分段策略的内容分发方式，根据前缀数据的具体访问情 况，可以灵活的选择策略，在前缀数据没有命中的时候用户直接从服务器端获 取后缀数据，这种后缀补丁较小，不会较长时间的占用网络带宽，所以有一定 的实际意义。 组播方式：当用户请求在前缀长度之间，获得请求信息，获得后缀数据， 尽量多的延迟发送后缀数据，最后组播的发送给用户；请求在前缀长度之后到 来时，需要考虑的是如何获取前缀到请求这个区间的数据，这是我们采用补丁 的方式来进行传输，这样可以为代理服务器获取请求之后的信息争取时间，而 请求后的信息我们就可以利用组播的形式进行分发了，但这个前提是网络具有 较强的能力支持组播方式【1 0 】。 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 第三章c d n 网络与流媒体缓存研究 3 1c d n 网络模型研究 基于c d n 的网络设计多种，其中主要的是基于以下四个部分模块的设计， 内容分发系统、路由请求系统、源服务器、代理服务器。 基本的系统构架如下： 图3 - lc d n 系统框架 各个模块功能介绍： 1 源服务器把共享文档的命名空间传送给路由请求系统。 2 源服务器把要发布的文档发布到内容分发系统 3 内容分发系统把内容复制到代理服务器，并与路由请求系统交互以便用 户可以访问合适的代理服务器 4 用户本应该访问主服务器，但命名空间已经被委托，因此用户直接访问 路由请求系统 5 路由请求系统把合适的代理服务器分配给用户 6 用户通过合适的代理服务器接收数据 整体工作的流程就如上面所述。下面我们来研究一下整体的网络构成模型。 3 2c d n 中心处理 ， c d n 中心处理模块按照功能可以分为两个部分，内容分发模块和路由请求 模块，下面研究它们的策略。 9 北京邮电大学2 0 1 0 届研究生毕业设计( 论文) 3 2 1 内容分发系统 内容分发系统的目标是把原始服务器上的文档数据分发到各边缘服务器。 内容分发系统有三种操作形式：协作式p u s h 、非协作式p u l l 和协作式 p u l l 。 协作式p u s h ：主要是由主服务器组播到各个代理服务器，边缘服务器和 原始服务器互相协作，减少内容复制和更新的代价。c d n 维护一张文档内容和 边缘服务器之间的映射表，一用户的请求要么定向到离该用户最近的边缘服务 器要么定向到原始服务器。全局贪婪( g - r e o d y - g l o b a l ) j 自发式算法适合于在相互 协作的边缘服务器中选择副本存放节点。 非协作式p u l l ：简单的说就是用户提交请求到代理服务器，代理服务器 判断是否包含请求信息，如果没有则代理服务器访问源服务器，把内容下载下 来该方法的缺点是所选择的边缘服务器可能不是最优的，代理服务器和主服 务器交互的过程也会造成主干网络的带宽被占用，所以这种方式在一定程度上 没有完全解决网络上的带宽问题。 协作式p u l l ：其基本思想与上面是一样的，但是不是到源服务器上下载 文本而是到兄弟节点上下载信息，用户请求通过d n s 重定向被发送到最近的边 缘服务器，该边缘服务器通过检索分布式索引，从最近的其他边缘服务器下载 数据，并在本地保存副本。在这种方式下只有被用户请求过的文档数据才有可 能保存到相应的边缘服务器上。它在一定程度上是一个与p 2 p 结合的技术，在 内容分发过程中利用了相邻的网络代理服务器充分的完成了就近访问的原则， 实现了资源利用的最大化，同时避免了主干网络阻塞提高了系统响应速度。 3 2 2 路由请求系统 在整个路由请求系统主要考虑的问题两个方面：代理服务器到用户的距离 和代理服务器的负载压力。 3 2 2 1 全局负载均衡策略 全局负载均衡策略解决的就是将用户请求定向到最近的节点，因此全局负 载均衡功能就是就进行的判断，这个距离主要从两个方面入手考虑，一个方面 是物理位置，另外一个方面需要考虑的是路由跳数。最简单的办法是利用p i n g 、 t r a c e r o u t e 来计算通过网络延时情况，网络中的联通情况选择一个比较合 适的距离较近的节点作为代理服务器节点。但是这种办法往往不能取得很好的 l o 北京邮电大学2 0 10 届研究生毕业设计( 论文) 效果，而目前常用的方式为：d n s 轮询、h t r p 重定向、口欺骗三种方式。 1 ) d n s 轮询是传统的方式，多台代理服务器在d n s 对应同样的域名，当 用户访问服务器时，要求d n s 服务器解析，d n s 按照要求按照顺序解 析域名，列出其中的一台主机地址，这样可以实现多任务分配到多服 务器的任务，提高系统性能。它使用抓们的负载均衡设备代替传统的 d n s 服务器，提供域名解析服务，同时该设备与c d n 本地节点的负载 均衡设备通讯，了解将状况，确保请求不分配到忙碌节点。 2 ) h t r p 重定向方案是全局负载交换机的哪重定向技术，将用户访问 请求定向到最优服务器，然后返回一个h t r p 重定向指令同时发送主 机地址给用户，让用户可以重新进行访问请求。 3 ) h 1 m 重定向适用范围有限，口欺骗可以作为补充方案解决这个问题， 他要在d n s 服务器中将网站对应的解析记录指向全局负载交换机的口 地址，然后全局负载交换机与所有的用户进行通信，获取最佳的网络 负载节点，然后负载交换机把全局负载交换机获得的用户请求发送给 本地负载交换机，本题负载交换机获取本地服务器的响应数据包，把 它的口字段进行修改为全局服务器口，发送给用户。这个方式的缺点 就是响应速度稍差。 全局负载对于大数据量，大型c d n 网络的意义重大，可以很好的解决网络 的负载均衡的问题，在整体上控制网络中负载情况。 3 2 2 2 本地负载均衡策略 本地负载均衡有多种实现方式，其中一种就是利用交换机，节点放在交换 机后，用户请求导向交换机，交换机根据健康性和负载情况将用户请求分配到 指定节点。 同时也可以利用一些软件对用户的负载进行计算，利用重定向技术完成这 个本地定位任务，利用s l b 接受用户的请求后进行通过健康性和负载水平评估 得到一个评价结果完成定向任务。 但是无论是那种思想，它的本质就是分析本地的代理服务器的具体的网络 负载压力程度，并基于这种负载压力测试，来进行本地负载情况统计，最后根 据统计信息得到一个较好的