（计算机系统结构专业论文）cdn中一种资源控制器的设计与实现.pdf

es 乙i 二i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：协日期：b c 哞 月呼日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 躲协 导师签名：壹碰 日期：嘶厂月眵日 j b j 摘要 摘要 目前网络应用中人们对于视频的需求越来越迫切，然而视频数据因为非常庞 大，所以很占用网络资源。为提高用户访问的响应速度，减少网络拥塞，经常采 用的网络优化方案是在现有的因特网上建立一个中间层c d n ，使用户能以最快的 速度，从最接近用户的地方获得所需的信息。在普通c d n 网络系中采用的是基于 c s 方式的内容分发机制。在此方式中，源服务器承受了内容分发的大部分负载， 且这种负载随参加分发的边缘服务器的数量增多而增大。这种方式用来分发体积 庞大且为数众多的视频文件容易使服务器不堪重负。 为解决上述问题，本文提出了一种在c d n 网络中以p 2 p 方式进行内容分发的 机制。在本文提供的方案中，通过采用p 2 p 技术将内容分发的负载分摊在c d n 网 络中的各个节点( 包括中心节点和边缘节点) 上。采用这种机制进行内容分发时， 源服务器和边缘服务器都成为一个对等节点。因此边缘服务器不仅是内容分发的 客户端，还是分发的服务器端，也就是说边缘服务器可以承担内容分发的大部分 负载，这样就在一定程度上提高了整个c d n 网络的负载均衡能力。 在此基础上着重详细分析与阐述了这一系统中一个核心调度部分一资源控制器 的设计与实现。r c 在c d n 中是资源控制和调度模块，是p p s c d n 系统的中心服 务器，负责各种服务器信息的搜集和查询。它从e s d ，t s 收集信息，为c p ，t s ， c r 提供服务。为完成如此功能，r c 必须与多种通信实体进行交互。通过设计使 一个线程中能够与多种通信实体进行交互，并且这些交互都以非阻塞的方式进行， 尽可能地提高性能。我们将业务逻辑抽象成t a s k 类，t a s k 类中有业务的状态 机，业务流程由g o t o n e x t s t a t e 函数来控制。按照i o 事件来给t a s k 划分状 态，这样就可以使用e p o l l 来完成业务的驱动。具体的业务驱动由r e a d f r o m 和w r i t e t o 函数来完成。一个t a s k 的流程处理会涉及到多个a g e n t ，t a s k 在不同a g e n t 间的转换就是由t a s k 的状态机所控制。然后通过详细设计r c 与 其它相关模块的接口与相互间的通信协议最终完成r c 的系统功能。 最后通过设计测试来验证，该r c 服务器完全实现了原先设计的功能，较好地 承担了资源控制和调度的任务。 关键词：对等网络，内容分发网络，资源控制器，交互协议设计 a bs t r a c t n l er e q u i r e m e n to fv i d e oh a sb e c o m eu r g e n tt h a ne v e rr e c e n t l y h o w e v e r ，t h e v i d e od a t at a k e su pt o om u c hi n t e r a c tr e s o u r c ed u et oi t sb i gv o l u m e t op r o v i d ef a s t e r a c c e s st ou s e r sa n dt ol o w e rt h er a t eo fn e t w o r kc o n g e s t i o n ，b r i n g i n gi nam i d d l el a y e r c d ni n t ot h ec u r r e n ti n t e r n e ti sam o s tp o p u l a rs t r a t e g yt oo p t i m i z et h en e t w o r k i t e n s u r e sb s e r sc a ng e tw h a tt h e yn e e df r o map l a c et h a t sn e a r e s tt ot h e m t h eu s u a lc d n n e t w o r ka d o p t st h ec s - b a s e dc o n t e n td e l i v e r ym e c h a n i s m i nt h i sw a y , t h es o u r c e s , - t v e rt a k e sm u c ho ft h ec o n t e n t sd i s t r i b u t i n gl o a d s ，a n dt h el o a d sb e c o m el a r g e rw i t h t h en u m b e ro fe d g es e r v e r st h a tp a r t i c i p a t ei nt h ed i s t r i b u t i o ni n c r e a s e s d i s t r i b u t i n g l a r g e - v o l u m e da n dm a n yv i d e of i l e st e n dt om a k e t h es e r v e r su n b e a r a b l ee a s i l y t oa d d r e s st h ea b o v ep r o b l e m ，t h i st h e s i sp r o v i d e sam e c h a n i s mt h a ta d o p t s c o n t e n t sd i s t r i b u t i o nb yp 2 pw i t h i nt h ec d nn e t w o r k i nt h ep r o p o s e ds t r a t i g yp r o v i d e d i nt h i s t h e s i s ，t h ew a yo fd i v i d i n g t h ec o n t e n t sd i s t r i b u t i n gl o a d si n t oa l l t h e n o d e s ( i n c l u d i n gc e n t r a la n de d g en o d e s ) i nt h ec d n n e t w o r ki sa d o p t e d d i s t r i b u t i n gi n t h i sw a y , t h es o u r c ea n de d g es e r v e r sa 1 1b e c o m ep e e r s t h ee d g es e r v e ri sn o to n l yt h e c l i e n to fc o n t e n t sd i s t r i b u t i o n ，b u ta l s ot h es e r v e rt h a td i s t r i b u t e s ，s ot h r o u g ht h e i m p l e m e n t a t i o no f t h i st h e s i s ，t h eo v e r a l ll o a d - b a l a n c i n ga b i l i t yo ft h ec d nn e t w o r ki s i m p r o v e dt os o m ep o i n t t h e nt h ef o c u si sm o v e dt ot h ed e s i g na n di m p l e m e n t a t i o no fac o r es c h e d u l i n g p a r to ft h es y s t e m 廿l er e s o u r c e sc o n t r o l l e r i t st h em o d u l eo f r e s o u r c ec o n t r o l l i n ga n d s c h e d u l i n g ，i st h ec e n t r a ls e r v e ri nt h ep r o p o s e ds y s t e ma n di si nc h a r g eo f t h es e a r c h i n g a n dq u e r y i n go ft h ev a r i o u ss e l w e r s i n f o i tc o l l e c t si n f of r o me s da n dt s ，p r o v i d e s s e r v i c et oc e , t sa n dc r t oa c h i e v es u c hf u n c t i o n s ，r cn e e d st oi n t e r a c tw i t hm a n y o t h e rc o m m u n i c a t i n ge n t r i e s i t sd e s i g n e dt h a to n et h r e a dc a ni n t e r a c tw i t hm a n y o t h e r c o m m u n i c a t i n ge n t r i e sa n dt h e s ei n t e r a c t i o n sa r eg o i n gw i t hn o n - b l o c k i n gm o d et o i m p r o v et h ec a p a b i l i t y 1 1 1 eb u s i n e s sl o g i ci s a b s t r a c t e di n t ot h et a s kc l a s s ，w h i c h i n c l u d e st h es t a t em a c h i n eo ft h eb u s i n e s s 1 1 1 ew o r k f l o wo ft h eb u s i n e s si sc o n t r o l l e d b vm ef u n c t i o ng o t o n e x t s t 舳t h es t a t e so ft a s ka r eg r o u p e db yt h e1 0 i n c i d e n t s s ot h e yc a i lb ed r i v e nb ye p o l l 1 1 1 es p e c i f i cd r i v i n go ft h eb u s i n e s si s a b s t r a c t a c c o m p l i s h e db yt h ef u n c t i o n so fr e a d f r o ma n dw r i t e t o t h ew o r k f l o w p r o c e s s i n go fo n et a s ki si n v o l v e db ym a n ya g e n t s ，a n dt h et r a n s i t i o n sa m o n g d i f f e r e n ta g e n t sa r ec o n t r o l l e db yt h et a s k ss t a t em a c h i n e s t h e nt h es y s t e m f u n c t i o n so ft h ew h o l es y s t e ma l ef i n a l l ya c h i e v e db yd e s i g n i n gt h ei n t e r f a c e sa n d c o m m u n i c a t i o np r o t o c o l sb e t w e e nr ca n do t h e rr e l e v a n tm o d u l e s a tl a s tb yd e s i g n i n ga n dc o n d u c t i n gs p e c i f i ct e s t s ，i t sp r o v e dt h a tt h er cs e r v e r h a sf u l l ya c h i e v e dt h ep r e - d e s i g n e df u n c t i o n sa n dh a st a k e nt h er e s p o n s i b i l i t i e so f c o n t r o l l i n ga n da c h e d u l i n gt h er e s o u r c e s k e y w o r d s ：p e e r - t o - p e e rn e t w o r k ，c o n t e n td i s t r i b u t i n gn e t w o r k ，r e s o u r c ec o n t r o l l e r , d e s i g no fi n t e r a c t i n gp r o t o c o l s i 第一章绪论 1 1 研究背景。 1 2 本文的工作内容与创新 1 3 本文结构。 第二章相关技术 2 1p 2 p 技术4 2 1 1p 2 p 的基本技术特点及与传统网络的对比4 2 1 2p 2 p 的网络结构5 2 1 3p 2 p 网络的应用7 2 2 内容分发网络技术8 2 3 流媒体技术9 2 3 1 流媒体基本概念9 2 3 2 流媒体相关的网络技术1 0 2 4b i t t o r r e n t 协议1 1 2 5 小结1 2 第三章一种基于p 2 p 的内容分发系统1 3 3 1 基于p 2 p 的内容分发系统的引入1 3 3 2p p s c d n 系统1 4 3 2 1p p s c d n 的系统概述及系统架构1 4 3 2 2p p s c d n 系统的主要功能模块和流程描述1 6 3 3 小结一1 9 第四章资源控制器模块的设计与实现2 0 4 1 资源控制器模块的功能需求2 0 4 2 资源控制器模块的高层设计2 2 4 2 1r c 的功能和流程2 2 4 2 2 单线程异步i o 事件驱动业务。2 6 i v 目录 4 2 3 相关子系统与接口设计2 7 4 2 4 状态和状态机设计2 9 4 2 5r c 的本地数据库的设计一3 2 4 2 6 相关的重要算法与其它机制3 2 4 2 7 资源控制器主要数据结构的设计3 3 4 3 资源控制器模块的详细设计3 6 4 3 1 资源控制器模块与e s d 模块的交互设计实现3 6 4 3 2 资源控制器模块与c r 模块的交互设计实现4 6 4 3 3 资源控制器模块与t r a c k e r 模块的交互设计实现5 1 4 3 4 资源控制器模块与l s 模块的交互设计实现6 0 4 4d 、结6 6 第五章仿真实验与测试分析6 8 5 1 测试环境的搭建6 8 5 2 测试内容的设计6 9 5 3 测试过程与结果7 0 5 3 1 资源控制器模块与p 的交互测试7 0 5 3 2 资源控制器模块与t r a c k e r 的交互测试一7 4 5 3 3 资源控制器模块与e s d 的交互测试7 6 5 3 4 资源控制器模块与l s 的交互测试7 7 5 3 5 资源控制器模块与c r 的交互测试7 8 5 4 测试结果分析8 0 5 5 小结8 0 第六章总结与展望8 1 致谢8 1 参考文献8 3 硕期间取得的研究成果8 5 v 第一章绪论 1 1 研究背景 第一章绪论 通过网络，可以进行学习，交流，娱乐等活动。虽然目前的网络能提供的服 务内容仍以文字，图片为主要形式，但是人们对于视频的需求越来越迫切。然而 视频数据因为往往非常庞大，所以很占用网络资源。如何使系统可以同时服务大 量的用户，有效地利用机器资源是一些大规模视频文件共享系统面临的主要难题。 仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的唯一因素， 如果没有良好的流量管理策略，网站不管有多大的带宽，用户对网站的访问连接 都会慢如蜗牛。 鉴于此，为提高用户访问的响应速度，减少网络拥塞，在现有的i n t e m c t 网络 之上建立一个完善全面的中间层c d n ，使用户能以最快的速度，从最接近用户的地 方获得所需的信息，这是目前最为流行的网络优化应用方案之一。 普通的c d n 网络中采用的是基于c s 方式的内容分发机制，在这种方式中， 源服务器承受了内容分发的大部分负载，且这种负载随参加分发的边缘服务器的 数量增多而增大。这种方式用来分发体积庞大且为数众多的视频文件容易使服务 器不堪重负。 为解决上述问题，本文提出了一种在c d n 网络中以p 2 p 方式进行内容分发的 机制【1 】。p 2 p 最根本的思想是网络中的节点既可以获取其它节点的资源或服务同时 又是资源或服务的提供者。在本文提供的方案中，通过采用p 2 p 2 】技术将内容分发 的负载分摊在c d n 3 】网络中的各个节点( 包括中心节点和边缘节点) 上。采用这 种机制进行内容分发时，源服务器和边缘服务器都成为一个对等节点。因此边缘 服务器不仅是内容分发的客户端，还是分发的服务器端，也就是说边缘服务器可 以承担内容分发的大部分负载，因而，通过本文所述的算法，能够明显提高整个 c d n 网络的负载均衡能力【4 】，而且即使有新的边缘服务器加入也不会给源服务器 增加太多负担，即系统的可伸缩性也得到了提高。 传统c s 模式的集中式内容分发系统由于服务器性能和口骨干网带宽有限， 阻碍了流媒体q o s 提高。集群服务通过多台服务器加一个调试系统，使服务能力 可规模扩展，但无法解决带宽问题【5 1 。镜像服务通过分布服务器的拷贝可以解决带 电子科技大学硕士学位论文 宽问题，但由于内容和服务都必须完全复制，效率不高。所以在此设计并实现一 个基于c d n 6 】和p 2 p 技术r 7 】的内容分发系统，该系统兼有两者优点的基础上加入 新的设计思想在一定程度上解决了两者存在的问题。 而后本文重点针对本系统中的核心模块之一资源控制器，从需求到设计 到实现进行了详细彻底的剖析。r c 在c d n 中是资源控制和调度模块，是p p s c d n 系统的中心服务器，负责各种服务器信息的搜集和查询。它从e s d ，t s 收集信息， 为c p ，t s ，c r 提供服务。通过设置a g e n t 类，以及定义相关模块间交互的通信协 议，实现了不同模块间为实现r c 系统功能所做的通信，从而实现了资源控制器模 块，为整个系统的正常运行与工作提供了必要的保障。 1 2 本文的工作内容与创新 本文深入研究与讨论了基于p 2 p 的内容分发系统的技术，探讨了实现系统的 关键技术，并在此基础上做出了如下的主要贡献： 首先，设计并实现了一种基于p 2 p 的内容分发系统，此系统采用了p 2 p 与c d n 的混合架构，可以提供大规模的网上直播与点播的视频服纠引。 然后，深入钻研了此系统的位于高层的资源控制器( r c ) 的设计与实现细节。 r c 是此系统的高层调度与资源分配总管，高效地实现r c 对整体系统的高性能提 供了必要的保障。 1 3 本文结构 这篇论文的主要内容是设计与实现在l i n u x2 6 的系统环境下，p p s c d n 系统 的位于高层的资源控制器。全文共分六章，具体目录及对应内容安排如下： 第一章，首先介绍了整个项目的研究背景，提出了本文做的主要工作核心与 本文的结构。 第二章，详细讨论了实现系统所需的主要技术细节，含盖有p 2 p 技术，内容 分发网络技术等，为下一步实现系统做好铺垫。 第三章，设计并实现了一种基于p 2 p 的内容分发系统。从宏观上对整体系统 的主要模块实现进行了析构。 第四章是本文的重点与核心，针对此系统中的高层资源控制器( r c s o u r c 宅 c o n t r o l l e r ) 模块的设计与实现进行了细致入微地研究与讨论。高效而完备地实现 2 第一苹绪论 _ 一_ - - _ _ _ 一 了资源控制器的系统功能，为整体系统的高效运作提供了前提。 第五章，对资源控制器的功能进行了详细地仿真与测试，对该模块的性能进 行了客观地评价与评估。 第六章，对本文所设计与实现的资源管理器模块进行了总结，指出了今后的 改进和进一步的研究方向。 3 电子科技大学硕士学位论文 2 1 p 2 p 技术 第二章相关技术 p 2 p ( p e e rt op e e r ) 即对等计算或对等网纠9 1 ，通常简称为p 2 p ，可以简单地 定义成通过直接交换，共享计算机资源和服务。在p 2 p 网络环境中，成千上万台 彼此连接的计算机都处于对等的地位，整个网络一般来讲不依赖于专用集中服务 器。网络中的每一台计算机既充当网络服务的请求者，又能对其他计算机的请求 做出响应，提供资源与服务。通常这些资源和服务包括信息的共享与交换，计算 机资源( 如c p u ) 的共享使用，存储资源( 如缓存【l o 】和磁盘空间【l l 】) 的使用等。 2 1 1p 2 p 的基本技术特点及与传统网络的对比 在p 2 p 网络中，弱化了服务器的功能，甚至取消服务器，任意两台p c 互为服 务器客户端，即使只有一个对等点存在，网络也是活动的，节点所有者可以随意 地将自己的信息发布到网络上。p 2 p 技术导致信息数据成本资源向所有用户的计算 机均匀分布，即“边缘化”趋势 1 2 】。 首先，c s 模式下的因特网是完全依赖于中心点服务器的，没有服务器的p 2 p 的不足之处就在于不易管理，而对c s 网络，只需要在中心点进行管理，从而带 来的不足就是p 2 p 网络中数据的安全性难于保证【”】。p 2 p 技术与c s 技术性能比 较如下表所示。 表2 - 1p 2 p 与c s 性能比较 性能数据数据数据数据数据数据数据数据数据数据 比较发布授受互动即时安全更新质量覆盖成本管理 性性性率 控制方便 p 2 p 好 中 好好 差 好中 差 好 差 c s差好差差好差好好差 好 在传统的c s 模式中，客户端之间要进行文件交换必须经过服务器，随着节 点的增加，服务器的负担越来越重，并逐渐形成系统瓶颈，一旦服务器崩溃，整 个网络也随之瘫痪。而在p 2 p 网络中每个节点的地位都是对等的，每个节点既充 4 第二章相关技术 当服务器，为其他节点提供服务，同时也充当客户端，享用其他节点提供的服务。 同时，由于每个节点在工作时都在向网络贡献资源( 存储空间，c p u 周期等) ， 因此对等点越多，网络的性能就越好。 其次，c s 模式下的因特网完全依赖于中心点一服务器，没有服务器就根本无 法工作，网络也就毫无意义可言。而在p 2 p 网络中，每个节点都可以看作服务器， 可以随意地将自己的信息发布到网络上，以供其他节点交换共享。 再次，在c s 模式下即使客户端有大量的闲置资源，如果没有得到服务器的 响应，资源也无法被利用，资源利用率比较低下。而在p 2 p 网络中，一切闲散资 源都有机会得到利用，具有很高的资源利用率。 2 1 2p 2 p 的网络结构 ( 1 ) 集中式p 2 p 网络 集中式p 2 p 网络形式上有一个中心服务器来负责记录共享信息以及回答对这 些信息的查询【1 4 】。每一个对等实体对它将要共享的信息以及进行的通信负责，根 据需要下载它所需要的其他对等实体上的信息。这种形式具有中心化的特点，但 是它不同于传统意义上的c s 模式。传统意义上的c s 模式采用的是一种垄断的 手段，所有资料都放在服务器上，客户端只能被动地从服务器上读取信息，并且 客户端之间不具有交互能力。而集中式p 2 p 网络则是将所有网上提供的资料都分 别存放在提供该资料的客户端上，服务器上只保留索引信息，此外服务器与对等 实体以及对等实体之间都具有交互能力。 ( 2 ) 完全分布式非结构化p 2 p 网络 完全分布式非结构化拓扑的p 2 p 网络采用了随机图的组织方式来形成一个松 散的网络。这种结构对网络的动态变化有较好的容错能力，因此具有较好的可用 性。同时，这种结构支持复杂查询。这种拓扑的优点是网络配置简单，不需要服 务器的支持，在网络规模较小的时候具有很高的查询效率。但由于在这种拓扑的 网络中多采用洪泛方式查询和定位资源， 大，从而给网络带来了沉重的网络负载。 随着联网节点的增加，网络规模不断增 而且由于没有确定的拓扑，这种形式的 网络无法保证查找资源的确定性【1 5 】，即可能会漏过网络中的一些资源。另一个问 题是由于采用了”r l ( t i m et ol i v e 生存时间) ，洪泛，随机漫步或有选择转发算法， 这个拓扑的网络直径不可控，可扩展性较差。 ( 3 ) 完全分布式结构化p 2 p 网络 5 d h t 类结构最大问题是d h t 的维护机制较为复杂，尤其是节点频繁加入退出 造成的网络波动会极大增加d h t 的维护代价。d h t 面临的另外一个问题是d h t 仅支持精确关键字匹配查询，无法支持内容语义等复杂查询。 ( 4 ) 混合式p 2 p 网络 集中式p 2 p 形式有利于网络资源的快速检索，以及只要服务器能力足够强大 就可以无限扩展，但是其中心化的模式容易遭到直接的攻击，分布式p 2 p 形式解 决了抗攻击问题，但是又缺乏快速搜索和可扩展性。混合p 2 p 形式结合了集中式 和分布式p 2 p 形式的优点，在设计思想和处理能力上都得到了进一步优化。它在 分布式模式基础上，将用户节点按能力进行分类，使某些节点担任特殊的任务。 混合式p 2 p 网络总共包含三种节点，分别是用户节点，搜索节点和索引节点。 1 ) 用户节点 普通的节点就是用户节点，它不具有任何特殊的功能。 2 ) 搜索节点 搜索节点处理搜索请求，从它们的孩子节点中搜索文件列表，这些节点必须 6 第二章相关技术 有1 2 8 k b i t s 以上的网络连接速度。因此，最好用高性能的处理器。 3 ) 索引节点 连接速度快，内存充足的节点可以作为索引节点。索引节点保存可以利用的 搜索节点信息，搜集状态信息以及尽力维护网络的结构。一个节点可以既是搜索 节点又是索引节点。用户节点可以选择三个搜索节点作为它的父节点，如果父节 点接受该用户作为它的孩子的话，那么该用户节点就可以提交它要共享的列表给 它的父节点。默认的情况下，搜索节点可以最多维护5 0 0 个孩子节点。 2 1 3p 2 p 网络的应用 i n t e m e t 最初产生和发展的一个主要动力就是资源共享，也正是文件交换的需 求直接导致了p 2 p 技术的兴起，这是p 2 p 最初也是最成功的应用之一。 随着人们对p 2 p 思想的理解和技术的发展，作为一种软件架构，p 2 p 还可以 被开发出种类繁多的应用模式，除了最初的文件交换之外，还出现了一些分布式 存储，深度搜索，分布式计算，个人即时通信和协同工作等新颖应用。 p 2 p 网络技术主要应用在以下一些方面。 ( 1 ) 对等计算 通过众多计算机来完成超级计算机的功能，一起是科学家梦寐以求的事情。 采用p 2 p 技术的对等计算，正是把网络中的众多计算机暂时不用的计算能力连结 起来，使用积累的能力执行超级计算机的任务。任何需要大量数据处理的行业都 可以从对等计算中获得，如天气预告，动画制作，基因组的研究等，有了对等计 算之后，就不再需要昂贵的超级计算机了。从本质上讲，对等计算就是网络上c p u 资源的共享。 ( 2 ) 协同工作 公司机构的日益分散，使得为员工和客户提供轻松，方便的消息和协作的工 具变得日益重要。网络的出现，使协同工作成为可能。但传统的w e b 实现方式给 服务器带来了极大的负担，造成了昂贵的成本支出。p 2 p 技术的出现，使得因特网 上任意两台p c 都可建立实时的联系，建立了这样一个安全，共享的虚拟空间，人 们可以进行各种各样的活动，这些活动可以是同时进行，也可以交互进行。p 2 p 技术可以帮助企业和关键客户，以及合作伙伴之间建立起来一种安全的网上工作 联系方式，因此基于p 2 p 技术的协同工作也受到了极大的重视。 ( 3 ) 搜索引擎 7 称作内容传递网络( c o n t e n td e l i v e r y n e t w o r k ) 。内容分发和传递一方面可以看作 是c d n 的两个阶段，分发是内容从源分布到c d n 边界节点的过程，传递是用户 通过c d n 获取内容的过程；另一方面，分发和传递可以看作是c d n 的两种不同 的实现方式，分发强调c d n 作为透明的内容承载平台，传递强调c d n 作为内容 的提供和服务平台。 c d n 的核心思想【2 3 】是将内容从中心推到边缘靠近用户的地方，这样，不但有 效提高了用户访问内容的性能，而且有效减轻了中心设备和骨干网络的压力。通 过c d n ，可以将内容服务从原来的单一中心结构变为分布式的结构。 c d n 通常由三个【2 4 】部分构成：内容管理平台，内容路由系统，c a c h e 节点 网络。其中，内容管理平台主要负责整个c d n 系统的管理，特别是内容管理，如 第二章相关技术 内容的注入和发布，内容分发，内容审核，内容服务等。内容路由系统负责将用 户的请求调试到适当的设备上，内容路由系统负责将用户的请求调度到适当的设 备上，内容路由通常通过负载均衡系统来实现。c a c h e 节点网络是c d n 的业务 提供点，是面向最终用户的内容提供设备。从功能平面的角度，这三个部分分别 构成了c d n 的管理平面，控制平面和数据平面。 目前，c d n 技术已经比较成熟，市场上有许多厂商提供c d n 设备和集成的 解决方案。从运营的角度，c d n 的运营商主要分为两类，一类是传统的网络运营 商建设c d n 并运营，如a t & t ，德国电信，中国电信和中国网通；另一类是纯粹 的c d n 运营商，如国外的a k a m a i ，国内的c h i n a c a e h e 由于c d n 的核心仍然是基于集中服务器的结构，跟地域化管制紧密相连，很 难降低其扩展成本。而且传统c d n 技术在高峰时期对突发流量的适应性，容错性 等方面仍然存在一定缺陷。随着用户规模的迅速增加，对c d n 应用发展提出了较 大的挑战。 2 3 流媒体技术 随着信息网络技术的发展，对流媒体的需求也逐渐增长。但是传统的流媒体 主要是采用客户端服务器模式，服务器以单播的方式和每个客户建立连接。由于 流媒体服务具有高带宽，持续时间长等特点，随着客户数目的快速增加，服务器 的资源很快就会被消耗完，成为系统瓶颈。对于这些问题，现有的解决办法是采 用因特网内容发布网络( c d n ) 和口多播技术等。c d n 2 s 技术主要是通过代理服 务器复制，将流媒体数据分散到各地，用户进行就近访问，但是其昂贵的成本， 始终是阻碍其大规模部署的主要因素。而口多播技术由于自身的种种限制，比如 很难实现可靠性多播和控制及其协议的复杂性等，并没有得到广泛的应用。p 2 p 网络的出现提出了新的解决办法。在对等网络中，每个对等实体既是服务的提供 者，又是服务的享用者，将服务器的负载分散到p e e r 中，从而有效地减轻了服务 器的负载和对网络带宽的占用，极大地提高了系统的可扩展性。 2 3 1 流媒体基本概念 p 2 p 流媒体【2 6 1 ，是指用p 2 p 的方式传输流媒体数据。它要解决的问题是特定 目标流媒体的传输时，如何用p 2 p 的方式优化资源。在流媒体数据的传输过程中， 包括很多资源：带宽，运算力，节点的缓冲区，节点稳定在线时长等。p 2 p 流媒体 9 手段就是对服务器发送比特率的控制【3 1 1 ，通过使发送的比特率接近空闲的网络带 宽来避免拥塞。码率控制通过估计当前的网络带宽来调整发送的比特率。码率控 制可以分为三种：基于发送端的，基于接收端的和混合的码率控制。 2 ) 错误控制包括前向【3 2 】纠错编码，重传机制，容错编码和错误隐藏技术。 ( 2 ) 应用层多播技术 口多播【3 3 】作为口的扩展，可以有效地提供大规模数据的多播支持。然而口 多播有其自身的问题，包括网络管理，扩展性，部署和上层协议的实现。应用层 多播就是把多播功能从网络协议栈的p 层转移到应用层。 ( 3 ) 流媒体同步技术 1 0 第二章相关技术 在流媒体【3 4 】播放的时候也必须保证视频和声音的同步，否则用户体验会急剧 恶化。媒体同步指的就是维护多媒体数据之间的时序关系，媒体的同步有以下三 c j 力譬o 1 ) 流内同步：连续媒体或时间相关的数据的最低层是媒体层。媒体层的基本 单元是一个逻辑单元，逻辑单元之间需要遵循严格的时序关系。流内同步就是维 护逻辑单元之间的连续性和时序性。比如视频【3 5 】中，帧与帧之间的顺序不能被打 乱。 2 ) 流间同步：时间相关数据的第二层是流层。流层的基本单元就是整个流。 这一层的同步就是维护各个不同流之间的时间关系，比如维护音频视频之间的同 步。 3 ) 对象间同步：多媒体数据最高层就是对象层。这一层融合了流和时间无关 的数据，比如文本和图像，这一层的同步就是对象间的同步。对象间同步的目的 就是当时间无关的数据到达预先设定需要显示的点时，在一个可以忍受的时间间 隔内，开始和停止显示这些时间无关的数据。 媒体数据从发送端传输到接收端会使数据失去同步，传输时延不可预期。同 步机制的目的就是保证接收端以正确的方式显示接收到的媒体数据。媒体同步机 制中，最基本的就是指定媒体流内或媒体流之间的时序关系。指定时序关系的方 法包括基于时间间隔的，基于轴【3 6 】的，基于流量控制的和基于事件的。在连续媒 体中广泛使用的方法是基于轴的或者称为基于时间戳的。数据源的每个流都有自 己的时间戳。在接收端，应用程序通过时间戳来显示媒体流。 2 4b i t t o r r e n t 协议 b i t t o r r e n t 3 7 】协议是b i t t o r r e n t 系统运行的基础，也是使用各种不同的开发语 言开发的b i t t o r r e n t 部件能够相互正常通信的基础。而t o r r e n t 文件又是b i t t o r r e n t 系统中最重要的信息与协议载体。 b i t t o r r e n t 系统中有三个【3 8 】重要的实体：一个t r a c k e r 服务器，一个保存在w e b 服务器上的t o r r e n t 文件以及对等点用户( p e e r s ) 。每一个将要被下载的文件首先 被分成许多块，然后每一块都会计算出对应的散列值。这些散列值将会被保存在 t o r r e n t 文件中，每一个收到数据的客户端会校验每一块的散列值，以保证数据的 正确性。除此之外，t o r r e n t 文件还会包括t r a c k e r 的u r l 地址等信息。每一个 b i t t o r r e n t 客户端都会定期向t r a c k e r 请求更新用户列表信息。 1 2 种子 无偿 载的 统中 制的 对于 整体 第三章一种基于p 2 p 的内容分发系统 第三章一种基于p 2 p 的内容分发系统 3 1 基于p 2 p 的内容分发系统的引入 对c d n 和p 2 p 技术做一个简单的优劣势分析。通过分析我们可以看到，在可 扩展性、内容版权、用户管理有效性、q o s 、流量有序性方面，c d n 和p 2 p 技术 是各有所长，基本上是完全互补的。 表3 - 1c d n 与p 2 p 优劣势分析 c d np 2 p 可扩展性扩展成本较高低成本扩展 内容版权可监管不可监管 用户管理有效性可实现用户的有效管无法进行有效的用户 理管理 q o s 服务 可保障服务无法保障 流量有序性流量区域控制无序 也就是说，p 2 p 和c d n 技术在几个关键点上，完全实现互补，如果能将两种 技术有效的结合起来，必然是一种更加完美的组合。于是，融合了c d n 和p 2 p 技 术之后，p c d n ，一个崭新的技术就这样产生了。 这种全新的思路是在c d n 网络中，引入p 2 p 技术【3 9 1 。通过这种模式，可以在 不增加成本的同时有效提升c d n 服务能力，更有效避免了p 2 p 应用的诸多弊端， 是在当前运营商网络状况下最理想的媒体业务承载平台方案。 p p s c d n 产品的核心设计思想是在c d n 网络的边缘节点上引入p 2 p 自治域。 由单个或若干个边缘节点设备及其覆盖的最终用户作为对等实体，共同构成一个 p 2 p 自治域。在域内利用p 2 p 技术实现资源共享，而自治域之间不发生流量交换。 通过将这两种结构互异的网络进行光滑对接，在有效保障现有c d n 资源的情 况下，又能够充分吸收p 2 p 的优势，实现了面向运营商的p 2 p 服务。 具体来说p 2 p 与c d n 相融合 4 0 l ，具有下列优势： ( 1 ) 流服务能力的提高 p 2 p 传输的内容与原c d n 的内容有所不同，在核心节点根据p 2 p 协议对内容 1 3 电子科技大学硕士学位论文 ( 包括文件和流) 做切片处理，p 2 p 用户将根据这些规则来完成p 2 p 共享。p 2 p 在边缘层的引入大大降低了边缘服务器的压力，提高了文件传输和流媒体传输的 效率。 p 2 p 技术充分利用了用户的闲置上行带宽，这样运营商可以通过更少的边缘服 务器，提供更多的业务量为更多的用户服务，以较低成本代价应对迅猛增长的客 户规模带来的挑战。 ( 2 ) 可管理的p 2 p + c d n 网络 为了避免骨干网上的流量对冲，通过集中的分布式架构，将p 2 p 的流量严格 限制在同一边缘节点的区域内。这样就继承了p 2 p 和c d n 的优点，同时摒弃双方 的缺点，避免电信骨干网上的流量无序性和风暴，增强了网络的可管理性和服务 高的可靠性。通过客户端，可以实现对用户的监控，流量的监管。 ( 3 ) 客户体验的改善 一方面，p 2 p + c d n 结合的方式，使得有限的服务能力可以为更多的用户提供 流媒体服务。超级种子的存在保证了服务质量。另一方面，p 2 p 技术的应用也能够 更有效地防止因网络的抖动而产生对服务质量的影响。 p p s c d n 是为利用有效的c d n 平台，管理无序的p 2 p 技术的需求而产生的。 p c d n 就是结合了p 2 p 技术的新一代c d n 系统，即“p 2 p + c d n ”。p c d n 建立在 传统的c d n 系统基础上，在骨干网层次保留了原有的c d