（计算机软件与理论专业论文）采用cdnp2p混合架构的流媒体点播系统设计与实现.pdf

摘要 摘要 近年来，i n t e r n e t 上信息的主要载体已经逐渐由传统的字符形式转变为包 含图像、音频、视频的多媒体数据。流媒体点播系统作为提供视频与音频服务 的一类主流应用，具有等待时间短、缓存消耗小、播放清晰流畅的优点，而且 支持用户对任意节目的自由点播，因而被应用在电影节目、远程教学、视频游 戏等多种服务中。随着计算机硬件性能与宽带通信技术的飞速发展，可以预见， 覆盖大面积区域并为海量用户提供服务的宽带点播系统必将具有广阔的应用前 景。 在现有的流媒体点播系统设计技术中，传统的c s 架构可扩放性较差，不 适合大规模用户的情况；i p 组播技术由于缺乏网络层的支持，不能在当前的 i n t e r n e t 环境下通用。目前，大规模流媒体点播系统的主流实现方式可以分为 两种，即采用c d n 模式或p 2 p 模式。前者能够支持异构网络中的大规模用户， 并为用户提供较好的服务质量保证，但缺点是需要大量服务器，代价较为昂贵。 后者具有较好的可扩放性与灵活性，而且花费成本低，但缺点是纯p 2 p 模式用 于提供点播服务难以保证用户的服务质量。 为克服以上问题，本文提出了一种采用c d n - p 2 p 分层混合架构的流媒体点 播系统设计，由于结合了c d n 与p 2 p 技术的优点，该系统具有较好的可扩放性、 自适应性与健壮性，从而能够为分布在异构网络环境中的大规模用户提供服务 质量保证，并尽可能节省服务器成本开销。本文的主要贡献有三点：( 1 ) 在c d n 层的设计中，借鉴集群技术的基本思想提出了区域服务器组的结构设计，每个 区域服务器组包括一个管理平台与若干区域服务器，其中管理平台负责集中处 理用户的点播请求以及全局信息的收集与统计，而区域服务器之间可以进行数 据调度，并根据当前的负载情况选择合适的服务器为用户提供服务，这样能够 使系统负载平衡并具有较大的灵活性。( 2 ) 由于采用了分层架构，本系统的用户 p 2 p 层与传统p 2 p 流媒体点播系统对比，避免了p 2 p 层与网络层不匹配的问题。 在用户p 2 p 网络的设计中，将用户节点组织成以节目段内容为中心的邻居集合 形式，构成非结构化p 2 p 网络，并采用局部最稀缺优先策略与随机策略结合的 方式下载数据，以提高系统的数据吞吐量。( 3 ) 提出了一种适用于用户p 2 p 层的 分区缓存调度策略，该策略除了缓存最近播放过的节目内容外，还利用用户节 点的多余空闲带宽下载并缓存整个网络中被用到的可能性最大的一些节目段， 以使节目段数据的分布更为合理，提高系统的整体性能。模拟实验表明，分区 缓存策略要优于通常的最近数据缓存策略，并具有较好的可扩放性。 关键词：流媒体点播内容分发网络对等网络负载均衡缓存调度 丁 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，t h em a i nw a y 。f o rc a r r y i n gi n f o r m a t i o no ni n t e r n e th a sc h a n g e d f r o mt r a d i t i o n a lc h a r a c t e r st om u l t i m e d i ad a t ai n c l u d i n gi m a g e s ，a u d i oa n dv i d e o a s ak i n do fa p p l i c a t i o n sf o rp r o v i d i n gv i d e o a u d i os e r v i c e s ，t h ev o d s t r e a m i n gs y s t e m h a sa d v a n t a g e ss u c ha ss h o r tw a i t i n gl a t e n c y , s m a l lb u f f e rc o s t ，a n dg o o dp l a y i n g q u a l i t y i t 。su s e dt op r o v i d em o v i ep r o g r a m s ，r e m o t el e s s o n sa n dv i d e og a m e s w i t h t h e r a p i dd e v e l o p m e n to fc o m p u t e rh a r d w a r ea n db r o a d b a n dc o m m u n i c a t i o n t e c h n o l o g y , v o ds t r e a m i n gs y s t e m ，w h i c hc o v e r sw i d ea r e aa n dp r o v i d es e r v i c e sf o r v a s tu s e r s ，w i l lh a v ea g o o dp r o s p e c to fa p p l i c a t i o n i nc u r r e n tv o d s y s t e md e s i g nt e c h n o l o g i e s ，t r a d i t i o n a lc sa r c h i t e c t u r eh a s t o op o o rs c a l a b i l i t yt op r o v i d es e r v i c ef o rv a s tu s e r s ；i pm u l t i c a s tl a c k ss u p p o r to n n e t w o r kl a y e r , s oi tc a n n o tb ea p p l i e do nc u r r e n ti n t e m e t f o rn o w , t h e r ea r et w o m a i nw a y st oi m p l e m e n tv o d s y s t e mt h a ts u p p o r t sv a s tu s e r s ，c o n t e n td i s t r i b u t i o n n e t w o r k ( c d n ) o rp e e r - t o p e e r ( p 2 p ) c d ns u p p o r t sv a s td i s t r i b u t e du s e r sw e l l ， a n dc a n p r o v i d eg o o dq u a l i t yo fs e r v i c e ( q o s ) ，b u ti tr e q u i r e sm a s ss e r v e r s ，s ot h e c o s ti sh i g h o nt h eo t h e rh a n d ，p 2 ph a sg o o ds c a l a b i l i t ya n df l u e n c ya sw e l la sl o w c o s tb u tp r o v i d i n gv o ds e r v i c e sw i mp u r ep 2 pt e c h n o l o g yc a n n o tg u a r a n t e eq o s f o re n du s e r s t os o l v et h ea b o v ep r o b l e m s ，t h i st h e s i sp r o p o s e sad e s i g no fv o d s t r e a m i n g s y s t e mw i t hc d n - p 2 ph y b r i da r c h i t e c t u r ew h i c hc o m b i n e st h ea d v a n t a g e so fb o t h c d na n dp 2 pt e c h n o l o g i e s 1 1 1 ep r o p o s e ds y s t e mh a sg o o ds c a l a b i l i t y , a d a p t a b i l i t y a n dr o b u s t n e s s ，s oi tc a np r o v i d eq o sf o rd i s t r i b u t e dv a s tu s e r s ，a n da l s os a v e ss e r v e r c o s t s t h em a i nc o n t r i b u t i o n so ft h i st h e s i sa r ea sf o l l o w s ：( 1 ) i nt h ed e s i g no fc d n l a y e r , w eg r o u pt h er e g i o n a ls e r v e r sb a s e do nt h ei d e ao fc l u s t e r s e a c hs e r v e rg r o u p c o n t a i n sar e g i o nm a n a g e r ( r m ) a n ds e v e r a lr e g i o ns e r v e r s ( r s ) ，r md e a l s 埘t l l u s e rr e q u e s ta n dg l o b a li n f o r m a t i o ng a t h e r i n g ，a n dr sp r o v i d e sc o n t e n ts e r v i c e sf o r u s e r s ，s oa st ob a l a n c et h el o a da n dg u a r a n t e ef l u e n c y ( 2 ) b e c a u s eo ft h eh y b r i d a r c h i t e c t u r e ，t h ep r o p o s e ds y s t e mc a na v o i dm i s m a t c hb e t w e e np 2 pa p p l i c a t i o nl a y e r a n d n e t w o r kl a y e rw h i c hi sa b i gp r o b l e mi nt r a d i t i o n a lp 2 ps y s t e m s i nt h ed e s i g no f u s e rp 2 p n e t w o r k ，t h eu s e rn o d e sw h oa r ew a t c h i n gt h es a m es e g m e n ta r ef o r m e da s n e i g h b o r s ，a n dac o m b i n a t i o no fl o c a lr a r e s ts t r a t e g ya n dr a n d o ms t r a t e g yi su s e dt o d o w n l o a dd a t at oi m p r o v et h et h r o u g h p u to ft h es y s t e m ( 3 ) w ep r o p o s eap a r t i t i o n e d i i a b s t r a c t b u f f e rs c h e d u l i n gs t r a t e g ya tu s e rp 2 pl a y e r , e x c e p tb u f f e r st h el a t e s tp r o g r a md a t a p l a y e db yt h en o d e ，t h es t r a t e g ya l s ou s e sf r e eb a n d w i d t ho fs o m eu s e r st od o w n l o a d s e g m e n t st h a ta l em o s tr e q u i r e dc u r r e n t l y , s oa st oo p t i m i z et h ed i s t r i b u t i o no f p r o g r a md a t aa n di m p r o v es y s t e mp e r f o r m a n c e s i m u l a t i o nr e s u l t ss h o wt h a tt h e p r o p o s e ds t r a t e g yo u t p e r f o r m st h ec o m m o ns t r a t e g yw h i c ho n l yb u f f e r st h el a t e s t d a t aa n dh a sg o o ds c a l a b i l i t y k e yw o r d s ：v o ds t r e a m i n g ，c o n t e n td i s t r i b u t i o nn e t w o r k ，p e e r - t o p e e r , l o a d b a l a n c i n g ，b u f f e rs c h e d u l i n g i i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：婢 签与 - f t l 蓼l ：趁弛多一 签与：逻 ：鱼：s 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 厄么开口保密( 年) 作者签名：重量丝 签字日期：扛肄 导师签名： 签字日期： 、 第1 章绪论 1 1引言 第1 章绪论 计算机技术与网络通信技术的飞速发展，正在深刻地改变着我们的工作、 生活与娱乐方式。直到二十世纪九十年代，计算机还是以文本作为主要信息载 体的，但随着宽带网络与专用网络的普及，以及个人计算机处理能力的增强， 互连网上的传输内容已经转变为包含文字、图片、音频与视频等多媒体数据。 要在互联网上传输音频与视频，最好的方案是采用流媒体技术 1 。因为人们希 望在收看节目时无须花费长时间来等待它下载，同时又要保证播放的流畅。与 传统的播放方式不同，流媒体在播放时并不下载整个文件，而是只缓存部分内 容，边下载边播放，这样就大大节省了等待下载的时间。 流媒体技术可以分为直播和点播两种。与只能被动收看服务商所提供节目 的直播方式相比，流媒体点播( o n d e m a n ds t r e a m i n g ，v i d e o - o n d e m a n d ) 更具 有主动性、交互性与灵活性的特点。点播指的是根据用户的要求播放特定节目， 最早的点播应用于k t v 中 2 ，实现的是本地的局部点播。随着网络与通信技术 的发展，点播才逐渐被应用到有线电视、局域网与互联网中。 在当今的互联网中，流媒体点播系统已经成为最热门的应用之一。它通过 网络将电影节日、远程教育、家庭购物等服务提供给用户，单个用户具有大范 围的对所提供的节目与服务的主动、实时的访问能力。由于用户和被访问对象 之间的高交互性带来的巨大方便，流媒体点播技术正逐渐成为我们生活、学习 和娱乐的重要手段。 当前，流媒体点播的基础技术条件如服务器性能、网络带宽、媒体编码技 术与传输技术等都已取得飞速进展，但由于流媒体服务对带宽要求高，而且持 续服务时间长，若对每个请求均采取在服务器上为其单独分配一条数据流的单 播方式，则不仅无法满足大规模并发用户的请求，同时会使得服务器成本居高 不下，而且容易导致局部网络拥塞情况的发生，从而很难保证客户端的服务质 量。针对以上问题，人们提出了多种解决方案，例如i p 组播技术 3 、内容分 发网络( c o n t e n td i s t r i b u t i o nn e t w o r k ，c d n ) 技术 4 5 ，以及目前热门的点 对点( p e e r - t o - p e e r ，p 2 p ) 技术等。其中i p 组播由于缺少网络层的支持而且实现 代价较大，无法得到广泛的应用。c d n 技术通过将服务能力“推到网络的边 缘，让用户能向最近的节点请求服务，从而避免了互联网拓扑结构的复杂性对 数据传输造成的影响，但它的缺点是需要部署大量的服务器，其昂贵的成本难 1 第1 章绪论 以承担。与之相对，p 2 p 技术利用目前用户端机器性能较高的特点，使每个用 户节点在系统中接受服务的同时也为其他节点提供服务，所以，它自身具有可 扩放性的优点。p 2 p 技术已经广泛应用于文件下载服务，但是，由于用户的点 播具有按时序播放的特点，播放同一节目不同部分的节点之间无法共享数据， 而且点播对数据下载速率的稳定性要求较高，所以仅由无服务器的纯p 2 p 网络 来提供点播服务难以保证用户的播放质量。 由于以上问题，d x u 等人在 6 中提出了采用c d n 与p 2 p 结合的方式来为 用户提供点播服务，并在文中给出了一个简单系统模型与分析。c d n - p 2 p 混合 架构的优点是一方面能够利用p 2 p 技术的可扩放性，只在网络中必要的区域部 署边缘服务器以尽可能降低服务器成本，另一方面又具备持续在线的服务器为 用户提供数据服务和控制服务，以保证用户的播放质量。因此，在面向的用户 群体规模非常庞大且分布较为分散时，采用混合架构来设计流媒体点播系统是 理想的一种解决方案。在系统的设计与实现中，如何划分功能层次、在c d n 层 如何部署媒体服务器、c d n 层数据存储与分发的方式，以及用户p 2 p 层的拓扑 结构与数据调度策略等，都具有重大的研究意义。 1 2 研究背景与相关技术 1 2 1 流媒体技术 在互连网上传播多媒体数据时，可以分为下载( d o w n l o a d i n g ) 和流式传输 ( s t r e a m i n g ) 两种方式。 下载方式指的是将音频、视频文件通过网络完整地传输到目标机器上，并 保存在目标机器的外部存储设备上，只有当整个文件下载完毕后才能够开始播 放。由于多媒体文件一般比较大，受到网络带宽的限制，下载通常需要花费几 十分钟到数小时甚至更长的时间。 流式传输指的是将多媒体数据保存在流媒体服务器上，当用户需要某个节 目时，流媒体服务器会通过网络将节目连续、实时地传送给用户，如图1 1 所 示。在流媒体系统中，制作者首先要对媒体信息进行预处理，按特定的格式将 媒体信息制作为适合流式传输的文件，即流媒体文件。流媒体文件一般按时序 以“帧”的形式组合而成，一帧通常为几秒到十几秒。所以用户不必等到整个 文件全部下载完毕，而只需经过较短时间的延时，下载到足够的帧就可以开始 播放。在流媒体播放时，余下的部分数据将在后台继续下载。流式传输不仅大 大缩短了用户漫长的等待时间，而且不占用太大的存储空间。常见的流媒体文 2 第1 章绪论 件包括m p e g 一1 ， q u i c k t i m e ( a p p l e ) ， m p e g 一2 ，m p e g 一4 ，r e a lm e d i a ( r e a ln e t w o r k s ) ， a s f ( m i c r o s o f t ) 等格式。 媒体源番；：；篓帮 流媒体服务器 播放软件 确广回一国一 世 数字化与压缩存储与服务 图1 1 流媒体技术基本模型 1 2 2 流媒体点播系统 视频音频服务的方式可以分为直播和点播两种。直播的典型例子是我们通 常收看的电视或收音机节目，由服务商按既定的顺序进行播放，用户只能选择 给定的频道，而无法执行暂停、快进、选段等操作。所以，它较适合用来收看 现场直播类的节目，例如体育比赛等，而在收看电影节目、视频选辑等大部分 类型的节目时，点播服务具有无可比拟的优势。“在想看的时候，看想看的节目”， 这是最适合用户胃口的地方，也是点播服务最具魅力之处。用户可以根据自己 的意愿选择收看节目，可以任意进行快进、倒退、选段等操作，这从根本上改 变了传统被动收看电视、电影节目的不足，完全实现了由用户掌握获得信息的 主动权。 点播服务最早应用于k t v 中，客户可以在屏幕上浏览歌曲的目录并进行点 播。由于k t v 中的点播是一种“单机点播 的方式，即待点播的全部节目数据 都已经存储在本地，所以它并不需要特别的实现技术。随着计算机与网络技术 的发展，人们开始应用流媒体技术，远程地为用户提供点播服务，这样的系统 即流媒体点播系统( r o ds t r e a m i n gs y s t e m ) 。 流媒体点播系统由服务器系统、网络系统及客户端系统三部分组成 7 。 服务端系统一般由视频服务器、各种管理服务器以及控制网络部分组成。 其中，管理服务器主要完成一些用户信息管理和计费工作，以及影视材料的整 理工作和安全保密等。控制网络部分主要完成各种服务器中的各种信息传递的 工作，后台的影视材料和数据的交换。视频服务器主要由存储系统和建立其上 的各种控制器管理系统组成，目标是实现压缩媒体数据的存储，以及按请求进 行媒体信息的检索和传输。视频服务器与传统的数据服务器在很多方面有显著 不同，需要解决许多问题，以求能够支持新功能，例如：媒体数据检索、信息 3 第1 章绪论 流的实时传输以及信息的加密和解密工作。对于交互式的v o d 系统来说，服务 端系统还需要完成诸如用户实时请求处理、允许控制( a d m i s s i o nc o n t r 0 1 ) 服务 等功能 8 。服务器主要有下列几项评价标准： ( 1 ) 节目流成本。包括网络带宽成本、缓冲区成本等。 ( 2 ) 并发用户数目。即能支持的最大并发用户数，通常指在不降低用户的 服务质量，即用户接受画面无定格或抖动的条件下。 ( 3 ) 用户响应时间。指从用户发出请求到接收到服务器响应的时间。 ( 4 ) v c r 支持。即对暂停、快迸、倒退、慢放、随机定位等操作的支持。 ( 5 ) 可靠性。指在实际运行环境中的连续、可靠的工作能力。 网络系统包含主干网络和本地网络系统两部分，是影响连续媒体网络服务 系统性能的关键部件。由于媒体服务系统的网络部分投资巨大，所以在设计时 不仅需要考虑当前的媒体应用需要，而且还要考虑将来发展需要和兼容性。当 前，用于建立这种服务系统的网络物理介质主要是：c a t v 的同轴电缆、光纤、 双绞线和无线网。而采用的网络技术主要是：以太网、f d d i 和a t m 技术。这些 网络实现技术都有各自具体的服务对象、带宽范围和环境特征。视频服务对网 络功能提出了以下几方面的要求： ( 1 ) 带宽要求。视频数据量大，不同的压缩格式对带宽有不同的要求。 m p e g - 1 文件速率是1 5 m b p s 左右，m p e g - 2 数据的传输速率在3 一l o o m b p s 之间， 而m p e g - 4 要求的带宽范围在5 k b p s 到l o m b p s 之间。 ( 2 ) 对延迟的要求。视频数据有实时性要求，网络延迟将影响到用户的等 待时间和服务质量。 ( 3 ) 多播支持。多播用于多用户共享节目，i p 网络中u d p 协议支持多播。 ( 4 ) 上行支持。上行数据是指数据的传输方向为客户端到服务器。对于 i p 系统，上行通道也是i p 网络，对于c a b l e 系统，上行通道可以是i p 网络、 公用电话网或者c a b l e 系统。 客户系统完成客户需求数据的显示和用户需求向服务端的提交功能。只有 利用客户终端系统，使用者才能与某种服务或服务提供者进行交互操作。实际 上，在计算机系统中，它是由带有显示设备的p c 终端完成，在电视系统中，它 是由电视机加机顶盒( s e tt o pb o x ) 完成。在客户端系统中，除了处理硬件问题 外，还需要处理与之相关的各种软件技术问题。例如，为了满足用户的多媒体 交互需求，客户系统的界面必须加以改造。此外，在进行连续媒体演播时，媒 体流的缓冲管理、音频与视频数据的同步、网络中断的协调等问题都需要进行 充分的考虑 9 。 1 2 3 流媒体点播系统的分类 4 第l 章绪论 1 2 3 1c s 架构 客户端服务器( c l i e n t s e r v e r ，c s ) 架构是计算机网络中的一种主要服 务模式。在c s 架构中，专用服务器是提供服务的核心，客户端只能从中心服 务器获取所需要的网络资源。从流媒体技术发展的早期直到现在，c s 架构都 是提供v o d 服务的一种主要方式。使用c s 架构的v o d 系统结构如下图所示： 图1 2c s 模式下的v o d 系统结构 在c s 模式中的v o d 系统中，通常采用单播方式为客户端提供流媒体服务。 单播方式是最简单和直接的服务策略，它为每个用户请求分配一条独占的服务 流。用户请求首先进入服务器的等待队列，当有足够的带宽服务一个请求时， 服务器从等待队列中取一个请求进入服务队列，并为该用户启动一条独占的服 务流。设服务器带宽为b ，传送一个节目所需带宽为b ，则服务器最多能同时服 务n = b b 个并发请求。当服务队列已满时，新到达的请求必须在等待队列中等 待，直至有一条服务流结束或被取消服务。 在建立连接后，服务器与客户端间维持两条信道，一条是双向的命令信道， 一条是单向的数据信道。客户端请求与反馈模块与服务器端的控制与服务模块 间通过命令信道传递各种控制命令和反馈信息。服务器通过数据信道向客户端 发送视频数据。非视频数据如节目目录等通常也使用命令信道发送而不使用数 据信道。通常命令信道使用t c p 连接来实现，以保障数据传输的可靠性和正确 5 第l 章绪论 性，而数据信道通常使用u d p 协议实现。 c s 架构的v o d 服务器缺点非常明显，由于中心服务器结构下的单播方式 所能支持的并发用户数是有限的，它受限于系统的存储带宽、网络带宽、总线 带宽、c p u 处理能力等，无法满足大规模用户群体的需求。 1 2 3 2 ip 组播技术 为了解决在中心服务器与单播方式下可扩放性差，支持用户数有限的问题， 人们提出了将i p 组播( i pm u l t i c a s t ) 技术应用于v o d 系统。i p 组播技术允许 一个或多个发送者( 组播源) 发送单一的数据包到多个接收者。在信息发送时， 组播源把数据包发送到特定组播组，而只有属于该组播组的地址才能接收到数 据包。由于无论有多少个目的地址，在整个网络的任何一条链路上都只传送单 一的数据包，因此组播提高了网络传输的效率，极大地节省了网络资源。 在v o d 系统中使用组播技术，可以让服务器的一条服务流为多个目标客户 服务，从而让有限的服务器资源支持较多的并发用户。已实现的基于组播的v o d 系统包括p y r a m i db r o a d c a s t i n g 1 0 和s k y s c r a p e r 1 1 。它们的基本思想是将 节目分成多个段，并将每个节目段在一个组播频道中播送。但是，大部分网络 服务商都不提供对组播技术的正式支持 3 ，这极大限制了组播技术在v o d 系统 中可能的应用。 1 2 3 3 内容分发网络 c d n 通常被称为内容分发网络( c o n t e n td i s t r i b u t i o nn e t w o r k ) ，有时也 称为内容传递网络( c o n t e n td e l i v e r yn e t w o r k ) 1 2 。内容分发和内容传递可 以看作一个完整内容网络的两个部分，前者强调内容从源分布到边缘节点的过 程，后者强调用户通过c d n 获取内容的过程。 c d n 的核心思想是将内容从中心推到边缘，即靠近用户的地方，这样不但 提高了用户访问内容的性能，而且减轻了中心设备和骨干网络的压力。通过c d n ， 可以将内容服务从原来的单一中心结构变为分布式结构。 一个典型的c d n 系统通常包括c d n 管理系统、负载均衡设备和c d n 节点： c d n 管理系统主要负责制定c d n 的策略，例如内容分发、传递的策略、负 载均衡的策略，可以把它看作是c d n 的控制层。c d n 管理还需要支持必要的a a a 功能，并和内容提供商或者应用提供商连接，实现内容的注入和发布控制。 c d n 节点是c d n 服务设备，c d n 节点一般被称做c a c h e 或者p r o x y ，它们可 以为用户提供w e b 或流媒体服务。一般而言，当c d n 节点作为c a c h e 的时候， 6 第l 章绪论 通常是作为用户和源服务器( w e b 服务器或者流媒体服务器) 的中间设备，对 用户是透明的；当c d n 节点作为p r o x y 的时候，通常它直接为用户提供服务。 c d n 负载均衡系统实现c d n 的内容路由功能。它的作用是将用户的请求导 向整个c d n 网络中的最佳节点。最佳节点的选定可以根据多种策略，例如距离 最近、节点负载最轻等。通常负载均衡可以分为两个层次：全局负载均衡和局 部负载均衡。负载均衡系统是整个c d n 的核心。 1 2 3 4p 2 p 技术 使用c d n 虽然能够为较大规模的用户服务，但相应代价是需要部署大量的 服务器。引入p 2 p 技术正好可以弥补这一不足之处：在p 2 p 网络中，每个用户 节点都为系统贡献自己的带宽、计算能力和存储能力，它们不仅是服务的请求 者，也是服务的提供者。因此，每一个加入的节点不仅是增大了系统的开销， 同时也增加了系统的资源。这是服务器与客户端角色固定的传统技术中无法做 到的。p 2 p 技术的另一个优点是健壮性，由于在p 2 p 网络中，数据通常在许多 节点上存在备份，并且各类计算和控制消息也可以由各个节点分布式地执行和 传递，避免了中心服务器系统中单点崩溃的问题。 在第二章中，将详细讨论p 2 p 技术在流媒体点播系统中的应用。 1 2 4r t p r t s p 协议 r t p r t s p 协议是用于流媒体数据与控制信息传输的一组通用协议族。虽然 流媒体文件具有许多不同的格式，但都可以按照r t p 协议的标准打包传输，并 且在支持相应格式的播放器中播放。 一个使用到r t p 协议族的典型流媒体服务器的体系结构如下：r t p u d p 协 议用于打包传输音频、视频媒体流，它提供了序列号和采样时间戳等信息，以 保证分块、打包后的音视频流能够被接收端按正确的时序回放；r t c p 协议是 与r t p 结合在一起使用的，它主要提供接收者和发送者的状况反馈功能，以实 现发包速率控制和拥塞控制等，达到监控q o s 的目的。还提供了源标识等功能， 用以标志视频会议的各参与者。位于r t p 和r t c p 之上的传输控制协议，例如 r t s p 协议提供了一个流媒体点播操作的基本框架，使音频与视频的受控、点播 成为可能。虽然r t p r t c p 协议提供了一个应用程序所需的流媒体传输协议的框 架，但它并没有规定诸如编码格式、分块、打包传输和接收等细节。为了实现 一个具体应用所需的流媒体传输协议，需要自行对以上的要素作出合适的定义。 r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 1 3 是实时传输协议的简称。它的 7 第l 章绪论 作用是在多点传送( 多播) 或者单点传送( 单播) 的网络上，提供端对端的网 络传输功能，适合需要传送实时数据的应用程序。r t p 被广泛用于音频、视频 流以及实时会议等的数据传输。 r t p 协议具有以下特点： r t p 协议包括负载类型( p a y l o a dt y p e ) 、序列号( s e q u e n c en u m b e r ) 、时 间戳( t i m e s t a m p ) 等元素，以提供带有实时特性的端对端数据传输服务。 r t p 本身没有提供任何的机制来确保实时的传输或其他的服务质量保证， 而是由低层的服务来完成。它不保证传输或防止乱序传输，它不假定下层网络 是否可靠，是否按顺序传送数据包。但r t p 包含的序列号允许接受方重构发送 方的数据包顺序，和确定一个数据包的正确位置。例如，在视频解码的时候不 用按顺序的对数据包进行解码。与此同时r t p 的时间戳使得接收方能够同步它 所接收到的数据流。 一般而言，应用程序在u d p 上运行r t p 来使用它的多路技术和c h e c k s u m 服 务，但r t p 可能被其他适当的下层网络和传输协议使用。如果下层网络支持， r t p 支持数据使用多播分发机制转发到多个目的地。 r t p 原先的设计是用来满足多参与者的多媒体会议的需要，但它没有限定 于专门的应用。连续数据的储存，交互分布式仿真，动态标记，以及控制和测 量应用程序也可能会适合使用r t p 。 r t p 只是一个协议的框架：r t p 是被规定为可扩展的，它用来提供一个专门 的应用程序需要的信息，并将会经常性的被归并到应用程序的处理中，而不是 作为一个单独的层被实现。首先，r t p 并没有规定具体的数据流的编码和分块 方法，以及数据块是怎样被分配在每一个r t p 包中进行传输的。它们由使用r t p 的具体应用程序定义和实现，并在下文中提到的辅助文档里描述。其次，r t p 和r t c p 可以定制扩展的选项，额外的功能可能通过完善协议本身或者增加一个 可能需要分析的选项机制来增加，r t p 被规定为可以根据需要通过修改和或增 加操作，可以对协议报头进行扩展。 r t p 控制协议( r t c p ) 向会议中所有成员周期性发送控制包。它使用与数据 包相同的传输机制。底层协议必须提供数据包和控制包的复用，例如用不同的 u d p 端口。r t c p 提供以下四个功能： ( 1 ) 基本功能是提供数据传输质量的反馈。这是r t p 作为一种传输协议的 主要作用，它与其他协议的流量和拥塞控制相关。反馈可能对自适应编码有直 接作用，并且i p 组播的实验表明它对于从接收端得到反馈信息以诊断传输故障 也有决定性作用。向所有成员发送接收反馈可以使”观察员”评估这些问题是局 部的还是全局的。利用类似多点广播的传输机制，可以使某些实体，诸如没有 8 第l 章绪论 加入会议的网络业务观察员，接收到反馈信息并作为第三方监视员来诊断网络 故障。反馈功能通过r t c p 发送者和接收者报告实现。 ( 2 ) 源标识功能。r t c p 为每个r t p 源传输一个固定的识别符，称为规范 名( c n a 脏) 。由于当发生冲突或程序重启时s s r c 可能改变，接收者要用c n a m e 来跟踪每个成员。接收者还要用c n a m e 来关联一系列相关r t p 会话中来自同一 个成员的多个数据流，例如同步语音和图像。 ( 3 ) 发包速率的估计。前两个功能要求所有成员都发送r t c p 包，因此必 须控制速率以使r t p 成员数可以逐级增长。通过让每个成员向所有成员发送控 制包，各个成员都可以独立地观察会议中所有成员的数目。此数目可以用来估 计发包速率。 ( 4 ) 传输最少的会议控制信息。例如在用户接口中显示参与的成员。这最 可能在”松散控制”的会议中起作用，在”松散控制”会议里，成员可以不经过资 格控制和参数协商而加入或退出会议。r t c p 作为一个延伸到所有成员的方便通 路，必须要支持具体应用所需的所有控制信息通信。 在r t p 用于i p 多点广播时，功能1 - 3 是强制的，在所有情况下都推荐使用。 在r t p 应用的开发时，应避免使用只能用于单向广播而不能扩充到多用户的方 法。 实时流协议r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 1 4 是一种为流媒体服 务的会话控制协议，主要用来在服务器端和客户端建立和控制多媒体流，比如 音频和视频。r t s p 本身并不传输数据，而是作为一个多媒体服务器的网络远程 控制( n e t w o r kr e m o t ec o n t r 0 1 ) 。 对r t s p 来说，它没有连接的概念，而是建立一个r t s p 会话( r t s ps e s si o n ) 。 r t s p 会话和传输层的连接，比如说t c p ，并没有必然的联系。在一个r t s p 会话 期间，客户端可以打开和关闭很多个可靠的传输连接向服务器端发送r t s p 请 求，也可以通过无连接传输协议，比如u d p 。r t s p 流控制的流可能用到r t p ， 但r t s p 操作并不依赖用于携带连续媒体的传输机制。在体系结构上r t s p 位于 r t p 和r t c p 之上，使用t c p 或r t p 完成数据传输。 r t s p 是一个控制协议，而r t p 协议是一个实时数据的传输协议。r t c p 协议 是用来对r t p 的传输数据进行同步和o o s 的监测。r t s p 是一个双向的协议，客 户端可以通过r t s p 请求来完成诸如播放，前进，后退，停止之类的要求，同时， 服务器也可以发出r t s p 反馈给客户端。而r t p 是一个简单的协议，只能从服务 器流向客户端。r t s p 在逻辑结构上位于r t p 和r t c p 之上，它通常建立在t c p 包的基础上。 9 第l 章绪论 1 3 本章小结 本章首先简要介绍了流媒体点播系统的应用背景以及研究现状。由于目前 的各种主流实现技术都存在自身的缺点，为了构建面向超大规模用户群体的点 播服务网络，c d n - p 2 p 混合结构是理想的一种解决方案。 流媒体技术指的是将多媒体文件按照一定的格式编码后，以帧为单位在网 络上传输，用户只要接收到一定数量的帧就可以开始播放，而无须等待整个文 件下载完毕，大大缩短了等待时间，也节约了缓存的空间。 流媒体点播系统是应用流媒体传输技术的远程点播系统。它e h - - 个部分组 成：服务器系统，网络系统和客户端系统。在传统的架构中，服务器的性能直 接决定了整个系统的性能。 本章总结了当前主流的流媒体点播系统实现技术的基本思想，以及它们各 自的缺点：c s 架构的v o d 系统采用中心服务器以及单播方式为用户提供服务， 它不具有可扩放性，以及存在单点崩溃的问题；采用i p 组播技术可以部分解决 可扩放性问题，但缺少网络层的支持；c d n 技术能够支持大规模用户且提供播 放质量的保证，但部署大量服务器的代价较为昂贵；采用p 2 p 技术具有较好的 可扩放性，且无须额外的代价，但无服务器的纯p 2 p 网络用来提供点播服务难 以保证用户的播放质量。 最后，本章简要介绍了r t p r t s p 协议族。它是当前通用的流媒体传输与控 制协议，大部分的播放器与流媒体网络接1 3 都支持该协议族。 1 4 本文的研究工作 随着技术的飞速发展以及用户需求的提高，在未来，提供点播服务的数字 电视网络或宽带网络必将成为热门的应用。这类应用需要支持海量级的用户， 且用户所在的网络分布具有很大的复杂性和异构性，所以使用传统的点播系统 设计技术难以实现。本文的目标是采用c d n - p 2 p 分层混合架构设计一个分布式 服务、负载平衡、低服务器负载、可扩放性与自适应性好，从而能够支持大规 模用户的流媒体点播系统。为此，论文中主要研究了服务器网络层和用户p 2 p 层的结构与功能设计，以及相关的策略研究。本文的创新包括以下三点：首先， 借鉴集群系统的思想并结合点播服务的特点提出了服务器组的设计，并在此基 础上给出了c d n 网络层的详细结构和功能模块的设计与实现；其次，由于用户 层的节点处在同一个边缘区域中，而且具有同时提供管理和内容服务功能的服 务器，避免了通常p 2 p 网络中节点选择的问题。用户层的设计在b i t t o r r e n t 协 1 0 第1 章绪论 议的基础上，将节点组织为以节目段内容为中心的邻居集合形式，并给出了详 细的数据调度与下载策略以及客户端的功能模块结构。此外，在用户p 2 p 层， 缓存区的调度是系统设计中的核心问题，本文对它作了详细研究并提出了一个 分区缓存调度策略，该策略与通常缓存最近播放数据的方式相比，能够更加有 效地利用节点资源，从而提高系统的整体性能，为用户提供更好的服务质量。 论文章节的安排如下： 第一章为绪论，介绍了文章的研究背景及动机，并对流媒体技术与流媒体 点播系统的发展历史做了简要的介绍。 第二章介绍了p 2 p 技术的思想和它的典型应用，并重点分析了应用p 2 p 技 术来实现流媒体点播系统的关键技术和优缺点。 第三章提出了系统设计的基本框架，并重点介绍了c d n 层的服务器网络结 构与功能模块，以及文件的存储与分发方式、易扩展性设计及可靠性设计。 第四章提出了用户p 2 p 层的拓扑结构与功能设计，并详细讨论了用户节点 的数据下载与调度策略，最后给出了客户端程序的主要功能模块结构。 第五章在前面的用户p 2 p 层模型下，分析了现有的缓存调度策略的优缺点， 并提出了一个用户节点的分区缓存调度策略，最后通过模拟实验验证了该策略 的有效性。 第六章对全文进行总结，并讨论了课