（通信与信息系统专业论文）基于p2p的流媒体分发系统的设计与实现.pdf

北京邮电大学硕士研究生论文 基于p 2 p 的流媒体分发系统的设计与实现 摘要 近年来，i n t e m e t 上的流媒体应用得到了迅猛的发展，然而媒体 的质量并不能让人满意，主要原因在于i n t e m e t 的原始设计主要是为 了满足端到端系统的需求，传统的基于单播的传输方式很容易导致服 务器端的性能瓶颈和网络资源的浪费，并不能有效的支持流媒体的大 规模数据分发。而由媒体代理服务器发展起来的c d n 技术又面临高 昂的成本问题。此外，i p 组播技术由于协议本身的复杂性、网络异构 性、以及缺少支持组播的可靠的、具有扩展性的拥塞控制机制等自身 固有的限制而难以部署。 为了提高i n t e r a c t 上的流媒体的q o s ，研究人员提出了基于p 2 p 网络的媒体分发技术：p 2 p 分发技术，即把组播的功能从网络层移到 了应用层。本文首先介绍了p 2 p 分发技术的框架，主要包括适合网络 传输的媒体编码技术、应用层的q o s 控制技术和流媒体传输协议。 随后对现有的典型p 2 p 分发模型p e e r c a s t 、z i g z a g 、s p l i t s t r e a m 、 i x ) n e t 等进行了分析。可以发现，不同的模型都是试图在网络带宽效 率、延时和可靠性之间做出某种权衡。 本文在现有研究的分析总结基础上提出了一个高质量的p 2 p 实 时分发系统t c a s t 。该系统可以在网络带宽效率、延时和可靠性三者 之间做出更好的权衡，主要特点是：1 1 易于实现，网络拓扑分布存储， 却没有复杂的p 2 p 组管理协议；2 ) 健壮性：节点不依赖于任何其它特 定的节点，网络具有较强的稳定性和可靠性；3 ) 网络具有快速反应能 力，对节点的加入离开反应迅速；4 ) 带宽适应性；5 ) 较低的全网内各 节点间的延迟。 此外，文章还对使甩t c a s t 系统实现的一个网络视频直播系统 m m t v 做了介绍，并讨论了些p 2 p 分发系统设计与实现方面的问 题。 关键词：p 2 p 流媒体i p t vq o s 北京邮电大学硕士研究生论文 t h ed e s i g na n di m 呻l e m e n t a l o no f m u l m e d i as t r e f i 蝴b a s e do np 2 ps t r e a m i n g m u l t i m e d i as t r e a m i n go v e rt h ei n t e m e ti s b o o m i n gn o w a d a y s h o w e v e r ，t h e s t r e a m i n gq u a l i t y i s g e n e r a l l yu n s a t i s f a c t o r y f o r l a r g e s c a l a b l eb r o a d c a s t i n g ，t h e t r a d i t i o n a l i n t e m e tm o d e lo f p o i n t t o - p o i n t u n i c a s tc o m m u n i c a t i o nd o e sn o ts c a l e t h ec o n t e n t d e l i v e r yn e t w o r ka p p r o a c hh a st h el i m i t i n gf a c t o ro fe x p e n s i v ec o s t i p m u l t i c a s t ，an e t w o r kl a y e rs e r v i c et h a ta l l o w sas i n 粤es o u r c et od i s t r i b u t e ad a t as t r e a mt om a n ys i m u l t a n e o u sr e c e i v e r si na ne f f i c i e n tm a n n e r , h a s m e tw i t l ll i m i t e ds u c c e s sd u et oan u m b e ro ff a c t o r si n c l u d i n gc o m p l e x i t y o fn e t w o r kp r o t o c o li t s e l f , i t si n a b i l i t yt oa d d r e s si n t e m e th e t e r o g e n e i t y , a n di t sl a c ko fs u p p o r tf o re f f i c i e n ta n ds c a l h b l et r a n s p o r tp r o t o c o lsf o r r e l i a b i l i t ya n dc o n g e s t i o nc o n t r 0 1 i no r d e rt oi m p r o v et h eq o so fs t r e a m i n go v e rt h ei n t e m e t ，m e d i a o v e rp 2 pn e t w o r ki sp r o p o s e d f i r s t w eg a v ea l lo v e r v i e wo ft h ep 2 p s t r e a m i n gt e c h n i c a lf r a m e w o r ka n ds u m m a r i z e ds e v e r a lc l a s s i c a lm o d e l s a b o u tm e d i as t r e a m i n go np 2 pn e t w o r k ss u c ha sp e e r c a s t z i g z a g ； s p l i t s t r e a m ，d o n e t ，e t c p r e v i o u sw o r k sh a v ea j ld e m o n s t r a t e dt h a tt h e r e i sa l w a y sat r a d e o f fa m o n gb a n d w i d t he f i c i e n c y , d e l a ya n dr e l i a b i l i t y t h i sp a p e rp r e s e n t san e w p 2 ps t r e a m i n gm o d e l ：t c a s t t oa c h i e v ea b e t t e rt r a d e o f f t h ec o r co p e r a t i o n si nt c a s ta r ev e r ys i m p l e ：e v e r yn o d e p e r i o d i c a l l ye x c h a n g e sd a t aa v a i l a b i l i t yi n f o r m a t i o nw i t has e to fp a r t n e r s ， a n dr e t r i e v e su n a v a i l a b l ed a t af r o mo n eo rm o r ep a r t n e r s ，o rs u p p l i e s a v a i l a b l ed a t at op a r t n e r s w ee m p h a s i z et h r e es a l i e n tf e a t u r e so ft c a s t ：1 ) e a s yt oi m p l e m e n t ，a si t d o e sn o th a v et oc o n s t r u c ta n dm a i n t a i na c o m p l e xa p p l i c a t i o n m u l t i c a s tt r e e ，i ta l s od o e sn o th a v et o d e p l o y c o m p l e xg r o u pm a n a g e m e n tp r o t o c o l ，p e e r s a r em a n a g e db yac e n t r a l h 北京邮电大学硕士研究生论文 s e r v e r ；2 ) r o b u s ta n dr e s i l i e n t ，a st h ep a r t n e r s h i p se n a b l ea d a p t i v ea n d q u i c ks w i t c h i n ga m o n gm u l t i - s u p p l i e r s ；3 、h e t e r o g e n e i t ya d a p t i v e w ea l s o p r o p o s e d a n i 刖s y s t e mn a m e dm m t v , w h i c h i m p l e m e n t e do u rt c a s tp 2 ps t r e a m i n gm o d e l t oa d d r e s ss o m ed e s i g na n d i m p l e m e n t a t i o ni s s u e s k e yw o r d s ：p 2 pm u l t i m e d i as t r e a m 小，q o s i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本嵫：谨彤 胁州耻涉 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：塑5 ! ：堡 日期：型6 ：i ! 北京邮电大学硕士研究生论文 1 1 引言 第一章绪论 随着i n t e r a c t 的发展，用户对网络的期望和要求也越来越高，不再满足于单 一的静态媒体。将声音、文字、图像、视频等多媒体有机结合形成的媒体演示是 i n t e m e t 的发展重点，但在动态多媒体方面一直存在带宽限制和数据同步等问题， 于是出现了流媒体技术。流媒体技术将数据流由音视频服务器向客户机实时传 输，用户可以边下载边观看，不用耗费漫长的等待时间，实现了媒体浏览的实时 性。 以前，多媒体文件需要从服务器上下载后才能播放。由于多媒体文件一般都 比较大，下载整个文件往往需要很长的时间，限制了人们在互联网上使用多媒体 数据进行交流。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒 体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的缓 冲区中就可以开始播放了。 随着网络技术的发展，流媒体己成为目前因特网应用的最快增长点。远程教 学管理、视频聊天室、t p t v 等都是正在兴起或广泛应用的流媒体应用。流媒体 的特浸数据量大、传输持续时间长，并且对延迟、抖动、丢包率、带宽等q o s 指标要求非常严格。在当前的因特网上构建大规模的性价比高的流媒体系统是一 个具有挑战性的工作。 因特网上的传统流媒体系统是基于c s 模式的，一般包括一台或多台服务 器，若干客户机。我们将系统能同时服务的客户总数称为系统容量。c s 模式的 流媒体系统容量主要是由服务器端的网络输出带宽决定的，有时服务器的处理能 力、缓存大小、王，0 速率也影响到系统的容量。在c s 模式下，由于传输流媒体 占用的带宽大，持续时间长，而服务器端可利用的网络带宽有限，所以即使是使 用高档服务器，其系统容量也不过几百个客户，根本就不具有经济规模性。另外， 由于因特网不能保证q o s ，如果客户机距服务器较远，则流媒体传输过程中的延 迟、抖动、带宽、丢包率等指标也将更加不确定。此外，服务器为每一个客户都 要单独发送一次流媒体内容，从而网络资源的消耗也十分巨大。 目前主要的解决方案是使用c d n l 的流媒体系统。c d n 的基本思想是内容 提供商提供的媒体文件部分或全部缓存到位于因特网“边缘”的距离用户较近的 缓存代理服务器上，使客户能从位于本地的缓存代理服务器上获取流媒体内容， 从而提高用户访问的性能，并减轻骨干网络流量，同时也增加了系统容量。然而， 北京邮电大学硕士研究生论文 c d n 的建造成本十分昂贵，而且也并没有脱离c s 的本质。 在传统分发架构无法满足现有需求时，p 2 p 技术得到了复兴。p 2 p 网络的基 本思想是充分利用因特网上分布在不同地理位置上的计算机的空闲资源，采用分 布式计算模式来为因特网上的用户提供各种服务。p 2 p 网络中没有集中的服务 器，网络的每一个节点既可以作为客户接受其它节点的服务，也可以作为服务器 向其它节点提供服务。基于p 2 p 的流媒体系统也是借助了这种思想进行流媒体 内容的分发传输的，其设计目标是充分利用众多客户节点的空闲资源，构建一个 成本低、扩展性好、并有一定o o s 保证的流媒体传输系统。 目前国内外的研究人员都投入了大量的精力对p 2 p 网络进行了研究，但很 多研究都是围绕对等点定位、安全问题等，对p 2 p 网络的稳定性和数据的实时 分发等的研究并没取得重大突破，使得p 2 p 的流媒体系统还很不成熟。本文将 在现有研究的分析总结基础上提出一个高质量的p 2 p 实时分发系统t c a s t ，并将 该系统和流媒体结合，实现一个p 2 p 的流媒体服务m m t v 。 1 2 内容分发技术 1 2 1 传统的c l i e n t - s e r v e r 架构 目前占据互联网主导地位的网络互联模式是c s 模式，图1 - 1 是一个典型的 c 稻模式的体系结构。服务器s 若要同时为a 、b 、c 三个客户提供相同的媒体 流，则服务器s 要发送三份相同的数据，最极端的情况就是a 、b 、c 处于同一 个子网内，三份数据的路由路径相同，这造成服务器和网络带宽的极大浪费，并 可能形成拥塞。如下图所示。 图1 - 1c s 模式下的数据分发 在这种架构下，采用集中计算方式，客户端和服务器存在着明显的主从关系， 具体来说c s 结构有如下特点： 2 北京邮电大学硕士研究生论文 ( 1 ) 该结构模型以服务器为中心，各种各样的资源、信息和数据等都存放 在服务器的硬盘上，客户端通过网络连到服务器上检索、下载、上传资料或请求 运算，只有服务器端具有控制能力，客户端基本上充当了一个高性能的i 0 设 备。 ( 2 ) 服务器性能决定了网络的性能，每台服务器所能提供的信息数量受到 自身存储空间的限制，而任意时刻它所能支持的客户端访问数量则既受到自身处 理能力的限制也受到服务器所在网络吞吐能力的限制。 ( 3 ) 被发布信息的分布与生存期十分稳定。服务器只发布机器所有者想公 之于众的信息，这些信息将会在该服务器上稳定地保存一段时间，并且该服务器 通常也不问断地运行在网络上。 ( 该结构的优点是被发布信息的存贮与管理比较集中、规范，网络安全性 较高。 1 0 2 多媒体代理服务器 代理服务器( p r o x y ) q 是一种特殊类型的i n t e m e t 服务器。在传统的w e b 应 用中，代理服务器用于扩展用户对i n t e m e t 的数据访问能力。为提高代理服务器 掺、 爨 零 图卜2 代理服务器模式下的数据分发 的系统效率，缓存( c a c h e ) 技术被引入代理服务器中，代理服务器将一些频繁访 问的数据存储在内存或硬盘中，当用户通过代理服务器访问时，如果数据在代理 服务器的缓存中，代理服务器就无需访问远程的服务器，而只需通过本地缓存为 用户服务。流媒体代理服务器的重要作用表现在： 1 ) 服务器承担了一部分用户访问，有效的降低了主服务器的访问负载； 2 ) 提高用户访问的响应速度，降低启动延迟； 3 ) 代理服务器离用户较近，网络状况较好，可以提供更好的流媒体服务： 4 ) 可以提高服务器的鲁棒性及节省网络资源。 3 北京邮电大学硕士研究生论文 然而代理服务器的主要问题在于如何保证主服务器的内容与代理缓存中的 内容的一致性，即当服务器的内容更新后，如何保证代理服务器中缓存的数据被 即时更新，对这些问题的研究就产生了更智能的c d n 技术。 1 2 3c d n 技术 c d n 1 1 的英文全称是c o n t e n td e l i v e r yn e t w o r k ，即互联网内容发布网络， 它是一个建立并覆盖在i n t c r n c t 之上、由分布在不同区域的节点服务器群组成的 虚拟网络，如图1 3 所示。c d n 可以实现把服务器的内容高效、稳定地发布到 离客户端最近的地方。其基本思路就是尽可能避开互联网上有可能影响数据传输 速度和稳定性的瓶颈和环节，使内容传输的更快、更稳。通过在网络各处放置节 点服务器所构成的在现有互联网基础之上的一层智能虚拟网络，c d n 系统能够 实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等 综合信息将用户的请求重新导向离用户最近的服务节点上。对用户来说，通过 c d n 系统，得到响应的时间被大大缩短，连接质量也大大提高，从而大大提高 了上网访问的总体性能。然而，c d n 高昂的部署成本始终是一个问题。 嚣j 誉 。 图卜3c d n 模式下的数据分爱 基于c d n 的流媒体系统的基本思想是将内容提供商提供的媒体文件部分或 全部缓存到位于因特网“边缘”的距离用户较近的缓存代理服务器上，使客户能 从位于本地的缓存代理服务器上获取流媒体内容，从而提高用户访问的性能，并 减轻骨干网络流量，同时也增加了系统容量。基于c d n 的流媒体系统的体系结 构如图1 3 所示，当用户访问流媒体内容时，原始服务器首先通过请求路由系统 确定最接近用户的最佳的边缘节点什e 理服务器) ，并将该用户的请求重定向到该 节点。当用户的请求到达指定节点时，如果缓存空间已经存储了所请求的内容， 则将内容提供给用户，如果没有缓存内容，则从原始服务器或其它代理服务器那 4 北京邮电大学硕士研究生论文 里获取并转发给客户，同时将内容缓存下来。 流媒体c d n 的核心问题主要集中在以下几个方面，一是缓存代理服务器的 缓存机制研究，包括缓存策略( 全部缓存、分段缓存、头部缓存等) 、替换算法和 预取算法等；一是针对部分缓存策略的分发技术研究以及多代理服务器间的协作 等。c d n 系统的设计目标是通过将媒体缓存于距用户较近的缓存代理服务器以 提高客户端的访问质量，同时减轻流媒体对骨干网络上带宽的消耗( 传输成本) ， 其缓存机制的设计、分发技术和多代理协作机制的研究等都是以此作为优化目标 的。 增加c d n 系统容量的方法：一是增加各代理的容量，但由于带宽限制，其 增加的空间极为有限，整个系统依然受到c s 架构的因素的约束，并且其成本也 不低；二是增加代理服务器的数量，但代理服务器的建设成本却是极其昂贵的。 另外，c d n 对实时数据的传输并不能起到作用。 1 2 4i p 组播技术及问题 前三节讨论的内容发布技术都是基于口的单播技术，事实上，为了适应大 规模数据在i n t e m e t 上的分发，i p 协议补充了i p 组播技术【2 】【3 】【4 】。 目前基于t c p m 的i n t e r n e t 网络主要有三种传输模式：单播、广播和组播。 单播技术是一种单点到单点的数据传输模式，这种模式也是最常见的 i n t e m e t 通信方式。h i q p 和f t p 等应用都采用这种单播模式。这种模式的缺点 是如果多个用户同时请求同一份数据，服务器必须通过网络给每个用户发送多份 相同的数据。因为多媒体的数据量大，随着客户端数日的增加，很容易造成s e r v e r 端的网络拥塞。 广播技术是一点到所有主机的数据传输模式，服务器发送的一份数据，将被 发送到连接在网络上的所有主机。采用这种模式，服务器只需要发送一次数据， 效率很高，但是由于发送模式的盲目性，数据会扩散到所有的网段而不关心网段 中的主机是否需要接收。如果多媒体通信采用广播发送方式，则大量的数据将造 成“广播风暴”，使网络通信处于瘫痪。 组播技术融合了以上两种传输模式的特点，可以将一份数据同时发送给一组 特定的用户，避免了数据的冗余又不会盲目地造成网络带宽的浪费，目前很多的 流媒体应用都采用这种传输模式。组播技术创始人s t e v e e d e e r i n g 定义组播为： “将i p 数据包发送到共享相同口地址的一个主机组中，该主机组的成员数目可 以为零个或多个。组播数据包的传输可靠性和i p 单播相同。主机组的成员是动 态的，任何主机可以在任何时刻加入或退出某个主机组，主机组对其成员没有位 置和数量的限制，且一台主机可以同时是多个主机组的成员。” 北京邮电大学硕士研究生论文 口组播方式在网络上只有唯一的数据包在进行传输，每个客户端都能接收 到这个数据包，这极大地减轻了服务器的带宽需求，并且减轻了整个网络的负担。 如图1 4 所示，数据包的分发完全是靠各个路由器记录主机组来拷贝分发的。 图卜4i p 纽播模式的数据分发 在这种模型中，数据被有效地发送给对数据感兴趣的接收者。在大规模的应 用中，组播技术能够有效的节省网络带宽，然而口组播技术有着其自身的问题。 虽然研究人员对坤组播技术做了很多研究，并基于组播技术实现了一些应用， 如视频会议，然而在实际的部署中，口组播技术仍然存在一些很重要的关键问 题，主要包括：网络协议的复杂性、网络和终端系统的异构性、组播的可靠性。 1 2 4 1 网络协议的复杂性 i p 协议在现实中能够成功的应用和流行，其中最重要的原因就是协议的简 单性和健壮性。口协议的设计遵循了端对端设计中的简单性原则，使i n t e r a c t 的 核心网络层保持简单、健壮并且易于理解，而让其上层的协议提供其它复杂的服 务。i p 层只是简单地提供b e s te f f o r t 的服务，而传输可靠性、拥塞控制和流量控 制等都由上层负责。然而，组播要比单播复杂得多而难以部署。 首先，组播模型中缺乏有效的组管理。i n t e r n e t 缺少对于网络层的访问控制， 导致任何匿名的用户可以加入某些特定的会话组。任何用户都可以通过给一些著 名的组播会话中的节点发送一些无用的信息发起拒绝服务攻击。虽然拒绝服务攻 击在单播服务中也存在，然后在组播系统中会严重得多。 第二，路由器需要维护组播中每个s e s s i o n 的状态，这不但增加了路由的复 杂性，同时也导致了路由的扩展性。 第三，组播要求给每个s e s s i o n 分配一个全球唯一的组地址。组地址分配机 制的缺乏将导致s e s s i o n 问的地址冲突。 第四，组播监视和调试工具的缺乏导致难以管理。 北京邮电大学硕士研究生论文 1 2 4 2 网络和终端系统的异构性 虽然组播能够有效地提高系统效率，很多网络应用能够从组播服务中受益， 然而i n t e m e t 是一个异构网络，在异构环境中，组播仍然存在一些问题和挑战。 异构性表现在很多方面，包括网络和终端。i n t e m e t 的底层硬件平台千差万 别，可以是以太网、a t m 、f d d i 、令牌环网、帧中继、串行链路( p s t n 、x d s u 、 无线网络、卫星网络、移动网络等，这些底层网络具有不同的带宽、硬件存取控 制方式和时延特性，在多链路情况下，各链路的带宽与代价也可能不同。 另外，某些网络平台的数据链路具有非对称性，比如x d s l 和卫星网络。终 端主机的硬件处理能力和操作系统各不相同。就操作系统而言，主要操作系统包 括u n i x 、w i n d o w s 、m a c o s 和o s 2 等以及各自不同的版本，对邛组播的支持 程度和进程调度与管理、t c p ，i p 的实现方式和a p i 都存在差异。 此外，互联设备具有差异性。路由器、交换机、网络服务器在背板能力、包 转发率、支持的路由协议的互操作性上存在差异。 这些异构性都导致了实现m 组播网络中的复杂性。由于多个用户共享同一 个通道，组播虽然在网络效率上要远高于单播，然而单通道的组播的用户只能接 收同样的数据，不能同时满足不同用户的不同需求，单通道组播缺少扩展性。 1 2 4 3 组播的可靠性 在组播中，数据包的传输可靠性和单播中是一样的，都只提供b e s te f f o r t 服 务，然而上层系统为组播提供可靠性传输、拥塞控制和流量控制等服务要比为单 播提供这些服务复杂得多。在单播中，传输的可靠性、有序性和拥塞控制等基本 上都己经在t c p 里实现了，而组播中，不同的应用对可靠性、拥塞控制和流量 控制有不同的需求，这就使实现这些服务非常的复杂。 1 2 5 p 2 p 网络 p 2 p 技术主要指由硬件形成网络连接后的信息控制技术，主要代表形式是在 应用层上基于p 2 p 网络协议的客户端软件。i b m 为p 2 p 下了如下定义：“p 2 p 系 统由若干互联协作的计算机构成，且至少具有如下特征之一：系统依存于边缘化 ( 非中央式服务器) 设备的主动协作，每个成员直接从其它成员而不是从服务器 的参与中受益；系统中成员同时扮演服务器与客户端的角色：系统应用的用户能 够意识到彼此的存在，构成一个虚拟或实际的群体。”事实上，p 2 p 网络是互联 网整体架构的基础，互联网最基本的t c p i p 协议并没有客户端和服务器的概念， 7 北京邮电大学硕士研究生论文 在通讯过程中，所有的设备都是平等的一端。 目前流行的p 2 p 软件的架构主要有三种：中心目录服务器、无中心结构化 模型和无中心非结构化模型。 1 2 5 1 中心目录艉务器( c 蚰h _ l 咖dd e r e c t o r ym o d e l ) 在这种模型中，所有的节点都和中心目录服务器建立连接，中心目录服务器 负责索引所有节点中的内容。当节点发出请求时，中心目录服务器会根据节点的 请求找出符合该请求要求的节点，然后文件交换就直接在这两个节点之间进行。 因为这种模型仍然需要一个中心目录服务器，所以当节点的数量增多时，服务器 端的存储和带宽仍然会有一些限制。n a p s t e r 5 的实现是这种模型的代表。 1 2 5 2 无中心结构化模型( d o c u m e n tr o u t i n gm o d e l ) 在这种模型中，网络中的每个节点都会被赋予一个随机产生的，并且每 个节点知道网络中的部分其它的节点。当一份文件在网络中发布( 共享) 时，会根 据该文件的内容和名字，用某种h a s h 算法生成一个文件，然后文件发布的节 点会把该文件r o u t e 给它所知道的节点中节点i d 最接近该文件i d 的节点，所有 参与r o u t e 的节点都会保存一份该文件的拷贝。同样，当某个节点发出需要某个 文件的请求时，请求会转发给节点1 d 最接近所请求的文件d 的节点，直到找 到真正具有该文件的节点，然后该文件会传给最原始的请求者，所有参与这次 r o u t e 的节点同样会保存一份该文件的拷贝。 相比于上一种中心目录模型，这种模型实际上是把索引的功能分散到了各个 节点，没有了服务器的概念，是一种更纯的p 2 p 系统。f r c e n e t 6 、c h o r d 7 、 c a n 8 1 、t a p s t r y 9 $ 1p a s t r y 1 0 的实现是这种模型的代表。 1 2 5 3 无中心非结构化模型( f l o o d e dr e q u e s t sa l g o r i t h m ) 这种模型完全没有了索引的概念。每个节点的请求都会广播给所有和它直接 相连的节点，如果这些节点中都没有所请求的文件，这些节点会把这个请求继续 广播给所有和它们直接相连的节点，直到找到所请求的文件或者广播的次数超过 了某个值( 一般是5 9 ) 。该模型中的广播的方法会消耗很大的带宽，因此不具有 扩展性。然而这种模型在局域网内却非常有效。通过设置请求中的参数t t l ，缓 存搜索过的路径可以改善性能。g n u t e l l a 1 1 、f a s t t r a c k 1 2 、k a z a 1 3 的实现是 这种模型的代表。 8 北京邮电大学硕士研究生论文 1 3p 2 p 分发技术的提出及挑战 基于单播的c s 模型和c d n 模型并不完全适合流媒体大规模数据的分发， 而口组播技术也存在很多固有的限制而难以部署，为了提高i n t e r a c t 上流媒体应 用的q o s ，p 2 p 分发技术被提了出来，其核心思想就是把组播的功能从网络层移 到应用层，把p 2 p 技术应用到流媒体，每个流媒体用户也是p 2 p 网络中的一个 节点。在目前的流媒体系统中用户之间是没有任何联系的，但是采用p 2 p 技术 后，用户可以根据他们的网络状态和设备能力与一个或几个用户建立连接来分享 数据。这种连接能减少服务器的负担和提高每个用户的视频质量。p 2 p 技术在流 媒体应用中特别适用于一些热门事件，即使是大量的用户同时访问流媒体服务 器，也不会造成服务器因负载过重而瘫痪。此外，对于多人的多媒体实时通信， p 2 p 技术也会对网络状况和视频质量带来很大改进。p 2 p 技术如果与可扩展性视 频编码技术结合将能极大地提高每个用户所接收的视频质量。由于可扩展性码流 的可加性，媒体数据不用全部传输给每个用户，而是把它们分散传输给每个用户， 再通过用户间的连接，每个用户就可以得到合在一起的媒体数据。即使每个用户 与服务器的连接带宽是有限的，应用p 2 p 技术，每个用户依然可以通过流媒体 系统享受高质量的多媒体服务。 目前p 2 p 分发模型主要可以分为两大类： 1 7 基于树状拓扑的协议及扩展f n e e b a s e dp r o t o c o la n de x t e n s i o n s ) ； 2 基于g o s s i p 1 4 协议的( g o s s i p b a s e dp r o t o c 0 1 ) 。 1 3 1 基于树状拓扑的协议及扩展 基于树状拓扑协议及扩展的模型把参与p 2 p 分发的节点组织成一棵组播树， 树的父节点负责为子节点传送数据。在这种模型中，树的构建与管理主要需要解 决如下问题： 1 1 树的深度与宽度的平衡：因为节点离根节点越远，则数据的时延就越大， 因此，树的深度应该尽可能小，可是每个节点的输出带宽限制了节点的宽度。树 管理的目标就是在深度和宽度之间能够有效地平衡，事实上，当所有节点的深度 都为1 的时候就退化成了传统的c s 模型了。 2 ) 逻辑树的有效性：树的逻辑拓扑应尽可能的符合节点问的物理拓扑。 3 ) 节点的快速加入和退出：节点的快速加入机制使新加入节点接收服务的 时延更小。由于用户行为的不可预期，任何节点都可能在任何时刻离开p 2 p 网 络，因此在节点退出后快速的修复树的结构对于服务质量也非常的重要。事实上 该约束和前两个约束是相互矛盾的，需要做出一些权衡。 北京邮电大学硕士研究生论文 效。 4 ) 扩展性( s c a l a b m t y ) ：树管理的算法在节点数量非常大的时候仍然应该有 1 3 2 基于g o s s i p 协议的 g o s s i p 1 4 算法是目前流行的在p 2 p 系统中分发消息的算法，一个典型的 g o s s i p 算法中，节点随机地给系统中的部分节点发送消息，每个接收到消息的节 点继续随机地向其它节点发送消息，重复这个过程，直到消息被发送给系统中的 所有节点。基于g o s s i p 协议的p 2 p 分发系统并不显式的构造节点之间的拓扑结 构，而是通过g o s s i p 协议，每个节点维护系统中部分其它节点的视图。每个节 点动态地和其它节点交换缓存信息，并根据缓存信息交换节点之间的媒体数据。 在这种系统中，通常需要比较大的缓存，系统的启动延迟相对比较大。 1 4 文章的研究内容及组织 本文首先介绍p 2 p 的流媒体系统所涉及到的技术框架，然后详细介绍了几 种典型的p 2 p 分发模型并分析目前的模型中所存在的问题，在此基础上提出了 一个高质量的p 2 p 实时分发系统t c a s t , 并将该系统和流媒体结合，实现一个p 2 p 的流媒体服务m m t v 。 本文剩下的部分是这样组织的： 第二章介绍p 2 p 的流媒体系统所涉及到的主要技术框架，包括媒体压缩技 术、应用层的o o s 控制、应用层组播技术、视频服务器技术、媒体同步技术和 流媒体传输协议等六大技术。 第三章介绍并分析了各种典型的p 2 p 分发技术，主要包括p e e r c a s t 、 z i g z a g 、s p l i t s t r e a m 和d o n e t 等。 第四章在前面基础上提出了一个高质量的p 2 p 实时分发系统t c a s t 。 第五章介绍一个使用t c a s t 系统实现的流媒体服务m m t v ，包括系统构成， t c a s t 实现时的一些细节等。 第六章总结全文，并提出了一些未来在p 2 p 流媒体方面需要进行的工作。 1 0 北京邮电大学硕士研究生论文 2 1 概述 第二章p 2 p 流媒体的技术框架 在一个典型的流媒体应用中，媒体经过压缩技术存在硬盘上，流媒体服务器 接收客户端的请求，根据q o s 的要求以及网络状况调整压缩的媒体流的参数( 如 比特率) ，然后流媒体传输层对其进行打包，通过p 2 p 技术进行连续媒体分发， 客户端接收到媒体流后，通过媒体同步技术进行播放。以上的过程涉及到六个技 术领域：媒体压缩技术，应用层的q o s 控制，应用层组播技术，视频服务器技 术，媒体同步技术和流媒体传输协议。图2 1 显示了p 2 p 流媒体的技术框架。 图2 - 1p 2 p 流媒体的技术框架 媒体压缩技术：为了有效地利用网络的带宽，媒体通常通过压缩后才进行传 输。压缩技术主要可以分为非扩展性编码和扩展性编码。因为扩展性编码可以适 应网络带宽的变化，文章将重点介绍扩展性编码。 应用层的q o s 控制：应用层o o s 控制包括拥塞控制和错误控制。拥塞控制 主要用于预防网络的丢包和延时，根据网络状况调节发送速率。错误控制用于在 丢包问题发生后，如何进行错误控制，尽量提高最终的视频质量。 应用层组播技术；通过应用层复制数据包，并且在应用层进行路由分发。应 用层组播就是把组播功能从网络协议栈的网络层移到应用层。本文将重点研究媒 体数据应用层组播技术，第三章将介绍各种典型的p 2 p 分发的模型，第四章将 在前面研究基础上提出一个p 2 p 的分发模型t c a s t 。 视频服务器技术：流媒体发布服务器如何有效的给客户端提供服务。 媒体同步技术：不同通道的数据的同步( 比如音频和视频) 是媒体应用中很重 北京邮电大学硕士研究生论文 要的问题，文章将简单的介绍媒体同步技术。 流媒体传输协议：文章首先介绍i n t e n e t 的协议框架，并介绍适合流媒体传 输的协议r t p r t s p 。 2 2 媒体压缩技术 原始的视频数据存在着很大的冗余，包括时间冗余、空间冗余和主观视觉冗 余。为了更有效的存贮和传输，需要对原始数据进行压缩。压缩技术可以分为两 种：面向存储的非扩展性( 1 1 0 n - s c a l a b l e ) 视频编码流式技术和面向网络传输的可扩 展性( s c a l a b l e ) 视频编码流式技术。 2 2 1 非扩展性编码技术 目前工业应用的主流标准，如m p e g 系列及h 2 6 x 系列标准，大都采用基 于分块运动补偿及离散余弦变换( d c t ) 的压缩算法( 目前，基于小波变换的 s c a l a b l e 压缩算法也处于研究发展中) 。这种传统的编码方式产生的只能是单一质 量的码流。 异构性是网络的一个很重要的特点，不同的终端的网络状况可能有很大的区 别。在采用i p 组播时，解决这个问题的最简单的办法就是最小传输，即组播带 宽最低的用户所能接收的码流，然而，这样虽然可以保证所有的用户都可以获得 视频，但是高带宽的用户也只能观看低质量的视频，降低这部分用户的服务质量。 为了按照用户的带宽条件提供足够好的视频质量，可以在服务器保存同一个视频 的不同质量的码流，这些码流的关键帧是对齐的，将这几个不同码率的码流通过 不同的组播通道发送到网络，用户根据自己的需求和网络状况选择一个最佳的视 频流，并且可以随着网络带宽的变化动态的切换。这种码流切换和组播相结合的 技术称为联播( s i m u l c a s t ) 。虽然联播可以满足不同用户的不同需求，但联播存在 带宽利用率的问题，因为不同码率的码流存在着很大的冗余数据，分层可扩展性 编码技术可以改进这个问题。 2 2 2 分层可扩展性编码技术 传统的n o n s c a l a b l e 编码产生单一的压缩码流，而s c a l a b l e 编碉- q 1 5 将把原始 的视频流压缩成多个视频流，原始流被压缩成了一个基本流和多个增强流，基本 流可以被单独解码，提供最基本的视频质量，增强流解码后叠加在基本流上，可 以提供更好的视频质量。诸如m p e g - 4 、h 2 6 3 + 等现行国际视频压缩编码标准均 北京邮电大学硕士研究生论文 采纳了分层可扩展性编码( l a y e r e ds c a l a b l ec o d i n g ) 思想。 分层可扩展性编码主要有三种：时域可扩展性、空域可扩展性和质量可扩展 性。 时域可扩展性( t e m p o r a ls e a l a b i l i t y ) 编码通常是通过添加b 帧来实现。b 帧是 用与它在时间上最邻近的前后两个i 帧或者p 帧来预测的，而自己不能作为其它 帧的参考帧，因此，在传输中丢弃b 帧不影响其它帧的质量，而仅仅降低帧率。 因此可以在基本层传输i 帧和p 帧以及部分b 帧，在增强层传输更多的b 帧来 提高帧率。 空域可扩展性( s p a t i a ls c a l a b i l i t y ) 编码是通过为视频中的每一帧都创建多分 辨率的表示来实现的。原始视频首先通过下采样得到低分辨率的视频，编码得到 基本层；然后编码原始视频和基本层的差，生成增强层。 质量可扩展性( p s n rs c a l a b i l i t y ) 编码思想和空域可扩展性编码很类似，只是 基本层不是通过采样，而是进行一次很粗的量化形成基本层，然后对原始流和基 本层的差再进行一次量化编码生成增强层。生成多个增强层只需重复上面的过 程。 将分层可扩展性编码和组播结合是解决视频在网络上传输的一种方法，称为 分层组播( l a y e r e dm u l t i c a s t ) 。分层组播是将每一层的压缩视频流发送到一个组播 组中，用户根据自己的网络带宽状况接收基本层数据和多个增强层数据，然后解 码获得不同质量的视频。分层组播与联播相比，网络带宽利用率要高许多，但是 各个增强层的码率在编码完成时就固定下来了，而且间距较大，供给用户选择的 余地有限，因而带宽的利用率还有待进一步提高。 s 窘 p 孽 t b a n d w i d t h j 图2 - 2 面向网络传输的编码与传统编码的失真率的比较 传统的视频编码不适合网络传输的根本原因在于它们的目标是将视频压缩 成一个或几个固定比率的码流，是面向存储的。由于网络的异构性及缺乏q o s 北京邮电大学硕士研究生论文 保证，网络带宽会在一个很大的范围内发生变化，面向网络传输编码的目标就是 将视频压缩成适合一个码率范围变化的码流。图2 2 是面向网络传输的视频编码 方法与传统编码方法的失真率的比较。图中阶梯状的直线对应传统的方法，实的 曲线代表面向网络传输的失真率曲线，虚的曲线代表理想的失真率曲线。在传统 的面向存储的编码方法中，当带宽达到一定的程度时用户可以接收到一定质量的 视频，但随着带宽的继续增加，视频质量得不到任何改善，直到带宽达到阶梯的 下一条线。为了适应网络带宽的变化，理想的视频编码方式应该具有可以在任何 地点截断的特性，视频的质量随着码率的增加而增加，理想的失真率曲线应该如 图中的虚线所示，把传统失真率曲线的拐点连接起来。但是加入适应性会影响压 缩的性能，所以实际上面向网络的失真率曲线比理想曲线要低一些。 2 2 3 精细的可扩展性编码 f g s 1 6 1 7 ( f i n eg r a n u l a rs c a l a b l ec o d i n g ) 与普通的s c a l a b l ec o d i n g 的最大的 不同就是增强层采用位平面( b i t p l a n e ) 编码技术，使得每一帧的增强层码流可以 在任何地点截断，解码器重建的视频质量与收到的解码的比特数成正比。f g s 己被m p e g 4 1 8 采纳。 f g s 的基本层编码与普通的非扩展性编码一样，而在增强层编码时，从原始 的d c t