（通信与信息系统专业论文）p2p网络下基于网络编码的直播系统的传输策略研究(1).pdfVIP

摘要 摘要 流媒体正在成为推动未来宽带应用的主动力。流媒体对带宽资源要求高且服 务时间长，在传统的c s 模式下服务器很容易成为系统瓶颈，如何在i n t e m e t 网络 上提供大规模的流媒体内容分发一直是过去十多年里流媒体研究领域的核心问 题。由媒体代理服务器发展起来的c d n 技术又面临高昂的成本问题，i p 组播技术 由于协议本身的复杂性、网络异构性、以及缺少支持组播的可靠的、具有扩展性 的拥塞控制机制等自身固有的限制而难以部署。 为了提高i n t e m e t 上的流媒体的q o s ，研究人员提出了基于p 2 p 网络的媒体分 发技术：p 2 p 分发技术，即把组播的功能从网络层移到了应用层。在p 2 p 模式中， 媒体内容使用客户们自己的带宽分发。p 2 p 系统中客户贡献资源给群体，反过来又 使用其他客户提供的资源。节点为了共享内容而合作，数据通信量不会固定在某 个特定的地方。典型的情况是，没有掌管内容的中心服务器，节点处于平等地位。 p 2 p 模式是解决服务器链路瓶颈问题的理想模式。 现在已经涌现出许多p 2 p 直播系统，如p p l i v e ，q q l i v e ，g r i d m e d i a 等，都 可以取得比传统c s 模式的系统更好的效果，然而，其媒体质量还没有完全达到 用户的需求，进一步提升系统的性能是必要的。为了这个目标有人提出了将网络 编码使用到p 2 p 直播系统中，本文将在这方面做深入研究。 本文主要内容如下： 1 介绍了p 2 p 直播系统的框架，对媒体编码技术和流媒体传输策略进行说明。 2 对现有的基于树和基于g o s s i p 协议的两类直播系统在整体结构、扩展性、 鲁棒性、健壮性和经济性等方面作了分析，主要包括p e e r c a s t 、s p l i t s t r e a m 、c o o p n e t 、 d o n e t 和c o d e d s t r e a m 等。 3 在现有研究基础上提出一个使用网络编码的基于g o s s i p 协议的p 2 p 直播系 统，在源服务器和节点上加入编解码功能，通过相应的数据调度算法实现流媒体 数据的分发。 4 对使用和不使用网络编码的系统进行建模仿真，通过仿真验证该系统与不 使用网络编码的系统相比具有的优势，同时研究数据调度算法和邻居优化算法对 摘要 基于网络编码的直播系统的影响，找出最适用的方案。 关键词：p 2 p ，视频直播系统，网络编码，建模仿真 l l a b s t r a c t a bs t r a c t m e d i as t r e a m i n gi sb e c o m i n gt h em a i n l yd r i v i n gf o r c ef o rf u t u r eb r o a d b a n d n e t w o r ka p p l i c a t i o n s i nat r a d i t i o n a lc l i e n t s e r v e rs t r e a m i n gs y s t e m ，t h es e r v e ro f t e n b e c o m e st h eb o t t l e n e c kd u et ot h eh i g hb a n d w i d t ha n dl o n gd u r a t i o no fm u l t i m e d i a s t r e a m s ，h o wt od i s t r i b u t es t r e a m i n gm e d i ac o n t e n tt oal a r g en u m b e ro fh o s t si n a s c a l a b l ew a yh a sb e c o m et h ek e yi s s u eo fm u l t i m e d i ar e s e a r c ha r e ai nt h el a s td e c a d e t h ec o n t e n td e l i v e r yn e t w o r ka p p r o a c hh a st h el i m i t i n gf a c t o ro fe x p e n s i v ec o s t i p m u l t i c a s t ，an e t w o r kl a y e rs e r v i c e t h a ta l l o w sas i n g l es o u r c et od i s t r i b u t ead a t as t r e a m t om a n ys i m u l t a n e o u sr e c e i v e r si na ne f f i c i e n tm a n n e r , h a sm e tw i t hl i m i t e ds u c c e s s d u et oan u m b e ro ff a c t o r si n c l u d i n gc o m p l e x i t yo fn e t w o r kp r o t o c o li t s e l f , i t si n a b i l i t y t oa d d r e s si n t e m e th e t e r o g e n e i t y , a n di t sl a c ko fs u p p o r tf o re f f i c i e n ta n ds c a l a b l e t r a n s p o r tp r o t o c o lsf o rr e l i a b i l i t y a n dc o n g e s t i o nc o n t r 0 1 i no r d e rt oi m p r o v et h eq o so fs t r e a m i n go v e rt h ei n t e m e t ，m e d i ao v e rp 2 p n e t w o r ki sp r o p o s e d i nt h ep 2 pm o d e l ，m u l t i m e d i ac o n t e n t sa r ed i s t r i b u t e db yu s i n g t h eb a n d w i d t ho ft h ec l i e n t s t h ec l i e n t si np 2 ps y s t e mc o n t r i b u t er e s o u r c e st ot h e c o m m u n i t ya n di nt u r nu s et h er e s o u r c e sp r o v i d e db y o t h e rc l i e n t s d a t at r a f f i ci sn o t l o c a l i z e do nas p e c i f i cs i t es i n c et h ep e e r sc o o p e r a t ef o rs h a r i n gc o n t e n t s i ti st y p i c a l t h a tt h e r ei sn oc e n t r a ls e r v e rt h a th o l d st h ec o n t e n t s ，a n dp e e r sw o r ko na l le q u a l f o o t i n g ap e e r - t o p e e r ( p 2 p ) m o d e l i si d e a la sam o d e lt os o l v et h e s e r v e rl i n k b o t t l e n e c kp r o b l e m b yn o w , t h e r eh a sb e e nm a n yp 2 pl i v em u l t i m e d i as t r e a m i n gs y s t e m sw i t h m u c hm o r eb e t t e rp e r f o r m a n c et h a ns y s t e mo ft r a d i t i o n a lc sm o d e l ，s u c ha sp p l i v e ， q q l i v e ，g r i d m e d i a , e r e h o w e v e r , t h eq u a l i t yo fm u l t i m e d i ad i s t r i b u t e dc a n ts a t i s f y t h eu s e r s ，a n di t sn e c e s s a r yt oi m p r o v et h ep e r f o r m a n c e i no r d e rt ot h i sg o a l ， r e s e a r c h e r sp u tf o r w a r dn e t w o r kc o d i n g c a l lb eu s e di np 2 pl i v em u l t i m e d i a s t r e a m i n g ，a n di nt h i sp a p e r w ed os o m er e s e a r c ha b o u tt h i s t h i sa r t i c l ei so r g a n i z e da s 1 g i v ea l lo v e r v i e wo fp 2 ps t r e a m i n gt e c h n i c a lf r a m e w o r k ，a n dn a r r a t et h e m e d i ac o d i n gt e c h n i q u ea n dt r a n s m i s s i o ns t r a t e g yo f l i v em u l t i m e d i as t r e a m i n g 1 1 1 垒呈羔望! 坚墨_ 一一 2 a n a l y z es e v e r a lc l a s s i c a ll i v em u l t i m e d i as t r e a m i n gm o d e l si n q o s ， s c a l a b i l i t ya n dr o b u s t n e s s ，i n c l u d i n gt r e e b a s e dm o d e l sa n dg o s s i p b a s e dm o d e l ss u c h a sp e e r c a s t ，s p l i t s t r e a m ，c o o p n e t ，d o n e t ，e t c 3 d e s i g na n di m p l e m e n tag o s s i p - b a s e dp 2 ps t r e a m i n gl i v es y s t e mw h i c hu s e s n e t w o r kc o d i n g w ei m p l e m e n tn e t w o r k c o d i n gi ns e r v e ra n dp e e r s ，p r o p o s e a p p r o p r i a t ed a t as c h e d u l i n gm e c h a n i s mt od i s t r i b u t em u l t i m e d i as t r e a m 4 c o n s t r u c ts i m u l a t i o nm o d e lf o rs y s t e mu s i n gn e t w o r kc o d i n ga n d s y s t e m w i t h o u tn e t w o r kc o d i n g p r o v i d et h es i m u l a t i o nr e s u l t sa n da n a l y z e sp e r f o r m a n c eo f t h et w os y s t e m s r e s e a r c ht h ei n f l u e n c eo fd a t as c h e d u l i n ga n dn c i g h b e ro p t i m i z i n g a l g o r i t h mo ns y s t e mu s i n gn e t w o r kc o d i n ga n df i n do u tt h es c h e m ea d a p tt ot h e s y s t e m k e y w o r d ：p 2 p , l i v em u l t i m e d i as t r e a m i n gs y s t e m s ，n e t w o r kc o d i n g ，m o d e l i n ga n d s i m u l a t i o n i v 第一章绪论 1 1 课题研究背景及依据 第一章绪论 随着i n t e m e t 的发展，用户对网络的期望和要求也越来越高，不再满足于单一 的静态媒体。将声音、文字、图像、视频等多媒体有机结合形成的媒体演示是i n t e r a c t 的发展重点，但在动态多媒体方面一直存在带宽限制和数据同步等问题，于是出 现了流媒体技术。 流媒体技术将数据流由音视频服务器向客户机实时传输，用户可以边下载边 观看，不用耗费漫长的等待时间，而仅需将起始几秒的数据先下载到本地的缓冲 区中就可以开始播放了，实现了媒体浏览的实时性。 视频直播服务作为流媒体技术的重要组成部分，具有广阔的应用前景。而视 频直播系统的性能具体体现在扩展性( s c a l a b i l i t y ) 和质量保证( q u a l i t yo fs e r v i c e ， q o s ) 上。 扩展性是一个多方面的概念集合，包括了视频直播系统自身的可扩展性和应 用规模的可扩展性。系统自身的可扩展性是指计算资源、存储资源、网络资源的 可扩充，以及对技术换代的可更新能力。应用规模的扩展性指系统支持用户和频 道数目上增长的能力，即系统容量的可扩充性。 q o s 是指在任何时候都能为用户提供可接受的服务质量。对于视频直播而言， 用户关心的是视频质量和流畅度。系统应该在面对不同网络环境、服务器压力和 不同终端的情况下都为用户提供可以接受的质量。现有的视频直播系统在不同时 段而对不同用户时质量都相差很多，而且因网络抖动而使得用户很难正常连续的 观看频道。视频直播的质量与用户的感观紧密相关，因而保证质量也同样的重要。 传统流媒体直播系统是采用c s ( 客户端朋艮务器) 的模式，它经历了单服务器体 系结构、并行和多服务器体系结构、多服务器加代理缓冲服务器体系结构三个发 展阶段。三个阶段的推进就是为了不断提高媒体服务系统可扩展性，以增加并发 访问的用户量。但由于传统c s 民务模式固有的缺点，以及流媒体的流量大、实时 性强的特点，使得服务器负载重、主干网络传输压力大，服务价格昂贵，不能满 足海量用户的需求。 p 2 p ( p e e r - t o p e e r ) t l 】【2 】的出现让流媒体直播系统得到了广泛的应用。 p 2 p 是一种利用广泛分布的自治资源来完成特定功能的技术，它能较好地适应 电子科技大学硕士论文 面向海量伸缩性的应用系统的需求。其资源包括计算、存储、网络带宽等，所完 成的特定功能可以是分布计算、数据内容共享、通信协作以及流媒体服务等。与 传统的c s 模式不同，在p 2 p 中分布的各个对等节点地位平等，直接交换共享计算、 存储、信息等资源和服务【3 】，无需依赖集中式服务器。每个节点在享受服务的同时， 还需为其它节点提供服务。这样，与传统媒体服务技术相比，采用对等模式提供 媒体服务，可以利用对等节点的闲散资源来增加系统服务能力，而如果能够找到 本地节点提供服务，就可以减轻主干网络的压力。因此，在较优的调度策略下， 请求得到满足的用户越多，系统所能支持的用户数越大，并不断正反馈迭代，从 而可以支持海量用户。由于对等节点可以备份媒体文件的副本，媒体服务器或服 务节点的故障不会造成服务中断，使健壮性较传统服务技术有很大提高。对于媒 体服务的运营商而言，无需配置高成本的服务器便可以获得高额回报；对于客户而 言，无需交纳比获取传统服务更高的价格就能享受服务。此外因为p 2 p 环境的异构 性，能够根据不同节点的不同计算能力、存储能力、接入带宽来制定不同的传输 策略。而且配置简单，无需配置路由器，只需在对等节点安装应用层软件即可。 因此p 2 p 模式是解决服务器瓶颈问题的理想模式。 在这种形势下，p 2 p 视频直播技术引起了包括普通网络用户和科研领域人员在 内的越来越多人的关注，得到了很大发展，但目前的p 2 p 直播系统还有一些缺点， 如流媒体的质量普遍比较低，节点的突然退出可能导致其它节点在播放过程中需 要缓冲，缓冲时间较长，延时较大而且延时不稳定，同一网络区域内的两个同时 加入的节点延时可能差别较大等等。要想在i n t c r n e t 网络上提供大规模的优质的流 媒体分发服务，还需要在现有基础上继续改进。网络编码的引入就是一个可行的 方法，恰当的使用网络编码就可以使p 2 p 直播系统的性能得到提升。 1 2 流媒体分发技术的发展 1 2 1 传统的c s 架构 最早的流媒体分发系统是c s ( 客户端朋艮务器) 模式，系统中服务器是中心； 流媒体数据都存放在服务器上，客户端通过网络连到服务器上进行下载，服务器 为每个客户单独提供所需的媒体流，即服务器要给每个客户都发送相同的数据， 最极端的情况就是很多处于同一个子网内，多份数据的路由路径相同，这造成服 务器和网络带宽的极大浪费，并可能形成拥塞。 2 第章绪论 服务器性能决定了网络的性能，每台服务器所能提供的信息数量受到自身存 储空间的限制，而任意时刻它所能支持的客户端访问数量则既受到自身处理能力 的限制也受到服务器所在网络吞吐能力的限制。这就极大的限制了系统的可扩展 性，因此这种模式只能支持一定数量的用户数，不能满足大规模流媒体分发的需 求。 由服务器向每个用户供应全部媒体数据，服务器端流量带宽瓶颈就限制了系 统的性能。如何解决服务器端流量带宽瓶颈也是过去十多年里流媒体研究领域的 核心问题，最先被提出的解决方法是服务器集群方式和i p 组播方式。 1 2 2 视频直播代理服务器 视频直播系统的代理( p r o x y ) 【4 】，就是指用代理服务器代替服务器接受用户 的访问请求。通过在用户比较集中的地方，部署代理服务器，集中的用户直接到 一个就近的代理服务器上获取数据，代理服务器再从源服务器获取数据后转发给 用户，从而减轻源服务器的负载，能够在一定程度上增加视频直播系统的容量。 但是，它需要专门的服务器安装在用户集中的网络范围内。此外，代理服务 器基本都使用手动的配置机制，使得用户必须知道代理服务器的地址。因此，基 于视频直播系统的代理需要较高的硬件成本，而且难以维护和进行负载平衡。然 而代理服务器的主要问题在于如何保证主服务器的内容与代理缓存中的内容的一 致性，即当服务器的内容更新后，如何保证代理服务器中缓存的数据被即时更新， 对这些问题的研究就产生了更智能的c d n 技术。 1 2 3c d n 技术 c d n 5 】的英文全称是c o n t e n td e l i v e r yn e t w o r k ，即互联网内容发布网络，它 是一个建立并覆盖在i n t c m c t 之上、由分布在不同区域的节点服务器群组成的虚 拟网络。c d n 可以实现把服务器的内容高效、稳定地发布到离客户端最近的地方。 其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和 环节，使内容传输的更快、更稳。通过在网络各处放置节点服务器所构成的在现 有互联网基础之上的一层智能虚拟网络，c d n 系统能够实时地根据网络流量和各 节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重 新导向离用户最近的服务节点上。 基于c d n 的流媒体系统的基本思想是将内容提供商提供的媒体文件部分或 电子科技大学硕士论文 全部缓存到位于因特网“边缘 的距离用户较近的缓存代理服务器上，当用户访 问流媒体内容时，原始服务器首先通过请求路由系统确定最接近用户的最佳的边 缘节点( 代理服务器) ，并将该用户的请求重定向到该节点。当用户的请求到达指 定节点时，如果缓存空间已经存储了所请求的内容，则将内容提供给用户，如果 没有缓存内容，则从原始服务器或其它代理服务器那里获取并转发给客户，同时 将内容缓存下来。比较典型的是a k a m a i t 6 】的c d n ，它在全球共分布了八千多个设 于用户临近区域的周边服务器，它们分担服务器的流媒体数据带宽，并且保证传输 速率和服务质量。 通过c d n 系统，可以提高访问性能，并减轻骨干网络流量，同时也增加了 系统容量。用户得到响应的时间被大大缩短，连接质量也大大提高，从而大大提 高流媒体分发的总体性能。然而，c d n 高昂的部署成本始终是一个问题，很多小 型的服务提供商以及教育和科研机构都无法支付如此昂贵的成本。 1 2 4i p 层组播 i p 层组播【7 】【8 】【9 】解决一点对多点的通信，是节省网络带宽的有效方法之一。 为了向所有接收主机传输组播数据，i p 层组播使用组播分发树来描述口组播包 在网络中传输的路径，通过路由器和交换机完成数据的分发和复制。i p 层组播路 由协议分为两大类，密集模式协议和稀疏模式协议。密集模式协议假设组播组成 员密集地分布在网络中，也就是说，网络大多数的子网都至少包含一个组播组成 员，而且网络带宽足够大，这种被称作“密集模式 ( d e n s e m o d e ) 的组播路由 协议依赖于广播技术将数据“推”向网络中所有的路由器。密集模式路由协议包 括距离向量组播路由协议( d v m r p ：d i s t a n c ev e c t o rm u l t i c a s tr o u t i n gp r o t o c 0 1 ) 、 组播开放最短路径优先协议( m o s p f ：m u l t i c a s to p e ns h o r t e s tp a t hf i r s t ) 和密集 模式独立组播协议( p i m d m ：p r o t o c 0 1 i n d e p e n d e n tm u l t i c a s t - d e n s em o d e ) 等。 稀疏模式协议假设组播组成员在网络中是稀疏分散的，并且网络不能提供足够的 传输带宽，比如i n t e r n e t 上通过i s d n 线路连接分散在许多不同地区的大量用 户。在这种情况下，广播就会浪费许多不必要的网络带宽从而可能导致严重的网 络性能问题。于是稀疏模式组播路由协议必须依赖于具有路由选择能力的技术来 建立和维持组播树。稀疏模式主要有基于核心树的组播协议( c b t ：c o r eb a s e d t r e e ) 和稀疏模式独立组播协议( p i m - s m ：p r o t o c o l - i n d e p e n d e n t m u l t i c a s t s p a r s e m o d e ) 。 4 第一章绪论 i p 组播方式在网络上只有唯一的数据包在进行传输，每个客户端都能接收到这 个数据包，这极大的减轻服务器的带宽，并且减轻了整个网络资源。但是， i p 组播 存在本质上的缺点，如：路由器需要保存每个组的状态，这使网络层变得复杂，违 背了网络层的设计初衷；在网络层的组播情况下，对于可靠传输、拥塞控制、流 量控制、安全控制就比起单播情况复杂；i p 组播需要改变下层网络结构，并且口 组播要配置在域间的路由协议的扩展，因此配置速度减慢等等。这些因素使其只 能在局域网中应用，不能用来进行大规模的视频直播。 1 3p 2 p 与视频直播 1 3 1p 2 p 的概念 从广义上来说，p 2 p 是一种思想，具有改变整个互联网未来的潜能，p 2 p 技 术并未激发出任何重大的创新，而更多的是改变了人们对互联网的理解与认识。 正是由于这个原因，p 2 p 不仅是一个技术概念，也是一个社会和经济现象。从狭 义来讲，p 2 p 即对等网络，是计算机网络最基本的通信方式，是互联网诞生的基 础。本文下面所提到的p 2 p 都是指对等网络。 目前，业界对p 2 p 的定义还没有一个标准的说法，i n t e l 将p 2 p 计算定义为“通 过系统问的直接交换所达成的计算机资源与信息的共享”，这些资源与服务包括信 息交换、处理器时钟、缓存和磁盘空间等；i b m 则给p 2 p 赋予更广阔的定义，把 它看成是由若干互联协作的计算机构成的系统并具备如下若干特性之一：系统依 存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员而不是 从服务器的参与中受益；系统中成员同时扮演服务器与客户端的角色；系统应用 的用户能够意识到彼此的存在构成一个虚拟或实际的群体。 在p 2 p 拓扑网络中，每一个节点( v e e r ) 都可同时扮演客户端、服务器和代理三 个角色，协同完成任务；所以每一个节点所拥有的权利和义务都可认为是对等( 或 者说相等) 的。对等点之间通过直接互连实现信息资源、处理器资源、存储资源甚 至高速缓存资源等的全面共享，无需依赖集中式服务器支持。 1 3 2p 2 p 的发展 从最初的点对点，到现在的多点对多点，p 2 p 技术已有了相当广阔的发展。 p 2 p 其实并非一种全新的技术，在早期的互联网应用中，有很多都体现了p 2 p 5 电子科技大学硕士论文 的思想，例如u s e n e t ，f i d o n e t ，t e l n e t 等。u s e n e t 产生于1 9 7 9 年，f i d o n e t 创建1 9 8 4 年，它们都是一个分散、分布的信息交换系统。t e l n e t 是最早的点对点通信协议 和工具之一。在最初的p 2 p 应用出现时，许多使用该技术的人们甚至不会使用计 算机。然而正是这些孕育着思想的网络技术为p 2 p 的出现奠定了基础。 虽然“客户j j l , 务器”模型是目前互联网上占统治地位的计算模型，但从某种 意义上说，p 2 p 计算可以说是一种向传统互联网技术的回归，体现了因特网的本 质，因为因特网最初的设计目标却是让网络上的计算机互相之间可以直接通信而 不需要中介，互联网的雏形- - a p a r n e t 就是美国军方为防止“中枢神经系统 遭到毁灭性打击而设计出的具有分布式特性的网络。 p 2 p 正式步入发展的历史可以追溯到1 9 9 7 年7 月，h o f l i n ec o m m u n i c a t i o n s 公司成立，并且研制了一种可以使用户从别人电脑中直接下载东西的软件。1 9 9 9 年5 月，n a p s t e r 公司宣告成立。n a p s t e r 提供的m p 3 下载服务【lo 】就是最早的p 2 p 实践。它并不提供m p 3 音乐资源，只是提供动态刷新的m p 3 目录服务，音乐资 源是散布在全球互联网上的用户手中，有一个中心服务器来负责记录共享信息以 及回答对这些信息的查询，每一个对等实体对它将要共享的信息以及进行的通信 负责，根据需要下载它所需要的其它对等实体上的信息，这是第一代p 2 p 软件的 工作模式：集中式对等网络模式( 即中心目录模式，c e n t r a l i z e dd i r e c t o r ym o d e l ) 。 n a p s t e r 令无数散布在互联网上的音乐爱好者获得了空前的解放。在最高峰时， n a p s t e r 网络有近8 0 0 0 万的注册用户，这是一个让其他所有网络应用都望尘莫及 的数字。这大概可以作为p 2 p 软件成功进入人们生活的一个标志。也正是从这天 起，p 2 p 开始了它曲折而又极富生命力的发展。 随着网络规模的扩大，对中央目录服务器进行维护和更新的费用将急剧增加， 所需成本过高；中央服务器的瘫痪容易导致整个网络的崩溃，可靠性和安全性较 低；缺乏有效的强制共享机制，资源可用性差；中央服务器的存在引起共享资源 在版权问题上的纠纷，这直接导致n a p s t e r ( 玻产。 g n u t e l l a 0 1 和e d o n k e y 为代表的 后来者们吸取了n a p s t e r 的失败教训，将n a p s t e r 的理念更推进一步。当用户p c 安装 这些软件后，就会立即变成一台能够提供完整目录和文件服务的服务器，并会自 动搜寻其它同类服务器，从而联成一台由无数p c 组成的网络超级服务器，与n a p s t e r 网络不同，它不存在中枢目录服务器，或者说把所有机器都变成了服务器，这就 是第二代p 2 p 一采用泛滥查询机铝t ( f l o o d e dr e q u e s t s a l g o r i t h m ) 的分布式p 2 p 网络。 在分布式对等网中，p e e r 节点通过与相邻p e e r 节点之间的连接遍历整个网络体系。 每个对等机在功能上都是相似的，并没有专门的服务器，而对等机必须依靠它们 6 第一章绪论 所在的分布网络来查找文件和定位其它对等机。分布式p 2 p 网络中搜索请求要经过 整个网络或者至少是一个很大的范围才能得到结果，正因为如此，这种模式占用 很多带宽，而且需要花费很长时间才能有返回结果；随着网络规模的扩大，通过 扩散方式定位对等点及查询信息的方法将造成网络流量急剧增加，从而导致网络 拥塞，最终使得g n u t e l l a 网络被分片，使得查询访问只能在网络很小的一部分进行， 因此，网络的可扩展性不好，对于大型网络也不适合；纯分布式的p 2 p 模式很难被 企业所利用，因为它缺少对网络上的用户节点数以及他们提供的资源的一个总体 把握；安全性也不高，易遭受恶意攻击，如攻击者发送垃圾查询信息，造成网络 拥塞等。 集中式p 2 p 有利于网络资源的快速检索，以及只要服务器能力足够强大就可 以无限扩展，分布式p 2 p 形式解决了抗攻击问题。采用文件路由模式( d o c u m e n t r o u t i n gm o d e l ) 混合式p 2 p 结合了集中式和分布式p 2 p 形式的优点，在设计思想 和处理能力上都得到近一步优化。它在分布式模式基础上，将用户节点按能力分 为3 类：用户节点，普通的节点就是用户节点，它不具有任何特殊的功能；搜索 节点，处理搜索请求，从他们的孩子节点中搜索文件列表：索引节点，用于保存 可以利用的搜索节点信息，并搜集状态信息，维护网络结构信息。b t 1 2 】就是第三 代混合式p 2 p 网络的典型代表，开创了新一代p 2 p 的潮流，它批判地继承了前辈 产品的特点，将中心目录服务器的稳定性同优化的分布式文件管理结合起来，从 而在效率上远远超出了e d o n k e y 这类产品。它要求提供一个或多个统一的w e b 发布服务器，供网友发布和搜寻资料。在客户端，它通过一个i e 插件提供下载、 上传管理。b t 把一份大文件切割成碎片，给每一个碎片标上特殊标识，用户无 需到一个固定地点( 例如传统网络的中心服务器) 上下载完整的文件，系统会帮助 你自动寻找、随机下载具有相同标识的文件碎片，将其加以整合成为完整的文件。 p 2 p 技术在文件共享和在流媒体应用方面都已经十分广泛。 1 3 3p 2 p 为何应用于视频直播 由于流媒体的特殊性，视频直播系统有自己的特点： 1 视频直播系统使用巧边下载边播放 的模式，对q o s 、鲁棒性的要求更 加严格，用户不可能长时间的等待数据缓冲，不能经常因为某个节点离开而无法 正常播放。 2 直播系统是自增长的，随着请求节点增加，系统的总容量将扩大。所有节 电子科技大学硕士论文 点都是动态加入的，为了保持节点视频播放的稳定性，节点不可能频繁的更换其 父亲节点，从而引起播放视频质量的波动，因此不可能频繁更改逻辑拓扑。 3 节点在它们贡献给系统的输出带宽是异构的。造成这种异构性的原因可能 是连接到节点的接入网络不同，或者节点贡献的意愿不同。 4 供应节点和请求节点的关系是最典型的多对一关系，一个转发节点的输出 带宽可能小于媒体数据的播放速度，所以在一个实时流会话中包含多个转发服务 节点是必要的。 p 2 p 系统一般都具备如下特征：大规模、自组织、高强壮性、高可扩展性以 及高度动态性和支持异构性的环境。p 2 p 系统由网络中众多的参与节点组成，其 数量很大。每个参与节点具有一定的服务能力，单个节点的资源和能力可能非常 弱小，p 2 p 系统的关键在于让单个能力弱小但总数巨大的节点群体通过精巧的协 作方式以提供强大的聚合服务能力。由于节点数量众多，整个系统的资源总量( 如 计算能力、存储空间、聚合带宽等) 是相当可观的，而且能随着节点不断加入而 整体系统资源增加，其服务能力增强。p 2 p 系统通过合理的结构和协作算法，能 够均衡地利用各个节点的资源，保证每个节点的负载都不超过其有限的服务能力， 同时整个系统又能获得巨大的服务能力。 p 2 p 视频直播传输系统的基本思想就是将观看同一频道的所有用户构成一 个覆盖网络( o v e r l a yn e t w o r k ) ，节点之间相互协作进行数据交换达到数据传输的 目的。p 2 p 系统的鲁棒性、高扩展性和异构环境的适应性正好可以解决视频直播 传输系统面对的问题。 1 3 4 网络编码的引入 目前已有的p 2 p 视频直播系统为了满足提高媒体质量与服务质量的要求还需 要在现有基础上继续改进，而改进工作可以从两方面下手：音视频便解码技术的 改进和视频传输系统的改进。由于音视频便解码技术已经发展多年，比较成熟， 要想再提高比较困难，视频传输系统的改进是可能性更高的方法，目前的研究重 点也集中在这个方向上。 已有的关于网络编码的理论研究表明，网络编码对于媒体分发有很大好处， 网络编码相较于传统的方式能够使得分布式传输达到更好的鲁棒性，并且能提高 系统的吞吐量；这些优点都可能会视频直播系统的性能带来大的提升，因此研究 人员将网络编码引入到视频直播中来。但是已有的在视频直播中应用网络编码的 第一章绪论 研究并不多，引入网络编码对于流媒体直播的影响还有待迸一步确认。 1 4 本文主要研究内容 p 2 p 视频直播传输系统不仅需要发挥p 2 p 技术高扩展性和均衡利用节点能 力的优势，还需要满足媒体数据传输实时性的要求。与传统的p 2 p 文件共享系 统相比，p 2 p 视频直播传输系统需要提供更加有效的逻辑网络拓扑和均衡的数据 交换算法。而使用网络编码需要数据分发体系与数据调度相关的算法有一定的改 变，本文将在这方面进行深入的研究，研究内容包括以下几点： 1 分析现有的p 2 p 视频直播系统，在扩展性、鲁棒性、健壮性和经济性等方 面综合分析其性能和实用性。对基于网络编码的p 2 p 视频直播系统进行分析，为 进一步的研究打下基础。 2 在前人的基础上提出了一个基于随机网络编码的p 2 p 流媒体直播系统，该 系统采用了本文提出的数据调度算法来实现，从而提升直播系统的性能。 3 对采用网络编码与不采用网络编码的视频直播系统进行仿真比较，验证引 入网络编码后对系统性能的提升。我们利用o p n e t 仿真工具构建一个统一的网 络环境分别对基于网络编码的直播模型和非网络编码的直播模型进行仿真，通过 仿真结果对其性能进行比较分析。从而验证网络编码对视频直播系统的性能是否 有好处，以及网络编码是否比非网络编码方法具有优势。 4 对数据调度算法和邻居优化策略进行进一步的研究，提出几种备选方案并 进行仿真分析，通过仿真结果找出最适用于基于网络编码的视频直播系统的数据 调度算法和邻居优化策略。 1 5 论文章节安排 本文分为七章t 第一章( 即本章) 为绪论部分 第二章介绍p 2 p 视频直播系统所涉及到的主要技术框架，并重点分析现有视频 直播系统的数据分发体系和数据调度机制。 第三章介绍网络编码相关理论知识，分析网络编码为直播系统带来的好处， 并介绍现有的基于网络编码的直播系统。 第四章在现有研究的基础上提出了一个基于随机网络编码的p 2 p 流媒体直播 电子科技大学硕士论文 系统，该系统采用了本文提出的最优的数据调度算法及邻居优化策略来实现，可 以提升直播系统的性能。 第五章提出视频直播系统的仿真方案，详述o p n e t 仿真模型，通过仿真结果 比较了使用网络编码和不使用网络编码这两种直播系统的性能差异，比较不同数 据调度算法和邻居优化算法对基于网络编码的直播系统的影响，找出最适用的方 案。 第六章全文总结。 1 0 第二章现有p 2 p 视频商播系统分析 第二章现有p 2 p 视频直播系统分析 2 1 直播系统的组成 基于互联网的视频直播系统包含三个核心部分【13 1 ，直播源、数据传输和回放。 直播源负责音视频数据的采集和编码工作，对原始的音视频信号进行压缩编 码并转化为适合网络传输的音视频流。数据传输的主要作用就是将源产生的压缩 后音视频流实时的传送到每个用户节点。数据传输是视频直播系统的重中之重， 它决定着系统的用户规模和用户接收的视频质量。回放是指用户节点在接收到数 据之后，将压缩的音视频数据进行解压， 的部分将介绍现有的音视频编解码技术， 2 2 音视频编解码技术 并通过音视频设备进行重现。本章以下 并对传输策略进行重点分析。 直播源需要对即时音视频数据进行编码，客户端需要进行解码回放，编解码 技术对视频直播系统十分重要。原始的视频数据存在着很大的冗余，为了更有效 的存贮和传输，需要对原始数据进行压缩。压缩技术可以分为两种：面向存储的 非扩展性( n o n s c a l a b l e ) 视频编码流式技术和面向网络传输的可扩展性( s c a l a b l e ) 视 频编码流式技术。 目前视频直播系统采用的音视频编解码技术主要有动态图象专家组m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 系列和h 2 6 x 系列标准。这些标准大多采用 n o n s c a l a b l e 编码，这种编码方式只能产生单一质量的压缩码流；s c a l a b l e 编码【1 4 】【1 5 】 将把原始的视频流压缩成多个视频流，原始流被压缩成了一个基本流和多个增强 流，基本流可以被单独解码，提供最基本的视频质量，增强流解码后叠加在基本 流上，可以提供更好的视频质量。诸如m p e g - 4 、h 2 6 3 + 等现行国际视频压缩编码 标准均采纳了分层可扩展性编码思想。 精细的可扩展性编码f g s 1 6 1 1 1 刀( f i n eg r a n u l a rs c a l a b l ec o d i n g ) 是比较优良的 n o n s c a l a b l e 编码方式。己被m p e g 4 1 1 8 】采纳的f g s 在增强层采用位平面佃i t p l a n e ) 编码技术，使得每一帧的增强层码流可以在任何地点截断，解码器重建的视频质 量与收到的解码的比特数成正比。使用位平面编码的好处就是使得每个系数的重 要部分优先编码，这样在码流被截断时就保证了解码器仍可以获得视频的重要信 电子科技大学硕士论文 息，从而提供了精细的可扩展性。 多重描述编码1 1 9 2 0 ( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 是在n o n s c a l a b l e 编码的 基础上发展出来的分层编码方式，它的基本思想就是把一个码流编码成m 个流，称 为描述，并且不同描述之间应该存在着相关性，其中任何一个描述都可以被用户 接收并且可以在一定的失真的情况下单独解码。不同的描述也可以叠加成失真更 低的流，所以用户接收到的描述越多，重构的视频质量就越好。m d c 编码与分层 可扩展性编码的最大区别在于m d c 的每个描述都可以单独解码，而分层编码中只 有基本层可以被独立地解码，增强层需要依赖于基本层。 在基于组播树的p 2 p 分发系统中，由于用户的行为无法预期，任何节点都有可 能在任何时候退出系统，一旦父节点离开系统，则它的子节点就需要被重新插入 到组播树中，系统对树的恢复速度将严重影响对受影响的子节点的服务。在一个 不稳定的环境下，用户频繁的退出会导致系统的不稳定。解决这个问题的一个比 较简单而有效的模型是同时构造两棵或多棵组播树，通过在系统中部署多重描述 编码，每个组播树组播一个描述。因为只要收到一个描述就可以单独解码，一个 节点在所有组播树中的父节点同时离开的可能性非常小，所以可以有效地解决系 统不稳定的问题。 2 3p 2 p 流媒体传输策略 c s 模式下，用户只单方面接受服务，对网络资源是极大的浪费。受p 2 p 思 想的启发，利用系统中节点的能力，采用存储转发的机制，每个节点都提供一个 缓存来存储一段媒体数据，并提供给其它节点，这就是基于p 2 p 的传输策略。它 包含了两方面的内容： 1 覆盖网的组织管理，包括在源服务器端对目标节目采用何种类型的编码、 在数据分发过程中把参与系统的p e e r 节点组织成何种类型的网络逻辑拓扑、新节 点如何加入系统、如何处理节点的离开或失效、系统是否具有良好的可扩展性、 是否适应大规模的应用需求等。 2 数据调度算法，主要是指把节目数据如何从发送节点传输调度到接收节点， 特别是在多对单的数据传输模