（计算机软件与理论专业论文）p2p实时流媒体分发技术的研究与实现.pdf

、一 p 2 p 实时流媒体分发技术的研究与实现 摘要 近些年来，在i n t e r a c t 上流媒体应用迅猛发展的同时，也不断地给i p 网络内容发布技术 带来新的考验。传统基于c s 架构的服务模式容易引起服务器的性能瓶颈，难于胜任大规模 的并发应用；而c d n 网络以及i p 组播技术皆囡其昂贵的硬件成本以及技术上的实现难度难 以普及应用。 为此人们提出了基于p 2 p 的媒体分发技术，即把组播的功能从网络层移到了应用层， 将数据分发的中心从流媒体服务器分散到用户网络上，使得基于p 2 p 的流媒体服务具有了 更好的扩展性、鲁棒性、实用性。目前，适用于流媒体数据传输( p 2 p s t r e a m i n g ) 的p 2 p 数据分发坍议类型分为基于树状拓扑的协议以及基于g o s s i p 的坍议两种，对此国内外学者 都提出了相关的研究理论与模型。 本文首先介绍了p 2 p s t r e a m i n g 的技术框架以及现今一些典型的理论模型，并分析了 现有的解决方案中存在的问题与不足。然后，提出了基于p 2 p 的实时流媒体分发模型 c o o l i c e 。该模型融合了c s 架构与p 2 p 技术的优点，在网络带宽利用延时以及可靠性三 者之间做出了更好的权衡。c o o l i c e 通过无结构化的p 2 p 方式分发数据，并结合集中化的c s 模式来组织管理节点，构成了一个简单而又实用的g o s s i p 方案。其主要特性包括：1 ) 借助 c s 架构的中心化优势，节点通过集中式服务器管理，无需构造和维护复杂的应用层组播树， 也不需要部署复杂的p 2 p 组播通讯协议。2 ) 采用混合式的g o s s i p 算法，简单、高效地实现 了节点之间的信息交互，使得覆盖网维持一个高吞吐的，负载平衡的，并且具有高容错能力 的无结构化拓扑结构。3 ) 媒体源与节点维护功能的分离，使系统的数据分发体系结构更清晰。 4 ) 基于滑动窗口控制的调度算法减小了网络中的数据冗余，降低了包延迟，同时又保证了节 点的负载平衡，提高了系统的q o s 质量。 关键字：p 2 p s t r e a m i n g ，q o s ，内容分发，g o s s i p ，应用层组播 p 2 p 实时流媒体分发技术的研究与实现 a b s t r a c t w h f i em u l t i m e d i as t r e a m i n go v e rt h ei n t e r n e ti sb o o m i n gn o w a d a y s ，i tc o n t i n u a l l yg i v e s n e wc h a l l e n g e st ot h ed i s t r i b u t i o no fs t r e a m i n gc o n t e n t s t h et r a d i t i o n a li n t e m e tm o d e lb a s e d o nt h ec l i e n t - s e r v e rf r a m e w o r kc a n ts u p p o r to nt h e1 a r g es c a l eo ft h ec o n c u r r e n td i s t r i b u t i o n b e c a u s eo ft h eb o t t l e n e c ka tt h es e r v e r t h ec d nn e t w o r ka n di pm u l t i c a s ta l s oc a n t b eu n i v e r s a l i z a b l ed u et ot h ee x p e n s i v ef a r ea n dt e c h n o l o g i c a lp r o b l e m ， i no r d e rt oi m p r o v et h eq o so fs t r e a m i n go v e rt h ei n t e m e t , m e d i as e r v i c eo v e r p 2 pn e t w o r ki sp r o p o s e d i ti m p l e m e n tt h em u t l i c a s to nt h ea p p l i c a t i o nl e v e la n d c a r r i e st h ed i s s e m i n a t i o nf r o ms t r e a m i n gs e r v e rt ot 1 1 eu s e r s n e t w o r k , w h i c hm a k e st 1 1 e s t r e a m i n gm e d i as e r v i c em o r ee x p a n d a b l e ，m o r er o b u s ta n dm o r ep r a c t i c a l r e c e n t l y , t h ep r o c t o lo fd a t ad i s s e m i n a t i o nw h i c hi sa p p l i c a b l et ot h es t r e a m i n gm e d i as e r v i c e m a i n l yr e f e r st ot w ot y p e s ：t r e e b a s e dp r o t o c o la n dg o s s i p b a s e dp r o t o c 0 1 r e s e r c h e r sh a sp r o p o s e dm a n yr e l a t e dw o r ka n dt h e o r e t i c a lm o d e l + t h i sp a p e rp r e s e n t san e wp 2 p s t r e a m i n gm o d e l ：c o o l i c e i tt r i e st oa c h i e v ea b e a e rt r a d e - o f fa m o n gb a n d w i t he f f i c i e n c y d e l a ya n dr e l i a b i l i t yb yl e v e r a g i n gt h e a d v a n t a g e si nb o t hp 2 pa n dc s c o o l i c ed i s t r i b u t et h em e d i ad a t ao nt h eu n s t r u c t u r e dp 2 p n e t w o r k ，a n dm a n a g ea l ln o d e st h r o u 吐t 1 1 ec o n c e n t r a t e ds e r v e r , w h i c hc o m p o s e sa s i m p l ea n dp r a t i c a ls o l u t i o nf o rg o s s i p c o o l i c eh a ss e v e r a ls a l i e n tf e a t u r e sa sf o l l o w s ： 1 ) i tm a k eag o o ds o l u t i o nf o rt h ep e e rm a n a g e m e n tb ym e a n so ft h ea d v a n t a g eo f c s ；2 ) i tm a k e st h ei n f o r m a t i o nt r a n s i t i o nb e t w e e np e e r se 伍c i e n ta n ds i m p l e t h ep 2 p n e t w o r ko fc o o l i c ek e e p si nau n s t r u c t u r e dt o p o l o g yw i t l lh i g ht h r o u g h p u t ，l o a d 、 b a l a n t ea n dr o b u s t n e s s ；3 ) t h ea r c h i t e c t u r eo f t h ed a t ad i s s e m i n a t i o ns y s t e mi sc l e a ra n d p r e c i s e ，a st h em e d i as o u r c ei ss e p a r a t e df r o mt h es e r v e rt ob eap a r t i c u l a rp e e r p a n i c i p a t i n gi nt h ed i s s e m i n a t i o n ；4 ) t h ep a c k e ts c h e d u l i n ga l g o r i t h mb a s e do nt h e s l i d d i n gw i n d o wr e d u c e st h er e d u n d a n c yo ft h en e t w o r ka n db r i n gd o w nt h ed e l a yo f p a c k e t s s ot h a ti m p r o v et h eq o sq u a l i t yo f t h ew h o l es y s t e m w r i t t e nb y ：l e iy u nb i n ( c o m p u t e rs o f t w a r ea n dt h e o r y ) d i r e c t e db y ：p r o f t a oj u n c a i k e y w o r d s ：p 2 p s t r e a m i n g ，q o s ，d a t ad i s s e m i n a t i o n ，d i s t r i b u t e dg o s s i pa l g o r i t h m ， a p p l i c a t i o n a lm u l t i c a s t i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得南昌大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：堙幺圾时 签字日期：茹。年6 月肜日 学位论文版权使用授权书 本学位论文作者完全了解南昌史学有关保留、使用学位论文的规定， 有权保留著向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权南昌大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：嗜布叶 签字日期：彬年莎月7 岁日 导师签名阎磁才 签字日期：年月 日 p 2 p 买时流媒体分发技术明讲咒与买批 第一章绪论 1 1 课题研究的目的和意义 近年来，随着计算机技术、压缩技术以及网络技术的发展，网络中的流媒体业务也得到 了飞速的发展和应用。其广泛应用在诸如远程教学、宽带网视频点播、网络直播、视频会议 等领域。尤其在i n t e m e t 直播中流媒体技术充当着重要的角色。首先流媒体实现了在低带宽 的环境下提供高质量的影音( 图像和声音) ；其次，像r e a l 公司的s u r e s t r e a m 这样的智能流 技术可以保证不同连接速率下的用户能得到不同质量的影音( 图像和声音) 效果。此外，流 媒体的m u l t i c a s t ( 多址广播) 技术可以大大减少服务器端的负荷，同时最大限度地节省了带 宽。总之，流媒体技术给电视台大举进军互联网提供了条件，使得办一个真正意义上的网络 电视台已成为可能。但是，基于传统c s 架构的流媒体服务，由于中心资源及传输方式的局 限，目前尚没有内容提供商能承担起对大量用户同时传输影视流的费用和能力，且其服务质 量还远没有达到可以与传统的w w w 、f t p 等应用相比拟。在可扩展性( s c a l a b i l i t y ) 和容 错性( f a u l t - t o l e r a n c e ) 等方面还远远不能满足应用的需求。 对此业界相继提出了多种解决方案，比较重要的有内容分发网络( c o n t e n td e l i v e r y n e t w o r kc d n ) 和i p 广播( i pm u l t i c a s t ) 等。但是，这些解决方案的共同特点是需要有专 门的硬件支持，比如c d n 需要在全球各地部署多个c d n 服务器，通过服务器之间协同工 作，分发多媒体数据；而i p 广播更是需要修改目前i n t e m e t 的路由机制，广泛部署复杂的 支持广播功能的路由器。这样不仅耗资巨大，而且并不能从根本上解决我们上面提出的问题。 而最近几年新兴的对等网络( p 2 p ) 技术，随着相关理论不断的完善和发展，及其在各 领域的应用中所表现出的巨大潜力引起了各界人士的广泛关注。p 2 p 的核心思想就是通过 参与系统的节点之间的直接交互来实现信息资源和服务的共享。采用p 2 p 技术具有两个显 著的特点：其一，它削弱了以往系统对中心服务器的过分依赖，系统中每一参与结点兼有服 务器和客户端两种身份，结点间的交互完全由两点直接协商进行，不依赖于c s 结构中的服 务器中转，结点间具有相互提供服务的功能。这样一来，就使得基于p 2 p 结构的系统服务 能力是随需求的增长而自然增长，具有“与生俱来”的可扩展性，而不受传统c s 结构中服 务器过载和资源瓶颈等问题的限制。其二，p 2 p 系统采用结点自组织的方式工作，强调无 中心的结构，并且很好地适应了结点随机加入和退出的动态性，因而在容错性、可扩展性和 抵抗攻击方面都具有不可替代的优势。 本文主要研究如何在对等网( p e e r - t o p e e rn e t w o r k ) 上架构流媒体服务系统。基于p 2 p 技术来构建流媒体服务系统，无论从技术可行性、硬件成本投入，或是对产品质量的期望值 等角度来说，都是切实可行的。因为从p 2 p 技术所具有的特点来看，建立一个p 2 p 数据分 发网络，将其应用于流媒体数据的传输，完全可以解决传统方式上流媒体服务在可扩展性 ( s c a l a b i l i t y ) 和容错性等方面存在的缺陷。这使得在当前网络宽带、硬件部署等条件仍然 受限的情况下实现一个真正意义上的基于流媒体服务的网络电视台成为可能。 1 2 流媒体技术及应用概况介绍 总地来说，流媒体【3 】就是指在i n t e m e t i n t r a n e t 上使用流式传输技术的连续时基媒体。与 p 2 p 实时流媒体分发技术的研究与实现 常规文件不同，媒体文件可以在向媒体播放器传输的过程中就开始播放。流式传输方式将整 个a n 及3 d 等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计 算机连续、实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整 个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解 压设备( 硬件或软件) 对压缩的a n 、3 d 等多媒体文件解压后进行播放和观看。此时多媒体文 件的剩余部分将在后台的服务器内继续下载。其几秒或几十秒的启动延时是为了在开始播放 前先采集- - 4 , 部分所谓缓冲的预备数据，从而能够保证在阻塞造成网络速度下降的情况下播 放不会发生中断。这种媒体播放方式无论文件长3 0 秒还是3 0 分钟，用户只需要在观看前 等上几秒或几十秒生成这个缓冲数据，相比用户下载媒体文件的漫长的等待时闻甚至可以忽 略不计。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启 动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。 由于目前的网络带宽还不能完全满足巨大的a ，v 、3 d 等多媒体数据流量的要求，所以 在流媒体通信技术中，对v 、3 d 等多媒体文件数据进行预处理后才能进行流式传输。它 主要包括降低质量和采用先进高效的压缩算法两个方面。其次，与下载方式相比，尽管流式 传输对于系统缓存容量的要求大大降低，但它的实现仍需要缓存。这是因为i n t e r n e t 是以包 传输为基础进行断续的异步传输。数据在传输中要被分解为许多包，但网络又是动态变化的， 各个包选择的路由可能不尽相同，故到达用户计算机的时间延迟也就不同。所以，使用缓存 系统来弥补延时和抖动的影响，并保证数据包传输顺序的正确，使媒体数据能连续输出，不 会因网络暂时拥堵而使播放出现停顿。在整个的传输和控制过程中，必须采用定的网络协 议来实现流式传输为用户提供可靠服务质量保证。 媒体流传输过程如图1 1 所示。用户( w e b 浏览器) 通过h t t p t c p 与w e b 服务器( w e b s e r v e r ) 交换信息获取流媒体服务清单，根据获得的流媒体服务清单向媒体服务器( a n s e r v e r ) 请求相关服务：然后客户机的w e b 浏览器启动相应的媒体播放器( a vp l a y e r ) ，通过 r t p u d p 从媒体服务器获取流媒体数据。实时播放。在播放过程中，客户机的媒体播放器 需要实时通过r t c p u _ d p 与媒体服务器交换控制信息，媒体服务器根据客户机反馈的流媒 体接收情况智能调整向客户机传送的媒体数据流，从而在客户端达到最优的接收效果。 圈1 1we b 上的流式传输原埋示意图 1 3 内容发布技术的发展概况 进入2 l 世纪，i p 网络上的信息越来越多，人们对信息的需求也越来越多。尽管i p 网络 的传输带宽越来越宽，用于存储内容信息的服务器性能和容量越来越高，但人们依然抱怨信 息网络的传输速度低，获得的信息不够准确、不够快。造成这种现象的原因是作为信息存储 媒体的服务器性能( 存储容量、存取速度) 的提高速度赶不上众多用户提取信息的需求。尤其 2 p 2 p 实时流媒体分发技术的研究与实现 是现在占i p 网络上传输信息总量的很大一部分的流媒体信息业务，其对提取信息的需求几 乎成指数级的增长。为了解决这个困扰业界的内容分发问题，研究人员尝试采用各种方式。 包括：c d n 数据分发网络f 1 j ，i p 组播技术1 1 1 2 1 ，以及p 2 p 数据分发网f 1 1 1 ”。 1 3 1 传统的c l i e n t - s e r v e r 架构 与p s t n 2 1 主要提供交互式端对端对称的电话业务不同，i p 网络主要提供服务器到客户 端的非对称数据业务。i p 网络上的信息服务方式基本上是由用户向存储有各种信息的服务 器申请其希望得到的信息，由服务器根据用户的请求向用户发送其欲得到的信息内容。i p 网络上最受用户欢迎的w e b 业务是一种基于服务器客户端的业务，其业务模型如图1 2 所 不。 图1 2 以服务器，客户端方式提供信息服务的业务模型 从上图中可以看出，在每一个w e b 网站存储有不同信息内容的情况下，由于i p 网络本身 访问的无地域性和距离性，分布在世界不同地点的用户均可以到相同的服务器中访问内容， 这样一方面会造成服务器本身的处理速度的瓶颈，另一方面会造成骨干网络业务量的拥塞。 因此基于c s 架构的非对称的数据业务的大量应用，会造成网络不同方向和不同局部的业务 流量的不平衡，特别是服务于所有用户的服务器的压力尤为突出。 1 3 2 内容分发网络c d n c d n t q t z l 是构建在i p l i x j 络之上的内容发布网络，其主要目的是通过该网络的构建减d q p 骨干网络的传输压力，将连接到i p 网络上的内容信息更迅速地分发到全球范围内连接到口网 络上的用户终端。c d n 技术最先应用于全球范围内最受欢迎的w e b 网站。如图1 3 所示，c d n 网络主要由初始服务器、分布在网络“边缘”的缓存服务器、重定向d n s 服务器和内容交换服 务器组成。其中，初始服务器负责完成生成服务器信息内容；缓存服务器负责存储初始服务 器的部分或全部信息内容；为用户进行地址解析的d n s j 务器判断出用户所访问的网站采用 了c d n 技术进行内容分发时，将用户申请内容解析用的u r l 信息转发给重定向d n s 服务器， 重定向d n s 服务器根据接收到的u r l 信息、转发u r l 的d n s 服务器的地址信息以及网站在构 建c d n 时缓存网站的配置情况，将距离转发u r l 的d n s 服务器最近的缓存网站的i p 地址发送 给d n s 服务器，d n s 服务器再将接收到的m 地址信息转发给用户，最终用户利用所接收到的 i p 地址完成与其“较近”的缓存网站的连接，通过接受“就近”的缓存网站所提供的服务达到减 轻骨干口网络的传输压力、提高服务质量的目的。 p 2 p 实时流媒体分发技术的研究与实现 图1 3c d n 鲤t 网示意图 c d n 的内容交换服务器和内容管理服务器为选用部分，其中，内容交换服务器主要配 置在一个物理地点具有较多的缓存服务器情况下，完成各缓存服务器之间的负载均衡等功 能；内容管理服务器主要完成整个c d n 中各缓存服务器中存储的内容的管理为备缓存服 务器制订各自相应的缓存策略，以提高缓存服务器的服务质量。 目前，i e t f 在c d n 方面已陆续发布了一系列相关的标准，主要的标准有： i e t fr f c 3 0 4 0 ( 2 0 0 1 ) i n t e m e tw e b 复制和缓存分类、i e t f r f c 3 4 6 6 ( 2 0 0 3 ) 内容互联( c d i ) 模型、i e t f r f c 3 5 6 8 ( 2 0 0 3 ) 已知内容网络( c n ) 请求路由机制、i e t fr f c 3 5 7 0 ( 2 0 0 3 ) 内容互联 ( c d i ) 场景等，分别规定了c d n ( c n ) 的模型、应用场景、复制和缓存分类以及请求路由机制 等方面的技术内容。 虽然c d n 技术已经应用于流媒体业务等方面来解决内容分发问题，已经有一些可以商 用的设备，但从技术的角度上来讲还有一些需要改进的方面。例如：在重定向方面包括有 d n s 重定向和最短接收时间重定向两种方案，采用d n s 重定向服务器实现重定向时，实际上 最终选定的缓存网站是距离为用户进行地址解析的d n s 最近的网站，而不是距请求用户最近 的网站；采用最短接收时间重定向方式是指用户向所有的网站发送请求，最先接收到响应的 网站被认为是距离用户“最近”的网站，但由于口网络本身的信息流量的不确定性，最先到达 的响应信息并非一定来自距离用户“最近”的网站。另一个问题在于内容存储策略，目前还没 有一种非常有效的缓存信息内容的机制。通常情况下，本地采用两种信息存储方式：存储用 户点击率最高的信息或根据对信息的分析选择近期是热点的信息。但这两种方式并非是最佳 的选择策略。策略选择的好坏直接关系到提供业务的服务质量和对骨干网络带宽的压力。 1 3 3i p 组播技术 在内容分发方面存在两个瓶颈，一个是占用骨干网络传输带宽问题，另一个则是作为信 息源的服务器的并发处理能力问题。目前存储器的存储容量不断提高，单位存储容量的价格 下降很快，但相对而言。从存储器中存取信息的速度提高得不够快。因此，若为请求相同内 容的用户同时发送一份信息将大大减轻服务器的存取压力。这种方式类似于广播电视所采用 的方式，不同点在于广播电视采用无线方式传输，只要用户接收设备所采用的频率与发射机 4 p 2 p 实时流媒体分发技术的研究与实现 发射信号时所采用的频率相同，用户便可接收到发送的信息。在以有线传输为主的i p 网络上， 不可能向所有的地址均发送相同的信息，为此通常是选择组地址来作为信息的接收者，也 就是说，采用组播的方式来实现同时向一组用户同时发送信息的目的。 早期利用i p 组播u l b q 主要是在i p 网络上的会议业务，其实现方式是在普通的i p 网络上架 构了m b o n e 网络，加入到m b o n e 的用户可采用组播的形式发送信息，同时可以接收采用 组播形式发送来的信息。其工作原理是组成m b o n e 的路由器均具有组播功能，同时进行组 播通信的端到端所经过的路由器均为组播路由器。当i p 网络上的路由器均具有组播功能时， m b o n e 将成为口网络的一部分而不再作为独立的网络存在。在利用路由器所具有的组播功 能进行组播通信时，主要的技术难点在于：( 1 ) 用户如何找到进行组播发送的源；( 2 ) 组播源 用何种方式建立组播树。 在提供组播业务时可采用两种实现方式。一种是利用组建i p 网络的具有组播功能的路由 器提供对一组用户的组播，信息源仅需将需要进行组播的信息发送给具有组播功能的路由 器，组播路由器将为该信息所提供的组播组编号返回给信息源，信息源将该组播组编号向拟 获得该信息的用户公布用户通过加入相应的组播组编号加入到组播组从而接收到发送到组 播组的组播信息。另种实现方式是，信息源将信息发送到一个内容分发设备，并将欲发送 到的用户的地址信息发送到该分发设备，由该分发设备将信息同时发送到列表中的所有用 户，完成组播服务。 目前在口网络上所提供的视讯直播节目是采用i p 网络所具有的组播功能向用户提供的。 为保护信息拥有者的数字版权，受控组播将是使用的主要方式。目前在一些国家正在进行在 移动网络上提供流媒体业务的试验，为保持越区切换媒体流的连续性，在流媒体直播时，采 用多地点组播方式来实现。 若组播组用户的数量较大同时用户的分布比较分散时，组播技术通常与c d n 技术一起 使用，利用c d n 技术组建c d n 网络，由初始信息源将信息组播到缓存信息节点，各缓存信 息节点将接收到的信息再以组播的方式转发到用户从而减少主干网络的拥塞和减轻信息服 务器并发处理的压力。 1 3 4p 2 p 数据分发网 上述内容分发技术实旖的主体通常是网络运营商，并且内容分发技术的使用费用通常较 高。而考虑到目前普通用户所使用的计算机能力( 存储能力和信息存取处理能力) 较强，同时 用户所拥有的巨大的存储空间通常处于闲置状态，若能将这些闲置的存储空间和处理能力利 用起来，就可以在不增加用户使用费用的同时增加巨大的网络能力，同时用户也可以在将自 己的计算机能力贡献出来的同时将自己的信息与其它人共享。 p 2 p 技术主要指由硬件形成网络连接后的信息控制技术，主要代表形式是在应用层上基于 p 2 p 网络协议的客户端软件。m m 为p 2 p 下了如下定义：p 2 p 系统由若干互联协作的计算机构 成，且至少具有如下特征之一：系统依存于边缘化( 非中央式服务器) 设备的主动协作，每个成 员直接从其他成员而不是从服务器的参与中受益：系统中成员同时扮演服务器与客户端的角 色；系统应用的用户熊够意识到彼此的存在构成一个虚拟或实际的群体。p 2 p 技术应用的宗 旨就是希望通过节点间不经过服务器中转的直接通信，尽可能地充分利用系统中各节点所能 提供的闲置资源，包括网络带宽、存储空间、c p u 的处理时间等等。 事实上p 2 p 网络是互联网整体架构的基础，互联网最基本的t c p i p 协议并没有客户端和 服务器的概念，在通讯过程中所有的设备都是平等的一端。 p 2 p 实时流媒体分发技术的研究与实现 图1 4 集中式和分布式p 2 p 架构 p 2 p 模式的变化经历了集中式、分布式和混合式3 个阶段9 j ： 1 在集中式p 2 p 模式中，由一台中心服务器负责保存并维护系统中的共享信息同时返 回节点对这些信息的查询，虽然仍有中央式节点的概念，但不同于传统意义上的c s 结构模 型中，由服务器垄断性地保存所有的信息、内容以供系统中所有节点访问下载，p 2 p 网络传 输模式的特征有以下三点：一、共享信息都保存在节点各自所在的机器上，并且这部分信息 由节点自己维护管理；二、中心服务器仅仅只作为具有索引功能的中央式节点；三、系统中 节点间对等地直接进行数据交互。 这种模式的优点在于：节点间数据的直接交互充分地体现了第一代p 2 p 应用的核心思 想：系统中的节点信息易于维护，并且整个系统的运行状态处于一种可监控状态。其缺点在 于过量的控制负荷仍然可能会使索引服务器成为整个系统的瓶颈，并且一旦服务器受到攻 击，整个系统将会瘫痪。 2 分布式p 2 p 模式。这种p 2 p 模式也即业界通常所说的第二代p 2 p 网络模式。不同于第 代p 2 p 模式，它完全抛弃了服务器的概念，不存在中枢目录服务器，系统中所有的节点身 份完全对等，每个节点都与网络中的部分节点建立连接。而客户机节点也正是通过这部分 不断动态变化的部分节点视图检索以及定位系统中的其他节点。 虽然说中央式概念的取缔可以降低整个系统出现单点故障的可能性，但由此也带来了许 多弊端：首先，搜索请求需要经过整个网络或者网络很大一部分节点视图才能返回结果，这 样一来就浪费了整个系统中很大一部分带宽且响应时间很慢，而且随着系统规模的不断发 展，仅仅这种通过扩散式的搜索和查询请求所引起的带宽负荷就很有可能导致网络拥塞，而 把整个网络系统分块，使搜索和查询限制在网络的- - 4 , 块节点视图中；再者由于难于对系统 中各节点的规范性操作有一个把握性，因此从网络中任一节点都可以对整个网络发起恶意进 攻。 3 混合型p 2 p 模式p j 。集中式p 2 p 模式可以实现对信息的快速检索和查询，但在中枢目 录服务器上仍然存在单点故障的可能性：而分布式p 2 p 模式虽然没有了单点故障的可能，但 其滞慢的检索和查询请求响应，以及对带宽的严重浪费和冲击使其难以用于大型网络系统应 用当中。而在结合两者优点的基础上所产生的第三代p 2 p 模型，即混合型p 2 p 模式，无论在 设计思想上以及可扩展能力上来说，都得到了很大一步的优化。 它在分布式模式的基础上，将用户节点按能力进行分类，使某些节点担任特殊的任务a 这些节点共分为3 种： 用户节点：普通节点，它不具有任何特殊的功能。 搜索节点：处理搜索请求，从它们的“孩子”节点中搜索文件列表。 索引节点：索引节点用于保存可以利用的搜索节点信息，并搜集状态信息，维护网络结 6 p 2 p 实时流媒体分发技术的研究与实现 构信息。 一个节点可以既是搜索节点又是索引节点。用户节点可以选择3 个搜索节点作为它的 “父”节点，如果“父”节点接受该用户节点作为它的“孩子”的话，那么该用户节点就可 以提交其所要共享的列表给它的“父”节点。在缺省的情况下，搜索节点可以最多维护5 0 0 个“孩子”节点。这种模式的关键之一是引入了索引节点，索引节点不会直接连接到有版权 的资料上，它就像搜索引擎一样，只是搜索和所需资料相关的地址，至于用户到底连接下载 了什么内容则和它无关。这种模式的关键之二是引入搜索节点，搜索节点管理着所属用户的 文件列表。用户节点通过索引节点获得搜索节点信息，之后用户节点就与获得的搜索节点相 连，每一次查询都通过该搜索节点进行。当用户发出搜索请求后，如果和用户节点直接相连 的搜索节点查询结果达到1 0 0 个( 这里的1 0 0 个搜索结果，可以由用户自己来设定) 就停止； 如果不足1 0 0 个，就向相邻的搜索节点发出请求，如果查询结果还不够，就继续向外快速发 散，直到所有的搜索节点都被搜索到为止。若所有的搜索节点都被访问过，就意味着整个网 络上的节点都被搜索到了，其速度要比纯p 2 p 模式快得多。 1 4 基于p 2 p 的流媒体数据分发 随着流媒体技术以及其应用的快速发展，同时也给数据分发的网络模型带来了新的问 题。就目前仍然沿用的c s 架构来说，不断增加的用户量使得服务器难以胜任或满足更大并 发量的需求。而c d n 网络或者口组播由于昂贵的硬件成本都难以普及应用。目前，p 2 p 技术 在文件共享等一些应用领域中已经取得了很大的成效，把p 2 p 技术应用到流媒体同样能带来 革命性的突破。从某种观点上来说，可以把p 2 p 技术看作是p 组播思想的延伸，即把组播的 功能从网络层移到了应用层面上，这样一来使得p 2 p 技术既可以拥有理论上i p 组播所能发挥 的巨大传输能力，又避免了昂贵的硬件成本，从而能极大地加速流媒体应用的普及，以及流 媒体服务质量的提升。p 2 p 技术在流媒体应用中特别适用于一些热门事件，即使是大量的用 户同时访问流媒体服务器，也不会造成服务器因负载过重而瘫痪，并且，对于多人的多媒体 实时通信，p 2 p 技术也会对网络状况和视频质量带来很大改进。此外，如果p 2 p 技术与可扩 展性视频编码技术9 1 结合将能极大地提高每个用户所接收的视频质量。由于可扩展性码流的 可加性，作为源端的服务器并不需要把完整的流数据发给每一个用户，而是把数据划分成n 块对应每一块数据相应的发给部分节点而节点之间通过p 2 p 网络对等地进行数据交换， 这样就使得即使用户和服务器之间的带宽有限，也能保证每个用户依然可以通过基于p 2 p 的 流媒体系统享受高质量的多媒体服务。 目前。适用于流媒体数据传输的p 2 p 数据分发协议类型包括两种：基于树状拓扑的协议 及扩展( t r e e b a s e dp r o t o c o la n de x t e n s i o n s ) 和基于g o s s i p 的协议( g o s s i p - b a s e dp r o t o c 0 1 ) 。 1 4 1 基于树状拓扑的协议及扩展 在基于树状拓扑的协议中，整个p 2 p 分发网络按树状拓扑结构组织数据分发。其基本特 征一般包括以下几点： ( 1 ) 由父节点单向地向子节点传输数据； ( 2 ) 子节点向父节点反馈数据收发状态信息： ( 3 ) 子节点与父节点在不同协议中可以是多对多，一对多或者多对一的关系。 基于树状结构的基本特征，系统节点数量的规模决定于组播树的深度与宽度。由于普通 客户节点所能支持的下行带宽有限，每个父节点下一般只能带有限数量的子节点，所以系统 7 p 2 p 实时流媒体分发技术的研究与实现 节点数量的规模需要通过增加树的深度来进行扩展，但是随着树的深度增加，层与层之间的 数据时延会逐渐增加，因此在树的深度与宽度上需要有一个较好的权衡。 另外一个需要重点解决的问题，是在节点动态变化的环境中如何维护组播树分发结构的 优化性，以确保整个系统数据分发的稳定性。对于节点的快速加入以及节点的正常或异常性 退出，系统应能通过某种有效的控制机制及时地加以监控，对节点的不定性动作作出及时的 调整维护。在节点加入过程中应能快速地定位该节点在组播树中的位置：在节点退出尤其是 异常退出情况下，应能迅速的检测到节点的异常情况，并在整个树结构中找另一个合适的点 填补该点的空缺位置。 此外，系统需要对组播树中的所有节点进行评估，根据节点反馈信息中的传输质量、丢 包率、在线时间等参数评选出“好坏”节点，通常情况下为了保证整体系统的大局稳定性， 一般应将“好”节点放在离根节点较近的地方，以保证根部父节点群具有可靠的稳定性。 1 4 2 基于g o s s i p 的协议 g o s s i p 协议是目前用于p 2 p 系统中分发消息的较流行的算法。基于g o s s i p 协议的p 2 p 分发 网并没有显式地构造任何一种系统拓扑结构作为节点交互或者数据分发的依据，并且任意节 点间具有真正意义上的对等性。加入到系统中的节点各自维护部分的系统节点视图以及本 地数据缓存信息，通过不断地与视图中的其他节点进行g o s s i p 交互来感知整个p 2 p 网络的状 况以调整自身状态，井根据节点间的g o s s i p 信息感知其他节点的数据缓存信息，从而根据自 身需要与对方节点进行流数据的交互。 g o s s i p 算法具有很好的可扩展性及对于动态环境的适应性，g o s s i p 机制对于节点的异常 或者不稳定性具有先天的免疫性。即在任一节点上出现的异常情况不会影响整个系统的正常 运行。另外，理论上p 2 p 网络的节点容量可以无限制的扩展，但由于节点需要在本地开辟较 大的缓存来存储流数据，并且节点问流数据交互具有不定性，因此使得节点的启动延迟相对 比较大。 1 5 文章的研究内容及组织 文章在绪论部分简要地阐述了本文研究所涉及到的基础知识，包括流媒体技术以及内容 分发技术，并由此引出了本文将重点研究的p 2 p s t r e a m i n g 技术。 在以下章节中将首先阐述p 2 p s t r e a m i n g 的实现技术框架，接着介绍了几个典型的 p 2 p s n 也a d i n g 模型并分析了其所存在的问题。最后，提出了一个融合c s 概念以及p 2 p 模 型特点的p 2 p s t r e a m i n g ：模型：c o o l i c e 。 本文剩下的部分是这样组织的： 第二章：介绍t p 2 p s t r e a m i n g 实现的技术框架h ，包括媒体压缩技术，应用层的q o s 控制，应用层组播，视频服务器技术，媒体同步技术、流媒体传输协议以及n a t 基本原理与 穿透等技术。 第三章：介绍并分析了各种典型的p 2 p s t r e a m i n g 模型。包括基于树状模型的 z i g - z a g ，p e e r c a s t 以及网状的d o n e t 等模型。 第四章：提出了一个融合c s 概念以及p 2 p 模型特点的p 2 p s t r e a m i n g ：模型：c o o l i c e 。 第五章：详细介绍了c o o l i c e 模型中核心模块的算法设计。 第六章：总结全文并对今后的工作作出了一些展望。 p 2 p 实时流媒体分发技术的研究与实现 第二章p 2 p s t r e a m i n g 的技术框架 2 1p 2 p s t r e a m i n g 技术框架概述 在一个典型的流媒体应用中媒体经过压缩技术存在硬盘上，流媒体服务器接受客户端 的请求，应用q o s 控制层通过q o s 的要求以及网络状况调整压缩的媒体流的参数，然后流媒 体传输层对其进行打包，通过p 2 p 技术进行连续媒体分发，客户端接受到媒体流后，通过媒 体同步技术进行播放。以上的过程涉及到六个技术领域：媒体压缩技术，应用层的q o s 控制， 应用层组播技术，视频服务器技术，媒体同步技术、流媒体传输协议以及n a t 技术，下图显 示了p 2 p s t r e a m g 的技术框架【4 】。 图2 1p 2 p s t r e a m i n g 的技术框架图 媒体压缩技术：为了有效的利用网络的带宽，媒体通常经过压缩后才进行传输，压缩技 术主要分为非扩展性编码和扩展性编码，扩展性编码可以适合网络带宽的变化。 应用层的q o s 控制：应用层q o s 控制包括拥塞控制和错误控制。拥塞控制主要用于预防 网络的丢包问题和延时，根据网络状况调节发送数率。错误控制用于在丢报问题发生后，如 何进行错误控制，尽量的提高最终的视频质量。 应用层组播技术：通过应用层复制数据包，并且在应用层进行路由技术。 视频服务器技术：服务器如何有效的给客户端提供服务。文章主要研究服务器与p 2 p 技 术的协作。 媒体同步技术：媒体的同步指的就是维护多媒体数据之间的时序关系，媒体的同步有三 层：流内同步( i n t r a - s t r e a m ) 、流间同步( i m e v s w e a m ) 和对象间同步( i n t e r - o b j e c t ) ”1 。 流媒体传输协议：流媒体传输协议是建立在t c p 或u d p 2 2 l ，专门用来传输流媒体数据 的应用层协议。 n a t 基本原理：n a t 是一种网络地址转换标准，业界用它来解决的i p 地址紧缺的问题a 在一个适应性广泛的p 2 p s t r e a m i n g 模型中，不可避免的需要解决n a t 穿透的问题。 9 p 2 p 实时流媒体分发技术的研究与实现 2 2 媒体压缩技术 原始的视频数据存在着很大的冗余，包括时间冗余，空间冗余和主观视觉冗余。为了更 有效的存贮和传输，需要对原始数据进行压缩。压缩技术可以分为两种：普通( n o n s c a l a b l e ) 编码技术和可扩展性( s c a l a b l e ) 编码技术。 2 2 1 普通编码技术 目前工业应用的主流标准，如m p e g 系列及h ，2 6 x 系列标准，大都采用基于分块运动补 偿及离散余弦变换( d c t ) 的压缩算法。( 目前，基于小波变换的s c a l a b l e 压缩算法也处于研究 发展中) 。 异构性是网络的一个很重要的特点，不同的终端的网络状况可能有很大的区别。在采用 i p 组播时，对与这个问题的最简单的办法就是最小传输，即组播带宽最低的用户的所能接收 的码流，然而，这样虽然可以保证所有的用户都可以获得视频，但是高带宽的用户也只能观 看低质量的视频，带宽利用率很低。为了按照用户的带宽条件提供足够好的视频质量，可以 在服务器保存同一个视频的不同质量的码流，这些码流的关键帧是对齐的，将这几个不同码 率的码流通过不同的组播通道发送到网络，用户根据自己的需求和网络状况选择一个最佳的 视频流，并且可以随着网络带宽的变化动态的切换。这种码流切换和组播相结合的技术称为 联播( s i m u l c a s t ) 。虽然联播可以满足不同用户的不同需求，但联播存在带宽利用率的问题， 因为不同码率的码流存在着很大的冗余数据，分层可扩展的编码技术可以改进这个问题。 2 2 2 分层可扩展性编码(