（系统工程专业论文）基于P2P流媒体技术的视频直播系统PPSL的设计与实现.pdf

摘要 摘要 计算机技术特别是网络技术的飞速发展，深刻地改变着人们的工作、生活 和思维。能满足“边下载边播放”的流媒体技术应运而生并且得到快速发展。 宽带网的飞速发展推动了流媒体直播系统的广泛应用，但基于传统的c s 模式 的流媒体直播系统存在服务能力上的瓶颈，很难适应大规模的应用。为此；研 究者们提出了基于p 2 p 网络的流媒体分发技术，将数据分发的中心从流媒体服 务器分散到用户网络上，使得基于p 2 p 网络的流媒体服务具有了更好的扩展性、 鲁棒性和实用性。 本文研究了与p 2 p 流媒体直播系统相关的理论与技术，分析了现有的几种 典型p 2 p 流媒体直播系统，在此基础上提出了一种新的p 2 p 流媒体直播系统模 型p p s l ( p 2 ps t r e a m i n gl i v es y s t e m ) 。p p s l 模型是一种混合结构模型，它既有 树状模型便于控制组播树中节点的优点，又有网状模型采用多个节点传输数据 的方法，避免了树状模型稳定性差的状况，也减少了系统的延迟。 p p s l 模型采用计算节点优先级的策略来选取系统中节点的数据发送节点； 同时，采用了多个邻居节点的结构形成控制拓扑，减少了因单个节点退出而造 成的传输延迟，提高了系统的鲁棒性。在节点的数据传输上，运用了两阶段数 据传输调度算法。该算法提高了系统中节点的数据下载带宽，从而提高了视频 直播时的连续性。为了进一步减少节点加入时的启动延迟，引入了“虚拟修补” 的思想，并在其基础上加以改进，以适应节点的数据传输调度算法。 最后实现了该系统，并对之进行了测试，测试结果表明系统基本达到了设 计要求。 关键词：p 2 p 流媒体c s 应用层组播 a b s t r a c t t h er a p i dd e v e l o p m e n to fc o m p u t i n gt e c h n o l o g y ，e s p e c i a l l yn e t w o r kt e c h n o l o g y , c h a n g e sp e o p l e sw a yo fw o r k i n g ，l i v i n ga n dt h i n k i n gd e e p l y t h e “p l a y w h i l e d o w n l o a d i n g s t r e a m i n gt e c h n o l o g y c o m e so u ta n dd e v e l o p s v e r yf a s t t h e p r e v a l e n c eo fb r o a d b a n dn e t w o r kc o n t r i b u t e st ot h er a p i dp r o g r e s so fl i v eb r o a d c a s t s y s t e m s ，b u tt h et r a d i t i o n a ls t r e a m i n g m e d i ab r o a d c a s ts y s t e mw h i c h i sb a s e do nc s m o d ee x i s t sb o t t l e n e c k ，i ti sd i f f i c u l tt oa d a p tt ot h el a r g e s c a l ea p p l i c a t i o n 。s o ，t h e r e s e a r c h e r sm a d eap 2 pn e t w o r kb a s e do nt h ed i s t r i b u t i o no fs t r e a m i n gm e d i a t e c h n o l o g y , d a t aw i l lb e d i s t r i b u t e df r o mt h ec e n t e ro fs t r e a m i n gm e d i as e r v e r d i s t r i b u 把dt ou s e r so nt h ei n t e m e tb a s e do np 2 pn e t w o r km a k e ss t r e a m i n gm e d i a s e r v i c e s ，a n dh a v eab e t t e rs c a l a b i l i t y , r o b u s t n e s sa n dp r a c t i c a l i t y t h i s p a p e rs t u d i e st h e p 2 ps t r e a m i n g - m e d i ab r o a d c a s ts y s t e mt h e o r ya n d t e c h n o l o g y ，a n a l y s i s o fs e v e r a le x i s t i n gt y p i c a lp 2 ps t r e a m i n g 。m e d i ab r o a d c a s t s y s t e mm o d e l ，p r o p o s e san e wp 2 ps t r e a m i n g - m e d i ab r o a d c a s ts y s t e mp p s l ( p 2 p s t r e a m i n gl i v es y s t e m ) t h ep p s lm o d e l i sah y b r i dm o d e l ，i tc o m b i n e st h e a g r e e m e n tb a s e do nt h et r e em o d e l i se a s yt oc o n t r o lt h em u l t i c a s tt r e en o d e s a d v a n t a g e a n db a s e do nt h ec o m b i n e dn e t w o r k m o d e lu s e sm u l t i p l en o d e st r a n s m i t d a t a , a v o i dt h et r e em o d e ls t r u c t u r ep o o rs t a b i l i t y , t h es t a t eo ft h es y s t e m t or e d u c e d e l a y s i np p s lm o d e l ，t h r o u g ht h eu s eo fc o m p u t i n gn o d e sp r i o r i t yo ft h es e l e c t i o n s t r a t e g yo fe a c hs y s t e mn o d ed a t as e n d i n gn o d e ；m e a n w h i l e ，u s i n gm u l t i p l en o d e s n e i g h b o r sf o r m e dt h es t r u c t u r et o p o l o g yc o n t r o l ，r e d u c et h er a t eo fw i t h d r a w a lf r o m t h ei n d i v i d u a ln o d e sa n dt h et r a n s m i s s i o nd e l a y , a n di m p r o v et h es y s t e m sr o b u s t n e s s n o d e si nt h ed a t at r a n s m i s s i o n ，w eh a v eu s e dat w o - s t a g ed a t at r a n s m i s s i o n s c h e d u l i n ga l g o r i t h m i ti m p r o v e st h ed o w n l o a db a n d w i d t hn o d e s ，t h u se n h a n c i n g t h e v i d e ob r o a d c a s to fc o n t i n u i t y t of u r t h e rr e d u c et h en o d et ot h es t a r t - u pd e l a y e dt h e i n t r o d u c t i o no ft h e ”v i r t u a lp a t c h i n g ”t h i n k i n g ，a n do ni t sb a s i st ob ei m p r o v e dt o a b s t r a c t a c c o m m o d a t et h ed a t at r a n s m i s s i o nn o d es c h e d u l i n ga l g o r i t h m a tt h ee n d ，w ea c h i e v es y s t e ma n dh a v et e s t e di to nl a n t h er e s u l t ss h o wt h e s y s t e mm e e t st h ed e s i g nr e q u i r e m e n t s k e yw o r d s ：p 2 ps t r e a m i n g m e d i a c s a p p l i c a t i o nl a y e rm u l t i c a s t i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：蕾乒如 2 汐剜降明乙c 7 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 各密级的最长保密年限及书写格式规定如下： 内部5 年( 最长5 年，可少于5 年) 秘密1 0 年( 最长1 0 年，可少于1 0 年) 机密2 0 年( 最氏2 0 年，可少于2 0 年) 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 之廿品 沙哪年罗月1 e t 第一章绪论 第一章绪论 第一节流媒体发展现状 计算机技术特别是网络技术的飞速发展，深刻地改变着人们的工作、生活 和思维。随着计算机机处理能力的增强和宽带网络的普及，人们不再满足于传 统的网页浏览、文件下载、聊天等i n t e r n e t 呆板的表现形式，更希望能承载实 时的视、音频信息。因此，能满足“边下载边播放”的流媒体技术应运而生并 且得到快速发展，流媒体业务也被认为是未来高速宽带网的主流业务。 流媒体( s t r e a m i n g m e d i a ) 技术是一种新兴的网络传输技术，它能实现在互 连网上的实时顺序地传输和播放音视频等多媒体内容。从1 9 9 4 年一家叫做 p r o g r e s s i v e n e t w o r k s 的美国公司成立之初，流媒体开始正式在互联网上登场亮 相。时隔一年，他们推出了c s 架构的音频接收系统r e a l - - a u d i o ，并在随后的 几年内引领了网络流式技术的汹涌潮流。1 9 9 7 年9 月，该公司更名为 r e a l n e t w o r k s 。r e a l n e t w o r k s 公司可以称得上是流媒体真正意义上的鼻祖。从 此，流媒体技术进入了蓬勃发展的阶段。 但早期的流媒体主要是在窄带互联网上应用，受带宽条件的制约，到1 9 9 9 年，人们在网上也才仅仅可以看到一个很小的视频播放窗口。2 0 0 0 年下半年， 随着全球范围内的互联网升温，宽带网不再是梦想。作为流媒体技术倡导者和 发起者的美国r e a ln e t w o r k s ，m i c r o s o f t ，a p p l e 等公司几乎同时向世界宣布 了他们最新的流媒体技术的宽带解决方案。因此，宽带网的迅猛发展和普及也 为流媒体业务发展提供了强大的市场动力和坚实的网络基础，流媒体应用已经 成为当前最具发展前景的网络应用之一。 根据国外相关应用市场调查表明，有5 1 的上网用户经常使用流媒体，流媒 体业务正变得日益流行。微软公司总裁比尔盖茨曾无比坚定地预言，“未来属 于流媒体”流媒体将会成为下一代互联网上应用的主流，而流媒体直播正是流 第一章绪论 媒体应用的重点之一。目前中国网络电视用户已从2 0 0 0 年的1 万户左右增长到 2 0 0 4 年的2 1 9 万户。国家广电总局预测我国网络电视用户2 0 0 8 年底将达到2 0 0 0 万户。据m u l t i m e d i a 研究机构预测全球网络电视收入将从2 0 0 4 年的5 2 亿元增 长至2 0 0 8 年的5 9 亿元。由此可见，作为网络电视核心的流媒体直播技术必然 有着良好的发展前景。因此，流媒体系统的广阔市场前景，也推动了流媒体系 统直播技术的研究。 第二节课题研究背景 在流媒体直播中传输音视频流所需带宽相对较高，而且持续时间长，而在 c s 传输模式中，服务器必须通过网络给每个客户端发送多个相同的数据，因为 流媒体数据量大，随着客户端数目的增加，很容易造成服务器端的带宽瓶颈， 限制了c s 架构的扩展性。所以，c s 架构无法适应大规模的流媒体数据发布， r ，1 这种传输模式严重限制了网络流媒体业务的发展。卜1 因此，流媒体直播系统的广泛使用必须提高其在扩展 生( s c a l a b i l i t y ) 、鲁棒 。| 生( r o b u s t ) 、质量保i i e ( q u a l i t yo fs e r v i c e ，q o s ) 等方面的性能。面对c s 架构的 流媒体传输模式所出现的问题，增加服务器数量和提高带宽是一个解决方式。 代理服务器技术、内容分布网络、i p 组播等技术的提出，正是为了解决传统的 基于c s 架构模式的流媒体系统服务能力有限、不能适应大规模流媒体应用的 问题，但是这些方式存在需要巨大的成本开支或部署困难等问题。 最近几年，对等网技术( p e e r - t o p e e r ，p 2 p ) 弓i 起了包括普通网络用户和科 研领域人员在内的越来越多人的关注。相对于传统的c s 模式，p 2 p 模式一个非 常显著的特点就是节点无需依赖集中式服务器资源，各个节点之间可以直接进 行通信。每个节点具有相同的地位，既可以请求服务，也可以提供服务，同时 扮演着c s 模式中服务器和客户机的双重角色，甚至还可以具有路由器和高速 缓存的功能。在p 2 p 模式下，由于每个节点都具有客户机和服务器的功能，这 样，每个节点在从别的节点接收数据流的同时还向其他节点发送数据流。p 1 2 第一章绪论 方面，p 2 p 技术突破了传统的客户端朋艮务器模式限制，强调节点之间的“对等 性”，即p 2 p 系统中每一参与节点兼有服务器和客户端两种身份，在利用其他节 点上的资源之同时也为其他节点提供服务。这使得p 2 p 系统的服务能力随着用 户数的增加而自然增长，具有“与生俱来 的可扩展性，能够解决传统客户端 服务器结构中服务器过载和资源瓶颈等问题。另一方面，p 2 p 系统采用节点自组 织的方式工作，强调无中心的结构，并且很好地适应了节点随机加入和退出的 fjl 动态性，因而在容错性、数据高可用性和抵抗攻击方面具有不可替代的优势。一j 目前，p 2 p 技术在文件共享等一些应用领域中己经取得了很大的成效，把p 2 p 技术应用到流媒体同样能带来革命性的突破。因此，p 2 p s t r e a m i n g 技术被提了出 来，即把p 2 p 技术思想应用到流媒体的传输。基于p 2 p 网络构建流媒体系统， 能够从根本上解决基于服务器客户机模型的系统的不可扩展性、低容错性和低 鲁棒性。此外，p 2 p 网络中用户分布广泛，资源更加充足更能满足用户对资源的 需求，从而保证服务器的质量，为构建大规模流媒体传输系统提供了一种低成 本的解决方案。 如何建立一个高效稳定的p 2 p 流媒体直播数据分发模型成为当今研究的热 点。最早利用p 2 p 技术实现大规模流媒体点播和直播的系统w e b c a s f 出现于1 9 9 8 年。w e b c a s t 禾l j 用一棵二叉组播树在用户之间进行实时多媒体数据的传输和共享。 此后由于流媒体直播服务相对简单，首先得到快速发展。2 0 0 0 年出现第一套p 2 p 视频直播系统的原型- e s m 系统，该系统采用用户网状结构互连构造最优媒体 数据组播树的方法在用户间传播实时的多媒体内容。由于算法限制，这套系统 只能扩展到几千人同时在线，但己经标志着p 2 p 流媒体直播系统进入了系统发 展期。此后各种原型系统、高度可扩展的应用层组播协议大量涌现。其中典型 的系统有提供流媒体广播的s t a n d f o r d 大学的p e e r c a s t 系统和德国的p 2 p r a d i o 系 统，而应用层组播协议有微软的c o o p n e t s p l i t s t r e a m 协议、思科的o v e r c a s t 协议、 马里兰大学的n i c e 协议、伯克利大学的g o s s i p 协议等。虽然这些系统和协议 尚不能实用，但为p 2 p 流媒体直播打下了坚实的理论基础。2 0 0 4 年5 月欧洲杯 3 第一章绪论 期间，香港中文大学张欣研博士开发的c o o l s t r e a m i n g 原型系统在p l a n e t l a b 网上 试用获得成功。在c o o l s t r e a m i n g 成功的鼓舞下，中国流媒体直播技术和业务发 展迅速，目前中国有十多个网站使用各自发展的软件提供p 2 p 流媒体直播业务。 5 】 对于p 2 p 流媒体直播技术的研究已经取得了一定的成果，但是由于网络的复 杂性和动态性，使得p 2 p 流媒体直播系统的流媒体分发效果没有达到令人满意 的程度，一些关键问题还有待进步的研究： 1 p 2 p 流媒体直播系统中节点的组织方法决定了节点之间的关系。目前主要为 “树”( t r e e ) 的结构和“网”( m e s h ) 的结构。t r e e 结构实现简单，维护开销小， 扩展性好，但可靠性较差；m e s h 结构可靠性较高，但维护开销较大，扩展性较差。 如何结合t r e e 结构和m e s h 结构的优点有待于研究。 2 p 2 p 流媒体直播系统中节点的行为往往是不可预测的，每个节点都可以在任 何时间随意加入或离开。如果这些节点承担着向其他节点提供数据的任务，那 么它的离开可能导致某些节点的流媒体服务受到影响。为了尽量减少这种影响， 必须增强p 2 p 覆盖网在动态环境下的健壮性，而且必须具有有效的检测机制和 快速的恢复能力。 第三节论文的组织结构 本文可分为六章，论文的组织安排如下： 第一章绪论中首先介绍了流媒体发展现状和课题的研究背景，包括传统流 媒体系存在的问题和采用p 2 p 流媒体系统的必要性，并分析了p 2 p 技术在流媒 体传输中的关键作用；最后介绍了本文的组织结构。 第二章研究了流式传输、相关协议、压缩编码、以及应用层q o s 等流媒体 相关技术；。 第三章介绍了p 2 p 技术的背景知识，研究了p e e r c a s t 、c o o p n e t 、 c o o l s t r e a m i n g 这三种现有的典型p 2 p s t r e a m i n g 模型，并分析了其优缺点。 第四章提出了p p l s 系统的设计思想，采用p 2 p 覆盖网络层、p e e r 媒体控 制层和媒体应用层三层框架。并详细论述了p 2 p 覆盖网络层、p e e r 媒体控制层 4 第一章绪论 的结构。 第五章系统实现，并在局域网进行了测试与简单分析。 第六章总结与展望。 5 第二章流媒体直播技术相关理论 第二章流媒体直播技术的相关理论 第一节流媒体相关技术 流媒体( s t r e a m i n gm e d i a ) 其实是一种多媒体文件，其在网络上传输的过程中 应用了流技术。所谓流技术，就是将完整的影像和声音数据经过压缩处理后保 存在网站服务器上，用户可以一边下载一边获取信息，从而无需将整个压缩文 件下载之后再观看的网络传输技术。流式传输是流媒体实现的关键技术。 2 1 1 流式传输 流式传输，主要指通过网络传送媒体( 如视频、音频) 的技术总称。其特定含 义为通过i n t e m e t i n t r a n e t 将影视节目传送到p c 机。流式传输方式将整个a v 及 3 d 等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户 计算机连续、实时传送。在采用流式传输方式的系统中，用户不必像采用下载 方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时 即可在用户的计算机上利用解压设备( 硬件或软件) 对压缩的a v 、3 d 等多媒体 文件解压后进行播放和观看。此时多媒体文件的剩余部分将在后台的服务器内 继续下载。其几秒或几十秒的启动延时是为了在开始播放前先采集一小部分所 谓缓冲的预备数据，从而能够保证在阻塞造成网络速度下降的情况下播放不会 发生中断。这种媒体播放方式，无论文件长3 0 秒还是3 0 分钟，用户只需要在 观看前等上几秒或几十秒，生成这个缓冲数据，相比用户下载媒体文件的漫长 的等待时间甚至可以忽略不计。 流式传输过程如图2 1 所示： 6 第二章流媒体直播技术相关理论 图2 。1 流式传输过程 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w e b 浏览器 与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时数据 从原始信息中检索出来：然后客户机上的w e b 浏览器启动流媒体播放程序，使用 h t t p 从w 曲服务器检索相关参数对流媒体播放程序初始化 6 1 。 2 1 2 流媒体的相关协议 根据功能，传输协议可以分为三类：网络层协议( i p ) ，提供最基本的网络服 务；传输层协议，提供端到端的传输服务，包括t c p ，u d p 和r t p r t c p 7 1 ， 其中t c p 与u d p 更加底层一些，r t p r t c p 实现在t c p 或u d p 之上，有时候 也被划为应用层协议；应用层协议，定义多媒体会话过程中的消息控制及处理， 包括r t s p 8 】等。 2 1 1 1 t c p u d p 协议 t c p u d p 协议是最基本的传输协议，提供多路复用、错误控制、拥塞控制、 流量控制等功能。首先，t c p u d p 都可以使得不同应用程序的数据到同一个机 器的同一个i p 地址：其次，t c p u d p 都提供错误控制，t c p 和绝大多数的u d p 实现都采用检验矛i ( c h e c k s u m ) 检验包的正确性，如果检验和不正确，t c p u d p 都将丢弃这个包，上层的应用( 比如：r t p ) 将不会接收到有误码的数据包，与u d p 不同的是，t c p 会重传丢失的数据包和错误的数据包，所以t c p 提供可靠的数 据传输，而u d p 不保证任何可靠传输：第三，t c p 中有拥塞控制机制来避免网络 7 第二章流媒体直播技术相关理论 拥塞，u d p 没有。最后，t c p 拥有流量控制机制来避免接收端的缓存的溢出 ( o v e r f l o w ) ，而u d p 没有流量控制。 由于t c p 提供可靠的数据传输，机制比u d p 复杂的多，所以t c p 的时延 也要比u d p 大的多，在对时间要求严格的流媒体系统中，t c p 不一定适用。在 流媒体的传输中，更多的是使用u d p 协议，然而，u d p 本身不保证包的可靠传 输，包的丢失监测需要依赖于上层协议，比如r t p 。l o 儿引 2 1 1 2 r t p r t c p 协议 实时传输协议( r e a l t i m et r a n s p o r tp r o t o c o l ，r t p ) 和实时传输控制协议 ( r e a l t i m ec o n t r o lp r o t o c o l ，r t c p ) 都是基于i p 的应用层协议。r t p 为实时音 视频数据提供端到端的传送服务，包括有效负载类型标识、序列标号、时间标 签和源标识，可以提供时间信息和实现流同步。由于t c p 中重传机制会引起时 延，通常r t p 运行于u d p 之上，但是也可以在t c p 或者a t m 等协议之上运行。 r t c p 用来监视服务质量和在会议过程中交换信息。它提供q o s 反馈、参与者标 识、控制包缩放、媒体间同步等服务。 2 1 1 3 r t s p 协议 实时流协议( r e a l t i m es t r e a m i n gp r o t o c o l ，r t s p ) 是由r e a ln e t w o r k s 和 n e t s c a p e 共同提出的一个应用层协议。它可以在媒体服务器和客户端之间建立和 控制连续的音视频媒体流，协同更低层协议r t p 、r s v p 等一起来提供基于 i n t e m e t 的整套流式服务。r t s p 的目的是为流媒体实现多点传送和以点播方式单 一传送提供健壮的协议。r t s p 利用流技术把数据分成许多包，包的大小由客户 端和服务端的实际带宽决定，当客户端接收到足够的数据包时，用户不需下载 整个媒体文件就可以开始播放流媒体。因为播放器在播放一个包的同时，解压 另一个包并且下载第三个包。流媒体数据可以是输入的实况信息，也可以是存 储的视、音频片段。通过r t s p 协议，服务器端可以跟踪流媒体传输的时间、地 址和方式。r t s p 增加了对流媒体的控制请求，能恢复来自媒体服务器的流媒体。 2 1 3 媒体压缩技术 原始的视频数据存在着很大的冗余，包括时间冗余，空间冗余和主观视觉 8 第二章流媒体直播技术相关理论 冗余。为了更有效的存贮和传输，需要对原始数据进行压缩。压缩技术可以分 为两种：普通( n o n s c a l a b l e ) 编码技术和可扩展性( s c a l a b l e ) 编码技术。【1 1 】 2 1 3 1 普通编码技术 目前工业应用的主流标准，如m p e g 系列及h 2 6 x 系列标准引，大都采用 基于分块运动补偿及离散余弦变换( d c t ) 的压缩算法。 异构性是网络的一个很重要的特点，不同的终端的网络状况可能有很大的 区别。普通的编码技术只能生成一种质量的码流。对于高带宽的用户，希望获 得高码率高质量的码流；对于低带宽的用户，希望获得较低码率的码流，以牺牲 质量来换取流畅地播放。如果针对不同用户的需要，服务器同时播放不同码率 的多个码流，则降低了带宽利用率，因为不同码率的码流存在着很大的冗余数 据。为解决这个问题，提出了分层可扩展的编码技术。 2 1 3 2 分层可扩展性编码技术( l a y e r e ds c a l a b l ec o d i n g ) 传统的不可扩展性编码产生单一的压缩流，而可扩展性编码将把原始的视 频流压缩成多个视频流，如图2 2 ( a ) 所示。原始流被压缩成了一个基本流和多 个增强流，基本流可以被单独解码，提供最基本的视频质量，增强层解码后叠 加在基本流上，可以提供更好的视频质量，如图2 2 ( b ) 。 分层可扩展性编码主要有三种：时域可扩展性、空域可扩展性和质量可扩展 性。 时域可扩展性( t e m p o r a ls c a l a b i l i t y ) 编码通常是通过添加b 帧来实现。b 帧 是用与它在时间上最邻近的前后两个i 帧或者p 帧来预测的，而自己不能作为其 它帧的参考帧，因此，在传输中丢弃b 帧不影响其它帧的质量，而仅仅降低帧 率。因此可以在基本层传输i 帧和p 帧以及部分b 帧，在增强层传输更多的b 帧来提高帧率。 空域可扩展。i 生( s p a t i a ls c a l a b i l i t y ) 编码是通过为视频中的每一帧都创建多分 辨率的表示来实现的。原始视频首先通过采样得到低分辨率的视频，编码得到 基本层；然后编码原始视频和基本层的差，生成增强层。 9 第二章流媒体直播技术相关理论 原始图 像数据 貉本膣 艨缩冯躐 增姒联 胝缁码旒 图2 2 分层可扩展编解码框图 鏊率培 压缩码漉 增强屡 压缩码漉 薹零碰 解码蔚数据 增强层 鸺码最数据 质量可扩展性( p s n rs c a l a b i l i t y ) 编码思想和空域可扩展性编码很类似，只是 基本层不是下采样，而是进行一次很粗的量化形成基本层，然后对原始流和基 本层的差再进行编码生成增强层。 生成多个增强层只需重复上面的过程。 分层可扩展编码技术将视频压缩成一个或几个固定比率的码流，是面向存 储的。在网络环境下，当带宽达到一定的程度时用户可以接收到一定质量的视 频，但随着带宽的继续增加，视频质量得不到任何改善，直到带宽达到阶梯的 下一条线。为了适应网络带宽的变化，理想的视频编码方式应该具有可以在任 何地点截断的特性，视频的质量随着码率的增加而增加。由于网络的异构性及 缺乏q o s 保证，网络带宽会在一个很大的范围内发生变化，面向网络传输编码 的目标就是将视频压缩成适合在一个码率范围变化的码流。精细的可扩展性编 码则解决了这一问题。 2 1 3 3 多重描述编码( m d c ) 多重描述编码m d c ( m u l t i p l ed e s c r i p t i o nc o d i n g ) 的基本思想就是把一个 1 0 第二章流媒体直播技术相关理论 码流编码成m 个流，称为描述，并且不同的描述之间应该存在着相关性，其中 任何一个描述都可以被用户接收并且可以在一定的失真的情况下单独的解码。 不同的描述也可以叠加成失真更低的流。所以用户接收到的描述越多，重构的 视频质量就越好。m d c 编码与分层可扩展性编码的最大区别在于m d c 的每个 描述都可以单独解码，而分层编码中只有基本层可以被独立的解码，增强层需 要依赖基本层。 在p 2 p 系统中，由于用户的行为无法预期，任何节点都有可能在任何时候 退出系统。在基于组播树的p 2 p 流媒体系统中，一旦父节点离开系统。则它的 子节点的需要被重新插入到组播树中，系统对树的恢复速度将严重影响对受影 响的子节点的服务，在一个不稳定的环境下，用户频繁的退出会导致系统的不 稳定，解决这个问题的一个比较简单而有效的模型是同时构造两棵或多棵组播 树，通过在系统中部署多重描述编码( m d c ) ，每个组播树组播一个描述。因为只 要收到一个描述就可以单独解码，一个节点在所有组播树中的父节点同时离开 的可能性非常小，所以可以有效地解决系统不稳定的问题。 2 1 4 应用层的o o s 控制 在网络系统中影响流媒体q o s 的因素很多，如带宽，i n t e m e t 分组丢失率， 无线网络的误码差错，网络异构性，网络延迟等。应用层q o s 控制的目的是在 b e s t e f f o r t 的网络环境下避免拥塞控制，保证视频服务质量刈。为了保证视 频在网络上传输时能够达到一定的q o s ，提出了两种解决方案。一种是以网络 为中心，要求网络中的路由器、交换机为媒体流传输提供带宽、延时、抖动、 丢失率的服务质量保证。另一种思路就只涉及到端系统，不对网络实现提出要 求，通过端对端的协议实现媒体流传输的q o s 保障功能。第- z 种思路不依赖于 现有的和未来的网络实现，而且也比较容易实现，但是其缺点是比较被动。 应用层q o s 控制技术主要包括拥塞控制和错误控制。 2 1 4 1 拥塞控制( c o n g e s t i o nc o n t r 0 1 ) 过高的包丢失率和时延都将导致视频质量的急剧降低，而这些正是由于网 络拥塞引起的，拥塞控制机制就是试图减少包丢失率及时延。在视频传输中， 拥塞控制的主要手段就是服务器端的发送的比特率的控制，通过使发送的比特 第二章流媒体直播技术相关理论 率接近空闲的网络带宽来避免拥塞。下面简要介绍码率控制的方法及相关的速 率整形技术。 码率控带l j ( r a t ec o n t r 0 1 ) 通过估计当前的网络带宽来调整发送的比特率，码率 控制可以分为三种：基于发送端( s e n db a s e d ) ，基于接收端( r e c e i v eb a s e d ) 和混合的 码率控带l j ( h y b r i dr a t ec o n t r 0 1 ) 。 2 1 4 2 差错控制( e r r o rc o n t r o i ) 差错控制包括前向纠错编码( f e c ) 、重传机帝t j ( r e t r a n s m i s s i o n ) 、容错编码 ( e r r o r - r e s i l i e me n c o d i n g ) 和错误隐藏技术( e r r o rc o n c e a l m e n t ) 。【巧j 1 、前向纠错编码 发送端发送能纠正错误的编码，在接收端根据接收到的码和编码规则，能 自动纠正传输中的错误。其特点是不需要反馈信道，实时性好，但是随着纠错 能力的提高，编译码设备相对复杂。 2 、重传机制 在接收端监测到误码或丢包的情况下，要求发送端重传数据。重传的数据 必须在播放之前到达，否则就没有任何意义了。所以请求重传需要判断重传是 否可以满足播放时间的最后期限。 - 3 、容错编码技术 容错编码的目的是增强压缩流对包丢失的健壮性。然而这些技术主要是针 对易错的无线环境，在基于分组交换的i n t e m e t 网络中，误码( t c p u d p ) 的检验和 不一致) 将导致整个分组的重传。 4 、错误隐藏技术 容错编码是一种预防性的措施，即在分组丢失发生之前增强压缩码流的对 分组丢失的健壮性，而错误隐藏技术是在分组丢失发生后，接收端用错误隐藏 恢复错误的码流，尽可能的提高视频播放的质量。错误隐藏技术主要包括空域 插值和时域插值。空域插值中，丢失部分的象素通过相邻部分的象素插值，用 于帧内编码的重构。时域插值中，丢失的数据通过前面解码的数据进行恢复， 用于帧间编码的重构。 1 2 第二章流媒体直播技术相关理论 第二节流媒体直播实现原理 基于互联网的流媒体直播系统一般包括三个核心部分【18 1 ：直播源、流数据 网络传输和回放。( 见图2 3 ) 回放 直播源 ， ”蔺卜 l i i i i i i i i t7 i 数据接收解码回放 l 媒体数据分发 i。 l k 代s e v e r 数据接收解码回放 网络数据传输 图2 3 流媒体直播系统结构 t l 直播源负责在流式传输前的预处理工作，即进行音视频数据的采集和编码 工作，对原始的音视频信号进行压缩编码并转化为适合网络传输的音视频流格 式。流数据的网络传输是视频直播系统的重中之重，它决定着系统的用户规模 和用户所接收到的流媒体数据的质量。网络传输的主要作用就是将直播源产生 的压缩后的音视频流实时的传送到每个用户节点。回放是指用户节点在接收到 流数据之后，将压缩的音视频数据进行解码播放。 因此，流媒体直播实现原理简单地说，就是直播源通过采用高效的压缩算 法，在悔低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合 流式传输；然后通过架设流媒体服务器，修改m i m e 标识，利用各种实时协议传 输流数据。客户端接收到流数据后进行解码回放。由上可以看出视频直播系统 的两个核心技术问题：流式传输前的预处理( 即：流媒体的编解码技术) 和流媒体 的网络传输技术。 第二章流媒体直播技术相关理论 2 2 1 流式传输的预处理 多媒体数据首先必须进行预处理才能适合流媒体直播系统中的流式传输， 这是因为目前的网络带宽对多媒体巨大的数据流量来说还显得远远不够。预处 理主要包括两方面：一是采用先进高效的压缩算法：二是按照网络带宽的大小， 减小图像尺寸，在满足视频效果的基础上，根据不同场景，清除人体视觉和听 觉所不能感知的多余数据。其技巧在于压缩原始的a v 内容，使其能够在窄带 或宽带通道上以流的方式传给用户。预处理在编码器内完成，编码方式的选择 可以是多种多样的。目前视频直播系统采用的音视频编解码技术主要有动态图 象专家组( m o v i n gp i c t u r e se x p e l sg r o u p ，m p e g ) 提出的m p e g 4 ，r e a l n e t w o r k s 公司提出的r e a l m e d i a l 0 ，微软公司提出的w i n d o w s m e d i a l 0 ，和中国科学院计 算技术研究所提出的a v s m 等。m i c r o s o f t ，r e a l n e t w o r k s ，a p p l e c o m p u t e r 以及其他各方均提供关于编码、流式传送以及客户观看等方面享有专用权的方 案。此外，某些商家已开始提供1 0 0 兼容m p e g 4 的产品。常规视频编码速度 的范围从2 0 k b i t s 到目前的3 0 0 k b i t s ，将来则有望达到1 m b i t s 以上的速度。 目前在i n t e r n e t i n t r a n e t 上使用的较多的流媒体技术主要有r e a l n e t w o r k s 公 司的r e a ls y s t e m ，m i c r o s o f t 公司的w i n d o w sm e d i at e c h n o l o g y 和a p p l e 公司的 q u i c k t i m e ，它们是流媒体传输的系统的主流技术。由于不同公司发展的流式文 件的格式不同，传送的方式也有所差异，以下是目前在国际互联网上使用较多 的流式视频格式。主要是以下三种： ( 1 ) r e a l n e t w o r k s 公司的r e a l m e d i a 。r e a l n e t w o r k s 公司所制定的音频视频压 缩规范称为r e a l m e d i a ，它采用音频，视频流和同步回放技术来实现在i n t e r n e t 上全带宽地提供最优质的多媒体。r e a l m e d i a 包括三类文件：r e a l a u d i o 用来传输 接近c d 音质的音频数据，r e a l v i d e o 用来传输连续视频数据，而r e a l f l a s h 则是 r e a l n e r e a l n e t w o r k s 公司与m a c r o m e d i a 公司新近合作推出的一种高压缩比的动 画格式。 ( 2 ) a p p l e 计算机公司的q u i c k t i m e 。a p p l e 计算机公司的q u i c k t i m e 可以通 过i n t e r n e t 提供实时的数字化信息流、工作流与文件回放功能，它由三个不同部 分所组成：q u i c k t i m e 电影文件格式、q u i c k t i m e 媒体抽象层以及q u i c k t i m e 内置 媒体服务系统。 ( 3 ) m i c r o s o f t 公司的a d v a n c e ds t r e a m i n gf o r m a t ( a s f ，高级流格式) 。m i c r o s o f t 公司推出的a s f 是一个独立于编码方式，在i n t e m e t 上实时传播多媒体的技术标 1 4 第二章流媒体直播技术相关理论 准。a s f 是一种可扩展的流式文件格式，以w m v 和w m a 为后缀名的文件也 都采用了a s f 文件格式，它支持通过各种网络传送数据。a s f 的设计目的主要 有：支持高效的本地回放以及对来自数字媒体服务器和h t t p 服务器的流的高 效播放；支持可伸缩的媒体类型，可以方便的加入新的流数据；允许针对不同的 网络带宽，一个流有多个副本，每个副本的码流不同；独立于特定的媒体系统、 计算机操作系统、数据通信协议。每个a s f 文件可由多个流数据组成。文件头 说明了整个文件的很多特性以及和流相关的信息。媒体数据的传输和播放按照 一个统一的时间起点。对于部分下载的a s f 文件，只要头对象和一部分数据对 象( 关键帧) 存在，仍可以对此文件播放。可以说a s f 文件对流化提供了相当 的便利，w i n d o w sm e d i as e r v i c e s 己采用了m m s 协议对a s f 流化进行控制。 2 2 2 现有的流媒体直播网络传输架构 现在，流媒体的压缩、编解码技术日趋成熟，短期内已经