（计算机应用技术专业论文）互联网流媒体传输关键技术研究.pdf

摘要 随着互联网与多媒体压缩等技术的快速发展，互联网流媒体应运而生。然而由于 i n t e r n e t 与生俱来的尽力而为特性，以及在网络拓扑、传输介质和终端设备能力等方面 存在的异构性，要求承载于其之上的流媒体系统必须能够提供一定的容错和网络自适应 传输控制机制。由于可伸缩性足未来多媒体信源编码所追求的重要特性之一，本文主要 针对可伸缩流媒体在互联网中进行传输时所碰到的若干与容错和适应性相关的关键问 题进行深入研究。此外本文还研究了基于我国a v s 标准的p 2 p 网络流媒体系统实现， 以及基于该系统的网络自适应丢帧算法。主要研究内容和创新点如下： 首先，针对单个非均匀容错保护框架在高码率情况下无法充分利用网络带宽资源的 问题，提出了两种模块化非均匀容错保护模式和算法：基于码流分割和分组交织的非均 匀容错保护模式，和基于字节交织和分组交织的双重交织非均匀容错保护模式。实验结 果表明在不同的信源和信道条件下，这两种模式都能够取得接近最优的平均重构信号质 量，而且后者还能够很好地保持可伸缩编码的渐进传输性能。 其次，研究了非均匀容错保护对于两种异构客户带宽多播情形的适应性问题。针对 不同客户通过不同物理链路接入同一服务器的多播情形，提出了一个基于局部搜索的渐 进优化算法，可降低为不同接入带宽分别计算最优容错保护解时的计算复杂度。针对不 同客户局部共享同一物理链路接入同一服务器的多播情形，提出了一个基于嵌入式分组 框架的非均匀容错保护机制及其性能评价函数，并以最优化该性能评价函数为目标提出 了一个局部搜索算法和一个启发式算法。实验表明与现有定长分组分层多描述编码框架 相比，所提出的嵌入式分组框架能够取得更好的客户平均性能。 再次，针对可伸缩视频非均匀容错保护和传输中的质量平滑问题，提出了一个基于 加性上升，乘性下降的质垦控制机制和一个网络自适应的在线比特分配算法。为了降低算 法的计算复杂度，在采用基于局部搜索的渐进优化技术基础上提出了一个基于近似逼近 的两阶段迭代技术用来加速算法的收敛过程。实验表明与均匀时间比特分配算法相比， 该算法不仅能够以逐段平滑的方式在连续的帧组之间取得接近平稳或持续平滑递增的 重构信号质量，而且具有较低的时间复杂度，适合于在实时流媒体系统中进行应用。 最后，设计并扔步实现了一套i s m a 兼容的a v s 流媒体演示平台和一套基于a v s 的p 2 p 网络流媒体广播系统：a v s t r e a m e r 。提出了两个基于优先级的网络自适应选择性 丢帧算法，用丁二解决网络异构性所导致的p 2 p 中继节点处r t p 分组随机丢失问题。分 析和实验结果表明即使在网络状况较差的情况下所提算法也能够取得连贯、流畅的播放 效果。 摘要 总之，本文主要在深入分析现有流媒体传输技术不足的基础上进行研究，着重于通 过应用层技术柬改善流媒体传输的服务质量，提高系统的容错性能和对网络的自适应能 力。所提技术己部分应用于实际系统并取得了良好的效果。 关键词：互联网：流媒体；传输；可伸缩编码；信源信道联合编码；非均匀容错保护； 质量平滑；比特分配；p 2 p 网络；a v s s t u d y o nk e y t e c h n i q u e so fm e d i as t r e a m i n go v e rt h ei n t e r n e t l o n g s h eh u n ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f w e ng a n w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e m e ta n dm u l t i m e d i ac o m p r e s s i o n t e c h n o l o g i e s ，i t i sp o s s i b l et op r o v i d es t r e a m i n gm e d i aa p p l i c a t i o n so v e rt h ei n t e r a c t h o w e v e r , d u et ot h e b e s t e f f o r tp r o p e r t yo ft h ei n t e r n e ta n dt h eh e t e r o g e n e i t yo fn e t w o r k sa n dt e r m i n a l s ，i ti s n e c e s s a r yt h a tt h es t r e a m i n gm e d i as y s t e mm u s tp r o v i d es o m ec a p a b i l i t i e so fr o b u s t n e s sa n d a d a p t i v e n e s s s i n c es c a l a b i l i t yi so n eo ft h em o s ti m p o r t a n tf u n c t i o n sp u r s u e db yt h en e x t g e n e r a t i o nm u l t i m e d i ac o d i n gs t a n d a r d s ，t h er e s e a r c ho ft h i sp a p e rp u t si t se m p h a s i sm a i n l y o ns e v e r a lk e yp r o b l e m sa b o u tt h er o b u s ta n da d a p t i v es t r e a m i n go f s c a l a b l em u l t i m e d i ao v e r t h ei n t e r a c t m o r e o v e r t h i sp a p e ra l s os t u d i e st h ei m p l e m e n t a t i o no fap e e r - t o - p e e rs t r e a m i n g m e d i as y s t e mw h i c hi sb a s e do nt h ec h i n e s ea v ss t a n d a r d , a n dt w on e t w o r ka d a p t i v e f r a m e d r o pa l g o r i t h m sa d o p t e di nt h i ss y s t e m t h em a i nr e s e a r c hc o n t e n t sa n dc o n t r i b u t i o n s o f t h i sp a p e ra r el i s t e da sf o l l o w s ： f i r s t l y , i nh i 曲b i tr a t ec o n d i t i o n s ，i fs i n g l eu n e q u a le l t o ep r o t e c t i o nf r a m e w o r ki ss t i l l u s e dt op r o t e c ta n dt r a n s m i tas c a l a b l em u l t i m e d i ab i t s t r e a m , t h ea v a i l a b l ec h a n n e lb a n d w i d t h r e s o u r c e sc a l ln o tb ef u l l yu t i l i z e d ，a n dt h er e c e i v e rc a nn o to b t a i nb e t t e rp i c t u r eq u a l i t i e sw i t h t h ei n c r e a s e db a n d w i d t h t oa d d r e s st h i sp r o b l e m ，t h i sp a p e r p r o p o s e st w og r o u p e du n e q u a l e r r o rp r o t e c t i o n s c h e m e s ：g r o u p e du n e q u a le r r o rp r o t e c t i o nb ys p l i c i n gw i t hp a c k e t i n t e r l e a v i n g ，a n dg r o u p e du n e q u a le r r o rp r o t e c t i o nb yi n t e r l e a v i n gw i t hp a c k e ti n t e r l e a v i n g e x p e r i m e n t a lr e s u l ms h o wt h a tb o t ht h et w os c h e m e sc a na c h i e v en e a ro p t i m a la v e r a g e p e r f o r m a n c ei nv a r i o u ss o u r c ea n dc h a n n e lc o n d i t i o n s , w h i l et h el a t t e rc a l ls t i l lm a i n t a i nt h e p r o g r e s s i v et r a n s m i s s i o np e r f o r m a n c eo f s c a l a b l es o u r c ec o d i n gi nav e r yg o o de x t e n d ， s e c o n d l y , t h i sp a p e rs t u d i e st h ea d a p t i v e n e s sp r o b l e m so fm u l t i c a s t i n gu n e q u a le r r o r p r o t e c t e ds c a l a b l em u l t i m e d i ai nt w oh e t e r o g e n e o u sc l i e n tb a n d w i d t hs c e n a r i o s i nt h e s c e n a r i ow h e r ed i f f e r e n tc l i e n t sa c c e s st h es e r v e rv i as e p a r a t el i n k s ，t h i sp a p e rp r o p o s e sa l o c a ls e a r c hb a s e d p r o g r e s s i v eo p t i m i z i n ga l g o r i t h m ，w h i c hc a ng r e a t l yr e d u c et h e c o m p u t a t i o n a lc o m p l e x i t yo fs e a r c h i n go p t i m a lu n e q u a le r r o rp r o t e c t i o ns o l u t i o n sf o r d i f f e r e n tc l i e n ta c c e s sb a n d w i d t h s i na n o t h e rs c e n a r i ow h e r em a n yc l i e n t ss h a r eab o t t l e n e c k l i n k ，t h i sp a p e rp r o p o s e sa ne m b e d d e dp a c k e t i z a t i o nf r a m e w o r kf o rl a y e r e du n e q u a le r r o r p r o t e c t i o n , a n dap e r f o r m a n c ee v a l u a t i o nf u n c t i o nf o ri t a i m e da to p t i m i z i n gt h i sf u n c t i o n , t h i sp a p e ra l s op r o p o s e sal o c a ls e a r c ha l g o r i t h ma n daf a s th e u r i s t i ca l g o r i t h m e x p e r i m e n t a l r e s u l t ss h o wt h a t ，c o m p a r e dw i t ht h ef i x e d l e n g t hp a c k e t i z a t i o nf r a m e w o r ki nt h el i t e r a t u r e ， t h ep r o p o s e de m b e d d e dp a c k e t i z a t i o nf r a m e w o r kc a na c h i e v em u c hb e t t e rc l i e n t w e i g h t e d l l i a b s t r a c t a v e r a g ep e r f o r m a n c e t h i r d l y , t oa d d r e s st h eq u a l i t ys m o o t h i n gp r o b l e me n c o u n t e r e dw h i l es t r e a m i n gu n e q u a l e r r o rp r o t e c t e ds c a l a b l ev i d e oo v e rt h ei n t e r n e t ，t h i sp a p e rp r o p o s e sa l la d d i t i v ei n c r e a s e m u l t i p l i c a t i v ed e c r e a s eq u a l i t yc o n t r o lm e c h a n i s m ，a n da no n l i n en e t w o r ka d a p t i v eb i t a l l o c a t i o na l g o r i t h m t os p e e du pt h i sa l g o r i t h m ，al o c a ls e a r c hb a s e dp r o g r e s s i v eo p t i m i z i n g t e c h n i q u ei sa d o p t e d ，a n da na p p r o x i m a t e - a p p r o a c h i n gb a s e dd u a l s t a g ei t e r a t i o nt e c h n i q u ei s p r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a t ，c o m p a r e dw i t ht h eu n i f o r m t i m eb i ta l l o c a t i o n a l g o r i t h m , t h ep r o p o s e dt e c h n i q u e sc a na c h i e v en e a rc o n s t a n to rg r a c e f u li n c r e a s i n gq u a l i t yi n as e g m e n tb ys e g m e n ts c h e m e ，a n dt h ea c c e l e r a t e da l g o r i t h mi sv e r ye f f i c i e n ta n dc a nb eu s e d i nr e a l - t i m eo n l i n ea p p l i c a t i o n s f i n a l l y , t h i sp a p e ri m p l e m e n t sa na v ss t r e a m i n gm e d i ad e m o n s t r a t i o np l a t f o r mw h i c h c o m p l i e sw i t ht h ei s m a ( i n t e m e ts t r e a m i n gm e d i aa l l i a n c e ) s p e c i f i c a t i o n s ，a n da na v s b a s e d p e e r - t o - p e e rs t r e a m i n gm e d i ab r o a d c a s ts y s t e m ：a v s t r e a m e r d u et o t h eh e t e r o g e n e i t yo f n e t w o r k s ，t h e r em a yb er a n d o mp a c k e t d r o p sw h i l er e l a y i n gm e d i ad a t af r o mu p s t r e a mp e e r s t od o w n s t r e a mp e e r s t oa d d r e s st h i sp r o b l e m , t w op r i o r i t yb a s e dn e t w o r ka d a p t i v ea n d s e l e c t i v ef l a m e - d r o pa l g o r i t h m sa l ep r o p o s e d a n a l y t i c a la n de x p e r i m e n t a lr e s u r ss h o wt h a t ， e v e ni np o o rn e t w o r kc o n d i t i o n s ，t h ep r o p o s e da l g o r i t h m sa r ea b l et oa c h i e v em u c hf l u e n t r e n d e r i n ge f f e c t a sac o n c l u s i o n , b a s e do nt h o r o u g ha n a l y s i so fs o m ec h a l l e n g i n gp r o b l e m si nt h ea r e ao f m e d i as t r e a m i n g , t h i sp a p e rt r i e si t sb e s tt oi m p r o v et h eq u a l i t yo f s e r v i c ev i aa p p l i c a t i o nl a y e r t e c h n i q u e s ，s oa st op r o v i d er o b u s ta n da d a p t i v em e d i as t r e a m i n go ft h ei n t e m e t t h e p r o p o s e dt h c h n i q u e sh a v ep a r t i a l l ya p p l i e dt op r a c t i c a ls y s t e m sa n da c h i e v e df a v o r a b l e e f f e c t s k e y w o r d s ：i n t e m e t ；s t r e a m i n gm e d i a ；t r a n s m i s s i o n ；s c a l a b l ec o d i n g ；j o i n ts o u r c e c h a n n e l c o d i n g ；u n e q u a le r r o rp r o t e c t i o n ；q u a l i t ys m o o t h i n g ；b i ta l l o c a t i o n ；p e e r - t o p e e rn e t w o r k s ； a v s 图目录 图1 1 可伸缩流媒体信源信道联合编码传输系统 图2 1 可伸缩编码码率质量函数示意图 图2 2s p i h t 空域方位树示意图 6 8 】- 图2 33 ds p i h t 三维小波分解变换示意图 6 9 】 7 1 2 图2 4s p i h t 编码图像率失真曲线示例图 图2 5 系统r s 码编解码过程示意图 7 6 】 图2 6 两态马尔可夫丢包信道模型 图2 7 丢包信道中的u e p 保护f f e c m d c ) 示意图 图2 8 无记忆误码信道中的u e p 保护示意图 图2 9 衰落信道中的u e p 保护示意图 图3 1f e c m d c 丢包恢复示例图 。1 4 1 5 1 6 。1 8 2 l 。2 5 3 0 图3 2 不同丢包率条件下各种容错保护模式性能比较 9 l 】3 3 图3 3u e p 与e e p 的渐进传输性能比较 图3 4 基于分割的模块化u e p ( g u e p s ) 示意图 图3 5g u e p s i 模式分组交织发送示意图 3 3 3 4 图3 6g u e p i - i 模式字节交织与分组交织发送示意图 图3 7 模块化u e p 与单模块u e p 性能比较 图3 8 模块化u e p 渐进传输性能比较 3 6 4 0 图4 1 不同传输码率条件下的最优f e c m d c 分组参数值 图4 2 嵌入式分组框架传输系统示意图。 图4 3e p f 框架下不同算法所求得解的比较 图4 4f p f 和e p f 框架下不同算法性能比较一 图4 5e p f o a c b 算法不同客户分白模式性能比较 i x 4 5 。5 l 图日录 图4 6f p f - o a c b 、e p f - l s 和t p f - - c h o u 算法加权平均性能比较6 0 图5 1 基于非均匀容错保护的比特分配和质量平滑示意图 图5 2 比特分配算法性能比较( - - ) 。 图5 3 比特分配算法性能比较( - - ) 。 6 1 7 l 图5 4 参数口对比特分配算法b a a q c + 的影响( 卢= 0 2 ，5 ：o 1 ) 7 3 图5 5 参数对比特分配算法b a a q c “的影响( a = 1 ，占= o 1 ) 7 3 图5 6 参数艿对比特分配算法b a a q c 的影响( a = 1 ，：o 2 ) 图6 1i s m a 体系结构 图6 2a v s 网络流媒体传输平台8 0 图6 3a vs t r e a m e rp 2 p 网络结构示意图8 2 图6 4a v s t r e a m e r 系统中所支持的网络协议。8 3 图6 5a v s t r e a m e r 频道中继分组丢失示意图8 5 图6 6 基于优先级的选择性丢帧算法数据结构示意图8 8 图6 7 仿真网络带宽实验环境。8 9 图6 8 在关闭丢帧算法且带宽为8 0 0 k b p s 的情况下观察到的播放画面。9 0 图6 9 在关闭丢帧算法且带宽为6 0 0 k b p s 情况下观察到的播放画面9 l 图6 1 0 在启用丢帧算法情况下观察到的播放画面 图6 1 1 选择性丢帧算法n a s f d - 1 在不同带宽情况下的性能比较 x 9 3 表目录 表2 1 丢包信道u e p 保护算法比较 表2 2b s c 信道容错保护算法比较二。2 8 表4 i 非共享链路多播情形算法性能比较( 传输l e n a ) 。5 5 表4 2 非共享链路多播情形算法性能比较( 传输f o r e m a n ) 5 6 表5 1 比特分配算法中用到的g o p 参数表 表5 2 比特分配算法c p u 时间( s ) 比较( 一) 7 2 表5 3 比特分配算法c p u 时间( s ) 比较( 二) 表6 1 选择性丢帧算法在不同带宽情况下的主观性能评价9 0 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名： 哜鞋 【 日期：声西易缸r 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 名2 协轧聊虢面子吼加“心 1 1 引言 第一章绪论 公元2 0 0 5 年岁末，正值着手撰写本文之际，笔者从互联网上看到一则新闻：由中 国信息产业部电信研究院主办的。2 0 0 5 中国通信产业十大关键词”评选活动结果在北京 揭晓，“i p t v ”首次入围并位列第二这一评选结果昭示着i p t v 在我国已经进入业务 导入期，并已成为业界和广大消费者所关注的焦点之一。 所谓i p t v ，顾名思义就是基于口协议的交互式网络电视。它是一种利用p 宽带互 联网基础设施，以计算机或普通电视机加网络机顶盒为主要终端设备，向用户提供电视 直播、视频点播、i n t e m e t 访问、电子邮件和娱乐游戏等多种交互式数字媒体个性需求 服务的崭新技术。i p t v 与传统电视节目的最大区别在于使用口技术来承载业务所带来 的交互性和实时性，实现的是无论何时何地都能按需收看节目的交互网络视频业务。 事实上，口t v 仅是互联网流媒体应用领域近年来升起的一颗新星而已。除了口t v 之外，流媒体的应用范围还可覆盖v o d ( 视频点播) 、可视电话、视频会议、视频监控、 远程教育和远程医疗等等。流媒体技术使得音视频等媒体数据可以在通信网络中以一种 “流”的形式实时、连续和稳定地传播，即接收方几乎可以在发送方发送数据的同时便 立即开始一边接收数据一边进行播放，而不必等待所有数据全部下载到本地存储介质之 后再从头开始播放。与传统的下载方式相比，流媒体技术一方面可大大缩短用户的等待 时延，并降低客户端系统对缓存容量的需求，另一方面又可适用于诸如现场直播等形式 的实时媒体传播。自从其第一代商用产品于上世纪九十年代初面世以来【l 】 2 1 ，伴随着 互联网( i n t e m e t ) 的爆炸式发展和数字媒体编码压缩技术的不断进步，网络流媒体技术 也取得了飞速发展，并成为了学术界和工业界研究和关注的热点之一。正如使用电子邮 件和w e b 浏览等互联网服务一样，流媒体业务也正逐渐步入寻常百姓的门庭，并有望成 为人们日常生活、学习和工作中不可或缺的一个重要组成部分。 然而，就目前来说，网络流媒体技术还处于其成长的幼年期，前进的道路上仍面i 临 着许多技术障碍等待着我们去挑战。例如，目前的i n t e m e t 还主要是一个“尽力而为” 的网络，其信道行为如带宽、时延和丢包率等具有一定的动态性和不可预测性，无法提 供流媒体传输所需要的服务质量( q o s ) 保证；异构的网络拓扑、传输介质和终端计算 能力；压缩媒体数据的码牵突发性和数据依赖性等等。面对这些挑战，本文将主要侧重 于针对流媒体数掘在互联网丢包信道中进行传输时所碰到的容错性问题以及对于异构 和动态变化网络环境的适应性问题等进行研究。本搴接下来首先简单回顾研究背景和研 究现状，然后提出问题并对本文研究工作的主要内容和贡献进行概括，最后介绍论文的 组织结构和布局。 中国科学院博1 学位论文且联州旆媒体传输关键技术研究 1 2 研究背景 网络流媒体的迅速发展和普及，主要得益于以下几个方面的技术进步和需求。 计算技术 根据著名的“摩尔定律”，微处理器芯片的处理能力每十- n 十八个月便增长一番。 计算技术的飞速发展使得原本只有在高性能专用设备上才能处理的数字视频编解码等 运算如今在普通的台式计算机、数字机顶盒、甚至微型手持嵌入式设备( 如手机) 中就 可进行，从而大大降低了流媒体应用的运营和使用成本，促进了其向更广范围消费者群 体的普及。 数字视频编码压缩技术 视频是人类记录，获取和传播信息的重要载体之一。传统的视频是以模拟信号的形 式进行存储和传播的。计算机、数字信号处理和现代数字通信等技术的发展促进了视频 信号的数字化。然而未经压缩的原始视频数据，其数据量之大对于目前有限的计算机存 储空间和网络传输带宽来说都是难以承受的，因此在存储和传输之前必须首先对其进行 压缩处理。在过去的近二十年中，国际上成功制定了面向各种应用的视频编码压缩标准， 主要包括用于v c d 存储的m p e g - i 标准【3 】，用于数字视频光盘( d v d ) 和数字电视广 播( d v b ) 的m p e g 2 标准 4 】，用于视频会议和可视电话的h 2 6 1 h 2 6 3 标准 5 1 1 6 ， 以及允许对任意形状的对象进行编码的m p e g - 4 标准【7 】等。尤其是最近国际上新制定的 h 2 6 4 a v c 视频编码标准【8 】和我国目前正在制定的具有自主知识产权的a v s 数字音视 频编码标准【9 】，与以往任何编码标准相比，其压缩性能都至少提高了一倍以上 1 0 】。编 码压缩性能的不断提高使得在较低码率的网络信道中传输较高质量的流媒体数据成为 可能。 网络通信技术 自上个世纪九十年代以来，电信及计算机网络通信技术取得了突飞猛进的发展。以 大规模密集波分服用( d w d m ) 为主导的光通信技术的发展为大容量多媒体数据的传输 铺就了信息高速公路；新一代数字移动通信技术的发展为无处不在的网络接入提供了极 其便利的条件和手段；而互联网的迅猛发展和壮大则彻底改变了人们获取和消费信息的 习惯，人们在使用互联网来收发电子邮件、浏览w e b 网页和下载数据文件的同时，同样 希望能够通过同一张网络来与亲友通话收听广播和收看电视节目，以及进行其它娱乐 活动。这种趋势直接导致了网络融合，理想的境界足任何人( a n y o n e ) 在任何时问 ( a n y t i m e ) 、任何地点( a n y w h e r e ) 都能够访问到任何内容的媒体数据( a n y t h i n g ) 【1 1 1 。 随着互联网的迅速普及，口协议因其简单性和灵活性逐渐成为当今数据通信网中占主导 地位的网络层协议 1 2 1 。普遍认为，未来的互联网很可能足一个以i p 为核心的多媒体通 信n j 1 3 。除了传统的数据业务之外，其它如话音、图像和视频等多媒体内容也都将以 数字化的形式承载于i p 网络之上进行传输，而流媒体业务则将在其中占据着举足轻重 的地位。 第一章绪论 尽管如此，近年来互联网流媒体的进展并没有像原先人们所预想的那么顺利，原因 主要在于现有的i n t e m e t 网络原本是针对数据业务传输而设计的，其尽力而为( b e s t e f f o r t ) 的特性无法为实时多媒体数据的传输提供相应的q o s 保证。这主要表现在以下 几个方面： 带宽 即使是经过压缩，数字视频的数据量仍然较为庞大，不同质量的视频码流通常都会 有相应的最小传输带宽需求【1 4 】。由于目前的i n t e m e t 并不提供带宽预留服务，因此如果 带宽需求无法满足，则过大的流量会导致网络拥塞，从而迸一步降低流媒体的吞吐量。 此外，i n t e r n e t 中时变的可用带宽还会导致接收端所呈现的视频质量随时间而动态波动， 进而为人们的视觉带来不舒服的感受 1 5 1 。 时延抖动 与普通的数据传输不同，流媒体具有实时性和连续性等特点，在传输时有一定的端 到端时间约束。一旦客户端启动，视频数据的各帧必须按照一定的频率连续播放，否则 会给人以不连贯的感觉 1 6 1 7 1 。而i n t e m e t 中的网络拥塞可能会导致某些分组滞后于其 所要求的时限到达目的端，从而引起播放的停顿和断续。 丢包 为满足视频播放的实时性要求，网络流媒体系统的传输层通常采用无连接、不可靠 的u d p 协议，而较少采用基于重传的可靠的t c p 协议【1 8 】。这样网络传输过程中的丢 包就不可避免。丢包可能发生在网络中间设备如路由器佼换机上( 由拥塞引起) ，也可 能发生在目的端( 超过播放时限) 。如果一个丢失的分组在其播放时限到达之前未能得 到恢复，则其所属的视频帧( 或相应的宏块条带部分) 便不能正确解码和呈现。由于压 缩后的视频码流数据具有很强的空问和时间依赖性，因此一个分组的丢失不仅会影响到 当前帧的正确解码，而且会降低后续一连串视频帧的解码质量。 网络和终端设备的异构性 虽然未来的流媒体服务将普遍承载于i p 网络之上，然而在i p 之下的物理层和链路 层，却仍然是由多种介质互联而成的异构网络。例如在骨干网中主要采用基于波分复用 的大容最光纤传输系统，而在接入网中则可能足无线移动通信、x d s l 、光纤以太网、 h f c 和卫星接入等多种形式并存，其中尤以无线移动通信的发展势头最为强劲。不同的 传输介质可能具有不同的接入带宽、错误统计特性和拥塞控制策略等。此外，不同的终 端设备也会具有不同的接入带宽、计算能力，显示能力和功耗要求等等。网络和终端设 备的异构性要求流媒体编码和传输系统的设计必须具有很强的适应性。 1 3 研究现状 为了解决上述问题，长期以来主要存在以下两大类研究方向 1 9 1 。第一类足基于网 络层的研究，一般通过修改网络内部( 如路由器和交换机中的) 协议或机制束使之能够 中固h 学院博t 学位论史且联删流媒体传输关键技术研究 提供流媒体应用所需要的带宽、时延抖动和丢包等q o s 保证，例如通过集成服务 ( i n t e s e r v ) 2 0 2 1 2 2 1 1 2 3 1 或区分服务( d i f f s e r v ) 【2 4 2 5 1 束完成。第二类为基于应用 层的研究。它是通过对终端系统( 包括客户端、服务器和代理服务器等) 的应用层程序 进行改造来使之尽量适应网络的当前状况，从而在客户端获得尽可能好的媒体呈现效 果，而不要求来自网络系统内部的q o s 支持。以网络为中心的思路需要改变整个网络系 统中的设备和协议，短期内实现和部署起来难度较大；而基于应用层的思路则只需要对 所涉及到的终端系统应用程序进行改造，实现起来相对方便。 根据侧重点的不同，基于应用层的研究又大致可分为以下三个方面：应用层网络拓 扑结构研究，容错传输研究，和网络自适应传输研究。事实上这三个方面的研究并不是 孤立进行，而是相互融合和相互补充的。 应用层网络拓扑结构研究 面向应用层网络拓扑结构的研究着重于通过调整流媒体应用系统的网络拓扑结构 来削减网络瓶颈，平衡网络负载，最大化整个网络系统带宽和其它资源的利用率，降低 网络传输过程中的时延和丢包率。在传统的集中式客户机服务器架构中，所有客户机访 问同一个服务器资源，这不仅使得服务器的处理能力、存储容量和i o 吞吐能力等成为 瓶颈，而且较长距离的网络连接也更容易导致网络拥塞。针对这种情况，近年来出现了 两种新型的流媒体网络结构：内容分发网络( c d n ) 和对等( p 2 p ，p e e r - t o p e e r ) 网络。 c d n 源于w e b 的代理服务器机制，它主要是通过在网络边缘距离终端用户较近的 位置设置流媒体代理服务器并复制常用的媒体数据( 片段) 来降低主干网络链路的流量， 从而避免拥塞，降低时延和丢包率，改善流媒体传输质量 2 6 1 1 2 7 。 p 2 p 流媒体网络实际上也是起源于早期基于文件共享和下载的p 2 p 网络技术，例如 著名的n a p s t e r 、g n u t e l l a 、e m u l e 和b i t t o r r e n t 等 2 8 1 。在一个p 2 p 网络中，每个参与节 点都既作为客户机享用其它节点所提供的服务，又充当服务器为其它节点提供服务。节 点之日j 互为平等，直接交互，不需要集中的中央服务器。这样就减少了对中央服务器计 算能力、存储能力和i o 吞吐能力的要求，更好地实现了负载均衡，增强了整个网络的 健壮性和可扩展性。早期的p 2 p 流媒体网络研究大多基于应用层多播树的结构 【2 9 3 0 3 1 3 2 】，而近年来的研究方向则逐渐向更复杂而高效的网状网结构发展 【3 3 】 3 4 【3 5 3 6 3 7 】 3 8 】a 容错传输研究 经过压缩后的媒体数据之间具有很强的依赖性，压缩码流中不同位置数据具有不同 的重要性。重要性较高数据的丢失会导致其它数据即使正确接收也无法解码或解码质量 下降，因此需要通过引入差错控制技术柬尽量改善流媒体的传输质量。由f 人的视觉系 统具有一定的容错性，能够容忍在部分数据无法正确接收的情况下一定程度的重构信号 质量下降 3 9 】，因此与传统文件下载等应用中的完全可靠传输不同，流媒体传输中的差 错控制并不要求所有发送数掘完全可靠到达目的地，而足容许在有部分错误无法恢复的 情况下尽可能可靠地传输部分或全部媒体数掘，以使得在给定的约柬条件下最大化接收 4 第一章绪论 端的重构信号质量。 由于实时流媒体传输通常采用u d p 传输协议，而u d p 本身是不可靠的，因此差错 控制需要由应用层来完成根据差错控制实旌的位置和作用，可以将其分为以下四种类 型：编码器端的容错编码，解码器端的错误隐藏，基于编码器解码器交互作用的差错控 制，和面向网络传输的差错控制。 容错编码主要从信源编码的角度来应对可能出现的传输错误。它试图采取阻止错误 扩散或将已发生的错误限制在有限区域之内等措施来使得信源编码器的输出码流即使 出现个别错误也不致对解码器的操作带来大的不良影响。现有的容错编码方法主要有重 同步标记、数据分割【4 0 】、反向变长编码【4 1 】、最优帧内帧问模式选择 4 2 4 3 1 和多描述 编码f 4 4 】等等。 差错隐藏是一种后处理技术。由于人眼能够容忍一定程度的视频信号失真，因此在 错误已经发生的情况下，解码器可以利用压缩码流中依然残存的部分冗余信息来设法弥 补丢失的数据，从而使显示更加悦目。常用的差错隐藏方法主要包括空域内插和时域内 插等等 4 5 1 。 如果在网络通信系统中存在从解码器到编码器的反向链路，则可采用基于编码器和 解码器交互作用的差错控制。此时编码器可以根据从解码器端反馈回来的信道统计信息 和差错隐藏信息等内容来决定信源容错编码或信道编码的参数选择。有关这方面的工作 主要有基于反馈的编码参数选择、模式选择、参考帧选择和错误跟踪等等 【4 6 1 1 4 7 4 8 1 1 4 9 。 面向网络传输的差错控制主要是通过在传输过程中引入冗余来纠正可能出现的错 误，其中最常用的技术包括自动请求鼋传( a r q ) 和前向纠错( f e c ) 等两大类。由于 a r q 的使用会带来额外的时延，且不适合基于广播或多播等没有反馈链路的应用，因 此在实时流媒体应用中广泛采用基于f e c 的方法。f e c 又可称为信道编码或容错保护， 这是本文后续将要介绍和研究的重点。 网络自适应传输研究 流媒体传输中的适应性控制主要是利用一定的反馈或判断机制( 例如基于探n 1 8 1 或基于模型 5 0 1 的码率控制机制) ，在服务器或网络中间节点动态调节流媒体的传输码率 或容错保护调度策略，以保证在异构网络或时变带宽等情况下客户端也能够正常收看到 平稳，连续以及给定约束条件下最佳质量的流媒体内容。常用的网络自适应传输控制机 制主要有联播、自适应即时编码、转码、可伸缩编码和选择性丢帧等 5 1 1 1 5 2 1 。 在联播方式中，流媒体服务器同时保存着同一个节目以不同码率编码的多个