（信号与信息处理专业论文）面向无线网络的多描述视频编解码的研究.pdf

厶 南京邮电大学 硕士学位论文摘要 学科、专业：王堂信曼皇信息处堡 研究方向：图傻熊堡皇垒媒佳通值 作 者：盟级研究生岜丛! 旦 指导教师：塞逝 i i iiiii i iii i ii ii i iiii y 17 5 4 8 2 6 题目：面向无线网络的多描述视频编解码的研究 英文题目：r e s e a r c ho nm u l t i p l ed e s c r i p t i o nv i d e oc o d i n go v e r w i r e l e s sn e t w o r k 主题词：无线视频传输差错控制多描述编码自适应控制 k e y w o r d s ：w i r e l e s sv i d e ot r a n s m i s s i o n , e r r o rc o n t r o l ，m d c ，a d a p t i v ec o n t r o l 如 厶 j 南京邮电大学硕士研究生学位论文摘要 摘要 在无线网络上传输视频面临着诸多问题，如无线信道的带宽有限，误码率高，带宽波 动频繁等。因此，如何使视频适用于无线网络传输已成为一个亟待解决的问题。 针对以上问题，研究学者们从不同方面提出了不同的解决方案，如适应于无线网络的 视频编码技术和无线视频通信中的差错控制技术。这些技术中的多描述编码有其特有的优 点，在编码端，将原始视频流分为多个子描述，每个描述可以在不同的信道中进行传输； 在解码端，任何一个描述都可独立解码重建原始视频，收到的描述越多，重建质量越好。 通过对现有多描述视频编码方法的分析，本文对基于空间下采样的多描述视频编码方 案进行了改进，以适应无线网络的传输。在多描述编码端，对4 种一级分割方案进行试验 比较，得出帧分割的一级分割采用按行分割的方法最优；二级分割在一级分割的基础上按 列进行分割，这种分级分割方法灵活易变，适用于无线信道的带宽波动；通过对每种帧分 割产生的描述的编码输出码率进行统计，得出描述间编码码率的比例规律，从而得出自适 应信道带宽变化的方法。在多描述解码端，实现了不同描述丢失情况下的不同插值重建方 法，并在非平衡多描述时，采用只有高分辨率描述丢失时才使用低分辨率描述重建视频的 方法，重建视频质量的平均p s n r 提高了o 2 o 6 d b 。 试验结果表明，本文改进的基于空间下采样的多描述视频编码方案不仅适应无线网络 传输，即使在高丢包率环境下也能取得比较好的客观效果。 关键词：无线视频传输差错控制多描述编码自适应控制 电 0 南京邮电大学硕士研究生学位论文 a b s t r a c t t r a n s m i t t i n gv i d e oi nw i r e l e s sn e t w o r k sf a c e sw i t hm a n yp r o b l e m s ，s u c ha st h el i m i t e d w i r e l e s sc h a n n e lb 锄d 而d n l h i g he r r o rr a t e ，f r e q u e n t l yb a n d w i d t hf l u c t u a t i o n sa n ds o o n t h e r e f o r e ，h o wt om a k ev i d e of o rw i r e l e s sn e t w o r k sh a sb e c o m ea l lu r g e n ts o l u t i o n f o rt h ea b o v ep r o b l e m s ，r e s e a r c hs c h o l a r sp r o p o s e dd i f f e r e n ts o l u t i o n sf r o md i f f e r e n t a s p e c t s ，s u c ha sv i d e oc o d m gt e c h n o l o g yf o rw i r e l e s sn e t w o r k sa n de r r o rc o n t r o lt e c h n o l o g yi n w i r e l e s sv i d e oc o m m u n i c a t i o n t h i sp a p e ra p p l i e so n eo ft h e s ep r o g r a m sw h i c hi sm u l t i p l e d e s c r i p t i o nc o d i n g ( m d c ) ，t h eo r i g i n a lv i d e os t r e r i i li sd i v i d e di n t om u l t i p l es u b - d e s c r i p t i o n si n t h em de n c o d e rs i d e ，e a c hd e s c r i p t i o nc a nb et r a n s m i t t e di nd i f f e r e n tc h a n n e l ，i nt h em d d e c o d e rs i d e ，a n yo n ed e s c r i p t i o nc a nb ed e c o d e di n d e p e n d e n t l ya n dr e c o n s t r u c to r i g i n a lv i d e o ， t h em o r ed e s c r i p t i o n s ，t h eb e t t e rr e c o n s t r u c t i o nq u a l i t y b ya n a l y z i n gt h ee x i s t i n gm u l t i p l ed e s c r i p t i o nv i d e oc o d i n g ( m d v c ) ，t h i sp a p e ri m p r o v e s s p a c ed o w n s a m p l i n gm d v cs c h e m et om e e tw i r e l e s sn e t w o r k s i nt h em d a m 。) d e rs i d e , t h i s p a p e rc o m p a r e st h ef o u rk i n d so ff i r s tl e v e lp a r t i t i o np r o g r a m , o b t a i n sf i r s tl e v e lp a r t i t i o no f s p l i t - f i n em e t h o di so p t i m a l , s e c o n dl e v e lp a r t i t i o na p p f i 嚣s p r i t - c o l u m nm e t h o do nt h eb a s i so f f i r s tl e v e lp a r t i t i o n , t h i sh i e r a r c h i c a lf r a m e p a r t i t i o nm e t h o dc a nc h a n g ef l e x i b i l i t ya n da d a p tt o w i r e l e s sc h a n n e lb a n d w i d t hf l u c t u a t i o n t h i sp a p e rc o u n t st h ee n c o d i n gb i tr a t eo fd i f f e r e n t d e s c r i p t i o n sf r o me a c hf l 墨l m ep a r t i t i o n , o b t a i n st h ee n c o d i n gb i tr a t ep r o p o r t i o n a ll a wb e t w e e n d e s c r i p t i o n s ，a n dp r o p o s e sc o n t r o lm e t h o do fa d a p t i v ec h a n n e lb a n d 埘d t hc h a n g e s i nt h em d d e c o d e rs i d e ，t h i sp a p e ra c h i e v e sd i f f e r e n ti n t e r p o l a t i o nm e t h o d sf o rd i f f e r e n td e s c r i p t i o nl o s s ， a n di nu n b a l a n c e dm d v c ，a p p l i e sl o w - r e s o l u t i o nd e s c r i p t i o no n l yb eu s e dv i d e or e c o n s t r u c t i o n w h e nh i g h - r e s o l u t i o nd e s c r i p t i o ni sl o s t , t h i sm e t h o di n c r e a s e st h ea v e r a g ep s n r0 2 o 6 d b e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ei m p r o v e ds p a c ed o w n - s a m p l i n gm d v c i sn o to n l yt o a d a p tt ow i r e l e s sn e t w o r kt r a n s m i s s i o n , b u ta l s oc a na c h i e v eb e t t e ro b j e c t i v er e s u l t s a th i g h p a c k e tl o s sr a t ee n v i r o m e n t s k e yw o r d s ：w i r e l e s sv i d e ot r a n s m i s s i o n , e r r o rc o n t r o l ，m d c ，a d a p t i v ec o n t r o l i i 南京邮电大学硕士研究生学位论文 目录 目录 摘要i a b s t r a c t i i 目勇之i 第一章引言l 1 1 课题背景l 1 2 无线视频通信面临的挑战和现有解决方法。2 1 2 1 面临的挑战2 1 2 2 适于无线环境的视频编码技术3 1 3 本文工作及论文组织。5 第二章无线视频通信技术7 2 1 无线视频通信系统7 2 1 1 视频编码标准 2 1 2 无线信道模型 2 2 无线视频通信中视频编解码端的差错控制技术1 0 2 2 1 编码端的差错控制。1 1 2 2 2 解码端的差错控制1 3 2 3 本章小结。1 3 第三章多描述视频编码的基本理论和方法1 4 3 1 多描述编码基本原理及特点1 4 3 2 多描述视频编码研究现状1 5 3 2 1 平衡多描述视频编码1 5 3 2 2 非平衡多描述视频编码1 8 3 2 3 多描述视频编码的关键问题2 2 3 3 面向无线网络的多描述视频编码方法的提出2 4 3 4 本章小结2 6 第四章面向无线网络的多描述视频编解码的实现：2 7 4 1 多描述编码。2 7 4 1 1 帧分害0 2 7 i i i 南京邮电大学硕士研究生学位论文 目录 4 1 2 自适应控制3 4 4 2 多描述解码4 0 4 2 1 多描述解码实现4 0 4 2 2 解码参数定义4 2 4 2 3 描述丢失插值重建方法。4 2 4 3 本章小结4 7 第五章实验结果与分析4 8 5 1 描述丢失图像重建质量测试。4 8 5 2 1 两个描述4 8 5 2 2 三个描述5 0 5 2 2 四个描述5 4 5 2 网络丢包模拟5 7 5 3 本章小结5 9 第六章总结与展望6 ( 1 6 1 论文总结j 6 0 6 2 下一步工作展望 参考文献。 6 c 作者攻读硕士期间参加的科研项目和发表的论文6 5 致谢6 6 i v 南京邮电大学硕士研究生学位论文第一章引言 1 1 课题背景 第一章引言 进入2 l 世纪以来，随着第三代移动通信系统( 3 g ) 【l 】的兴起和发展，人们又提出了 4 a ( a n y w h e r e ，a n y t i m e ，a n y o n e ，趾巧，d e v i c e ) 理念的信息获取要求【z j ，相应地产生了许多 新兴的应用研究课题如手机电视、移动影院和移动流媒体等，而无线多媒体通信技术则是 这些新兴应用研究课题中一块不可或缺的基石。 在多媒体通信研究领域，视频信号的处理和传输一直以来占据着主导地位。其原因不 仅在于视觉是人类获取信息的主要途径【3 1 ，更主要是因为视频信号的数据量要远远大于文 字和声音。因此，面对海量的视频数据，研究高效的压缩算法是多媒体通信领域中关键问 题之一。为了达到这个目的，国内外研究者们已经提出了许多先进的视频编解码技术并制 定了一系列关于视频压缩编码的国际标准来实现高效的视频压缩。表1 1 中列举了到目前 为止发展起来的视频压缩标准及其典型目标比特率范围嘲。 表1 1 视频压缩标准及目标比特范围 标准制定日期目标比特率 h 2 6 1 1 9 8 4 - 1 9 9 0 p 6 4 k b p s m p e ( 11 9 8 8 1 9 9 2 小于1 5 m b p s m p e g - 2 ( h 2 6 2 ) 1 9 9 0 1 9 9 41 5 - 3 5m b p s m p e g - 4 1 9 9 3 2 0 0 28 k - 3 5m b p s h 2 6 3 ( h 2 6 3 + ，h 2 6 3 + + ) 19 9 3 - 2 0 0 28 k - 1 5m b p s h 2 6 4 ( m p e g - 4p a r tio ) 2 0 0 1 2 0 0 6 年底 4 k - 3 0m b p s v c l o 2 0 0 3 - 2 0 0 64 k - 3 0m b p s a v s 系列标准视频部分2 0 0 3 至今 4 k - 3 0m b p s 当前，无线通信技术的发展，特别是随着第三代移动通信系统的逐步形成和完善，使 得移动信道的带宽显著增加，从而具备了在无线信道上传输除了简单语音和文字之外的多 媒体数据的能力【6 7 1 。表1 2 中的数据显示了第二代移动通信和第三代移动中采用的主要技 术标准和可用数据业务带宽的对比【2 1 。无线通信中往往通过增加网络带宽来缓解网络拥塞， 但这样做并不能消除拥塞。尤其当大带宽的新业务量( 视频等) 猛增的时候，拥塞将是难 以避免的。必须从视频业务本身、信道编码等方面考虑去对抗无线通信所面临的问题。 南京邮电大学硕士研究生学位论文 表1 - 2 第二、三代移动通信主要技术标准及数据业务带宽 技术标准数据业务带宽 g s m ( g p r s ，e d g e ) ( 2 g )9 6 k b p s 一115k b p s c d m a l x ( i s l 3 6 ) ( 2 g ) 1 4 4k b p s 一13 6 5k b p s c d m a 2 0 0 0 ( 3 g ) 3 8 4k b p s 2m b p s w c d m a ( 3 g ) 3 8 4k b p s - 2m b p s t d s c d m a ( 3 g ) 3 8 4k b p s 一2m b p s 1 2 无线视频通信面临的挑战和现有解决方法 1 2 1 面临的挑战 视频技术虽然得到了巨大发展，并已成功地应用于社会生活中的各个领域，但是视频 通信还存在许多亟待解决和完善的问题 r l s i 。提高无线视频通信的鲁棒性，将要面临以下 挑战： ( 1 ) 无线信道带宽限制 当前的移动通信网络为用户提供的传输带宽仍是非常有限的，尽管这个问题在3 g 会 得到某种程度上的缓解。视频通信业务的数据量非常大，视频信号携带的很多信息是无法 用其它形式的信号来加以描述的，因此传输视频信息要求网络提供较高的带宽。要想在有 限的带宽条件下传输大量的数字视频信号，就需要采用某种极低比特率的视频压缩编码算 法来实现高效压缩。 ( 2 ) 无线信道带宽波动 首先，无线通道的吞吐量会因为多径衰落、同频道干扰和噪声的扰动而降低。其次， 无线通道的容量会随着基站与移动主机之间距离的变化而波动。第三，当移动终端在不同 网络问运动时( 例如，从无线局域网到无线广域网) ，通常带宽会发生剧烈的变化( 例如， 从每秒几兆比特到每秒几千比特) 。最后，当发生基站切换时，基站可能没有足够的无线 电资源去满足新加入的移动主机的需求。因此，带宽波动对于实时视频传输是一个严重的 问题。 ( 3 ) 无线信道高误码率 与有线信道相比，由于信号衰减和多径、阴影以及多普勒效应的存在，无线信道错误 率较高【2 】【9 】；而视频数据是经过高度压缩的数据流，其比特之间的数据相关性很小，对错 2 南京邮电大学硕士研究生学位论文 第一苹弓i 言 误十分敏感【1 0 1 。此外，在视频压缩技术中为了获得高的压缩比，通常采用了时域运动补偿 滤波技术和变长的统计熵编码技术。这些技术的采用使得一旦发生错误，出错帧的码流将 不再同步，且由于时域运动补偿，当前帧的错误将会影响到后续帧的解码，使得解码出来 的视频质量严重下降。 ( 4 ) 功耗 作为便携式系统的移动终端，通常使用电池进行供电，其供能系统的容量受到很大的 限制。因为视频业务的编码算法相对复杂，并且用户在享受业务时需要长时间开启终端屏 幕，所以必然会消耗大量的能量。这一矛盾大大制约了移动视频通信业务的发展，因而设 计低能耗的压缩算法，减少视频终端的功率消耗是研究工作的关键，比如手机电视。而一 些微型终端，比如手机、p d a ，在功耗方面有着严格的要求，所以在这些设备上需要相对 较小的解码复杂度。 ( 5 ) 延迟抖动 对于视频信息来说，数据的到达需要严格的时间间隔才能保证数据连续播放，对于滞 后于时间间隔的数据，即使数据正确，也只能丢弃不用。电话会议、可视电话和虚拟教室 等交互性的应用都对延迟提出了严格的要求。 1 2 2 适于无线环境的视频编码技术 为了实现在无线网络上的视频传输，研究者们从无线网络系统和视频终端系统两种角 度提出了多种解决方案。在以无线网络为中心的解决方案中，重点研究无线网络信道如何 为视频传输提供带宽、延迟、抖动、丢失率的服务质量保证( q u a n l i t yo fs e r v i c e ，q o s ) 。 就目前研究情况来看，由于无线信道本身传输条件的限制，很难在无线网络上提供可靠的 服务质量保证。而以终端系统为中心的方案则不依赖于现有的或者未来的网络现实，是一 种更为切实可行的方法。因此本节从终端系统出发，叙述了当前适用于无线传输的视频编 码技术。 ( 1 ) 自适应码率调节 在实时编码传输中，一般都采用自适应的编码方法，即编码器根据获得的信道状态信 息自动调整编码参数( 包括量化参数、帧率和空间分辨率参数等) ，生成适合当前信道传 输的码流。在自适应编码方案中，需要结合一定的传输控制协议来完成对编码器参数的调 节，这些协议般采用r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 和r t c p ( r e a lt t m ec o n t r o l p r o t o c 0 1 ) 。发送方将压缩数据分成r t p 包发送给接收方，接收方检测r t p 数据包的传输延 南京邮电大学硕士研究生学位论文第一苹引言 迟和包丢失率，通过r t c p 协议将信道状态信息反馈给发送方，发送方根据反馈信息估计 信道状态的方法主要包括基于探测的方法和基于模型的方法。当发送方估计出发送码率之 后，就可以采用码率控制技术改变视频编码器的量化参数，或者调整视频的帧率来生成适 当的码流。前者是在一定帧率下通过调节量化参数来实现码率调节，而后者是带宽严重不 足( 比如在无线信道深度衰落期内) 的时候，采用降低视频序列时间分辨率( 帧率) 来减 少带宽需求。实际应用中，二者往往结合起来使用，即根据当前信道有效带宽的变化情况 来自适应选定码率调整策略。 ( 2 ) 码流动态切换 视频流动态切换技术是指服务器能够根据用户频道的状态动态地在多个不同码率的 码流中切换，以提供适合用户需求的视频流。为了能够在不同码率的码流间切换，目前存 在有两种技术：一是通过提供帧内编码的关键帧来实现流间的切换，二是利用s p s i 帧技 术【6 】来实现流间的切换。 ( 3 ) 容错性编码 容错性编码可从编码器、解码器、信道编码和编解码器交织四个方面考虑，此处只介 绍编码端的情况，其目的是通过设计编码方法使压缩后的码流对某些类型的误码具有容错 能力。对于易发生误码的无线网络来说，编码结构是否具有一定的容错能力将直接影响接 收端的重建质量。h 2 6 3 、m p e g - 4 和h 2 6 4 编码都充分考虑了易发生误码的环境中视频传 输的鲁棒性问题，并采取了一定的措施，如通过重同步标记、可逆变长编码、头扩展码和 数据分割等来提高编码的容错性能。采用这些方法的目的不是取代已有通信网提供的误码 控制技术，而是提高视频编码的容错性能，尽可能地提高视频的重建质量。 ( 4 ) 可伸缩编码( s c a l a b l ev i d e oc o d i n g ：s v c ) 在无线视频传输中，为了适应频繁的带宽波动且能更为充分地利用有限地带宽资源， 可伸缩编码( s v c ) 是一种有效地解决方案，其中主要包括分层编码、精细可扩展视频编 码( f i n eg r a n u l a rs c a l a b l e ，f g s ) 0 t i t l 2 1 以及运动补偿时域滤波( m o t i o nc o m p e n s a t i o n t e m p o r a lf i l t e r ，m c t f ) 技术【1 3 】。分层编码的思想是把视频码流为基本层和增强层，基本 层提供最差的视频质量且可以独立解码，增强层传输基本层和原始码流之间的误差，通过 分层机制可以实现空间( s p a t i a l ) 可扩展和视频质量粗精度可扩展。由于视频质量常用的 客观评价尺度是信噪比( s i g n a ln o i s er a t i o ，s n r ) ，因此质量可扩展又称为s n r 可扩展。 f g s 中增强层采用位平面编码技术对d c t 残差进行编码以适应信道带宽变化，因而其增 强层码流具有随处可截断且重建质量和收到并解码的比特数成正比的特性。m c t f 采用小 波时域分解结构对一个图像组( c o p ) 内的帧进行时域预测和分解【1 3 】，进而得到时域上完 4 南京邮电大学硕士研究生学位论文 第一章引言 备的可扩展性。 ( 5 ) 多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 多描述编码属于容错性编码中的一种，它假定在发送端和接收端之间有多条相互独立 的信道，且同时发生错误、数据包丢失的概率很小。原视频信号被分解成多个相关描述， 任何一个描述都可以独立进行解码重建原视频信号，而多个描述相结合解码则可达到更高 的视频重建质量。多描述编码技术具有无需重传、延时小、易于实时视频传输的特点，适 合于不可靠网络如互联网、无线通信网络的实时视频传输，与采用非平衡错误保护的视频 分层编码相比，特别适合于不具有优先权的网络实时视频传输。 1 3 本文工作及论文组织 上一节对无线视频通信所面临的问题进行了分析，其中误码率高是现有视频传输研究 中最为关注的热点。多描述视频编码是近年来兴起的一种新的面向不可靠信道传输的编码 方法，因其每个描述都可独立解码达到一定的可接受视频质量而受到广大研究者的青睐。 本文主要研究多描述视频编码在无线视频通信中的应用，主要解决以下问题： ( 1 ) 上一节中已提到无线信道的带宽资源是有限的，本文的多描述视频编码方案要 适应信道带宽，可产生大于两个以上的描述数。又因为每条无线信道的信道带 宽不一定一样，本文的多描述编码方案需要能产生非平衡的描述。 ( 2 ) 针对无线信道频繁的带宽波动，本文的多描述视频编码方法可根据信道的变化 自适应的在各种描述分割方法之间切换。 ( 3 ) 针对不同描述数的情况，解码端收到不同情况的描述采用不同的插值重建算法； 对于非平衡多描述编码，研究怎样充分利用高分辨率的描述来提高输出视频的 质量。 本文主要研究无线视频通信所面临的问题和针对这些问题的几种不同的解决方法，最 后提出一种适应无线网络的多描述视频编码方案。全文的安排如下： 第一章绪论部分，介绍了本课题的研究背景，无线视频通信所面临的问题和现有的无 线视频编码技术。 第二章是无线视频通信的综述，首先介绍了无线视频通信系统及其应用，然后重点介 绍了无线视频通信中视频编解码端的差错控制技术。 第三章是多描述视频编码的综述，介绍了多描述编码的基本思想和特点，分平衡多描 述和非平衡多描述介绍了现有的多描述编码方案，提出多描述视频编码方法中的关键技术， 南京邮电大学硕士研究生学位论文 引出本文所采用的多描述视频编码方法。 6 南京邮电大学硕士研究生学位论文 第二章无线视频通信技术 第二章无线视频通信技术 本章主要介绍无线视频通信的相关知识，首先简要介绍无线视频通信系统中的视频编 码技术和无线信道的模型，然后对无线视频通信中视频编解码端差错控制技术进行了介绍。 视频编码的基本思想是去除视频序列中各种形式的相关性所带来的数据冗余。一般视 觉数据主要存在以下几种数据冗余【1 4 】：空间冗余、时间冗余、信息熵冗余、结构冗余、知 识冗余及视觉冗余等。由于重建视频信号的最终接受者是人眼，充分利用人眼视觉特性， 可以达到提高压缩比的目的，这是因为人类视觉系统( n v s ，h u m a nv i s u a ls y s t e m ) 对某些 频段的信号灵敏度有所不同。各种压缩方法正是恰当利用人类视觉系统的一些特点，得到 更高的压缩比，而视觉数据冗余正是视频编码的物理基础。 无线通信相比有线通信而言，最基本的不同在于无线信道的传播条件更为复杂和恶劣， 本章介绍了几种常见的无线信道模型。无线信道对视频通信带来的挑战在第一章中已有介 绍，其中最大的问题是误码率高，所以差错控制技术在无线视频通信中尤为重要。视频通 信中的差错控制技术主要分为四类：在视频编码中引入冗余数据，是视频流对可能的错误 具有更强的恢复能力；在视频流传输过程中进行检错和纠错，或对视频流中重要数据进行 保护；在视频解码端基于错误检测进行错误隐藏；通过视频编解码器之间的交互，使编码 器根据解码器检查到的丢失情况进行编码参数的调整。 2 1 无线视频通信系统 如图2 1 所示为无线视频通信系统的框图。在发送端，视频信源的输入视频经视频编 码器压缩成具体特定的码率的码流，经过传输层和网络层的封装打包后，进行信道编码。 信道编码过程引入了信道错误控制措施：前向纠错编码( f e c ，f o r w a r de r r o rc o r r e c t i o n ) 、 自动请求重发( a r q ，a u t or e p e a tr e q u e s t ) 和数据交织( d a t ai n t e r l e a v i n g ) ，以增强码流 在无线信道的传输性能。信道编码输出的数据流经调制后在无线信道上传输。接收端，进 行解调和信道解码后，在进行解包处理，得到编码视频流，进行视频解码，输出重建的视 频信号。该信号可根据应用的要求进行视频解码图像后处理。 从图2 1 中可以看出，无线视频通信系统与有线视频通信的系统区别在于，它包含一 个无线链路。众所周知，无线信道的有效传输带宽是宝贵的，而且各种噪声干扰也影响无 线信道的数据传输质量。因此，无线信道成为了无线视频传输关注的焦点。无线传输中面 临的衰落和突发性错误必须采用各种错误控制技术处理，这其中典型的有f e c 、a r q 和数 7 南京邮电大学硕士研究生学位论文第二章无线视频通信技术 据交织。f e c 和数据交织结合明显削弱了无线信道突发性错误的影响，而基于反馈信道的 a r q 则可正确的恢复错误的数据，避免错误的传播。 匦m 一悸一 l 无线信道 一r2m：j1日 j 一 ，一 匡国 亟恻拒堕引互卢 2 1 1 视频编码标准 传输层+ 网络层 图2 1 无线视频通信系统框图 数字视频技术广泛应用于通信、计算机和广播电视等领域，带来了会议电视、可视电 话、数字电视及媒体存储等一系列的实际应用，这就促使产生了许多视频编码标准。国际 标准组织( 1 i i m n a f i o n f ls t a n d a r d0 i 翻n 边岖，i s o ) 与国际电讯联盟( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n - t e l e c o m m u n i c a t i o n ，r 1 1y 1 ) 是制定视频编码标准的两大组织。 i s o 主要针对消费应用，已经就运动图像定义了运动图像专家组( m 0 v 吨p i c t 咐e x p e r t g r o u p ，m p e g ) 系列标准。运动图像专家组m p e g 组织制定的各个标准都有不同的目标和 应用，目前已提出了m p e g - l 、m p e g - 2 、m p e g - 4 、m p e g - 7 和m p e g - 2 1 标准，主要应 用在视频存储、广播电视、因特网和无线网上的流媒体等领域。r r u t 主要致力于电信应 用，如会议电视。已经开发了用于低比特率电话的h 2 6 x 标准，其中包括h 2 6 1 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 h 和h 2 6 4 。s m p t e 和中国数字音视频标准化工作组是在本世纪初参与到 视频国际标准的制定中来，前者接收了微软公司v c 9 1 5 】视频编码标准提案，推出了v c i 视频压缩标准，后者提出了自主知识产权的a v s 标准【1 6 1 。 视频编码标准规定了编解码器要遵循的句法和语义规范，现有的多数视频编解码框架 如图2 2 所示，基本采用了预测编码+ 变换编码+ 熵编码的算法体系。预测编码分为帧内预 测和帧间预测，帧内预测减少了图像的空间冗余，帧间预测减少了视频序列间的时间冗余： 视频图像中的直流和低频区( 平坦区和内容变化缓慢区) 占大部分，高频区( 细节区和内 容突变区) 占小部分，变换编码将空间域的图像变换到频域或者所谓的变换域，会产生相 关性很小的一些变换系数，并可对其进行压缩编码。熵编码是利用信源的统计特性进行码 率压缩的编码方式，也叫统计编码，常用的有两种：可变长编码( v l c ) 和算术编码。其 8 南京邮电大学硕士研究生学位论文 第二章无线视频通信技术 主要目的是将视频信号压缩为适合网络传输的二进制码流。 输入 2 1 2 无线信道模型 图2 - 2 视频编解码框架 要实现面向无线网络的视频编解码方案，首先需要了解无线信道的传输特性。下面总 结了几种在理论研究和系统仿真中经常使用的几种无线信道模型。 ( 1 ) m a r k o v 模型 在无线信道中，由于用户的移动和外界自然条件的变化，容易产生瑞利( r a y l e i g h ) 衰减和多用户干扰，在位流中引起突发性错误，表现为几个到几十个毫秒时间内连续出现 误码，误码持续时间与环境特性以及接收端的运动速度有关。在此原理基础上建立了 m a r k o v 模型，如图2 3 所示为最简单的二阶的m a r k o v 无线信道模型。其中，信道有两个 状态s o 和s 。当信道处在品时，报文可以正确传送和接收，当信道处于墨时，报文将会出 错，连续出错报文的数量由信道处s 的时间长短和每个报文大小所决定。状态岛和状态s 可以互相转换，其状态转换矩阵为： 雎滢- p o 。吨p 0 1 ) 位， 【舅ol 一墨o j 其中，昂。表示信道传输状态由s o 至, js , 的概率，露。表示信道传输状态由s 至, j s o 的概率。 9 南京邮电大学硕士研究生学位论文 第二章无线视频通信技术 h 厂渤。 h 1 嗖哕。 v - ( 1 一厕) 2 ( 2 2 ) = 1 一( 1 一p ) 7 ( 2 3 ) 匕= 1 - ( 泗( 1 - p ) 。 ( 2 4 ) 2 2 无线视频通信中视频编解码端的差错控制技术 前文提到，差错控制技术作为无线视频通信中一个基本要素，渗透到系统设计的各个 方面，包括传输控制、视频编码端差错控制、视频解码端错误隐藏和编解码交互差错控制， 本文主要研究视频编解码端的差错控制。 1 0 南京邮电大学硕士研究生学位论文 第二章无线视频通信技术 2 2 1 编码端的差错控制 编码端的差错控制，即抗误码的信源编码方法，这些方法能够产生有一定鲁棒性的比 特流，从而在解码端，即使有错误出现，依然能够重建可接受的图像视频质量。相对于为 了压缩效率而优化设计的信源编码器，这些考虑传输可靠性的信源编码器在没有发生传输 错误时，要重建同样的图像视频质量其编码效率会有一定的损失。这些额外付出的比特， 也称做冗余，引入它们可以在有传输错误发生的时候，增强图像视频的重建质量。编码端 差错控制的设计目标是在假设的信道环境下，用给定数量的冗余来获得最佳的解码重建质 量，或者是以保证所需的重建质量为前提，实现冗余的最小化。向比特流中引入冗余有许 多的方法，主要有错误隔离、鲁棒的二进制编码、限制预测循环、分层编码、多描述编码 以及联合信源信道编码等。 ( 1 ) 错误隔离 压缩比特流对于传输错误具有敏感性的主要原因之一是视频编码器中变长编码( v l c ， v m i a b l e - l e n g t hc o d i n g ) 的使用。在变长编码的码字中，任意比特发生错误或者丢失不仅 使得该码字无法解码，而且也会使得其后续码字即使在正确接收的情况下也可能无法解码 或者产生误码。错误隔离技术就是试图将一个传输错误的影响隔离在所限制的区域内。实 际应用中经常在压缩后的比特流中周期性地插入“重同步标记( r e s y n c h r o n i z a t i o nm a r k e r s ) 一 及采用“数据分割( d a t a p a r t i t i o n i n g ) 一来实现。具体的讲，就是把两个同步标记中间的数 据进一步分割成更精细的独立可解码的逻辑单元，来获得更好的错误隔离。 ( 2 ) 限制预测循环 预测编码的采用使得压缩比特流对于传输错误极其敏感性。一但有错误发生，解码器 端的参考帧将不同于编码器端所假定的参考帧，从而导致后续重建帧中的错误进一步扩散。 限制预测循环的目的就是将错误扩散限制在一个较短的时间间隔内，可以通过插入帧内编 码块【1 7 】以及进行独立的分段预测方法1 1 8 1 来实现。周期性地插入帧内帧或者帧内编码块是一 种阻止错误时间扩散的方法，错误蔓延会在遇到帧内编码时停止。独立分段预测将数据域 分成几个独立可解的区域，并在规定的区域内执行时空预测。通过这种方法，在某个区域 内的误码将不会对其它区域造成任何影响。例如，一帧图像可以分成多个区域( 例如，一个 区域是一个块组或分片) ，并且每个区域只能由前一帧的同一个区域预测。 ( 3 ) 鲁棒的二进制编码 该方案也可以直接改进二进制编码，使得编码后的比特流对于传输错误更加鲁棒。可 逆的变长编( r v l c ，r e v e r s i b l ev a r i a b l e - l e n g t hc o d i n g ) t 1 研和错误恢复的熵编 i 马( e r e c ， 南京邮电大学硕士研究生学位论文第二章无线视频通信技术 e r r o r - r e s i l i e n te n t r o p yc o d i n g ) 就是这样的技术。如图2 _ 4 所示，r v l c 算法与重同步标记 共同使用，不仅可以前向解码，也可以后向解码，使得传输错误影响的区域进一步缩小。 e r e c 不使用同步码字，而是利用编码比特的重排序方法使得解码器在每个块开始获得同 步。 错误检测，跳动下 一个同步标记 前向解码 卜一 堂堡塞堡 后向解码 错误消除 。 图2 - 4r v l c 码字能够前向和后向解码 ( 4 ) 分层编码( l a y e r e dc o d i n g ) 分层编码就是将一个视频信源编码成一个基本层和一个或几个增强层，基本层提供一 个较低的但是可以接受的质量，在接收端，每增加一个增强层，重建质量就会得到进一步 的改善。分层编码必须要保证基本层能够正确的传输，所以其相应的传输系统必须采用不 平等的错误保护机制，如图2 5 所示，基本层使用高优先级保护，而增强层使用低优先级 保护。分层编码和不平等错误保护机制己经扩展应用到无线网络的视频传输系统中刚【2 1 1 图2 - 5 分层编码的系统框图 ( 5 ) 多描述编码( m d c ，m u l t i p l ed e s e d p f i o nc o d i n g ) 分层编码必须保证基本层的正确传输，否则，将会严重影响解码的视觉质量。因此， 在无优先级的不可靠网络上传输，多描述编码将是更好的抗误码的选择。多描述编码将信 源编码成为多个具有等同重要性的描述( 即比特流) 在无优先级的不可靠的网络上传输。在 接收端，收到任意一个描述均可以恢复对于原编码图像粗糙的但是可以接受的近似，随着 收到描述的增多重建质量的精度也逐步提高，从而有效地解决了传统信源编码在遭遇不可 1 2 南京邮电大学硕士研究生学位论文第二苹无线视频通信技术 靠网络上丢包和延迟时质量严重下降的问题。在多描述编码中，承载不同描述的信道可以 是信源和目的地之间物理连接不同的路径，例如，无线网络或者包交换网络如i n t e m e t ，也 可以是一个单一的物理路径，通过时分复用，频分复用等产生的虚拟信道。与分层编码相 比，多描述编码的优势就在于不需要网络提供一个专门的可靠信道。例如，在丢失情况严 重的网络中，可能需要更多的重传或者加入更多的前向纠错码来实现基本层的无错传输， 在这种情况下使用多描述编码更有效。 2 2 2 解码端的差错控制 解码端差错控制方法主要为错误隐藏。由于编码延迟、实现复杂度等限制和缺乏良好 的信源模型，尽管人们付出大量努力寻求更高的编码效率，在压缩视频流中仍然存在一定 的统计冗余，这使得错误隐藏成为可能：而且为了具有抗误码