（通信与信息系统专业论文）mpeg4视频容错技术研究.pdf

重庆邮电学院硕士论文 中文摘要 随着无线通信技术的发展，无线多媒体业务逐渐进入人们的生活。第 三代移动通信系统( i m t - 2 0 0 0 ) 标准制定和产品开发已成为全世界移动通 信领域的热点。3 g 系统不仅要求实现语音业务和低速数据业务，而且要 求实现日益增长的移动多媒体业务如图像视频通信。由于带宽、功率等通 信资源的限制，以及无线信道中衰落、多普勒频移和干扰的影响，使得多 媒体传输的有效性和可靠性成为系统设计的瓶颈问题。 m p e g 4 提供小于6 4 k b i t s 的低速率到4 m b i t s 的较高速率多媒体通 信，具有高编码效率和较好的错误恢复能力等优点，使它成为一个对移动多媒 体设备非常适合的标准。 本论文给出了m p e g 4 应用于无线系统的仿真模型。分析了在无线网 络环境中，各种不同程度的噪声，如比特误码、突发误码、数据包丢失、 高斯噪声对m p e g 4 编解码器视频流质量的影响。并针对m p e g 4 视频编 码码流本身的容错性问题，给出一种交流码字重排算法。该算法利用视频 编码码流同步数据单元中的错误传播特性，对图像的不同频率分量实现了 不均等的差错保护，从而在不降低编码效率的基础上，获得最大增益。针 对动态突发误码信道中的视频传输，提出了一种基于信道优化的自适应分 集视频编码算法。该算法以分层编码和多描述编码为基础，可以充分利用 信道的特性，实现视频传输的鲁棒性和传输效率之间的良好折衷，并具有 较小的复杂度。 关键词：无线多媒体通信，m p e g 4 视频，容错 一 a b s t r a c t w i t ht h ed e v e l o p m e n to fw i r e l e s st e c h n o l o g i e s ，w i r e l e s sm u l t i m e d i as e r v i c e sa r e b e c o m i n gi m p o r t a n ti n g r e d i e n t so ff u t u r e w i r e l e s s c o m m u n i c a t i o n s t h ei m t - 2 0 0 0 ， i n c l u d i n gs t a n d a r d i z a t i o na n dp r o d u c t sd e v e l o p m e n t ，h a sb e c o m ea h o tp o i n ti nw o r l d w i d e 3 g m o b i l es y s t e mr e q u i r e st oi m p l e m e n tn o to n l ys p e e c hs e r v i c e sa n dl o w - s p e e dd a t at r a f f i c ，b u ta l s o t h ei n c r e a s i n gm o b i l em u l t i m e d i as e r v i c e ss u c ha sp i c t u r ea n dv i d e o h o w e v e r ，d u et ol i m i t e d b a n d w i d t ha n dt r a n s m i s s i o np o w e r ，w i r e l e s sm u l t i m e d i ac o m m u n i c a t i o n sh a st of a c e c h a l l e n g i n gt r a d e o f fb e t w e e nt h et r a n s m i s s i o ne f f i c i e n c ya n d r o b u s t n e s s m p e g - 4p r o v i d e sb i tr a t ef r o ml o w t ol l i g l l ：6 4 k b i t st o4 m b t i t s ，a n de f f i c i e n tc o d i n g ，b e t t e r e t r o rr e s i l i e n c e i ts u i t sw e l lf o rm o b i l em u l t i m e d i af a c i l i t y i nt h ew o r k ，aw i r e l e s ss y s t e ms i m u l a t i o nm o d e lf o rm p e g - 4i sp r e s e n t e d 。f o r m p e g 4e n c o d i n ga n dd e c o d i n g ，a n a l y z et h ee f f e c to nt h ev i d e os t r e a m i n gw i t h d i f f e r e n te r r o rr a t i oi nw i r e l e s sn e t w o r k i no r d e rt oi n c r e a s et h ee r r o rr e s i l i e n c eo f m p e g 4v i d e oc o d i n g ，ab l o c k i n t e r l a c e dc o d e w o r d sr e a l i g n m e n t ( b i c r ) s c h e m ei s f u r t h e rp r o p o s e di nt h i ss t u d y s p e c i f i c a l l y , t oo v e r c o m et h ee f f e c to fe r r o rp r o p a g a t i o n p r o p e r t yo f v a r i a b l el e n g t hc o d i n g ( v l c ) a n dr e v e r s i b l ev a r i a b l el e n g t hc o d i n g ( r v l c ) ， t h ep r o p o s e ds c h e m er e a l i g n st h ec o d e w o r d sw i t h i nav i d e oc o d i n gd a t au n i ta c c o r d i n g t ot h eu n i t l o s s p r o b a b i l i t y a n dt h e s i g n i f i c a n c e i n f o r m a t i o n t h i sr e a l i g n m e n t a u t o m a t i c a l l ya c h i e v e sa nu n e q u a l e r r o rp r o t e c t i o nf o rd i f f e r e n tc o d e w o r d so ft h ec o d e d v i d e ob i t s t r e a mw i t hd i f f e r e n ti m p o r t a n c e ，i n c r e a s i n gt h ee r r o rr e s i l i e n c eo ft h ev i d e o c o d i n gw i t h o u ta n yp e n a l t y i nt r a n s m i s s i o ne f f i c i e n c y t a r g e t a n a d a p t i v e v i d e oc o d i n g i nt i m e - v a r i a n tb u r s t y c h a n n e l s ，a c h a n n e l o p t i m i z e da d a p t i v ed i v e r s i t y ( c o a d ) v i d e oc o d i n gs c h e m ei sp r e s e n t e d i n p a r t i c u l a r ，t h ev i d e oc o d i n gi sc o m p o s e do fm u l t i p l ed e s c r i p t i o n sc o d i n g ( m d c ) a n d l a y e r e dc o d i n g ( l c ) t h er e s u l t e dh y b r i dv i d e oe n c o d e rf e a t u r e st h a to n ed e s c r i p t i o no f m d ci sc o m p a t i b l ew i t ht h eb a s el a y e rc o d e ro ft h el c t h ec o a ds y s t e mi sd e s i g n e d s oa st op r o v i d eh i g hv i s u a lq u a l i t yw i t h o u tc h a n n e lf a d i n g ，w h i l ea c c e p t a b l eq u a l i t yi n d e e pa n dl o n gf a d i n gc a s e s i m u l a t i o nr e s u l t sc o n f i r mt h a tt h ec o a ds c h e m em a y o u t p e r f o r m ss e p e r a t es o u r c e c h a n n e lc o d i n gs y s t e mi nt i m e v a r y i n gm o b i l ec h a n n e l s k e yw o r d s ：w i r e l e s sm u l t i m e d i ac o m m u n i c a t i o n ，m p e g 一4v i d e o ，e r r o rr e s i l i e n c e - l i 重庆邮电学院硕士论文 第一章引言帚一早 i 商 1 1m p e g 4 视频的研究背景 近年来，无线通信技术的发展进入了空前活跃的历史时期。呼之欲出的第 三代( 3 g ) 移动通信不仅能提供现有的各种移动电话业务，还能提供高速率的宽带 视频业务，支持高质量的话音、分组数据业务以及实时的视频传输。3 g 开创了 无线通信与因特网、视频融合的新时代，由此产生的无线视频业务必将成为未 来无线移动通信业务新的增长点。 由于视频业务的数据量大、对误比特率要求高，无线信道又具有易错、时 变和带限的特点，因此信道的误比特率要比有线环境大得多，且随着基站和终 端位置、方向的改变而变化很大。因而，无线视频系统在实用化进程中面临着 许多问题。 m p e g 4 提供小于6 4 k b i t s 的低速率到4 m b i t s 的较高速率多媒体通 信，具有高编码效率和较好的错误恢复能力等优点，使它成为一个对移动多媒 体设备非常适合的标准。可以预料，m p e g 4 视频的容错技术将用在现在和将来 的移动网络中。 随着3 g 走向实用，诸如商用移动视频会议等应用也将会出现。由于可供新 的无线标准( 如m p e g 4 等) 使用的带宽将有大幅提高，视频的质量将会有极 大的改善。目前，p a c k e t v i d e o 提供在现有的c d m a 网络上，以每秒5 帧的速度 传送实时视频流的软件，同时，它与s o c k e tc o m m u n i c a t i o n s 公司合作，开发出 基于w i n d o w sc e 的掌上设备和手持式个人计算机( h p c ) 的无线视频应用【。 此外，还有许多其他大公司也正致力于无线视频应用技术的研究开发。 由于存在着巨大的市场需求和许多大公司、研究机构强有力的支持，可以 预见，随着m p e g - 4 标准的推广和应用，m p e g - 4 技术的市场前景将十分美好。 m p e g 4 在无线设备中的广泛使用，将为人们提供一种更加方便、快捷、有效的 通信方式。 重庆邮电学院硕士论文 1 2 3 g 移动多媒体框架简介 3 g 移动终端要求能够提供多媒体业务，为此3 g p p 制定了关于3 g 移动多 媒体的标准一- 3 g 3 2 4 m 规范，该规范是基于电路交换的终端模型，如图1 1 所示( 基于分组交换的3 g 多媒体终端框架正在制定中) 2 1 。 视频输入l 一 视频编解码 输出设备卜_ 1h 2 6 3 6 p e g 一4 音频输入 输出设备 用户数据 应用 系统控制 音频编解码 3 g p p a 假 g 7 2 3 1 数据协议 v 1 4 ，l a p m h 2 4 5 c c s r l 呼叫连接建立 可选接 收时延 n s r p l a p m v 4 2 复用解 复用 h 2 2 33 g p p 网络 图1 13 g 3 2 4 m 系统多媒体终端模型 在该终端模型中视频处理部分支持h 2 6 3 和m p e g - 4 等协议。现在更新规 范明确建议3 g 多媒体终端支持m p e g - 4 标准。音频处理部分支持自适应多速 率语音编码( 3 g p p - a m r ：3 g p p - a d a p t a b l em u l t i p l er a t e ) ，同时支持g 7 2 3 1 。 图1 1 中的可选接收时延模块是为了实现音频和视频同步。其它部分基于h 3 2 4 协议，如控制部分使用h 2 4 5 协议，用于传送端到端的控制信令，实现h 3 2 4 系统间的协同工作，实现包括打开、交换和关闭逻辑信道，会话模式请求，流 程控制信息和其它的命令和指示等功能。复用部分使用h 2 2 3 协议及附件a 、b 和c ，主要分为两层。复用层实现视频、音频、数据和控制等各种比特流的复用 打包。适应层实现逻辑成帧、帧计数和为不同类型的媒体流提供不同错误保护【3 j 。 重庆邮电学院硕士论文 1 3 论文结构安排 本文对m p e g 一4 视频传输容错中的具体问题，进行了探讨和研究。论 文的具体章节安排如下。 第二章讨论m p e g 4 视频的标准，详细给出了其容错技术。 第三章给出m p e g 4 应用于无线系统的仿真模型，分析在无线网络环 境下m p e g 4 视频在不同误码率下的性能。容错工具没有加到编码的视频流 中。 第四章研究视频信源编码的容错技术。无论平稳信道条件下的码率分 配，还是时变信道下的自适应编码，都需要发送端准确得到信道的状态， 亦即，需要接收端对发送端的反馈信道。而增强信源编码的码流本身的容 错性能，使之对于不同类型的误码信道具有较大的鲁棒性，则对于无反馈 的系统具有很大的意义。针对这个问题，提出了一种交流码字重排的算法， 该算法利用了变长码字译码中误码传播的特性，在编码端将交流码字按频 率重排，使图像的低频分量在信道发生错误时优先恢复，从而可以在不引 入任何冗余度的条件下，获得码流容错性能的提高。 第五章研究时变突发信道条件下的自适应视频编码问题。对于无线传 输信道，特别是移动条件下的传输信道，其重要特点便是信道的时变性和 误码的突发性。为充分利用信道的特性，信源编码也应当随着信道条件的 变化而变化，从而充分利用信道的带宽。实现这种自适应编码的重要障碍 是编码器的复杂度和码流结构的兼容性问题。本章将研究这些问题，并得 出了一种基于分层编码和多描述编码的、适用于无线信道的自适应分集编 码算法。这种算法的特点是实现了分层编码和多描述编码的统一，通过共 用基本层编码器，从而降低了编码器的复杂度。为充分利用多描述编码的 分集效果，本章还讨论了针对突发误码的码流交织问题。 第六章是全文总结。 重庆邮电学院硕士论文 第二章m p e g 。4 视频编解码 视频编码技术经过近2 0 年的发展，已经形成了两个主要的标准系列： i t u 的h 2 6 x 系列和i s o i e c 的m p e g 系列，前者包括h 2 6 1 ，h 。2 6 3 ( & + + ) 以及h 2 6 l ，其中h 2 6 l 后来和m p e g 演变为j v t ，还处于草案阶段；后 者包括m p e g 1 ，m p e g 2 ，m p e g 4 等等。两者相比，i t u 的视频编码标 准更侧重于传输，例如会议电视、可视电话等等；而i s o 的标准更侧重于 视频的存储，比如v c d 、d v d 等等【4 1 1 5 j 。 2 1m p e g 一4 视频编码 编码器主要由两部分组成：一部分是形状编码，另一部分是传统的运动和 纹理编码。v o p 编码包括形状编码和运动纹理编码。图2 1 给出通用的m p e g - 4 视频编码器的结构。 图2 1m p e g - 4 视频编码器块图 m p e g 一4 基于内容的编码和编码扩展性，其核心编码器结构如图2 2 。基 本层采用m p e g 4 基本模式编码，并输出基本视频流，增强层的输入信号是原 始v o p 和重建帧的v o p 的差值，并对其差值进行8 8 的d c t ，然后对d c t 系数进行比特平面编码。将重要比特放在码流的前端，将次要比特放在后端， 这样在网络发生拥塞时就可以先丢弃部分不重要的比特以减缓网络负担，但解 码端对接收码流仍可解码，只是图像质量会有所下降。解码器是编码器的逆过 程。 】。缁圃避 重庆邮电学院硕士论文 图2 2m p e g - 4 视频信源编码块图 层视频流 基本运动估计* b 偿 视频图像编码中，利用运动估计和补偿编码技术来消除视频序列时间上的冗 余，m p e g 4 采用基本块匹配m e m c 方法。块匹配运动估计的基本思想是对当 前帧每个编码块在前一帧中一定范围内搜索出最匹配块，称之为预测块。用预 测块来替代当前编码块称为运动矢量。 d c t 变换 变换编码先将空域图像经过某种正交变换，获得一系列变换系数，在变换过 程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化。 正交变换编码有傅立叶( f o u r i e r ) 变换、哈儿( h a a r ) 变换、沃尔西哈达玛 ( w a l s h h a d a m a r d ) 变换、斜变换( s l a n t ) 等，其中k - l 变换( k a r h u n e = 1 1 l o e v e ) 去相关性最好，但实现困难，而离散余弦变换( d c t ) 既接近于k l 变换性能， 也容易实现，m p e g 4 同其它编码算法一样也采取d c t 变换方法。 二维离散d c t 变换( n x n ) 定义为： 尺咖丙2c(恻萎n-in-i删cos紫tzx+t)ujrcos紫(2y+1)v7r0 y = 0 - 1 l ( 2 - 1 ) 尺z d = 焉c ( “顾功八x ，y ) c o s 百一c o s - f 上 j 霉 v v r ，、 u ，x ，y = 0 ，1 ，2 ，n 一1 热c = 1 l _ 砌= ：鬈然。 重庆邮电学院硕士论文 二维离散i d c t 变换定义为： f ( x 川= 号薹1 薹1 c ( u 朋v v ) c o s 00紫c o s ，y ) = 寺) c ( ，) f ( “，坐皆c o s v “事v 主 - t 量化 量化失真是系统的主要失真因素，量化失真取决于图像的主观保真度要求， 可以根据不同频率的视觉阈值来确定量化步长。按视觉心理实验，一般频率高 视觉阈值大，量化步长可以加大，反之减小。 均匀量化的量化步长是均匀对称的。非均匀量化是根据输入信号统计特性来 使均方量化误差盯：达到最小。 最小熵量化是利用熵编码来将输出码字的平均码长降至接近于、或等于信源 的熵，这样设计的量化器在给定的量化失真下是一个均匀量化器。 自适应量化是具有不同量化台阶的均匀量化器，进行量化时根据信号 特性的动态变化自动切换到具有适当量化台阶的量化器上。 量化变换系数的v l c 编码 在量化d c t 系数时，直流d c 分量的量化误差产生块与块之间灰度均值的 误差，从而使重建图像出现明显的块效应，高频a c 系数的量化误差将降低图像 的分辨率，使细节模糊，在亮度突变附近产生明暗相间的条纹( r i n g i n g ) ，在彩 色突变产生颜色的泄漏( c o l o rb l e e d i n g ) 。经过d c t 变换后，系数之间的相关性 已经很小，因此可以用各自独立的量化器分别进行量化。 v l c 编码是指可变长度编码。v l c 编码中除了z 形扫描外还使用其它两种 扫描方式。对于i n t r a 预测的块，如果a c 预测标准( a c p r e d f l a g ) 为0 ，那么这 个宏块中所有块都使用z 扫描，否则d c 预测方向将作为扫描方向，例如如果 d c 预测使用水平邻近块，那么当前块将使用交替垂直扫描方式进行系数扫描， 否则使用交替水平扫描。对于非i n t r a 块，8 8 块变换系数使用z 形扫描。 使用一个3 参数可变长度码字来编码变换系数( 量化) ，1 个e v e n t 是这3 个参数的结合： 重庆邮电学院硕士论文 l a s t0 ：表示在该块中还有非0 系数； 1 ：表示这是该块中最后一个非0 系数； r u n：当前非0 系数前面的系数为0 的个数。 l e v e l ：系数大小。 i n t e r 编码方式宏块的v l c 编码系数扫描用图z 形扫描来进行，其他步骤和 i n t r a 编码方式宏块的v l c 编码一样，只是( l a s t ，r u n ，l e v e l ) 码表不一 样。 速率控制 由于信道的最大传输速率和解码端缓冲区大小的限制，在编码视频序列时 引入速率控制( r c ) 和缓冲区规划算法是非常重要的。在移动多媒体通信的可 变速率( v b r ) 环境下，r c 机制主要实现给定目标速率下获得最佳的解码效果， r c 主要通过控制量化参数实现。m p e g - 4 中的速率控制算法基于下面的速率失 真模型： r ：型+ 掣( 2 3 ) qq 2 尺：编码比特速率。 五，置：编码模型参数，在开始时初始化，每次会根据编码比特流进行更 新。 q ：量化因子，下一帧的量化因子根据当前帧编码比特流进行确定。 2 2m p e g 4 视频的分层编码技术 许多应用都要求能在一个很宽的分辨率范围内或者不同质量范围内对一个 视频同时进行解码。视频的分层就意味着能够同时得到该视频的多个分辨率或 者不同质量。分层编码涉及通过特殊方式产生一个编码表示，这种方式对于分 层解码器可以方便的得到这个视频的多个分辨率或者不同质量的码流。码流的 分层是指，解码器用码流的一部分可以产生某个分辨率或者质量的完整图像。 如果一个码流是可分层的，那么不同复杂度的解码器可以同时存在，低性能的 解码器可以解码产生基本质量的一部分码流，高性能解码器可以解码更多的码 重庆邮电学院硕士论文 流并产生更好的质量。 m p e g 2 中的分层编码仅能提供分层性相当粗糙的视频，不能动态地适应时 变的网络带宽而无法为不同用户提供尽可能好的服务。而且其增强层的视频数 据会因误码或丢失导致整个图像组( g o p ) 无法正确解码。m p e g 4 的精细度可 伸缩视频编码技术就是为解决上述问题而提出的。与传统的分层不同，m p e g 4 的精细度可伸缩视频编码能够随着码率的提高使视频质量平滑地增强。m p e g - 2 仅提供差、中、好三个级别的视频。即使信道可用带宽仅比最好质量视频需要 的带宽稍少一些，用户仍只能获取中等质量的视频。m p e g 4 的精细度可伸缩视 频编码能够根据实时变化的网络带宽提供尽可能好的视频质量，这就非常适合 i n t e m e t 、3 g 移动通信网络环境【6 】。 m p e g 4 通过视频对象层( v o l ) 数据结构来实现分层编码。每一种分层编 码都至少有2 层v o l ，低层称为基本层，高层称为增强层。根据分层编码中对 视频信息的分割方式不同，分层编码可以具有不同的实现方式。空域分层可通 过增强层强化基本层的空域分辨率来实现，因此在对增强层中的v o l 进行编码 前，必须先对基本层中相应的v o l 进行编码。同样，对于时域分层，可以通过 增强层来增加视频序列中某个对象( 特别是运动的) 的帧率，使得感兴趣区域 更为平滑。m p e g 4 的信噪比分层与m p e g - 2 类似，主要通过分层改变d c t 系 数的量化步长来实现。由于各种不同的分层方式其算法复杂度和开销是不同的， 因此在实际应用中需根据不同的具体需求来进行选择。 2 2 1精细度可伸缩视频编码原理 传统的分层编码方法并不能满足i n t e r n e t 等时变网络传输视频信号的 需要，因为传统的分层步长相对于网络的变化来说太粗糙了，且这个步长 往往是整个增强层的比特数，而收发双方希望能够随着网络带宽的变化自 适应地进行速率调整，精细度可伸缩( f g s ) 视频编码就能够很好地达到 这个目标。f g s 的优势在于精细的比特分层，而且其增强层的码流还可以 实现任意比特的截取，因此，解码端的图像重建质量将随着增强层比特数 的增多而增加l 。 如图2 3 所示，传统的分层编码可以在若干个给定的码率上达到较好 重庆邮电学院硕士论文 的编码效果，但并不能实现图中f g s 的连续变化。为实现这种连续变化， 在m p e g 4 以及j v t 中，均引入了以位平面编码为基础的精细度连续可调 视频编码模式。 接收图像 质量 图2 3 不同模式的视频编码性能一码率的关系 图2 4 是提出的f g s 编码方案的基本原理。首先尽可能地使用相同层 的预测来提高编码效率，同时保证预测的路径总是从参考帧的底层开始来 进行误差恢复和信道的适配。虽然其代价是需要更多的帧存，但可以使重 建图像的容错性能大幅度提高。 基本层 低分辨率增强层 高分辨率增强层1 高分辨率增强层2 高分辨率增强层3 2 345 帧号 图2 4 精细度可伸缩视频编码原理框图 在传统的空域分层编码中，低分辨率视频利用增强层数据立即切换到 高分辨率视频，而f g s 则提供了从低分辨率到高分辨率视频的平滑过渡。 如果基本层的码率非常低( 如3 2 k b i t s ) ，低分辨率增强层数据首先用于提 高低分辨率级别的视频质量，等到允许的网络带宽足够高时，客户端就可 重庆邮电学院硕士论文 以平稳地切换到高分辨率的视频。如果基本层的低分辨率视频质量已经相 当好，客户端就可以利用高分辨率增强层数据直接实现高分辨率显示，因 此低分辨率增强层根据具体情况是可选的，而具体采用何种切换策略则是 一个编码时的优化问题。 2 - 2 1 1 位平面编码 在传统的图像编码中，经量化后的d c t 系数往往采用行程一幅度 ( r u n l e v e l ) 编码，即将连续零的个数作为“行程( r u n ) 信息，非 零d c t 系数的绝对值作为“幅度( l e v e l ) 和结束信息“e o b 联合进 行三维熵编码。位平面编码和这种方式的最大不同在于，位平面编码将 d c t 系数视为二进制比特，而非十进制的某个数。对于每个位平面，将 “r u n e o p 信息，进行熵编码，从而获得最后的输出码流。假设“之 形( z i g z a g ) 扫描之后的d c t 系数的绝对值为 1 0 ，0 ，6 ，0 ，0 ，3 ，0 ，2 ，2 ，0 ，0 ，2 ，0 ，0 ，1 ，0 ，0 ，0 块的最大值为1 0 ，表示1 0 的二进制比特数为( 1 0 1 0 ) 4 。4 个比特平 面形成( r u n ，e o p ) 符号。用4 比特以二进制形式写下每一个值， 1 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 0 ，0 ，1 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 1 ，0 ，1 ，0 ，0 ，1 ，0 ，1 ，1 ，0 ，0 ，1 ，0 ，0 ，0 ，0 ，0 ，0 0 ，0 ，0 ，0 ，0 ，1 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，1 ，0 ，0 ，0 ( m s b - p l a n e ) ( s e c o n dm s b - p l a n e ) ( t h i r dm s b p l a n e ) ( f o u r t hm s b p l a n eo rl s b - p l a n e ) 可得到( r i 胂e o p ) 符号，然后对这些组合进行编码。 ( m s b - p l a n e ) ( s e c o n dm s b p l a n e ) ( t h i r dm s b - p l a n e ) ( f o u r t hm s b - - p l a n e o rl s b - p l a n e ) 位平面编码技术使视频可以在不同码率进行解码，以有效适应时变信 道。通常增强层包括许多层比特面，因此增强层的预测编码需要选择合适 的参考图像。通过基本层进行预测得到的第一档次增强层由于码率太低， 不适宜作为预测编码时的参考图像，太高档次的增强层由于码率太高对大 多数应用也并不合适。因此，一般采用第二或第三档次的增强层作为增强 、- ， l2 ，y、，0 0 ，l、， o工 ，l、，0 2 ，l 吼d 1 8 ，l，l、j、，、，、j 1 1 1 o q 重庆邮电学院硕士论文 层编码的参考图像。在时变网络环境中，如果高分辨率视频只采用增强层 内的数据作为参考图像，一旦发现误码或丢包，接收端将会出现“误差漂 移 ，从而无法恢复发送端高分辨率的视频。在提出的f g s 编码方案中， 增强层的偶数帧高分辨率重建图像将选择基本层的前一帧低分辨率图像 作为预测编码时的参考，从而有效的消除了“误差漂移”现象，增强了容 错性能。 2 2 - 1 2f g s 视频编解码器结构 f g s 编码器将视频序列编为基本层和增强层。基本层使得解码器可以 在最低的码率上获得质量可以接受的视频输出，而增强层针对原始图像和 由基本层恢复得到的图像的差值进行位平面编码。其编解码器的结构分别 如图2 5 和2 6 所示。 f g s 增强层中的位平面编码包括位平面移位，搜索最大值( m a x ) ， 位平面变长编码3 部分，其中，位平面移位操作是将6 4 个d c t 系数进行 加权运算，因为各个部分的d c t 系数的重要性不一样，所以可以通过移 位来增加感兴趣区域的权值，使其处于码流中前面的位置而不易被丢弃； m a x 运算则是对加权了的d c t 系数求最大值，从而确定位平面的层数； 位平面操作则是对每一层位平面进行变长编码【8 】。 在f g s 增强层的码流结构中，根据位平面的重要性将最重要的比特放 在码流的前端。比如每一个块的m s b ，而将次要的比特放在后端，比如每 一个块的l s b ，这样在网络发生拥塞时就可以先丢弃部分不重要的比特， 以减缓网络负载，但解码端对接收的码流仍然可以解码，只是相应的重建 图像质量会有所下降。 解码是编码的逆过程。图2 6 是f g s 解码器基本框图，其输入是增强 层和基本层的码流，增强层的v o p 码流首先经过位平面v l d ，即对每一 位平面进行变长解码、d c t 系数合成及移位还原，然后进行反d c t 变换， 最后与基本层视频图像相加，以输出包含增强层信息的视频图像。而基本 层的视频图像则作为选项输出。在进行增强层解码时，如果部分低优先级 的位平面被丢弃，或同一位平面部分优先级低的比特被丢弃，则只能使增 重庆邮电学院硕士论文 强层图像重建的精细度降低，而不会影响码流解码的有效性。由于数据丢 弃是以比特为单位，所以码率可以以比特为单位进行调整，重建图像质量 也可以比特为单位变化。这正是f g s 精细度可伸缩的原理和优点所在引。 输 图2 5f g s 编码器结构 图2 6f g s 解码器结构 2 3m p e g 4 视频容错编码技术 收视频 收视频 为了降低误码的时间传播和空间传播带来的接收视频质量的下降，m p e g - 4 采取了一定的容错编码技术。这些技术分别针对运动预测的参考帧、解码中的 同步标识和变长码字的失步等问题，具体有如下技术【9 1 。 重庆邮电学院硕士论文 2 3 1鲁棒性波形编码 视频编码中为了尽可能地消除空间冗余度，采用了正交变换、熵编码 等方法。然而由此带来了空间误码扩散的问题。鲁棒性波形编码的基本思 想就是在编码时保留一定的空间冗余度和时间冗余度来减少误码的空间 扩散和时域扩散。 数据分割方式( d a t ap a r t i t i o n i n g ) 为增强运动矢量信息鲁棒性的一种 数据结构。如图2 7 所示，在一个数据包中，同属于一个s l i c e 中的宏块数 据被进一步分割为更小的逻辑单元，每个逻辑单元包含数据包中所有宏块 的同一种类型的数据，比如运动矢量和d c t 系数，并且逻辑单元之间有 二级同步字将其分开。和传统结构的区别是，在传统的结构中，每一宏块 的头部信息、运动矢量和d c t 系数被顺序的放在一起。在数据分割模式 下，当解码器发现数据包中有错误时，它可以向下寻找下一个二级同步字， 然后对下一个逻辑数据单元进行解码。这样解码器因发送错误而丢掉的就 只是本逻辑单元内剩余的信息，而非整个数据包内所有剩余信息。 重同 圈信息一息h 2 3 2 鲁棒性熵编码 图2 7 数据分割 标志 熵编码一般用于去除由于各个信源码字概率分布不均匀而产生的冗 余。目前常用的熵编码，如h u f f m a n 编码，由于采用了变长码( v l c ) 而 容易产生严重的空间误码扩散问题。如果在熵编码时保留一定的冗余，就 可以减小，或者在一定程度上防止空间误码扩散。 m p e g 4 所采纳的可逆变长编码( r e v e r s i b l ev l c ) 就是一种鲁棒熵 编码，它的基本思想是增加变长码表的冗余，使解码从正反两个方向都可 以进行。传统的变长编码只能从正向解码而不能反向解码，因为它只满足 重庆邮电学院硕士论文 前缀码的约束条件而不满足后缀码的约束条件。如果在构造变长码表时加 入后缀码的约束条件，就可以得到可逆变长码表。解码时如果发现误码， 则跳到下一个重同步标记处，再进行反向解码( 图2 8 ) 。这样的机制可以 很好地解决随机误码扩散的问题，有助于实现有效的错误定位。 发生错误后向解码 图2 8r v l c 数据恢复 m p e g 4 的r v l c 码表是在固定h a m m i n g 权重v l c 的基础上设计而 来，表2 1 说明了r v l c 的产生过程，第一步是创建固定h a m m i n g 权重， 可以得到固定权重v l c 。如表2 1 第2 列所示。通过增加一个值为1 的固 定前缀和后缀，就可以得到r v l c ，如表2 。l 中第3 列所示。r v l c 译码 可以在前向和后向两个方向上通过搜索值为l 的h a m m i n g 权重完成。( 表 2 1 的情况为3 ) 表2 1 固定h a m m i n g 权重v l c 产生r v l c 2 3 3 再同步码字 插入再同步码字能够简单而有效地帮助实现无线视频容错传输中的 再同步，是一种简单的防止误码扩散的手段。再同步码字是一个与所有其 他码字不同的长码字，在固定间隔的码流或一定的码流单位中插入一个再 同步码字，在解码时如果检测到误码就可以直接跳到下一个再同步码字 重庆邮电学院硕士论文 处，防止了误码的继续扩散，使解码器重新同步而保证正常解码继续进行。 如图2 9 。 ij1 视频数据包_视频协j包酬频数据包幽视频数据包 一擎 传输的视频帧 i 发生错误 图2 9再同步码字划分视频数据帧为多个视频数据包 目前所有的视频压缩标准都包括同步码字的使用，不同之处在于同步 码字间隔的选取。m p e g 1 m p e g 2 中是要求相邻两个再同步码字之间的 比特数大致恒定，但不能破坏宏块的边界；h 2 6 3 中是宏块组边界插入同 步码字；m p e g 4 则包含这两种方案的选择【1 0 】【1 。 在m p e g 4 中，再同步码字还与一些新的编码选择方式相结合来实现 容错性能的提高，如m p e g 一4 的数据分割模式( d a t ap a r t i t i o nm o d e ) 。将 一个大数据单元中所有小数据单元的码流进行重组与排列，具体地说是将 所有运动矢量和预测残差系数分别组合再发送。这样可以使每个小数据单 元在差错信道传输条件下得到更好效果的重建，再同步码字在其中起到了 重要的作用。 2 3 4 头扩展码 包含在视频帧中的一些固定的重要信息，如视频数据的空间尺寸，与 译码有关的时间标记，对视频数据的描述和当前帧的类型( 烈t e 刚i n t r a ) 等，在视频帧数据开始的信息头中被传输。如果这部分数据由于信道干扰 被损坏，那么译码将别无选择的丢弃当前视频帧的所有信息。为减少这一 数据信息的敏感度，m p e g 4 的包头信息引入了1 比特域的头扩展编码 ( h e a d e re x t e n s i o nc o d e s ) 。设置h e c 时，描绘视频帧的重要的头信息在 h e c 后重复。这个重复可以被用来验证和纠正视频包的数目，从而获得一 个更高质量的译码视频。 重庆邮电学院硕士论文 2 3 5自适应l n t r a 更新 自适应i n t r a 更新( a d a p t i v ei n t r ar e f r e s h ) 是与标准兼容的编码器 技术，使用i n t r a 编码限制了误码的蔓延。在i n t r a 模式的i n t r a 更 新强制编码一些宏块，以去除在传输中产生的错误。但这带来了更大的开 销，在i n t r a 模式编码宏块比i n t e r 模式需要更多的比特。 a i r 基于运动场景自适应的进行i n t r a 的更新。对一些低运动区域， 简单的时间错误隐藏能产生很好的效果。运动剧烈的宏块能使误码蔓延到 其他宏块，任何误码将会变得明显。m p e g 4a i r 技术更新i n t r a 更频繁， 能使剧烈运动区域从误码中快速恢复【l2 1 。 2 3 6不等错误保护机制 上面讨论的这几种m p e g 4 抗误码功能，在误码率低于1 0 时可以使 得图像的重建质量达到可接受的水平。然而在无线通信环境下，由于多径 衰落、时延扩展、噪声影响和多址干扰等原因，无线信道的误码率比较高， 一般在1 0 。以上，有时可以高达1 0 屹。无线信道的时变特征导致信道的可 用带宽、传输速率发生变化；而噪声使传输的可靠性大为降低，在无线传 输中经常会出现连续的、突发性的传输错误，因此，就需要信道编码来改 善信道状况，通过采用信源和信道联合编码技术，在误码率较高的无线信 道上传输并获得可接受的视频重建质量是可能的。 前向纠错( f e c ) 与自动请求重发( a r q ) 是2 种基本的差错控制方 法，是行之有效的信道编码技术，已在无线传输中得到广泛应用，但信道 编码是以牺牲一定的带宽，增加开销为代价的。如果在数据中加入了太多 的误码保护就会造成带宽资源的浪费和计算复杂度