（电子科学与技术专业论文）视频通信中的误码控制技术研究.pdf

塑兰垄芏兰堂堡芏垒垒查! ! ! ! ! ：! ! ! 垒! ! ! ! ! ! ! a b s t r a c t n o we r r o rc o n t r o lt e c h n o l o g y ( e c t ) h a d b e c a m eak e yt e c h n i q u ew h i c hw a sw i l d l yu s e di nv i d e o c o m m u n i c a t i o nf i l e dt h i st e c h n i q u ec o u l de f f e c t i v e l yi m p r o v e t h ev i s u a lq u a t i t yo fd e c o d e dv i d e o i n f o m a a t i o no u t p u tf r o mr e c e i v e r b a s e do na n a l y s i st h ev i d e oc o d e cs y s t e ms u c ha sh 2 6s e r i a l s t a n d a r dp r o p o s e db yi t u - t t h i sp a p e rs t u d i e do ns e v e r a lp r o b l e m so f e r r o rc o n t r o lt e c h n i q u ei n v i d e ot r a n s m i s s i o nb yi m p r o v i n ge l t o rc o r r e c t i o np e r f o r m a n c ea n de l e v a t i n gt h ee f f i c i e n c yo f e f r o r c o n t r o la r i t h m e t i c t h ef o l l o w i n gw o r k sa r ea d d r e s s e d i nt h i sp a p e r ： l s t u d y i n go nv i d e oc o d e cs y s t e ms u c ha sm p e g a n dh 2 6s e r i a ls t a n d a r d s ，e s p e c i a l l yt h e t e c h n i c a lc h a r a c t e r i s t i co f n e wg e n e r a t i o nv i d e oc o d i n gs t a n d a r d h 2 6 4r e c o m m e n d a t i o n b y s i m u l a t i o nt e s t s t h ea f f e c t i o no nc o d i n gp e r f o r m a n c eo fc h i e fi m p r o v e da r i t h m e t i ci nh 2 6 4 w a sa n a l y z e d 2 b a s e do n a n a l y z i n g h2 6 3r e c o m m e n d a t i o n an e ws c e h ea d a p t i v ev i d e oc o d i n gs c h e m ew h i c h u s e dt w ol a y e rf i l t e rm e c h a n i s mw a sp r o p o s e d c o m b i n e dt h ee f f i c i e n c yo fh i s t o g r a mb a s e d e x a m i n a t i o ns c h e m ew i t ht h ev e r a c i t yo f c o n t e n tb a s e ds c h e m e ，p r o p o s e ds c h e m em a d eu s eo f t w ol a y e rf i l t e rm e c h a n i s mt os o l v et h eq u a l i t yd e c l i n ei ns o m ep a r t so fv i d e of r a m ed u et o s c e o ec h a n g i n g ，i nt h i sm e c h a n i s m ，a ni m a g es i m i l a r i t ye x a m i n a t i o no p e r a t o rw a si n t r o d u c e d t or e e x a m i n e t h er e s u l t o f h i s t o g r a me x a m i n a t i o ns c h e m e i no r d e r t o g e tr i do f t h e f a k ea b r u p t f r a m e s i m u l a t i o nh a ss h o w nt h a tt h ep r o p o s e ds c h e m ec a r la c h i e v em o r ea c c u r a t e l yi n s i m i l a r i t ye x a m i n a t i o nt h a ns c h e m ew h i c hp r o p o s e db y 【1 0 2 s ot h eb i tn u m b e ro fc o d e d v i d e os t r e a mw a sd e c r e a s e da b o u t2 2 9 5p e r c e n ta n dt h u st h ec o m p r e s s i o nr a t i ow a s i m p r o v e d a l t h o u g ht h ec o d i n gc o s tw a s i n c r e a s e da b o u t8 2 5p e r c e n tb y u s i n gp r o p o s e ds c h e m e 3 b a s e do na n a l y z i n gt h ea f f e c t i o no nc o d i n gp e r f o r m a n c eo ft w oo p e r a t i n gm o d e si nh2 6 4 n a l l a y e r , s u c ha sd a t ap a a i f i o nm o d e ( d p m ) a n ds i g n a ls l i c em o d e ( s s m ) ，a na d a p t i v e c h a n n e lu e ps c h e m e ( a c u e nf o rh 2 6 4v i d e os t r e a mw a sp r o p o s e dt h i ss c h e m ef i r s t l y d e t e r m i n e dt h eo p e r a t i n gm o d eo fc o d e dv i d e os t r e a mi nn a l l a y e ra c c o r d i n gt ot h ec u r r e n t c h a n n e ls t a t eb e f o r et h e yw e r ep a c k e d t h ec o d e d “d e os t r e a mo p e r a t e du n d e rs s mi n e r r o r - f r e ec h a n n e ls oa st or e d u c et h ep a c k i n gt r a d e o f ra n di n c r e a s et h ec o d i n ge f f i c i e n c y w h i l ei ne r r o r - p r o n ec h a n n e l ，t h e yo p e r a t e du n d e rd p mc o m b i n e dw i t h i m p r o v e du n e q u a l e r r o rp r o t e c t i o n ( u e f ) s c h e m eb a s e do nh u m a ne y e sc h a r a c t e r i s t i ci no r d e rt oe l e v a t et h e i r r o b u s t n e s st oc h a l m e le r r o r i ni m p r o v e du e ps c h e m e , t h es y n t a xe l e m e n t sb e l o n g e dt o l u m i r m n e ep a r t sa n dc h r o m i n a n c ep a r t sw a sr e a s s i g n e dt od i f f e r e n td a t ap a r t i t i o n s t h o s e p a c k e t sc o n t a i n i n gs y n t a xe l e m e n t sb e l o n g e dt ol u m i n a n c ep a n sw e r eg o te r r o rp r o t e c t i o na t h i g hl e v e l s oa st og u a r a n t e et h e i rc o n e c i l l e s s d u r i n gt r a n s m i t t i n gi ne r r o r - p r o n en e t w o r k s i m u l a t i o nh a ss h o w nt h a tu s i n gp r o p o s e ds c h e m e ，t h ep a c k i n gt r a d e o f fi sd e c r e a s e d8 2 4 0 b y t e si ne r r o r - f r e ec h a n n e la n da l s ot h eo u t d u tb i t sa n db i tr a t eo fc o d e dv i d e es t r e a ma r e d e c r e a s e d2 7 0 k b i t sa n d03 3 k b p ar e s p e c t i v e l y t h e v i s u a l q u a l i t y o fd e c o d e dv i d e o i n f o r m a t i o ni si m p r o v e da ts o m ee x t e n ta n dp s n rv a l u eo fl u m i n a n c e p a r t si si n c r e a s e dn e a r l y ld bi ne r r o - p r o u ec h a n n e l 4 a n a d a p t i v e l yr d - o p t i m a lc o d i n ga l g o r i t h mw a sp r o p o s e dt ob ea i m e da tt h ec o m p u t i n g r e d u n d a n c yi nh 2 6 4r e c o m m e n d a t i o na l g o r i t h m ar e l a d o nb e t w e e np a c k e tl o s sr a t ea n dt i m e s o fs i m u l a t i n gd e c o d i n gi ne n c o d e rw a s s e t u pi np r o p o s e da l g o r i t h mf o rt h ef i r s tt i m eu s i n g - i t - - 浙江大学工学博士学位论文( 2 0 0 31 1 ) a b s t r a c t t h i sr e l a t i o n ，e n c o d e rc o u l da d a p t i v e l yd e t e r m i n et h et i m e so fs i m u l a t i n gd e c o d i n ga c c o r d i n g p a c k e t l o s sr a t ea n dt h en u m b e ro fs i m u l a t i n gc h a n n e ls t a t e s s ot h ec o m p u t i n gc o m p l e x i t ya n d c o d i n gt i m ei ne n c o d e rw a sd e c r e a s e de f f e c t i v e l y s i m u l a t i o nh a ss h o w nt h a t t h ep r o p o s e d s c h e m ec a ne f f e c t i v e l yr e d u c et h ec o m p u t i n gc e m p l e x i t ya n dc a ns a v eu p t on e a r l y6 0p e r c e n t o fc o d i n gt i m eb yd e c r e a s i n gt h et i m e so fs i m u l a t i n gd e c o d i n gi ne n c o d e r u n d e rt h es a m e c o d i n gt i m ea sh 2 6 4a l g o r i t h m ，t h ea v e r a g es t a n d a r d d e v i a t i o no fd e c o d i n gv i d e oi n f o r m a t i o n e s t i m a t e dd i s t o r t i o nc a nb ed e c r e a s e da b o u t9 0p e r c e n tb yu s i n gp r o p o s e da l g o r i t h m k e yw o r d s ：v i d e oc o d i n g ，h 2 6 3 ，h 2 6 4 ，e r r o rc o n t r o l ，s c e n e ，n e t w o r ka d a p t i v el a y e r ( n a l ) ， p a c k e tl o s sr a t e ，u n e q u a le l t o rp r o t e c t i o n ( t r e p ) ，h u m a ne y e sc h a r a c t e r i s t i c ( h v c ) ，a d a p t i v ec o d i n g ， r d o p t i m a lc o d i n g ，w e i g h t e d 浙江大学工擘博士擘位论文( 2 0 0 3 j 1 ) 第一章 第一章绪论 近年来，随着通信技术的飞速发展以及个人用户对通信新业务不断增长的需求，多媒体通 信技术( m m c 道尤其是视频通信技术得以快速发展m m c 技术不再局限于枯燥的文本信息和 简单的语音对话而具有多媒体功能和更加人性化的特色业务，它除了可为用户提供融合了声 音、文字、图像、视频等多媒体信息之外，还支持诸如视频会议、可视电话、图像和视频检索 等多媒体通信功能在未来的数字通信领域特别是移动通信领域中多媒体通信技术必将会成 为一个重要发展方向，它将会使我们的生活变得更加丰富多彩 i i误码控制技术的研究背景和意义 要进行多媒体通信尤其是视频通信，首先必须要解决以下几个关键问题 8 4 1 ： 第一，视频信息数据量巨大，而传输信道尤其是无线信道中的可用带宽始终是有限的为了 满足传输信道对带宽的限制，视频信息在传输前必须进行压缩编码以降低通过信道传输的信 息量目前已有多种有效的视频信息压缩编码标准，例如由国际电信联盟( i t u - t ) 提出的h 2 6 x 系列编码标准和由国际标准化组织( i s o f i e c ) 提出的m p e g 系列编码标准等等这些标准通过 使用复杂的信源压缩编码算法来降低视频信息在信道中传输所需占用的带宽 第二，视频信息在信道传输过程中都很容易受到误码的影响，因此为了保汪解码器输出重 构视频信息的视觉质量，满足用户的要求，需要采取一定的误码控制技术( e c t ) 来增加编码视 频信息的抗误码性能 在进行编码视频信息传输过程中，由于在传输信道尤其是无线信道中多径时延与衰落效 应以及多普勒频移的存在，信道条件十分恶劣传输信道中产生的误码可以分类为”：不可靠 的有线，无线信道在传输比特流中引入的随机误码：由于网络阻塞、有线i p 网络中的“尽 力”( b e s te 肋哟传输而将引入的数据包丢失；在无线信道或移动无线网络中，由于多径传播而 导致的突发误码 另一方面，由于编码视频信息对传输中出现的误码较为敏感，而目前大多数信源编码技术 都是针对无误码信道环境进行设计的，因此如果此时在视频信息传输过程中出现了误码，那将 会导致解码器输出视频信息的视觉质量严重降低由此可见在误码信道环境下，为了保证解码 器端重构视频图像的视觉质量，有必要采用有效的误码控制技术，例如使用前向纠错( f e c ) 和 自动重传( a r q ) 等以保证视频信息的传输质量这些技术除了增加信源编码算法的容错性能 以外，还可提高视频信息传输的可靠度和对误码的鲁棒性能 目前对视频通信中误码控制的技术研究开发已成为一个研究热点 原 发送方 图l - l 视频信患传精系统结构示意图 一5 一 接收方 塑二兰 塑兰苎兰兰兰堡主兰竺竺兰! 三! 竺二坚) _ 由圈t 1 可见，视频信息经压缩编码后通过传输信道传送给接收端，接收端在收到编码视 频信息后再将其送到解码器中进行解码，最终解码器输出的是解码重构后的视频信息在视频 信息传输过程中由于误码的出现而使视频信息接收方所看到的视频图像与发送方看到的会 有所不同，一般来说前者看到的视颏图像观赏质量不如后者为了使视频信息接收方能够获得 与发送方相比尽可能接近的视频图像视觉质量，需要采用有效的编码视频信息误码控制措施 而由于误码的产生位置的不同以及应用场合的不同要求( 如对时延和网络传输带宽的要求等) ， 需要采用的误码控制措施也有所不同 1 1 1 误码的产生位置 根据误码产生位置的不同，可分为以下四类m 1 ： 1 视频信息文件头中产生的误码 在对视频信息进行编码时，大多数编码系统都会加入少量的文件头信息( 比如视频信息的 长度和编码方法等重要信息) ，此信息一般先于图像帧进行编码曲于文件头信息中存放着解码 所需的重要信息，因此如果此部分中的任何比特位出现误码，则会导致解码失败 现有的解决办法是设计一个具有容错功能的编码器，如使用前向纠错( f e c ) 方法来对文件 头信息加以保护由于文件头信息相对于整个编码视频信息来说只占其中很少的一部分，因此 不必担心会对使用了有效的f e c 方法而显著增加整个编码视频信息的长度 2 预测编码过程中产生的误码 大多数视频编码系统为了实现较高的压缩比，都使用了预测编码技术，预测编码使用先前 编码的数据来预测下一个像素的值，然后将预测误差进行编码因此如果用于预测的参考图像 帧中的任何部分出现误码，则此误码将会通过预测过程传播到所预测的图像帧中去， 对这种在视频信息编码过程中，视频帧与帧之间出现的误码传播，可通过对参考图像帧中 受误码影响宏块采用帧内编码方法以在一定程度上限制误码在图像帧之间的传播 在具有多个场景的视频序列中，由于场景切换处突变帧的统计特性与上一帧( 即上一个场 景的最后一帧) 的统计特性有明显的不同如果此时编码器将上一帧作为该突变帧的预测参考 帧则会出现较大的预测误码，使得该突变帧在解码器端解码重构图像的视觉质量受到严重影 响与此同时这种由于场景切换而造成的大范围预测误码会在接下来的几帧视频图像中传播， 以至需要花费数帧图像才可以从这种由于场景切换所带来的影响中重构过来为了解决这种 因场景切换而造成的预测过程中出现的误码，可通过将该突变帧进行帧内编码来避免预测误 码的产生和传播 关于该技术的研究内容见论文第三章基于h 2 6 3 建议场景自适应编码方案研究 3 码字和数据块丢失同步产生的误码 大多数视频信息编码系统使用变长熵编码，如h u f f m a n 编码或算数编码在h u f f m a n 编码系 统中，任何一个码字中出现误码都将使解码器输出错误的码长虽然在实际应用中h u f f m a n 编 码会撮据所获得的统计信息来自动进行重同步，但仍然会出现码字位置错误的情况对于算数 编码来说，它可以提供比h u f f r n a n 编码更优良的编码性能，但由于其自身很少进行重同步而使 得情况变得更加糟糕 基于数据块的编码方法在许多视频信息编码系统( 如h 2 6 3 以及m p e g ) 中都得到了广泛 应用，但其主要缺点是当发生码字同步丢失的情况时，将会导致解码器错过对视频信息块结尾 ( e o b ) 码字的检测或者出现检测错误，这意味着即使重新获得码字同步，解码器输出的仍然是 在错误位置处被解码的视频信息 4 空间域内产生的误码 一6 一 浙江大学工学博士学位论文( 2 0 0 3 1i ) 第一章 大多数编码系统通过使用子带( s b ) 分解或小波变换( w - r ) 来提高对视频信息的压缩比，在 解码器端则使用相应的反变换但是在子带分解过程中出现的任何误码都将会传播到一定空 域范围内的所有图像帧中去 空间域内产生误码的另一个原因是由于解码器对变长编码进行解码时丢失了同步信息 1 1 2 解码器端误码的检测方法 解码器端在使用视频误码控制措施前，首先要将码流中的误码准确检测出来目前已提出 的误码检测方法可以分为两类1 ： 第一类是通过媒体复合、信道编，解码进行误码检测该类方法是在媒体复合包加入头信 息检测误码，例如音视频复用标准h 2 2 3 在包头中加入序列号来检测丢包；或者使用前向纠错 ( f e c ) 检测误码，例如h 2 6 3 + 的附录h 中使用b c h ( 5 1 l ，4 9 3 ，2 ) 对码流进行检错纠错 另一类是通过视频信源解码进行误码检测该类方法利用视频信号的特征来进行时域误 码检测以h 2 6 3 + g j 例，计算相邻两个块组邻近行数据的差值是否超过门f r 值来检测误码同样 也可在变换域进行误码检测：首先使用同步码确定出错范围，再计算出错范围内每个块中相邻 两行系数的均方差，最后认为均方差最大的块出错另外，可对视频码流进行语法检查仍以 l 2 6 3 + 为例，当出现非法v l c ( 可变长编码) 码字，位移矢量超出了图像范围或重构的d c t ( 离散 余弦变换) 系数超出范围等，都可认为是由于误码引起的错误 一般来说，通过媒体复合、信道编解码进行误码检测是较为可靠的方法，但这种方法纠错， 冗余比较低，会增加信道额外负担，所以在无线信道下几乎没有实际应用价值在视频解码器端 的时域，空域误码检测的依据是假设视频信号是平稳的，这样虽然不会增加信道的额外开销，但 常常检测出虚假错误 显然，在实际视频通信系统中，这些技术应结合在一起进行误码检测，而同步码的使用和码 流的语法检查则是以上两种方法的折衷 1 2 误码控制技术的相关研究及进展 在多媒体通信业务急速发展的同时，对其进行可靠传输的需求也逐渐增加对于在网络上 传输的编码视频信息来说，由于其在网络传输过程中会不可避免地产生误码，包括信号衰落、 区间误码、丢包等等，因此需要使用某种误码控制方法来保证解码器输出视频信息的视觉质 量， 误码控制方法大致可分为信道误码控制、信源误码控制、信源，信道联合编码控制和误码 隐藏四类 1 2 1 信道误码控制方法的研究及进展 在视频通信中，引起解码器端重构视频图像失真的主要原因有两个：信源编码引入的量化 噪声和传输误码引入的失真为了降低这两种影响，都需要增加比特开销，以提高量化级数和增 强前向纠错能力在给定信道带宽和信道误码特性的条件下，为准确检测出编码视频信息中出 现的误码并对其进行有效重构，从而使得由于误码和量化所引起的视频图像总失真达到晟小， 通常结合信源的特点采用在编码视频信息传输过程中添加误码控制码的方法，其中最常用的 方法有前向纠错( f e c ) 和自动重传( a r q ) 1 前向纠错( f e c ) 前向纠错( f o r w a r de r r o rc o r r e c t i o n ：f e c ) 是比较经典的信道编码误码控制方法它的原理 是：在所有的编码视频信息流中添加冗余的保护信息，使解码器能够对一定数量丢失或受误码 第一章 浙江太学工学博士学4 凇( 2 0 0 3 1 1 ) 影响的视频信息进行重构当传输过程中发生编码视频信息丢失时，通过接收到的信息和保护 信息来重新构造出丢失的编码视频信息与传统的t c p 重传方法相比，前向纠错具有较小的传 输延迟，并且可保持恒定的吞吐量以及有限的时延，比较适合在实时通信等对所传输视频信息 的时延有非常严格限制的应用系统中 前向纠错方法可以分为与数据有关和无关两种模式”j ： ( 1 ) 与数据有关的前向纠错方法： 此方法在编码视频信息中直接添加保护信息，例如在第n 个g o b 编码信息中添加第 n 1 个g o b 的保护信息( 一个粗糙量化的版本) 这种算法的优点是时延更小，但是仍无法 适应动态变化的网络丢包率 ( 2 ) 与数据无关的前向纠错方法： 此方法并不关心编码视频信息的句法，而将编码视频信息分成固定大小的数据块，对 每一个数据块添加保护信息此方法实现简单，但是无法根据网络的情况动态改变保护级 别周此可能会出现保护不够而无法重构原编码视频信息或保护程度过高而造成编码效 率低下的情况 f e c 方案的缺点主要有以下几点：首先，加入的额外校验信息会使编码视频信息数据量相 应增加在无误码无线信道中传输时会引入一些恒定的开销，从而在一定传输速率下反而会使 传输质量下降；其次，由于无线信道传输质量波动很大，在进行传输系统设计时需要针对某一特 定的最坏信道状态进行设计，由此严重降低了对视频信息的压缩性能而且当信道状态超出原 先设定的晟坏状态时，整个系统可能会出现严重编码错误甚至不能正常工作的情况；第三，信道 编码方案对于某些具有区间误码特征的无线信道来说较难设计解决方法之一就是使用交叉 编码，但由于引入了较大的时延，因此也不是一个最优解决方案 2 自动重传( a r q ) 在自动重传方案中，当解码器发现有受误码影响的编码视频信息时，向视频信息发送端发 送重传请求，请求将受影响信息再重新传送一次 a r q 在处理数据包丢失以及发生较大区间误码的情况时是非常有效的，但由于需要等待 接收重传的数据，这样就可能会在接收端出现较为明显的时延，因此在一些实时通信应用( 如视 频会议) 中是不可行的a r q 也不适合处理具有随机误码以及短区间误码的情况， 虽然已证明a r q 方法比f e c 方法更有效，但是由于对受误码影响的信息进行重传而引入 了额外的时延，这样就限制了a r q 技术在无线视频传输中的应用改进的方案之一就是使用混 合a g q 方案在编码视频信息传输时间明显小于解码器端重构视频的播放时延要求时，该方案 采用有时延限制的重传机制重新发送丢失的编码视频信息，通过限制重传数据包的数目来实 现对时延和传输速率的有效控制有时延限制的重传策略可以分为接收方控制的重传、发送方 控制的重传和混合重传三种但由于最大重传数目以及视频信息传输的优先级是事先设定好 的，这样就不能准确反映传输时延的时变特性，因此也具有一定的局限性 1 2 2 信源误码控制方法的研究及进展 信源误码控制方法通常采用容错( e r r o rr e s i l i e n c e ) 技术，它的作用在于防止误码的传播。减 小误码的影响范围容错技术的主要原理是在对视频信息进行传输前先做相应的技术处理即 使编码视频信息在信道传输时受到一定程度的误码影响，在解码器端仍然能够得到可被用户 接受的视频图像视觉质量换句话说，视频信息具有抵抗在网络传输信道中出现的传输误码的 能力因此窖错技术在多媒体信息传输特别是无线视频信息传输中占有很重要的地位 在面向低带宽传输环境下的视频编码标准如h 2 6 3 + 和m p e g - 4 中，定义了一系列的容错 工具，例如重同步标志( r e s y n c h r o n i z a t i o nm a r k i n g ) 、分层编码( l a y e rc o d i n g ) 、可逆变长编码 一8 - 浙江大学工学博士学位论文( 2 0 0 3 1 1 ) 第一章 r r c v e r s i b l e v a r i a b l e l e n g t h c o d e s ：r v l c ) 等以上这些容错工具主要是针对随机误码，适用于无 线信遭而在基于i n t e m e t 的视额传输中，由于数据包的频繁丢失会造成大量编码视频信息的丢 失，因此以上这些工具并不是根有效，因此通常使用的容错技术是最优模式选择( o p t i m a lm o d e s e l e c “0 n ) 和多值描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 等 1 重同步标志 在变长编码和解码过程中，码字同步丢失问题是大多数编码系统中所遇到的最常见问题 之一在许多编码系统中通过使用同步码字来对视频信息进行周期性的重同步重同步标志是 在码流中插入的一些特殊的二进制字符串，使得解码器可以定期校准解玛的帧和宏块序号，从 而将误码限制在一定的范围内当出现误码时，解码器可以通过寻找下一个同步码字来继续对 后来的视频信息进行解码 同步码字越复杂其长度就越长，如果过于频繁使用就会在解码器输出的视频信息中出现 明显的时延 2 分层编码 结合传输优先级的分层编码基本思想是将编码视频图像信息分成两个或更多的层结构 将码流中描述不同编码视频信息的部分( 例如运动矢量和d c t 系数) 分开存放，以便在信道编 码时加以不同优先级别的误码保护这样做有利于对重要编码视频信息的保护 视频信息中的不同部分内容对视频信息重构所起的作用是不一样的一般来说，在单层结 构视频信息传输过程中，i 帧起的作用比p 帧和b 帧更大而在分层可扩展视频( s c a l a b l ev i d e 0 1 传输过程中，位于高层的信息部分比位于较低层的信息部分对视频信息重构起的作用更大，在 非平衡误码保护( u e p ) 策略中，编码视频信息按照信息内容被分割成不同的部分，并被置于相 应优先级的层结构中，对每一部分信息分别使用不同的误码控制方法，从而提高解码器输出视 频的视觉质量， 基本层( 具有高优先级) 用于对重要信息的编码，而其余层则用于对重要性不高的信息进行 编码例如h 2 6 3 + 的附录o 中使用时间可分级、信噪比可分级和空间可分级技术将码流分为 基本层和一个和多个增强层 在基本层( b a s i cl a y e r ：b l ) 中包含了视频信息中最重要的内容，如运动矢量信息等等 因此 b l 层应当受到最高优先级的抗误码保护并在可靠信道上传输，从而使得在解码器端重构后可 得到视觉质量满足用户要求的视频信息，否则解码器重构后的视频的视觉质量将会受到很大 影响 在增强层( e n h a n c e dl a y e r ：e l ) 中包含的视频信息则在较低优先级信道上传输，经解码器端 重构后与基本层中重构的信息合并后得到高质量的视频信号由于增强层中的信息是在高层 信息( 如b l 层) 的基础上进行编码的，如果在高层数据中出现误码，就会对其后几帧图像中的增 强层信息造成一定程度的影响，导致误码能够在数帧图像中间进行传播以上这些层可根据其 优先级的不同而加以不同程度的误码保护，这就是非平衡误码保护策略( u e p ) 分层编码的缺点是由于在每层中都要引八位置信息而会导致编码器输出编码视频流的 比特率增加，同时也会增加信道负担，但具有较好的抗误码性能该方法的另一个缺点是基本层 忽略掉了高频信息而使得其仅能获得一个次最优结果i s q 以上分层结构也可根据编码方法和应用场合的不同而有所不同： ( 1 ) 时间域扩展： 将视频信息分割成不同层结构的最简单方法可通过采用时间域扩展实现，在该分层 结构系统中，基本层中包含有在较低帧速率上编码得到的编码视频信息，而精细层则包含 有较高帧速率的视频信息( 通常采用双向运动估计预溺编码) 假如属于精细层的信息丢失 一9 一 莆一章 浙江太擘工学博士学位论文( 2 0 0 31 1 ) 则视频图像的质量就会受到很大影响采用这种分层方法的系统所具有的优点是编码效 率相对较高，并且不会受到精细层中时间域误差传播的影响但是对各层编码速率的控制 却相对较为困难，另外这种方法在低速率实时应用中会引入较大的时延 ( 2 1 数据分区( d a t ap a r t i t i o n ：d p ) ： 在基于数据分区的分层编码中，最简单的方法是采用基于数据块的分层编码方案在 该方案中将每个数据块分割成低频和高频信息两部分运动矢量和低频信息放置在高优 先级层中，高频信息则放到低优先级层中该系统允许对于数据分区的位置有较高的自由 度和适应性 2 0 0 3 年5 月由l t u t 正式提出的h 2 6 4 视频编码建议在系统层面上提出了视频编码 层( v i d e oc o d i n gl a y e r ：v c l ) 和网络适配层( n e t w o r ka d a p t i o nl a y e r ：n a l ) 的概念v c l 层包含有与数据块层和宏块层有关的句法，负责对编码视频信息进行有效的描述；n a l 层 则含有与较高层结构如数据片层、图像层、g o p 层和序列层有关的句法，负责对信息进行 打包封装井通过特定网络将该编码视频信息进行传输同时h ，2 6 4 建议在v c l 层和n a l 层交界处定义了数据片层( s l i c el a y e r ) ，在视频编码器中最基本的数据结构是数据片一个 数据片一般含有若干个相对于同一幅图像中以扫描顺序排列的宏块数据片在解码器端 被单独进行解码擞据片中的编码像素信息在数据分区模式( d a t ap a r t i t i o nm o d e ：d p m ) 下 最多可分割成三个数据分区a 数据分区( d p a ) 含有所有的数据片和宏块头信息、运动矢 量、m b t y p e 等等；b 数据分区p b ) 则含有所有的帧内编码信息，如帧内编码宏块的块编 码方式( 帧内c b p ) 的信息以及所有的帧内编码系数；c 数据分区( d p c ) j j 含有所有的帧问 编码信息，如称为帧间c b p 的信息以及所有的帧间编码系数仿真实验表明擞据分区模式 在对误码的鲁棒性方面要优于单数据片模式( s s m ) ，同时这三个数据分区中的数据对编码 视频信息解码过程所起的作用是不同的：在视频解码过程中a 区信息起了非常重要的作 用如果b 区或c 区信息丢失，则可以利用相应的误码掩盖措施来弥补所造成的不利影响 据此可以设计一种有效的基于数据分区模式下的非平等误码保护方案 关于该方面的研究内容详见本论文第四章基于h 2 6 4 视频流信道自适应u e p 方案 研究 ( 3 ) 双重编码( d u a lc o d i n g ) ： 该方法是在高优先级层中使用粗量化对全部视频或图像信息进行编码，而在增强层 中将残差通过精细量化器重新进行编码这种方法的优点是在基本层中包含有更好的频 率分布特性 3 可逆变长编码 可逆变长编码是h u f f m a n 编码的一种扩展，其中每一个码字都可以从前后两个方向进行 解码，从而提高了码流的鲁棒性可逆变长度编码能够同时从前向和反向对比特流进行解码，如 果前向解码比特流发现错误时，可以从反向解码比特流这样做的好处在于可以减小信道编码 的误码控制和检测的负担，从而提高信道的利用效率 4 最优模式选择方法 最优模式选择方法的基本思想是当网络丢包率增加时，编码器采用帧内编码( i n t r ac o d i n g m o d e ) 方式而不采用帧闻预测编码( 1 a t e rc o d i n gm o d e ) 方式由于帧间编码方式下的编码视频 信息在解码时需依赖多个视频帧的信息，而这些信息有可能出现丢失的情况，从而严重影响解 码器输出重构视频图像的视觉质量目前的研究大多集中于如何在指定的比特率约束下台理 选择这两种编码模式以使解码器端重构视频图像达到整体最佳的播放效果 5 多值描述编码 一1 0 浙江太学工学博士学位论文( 2 0 0 3 1 1 ) 第一章 在低比特率视频通信中也可以使用多值描述编码0 讧d c ) 来增强码流的抗误码能力，多值 描述编码是将一个视频序列编码成若干个不同解析度的编码视频流，接收方只要接收到一个 视频流就可以独立进行解码，同时接收到的视频流越多，解码视频的播放质量越好w e es u n l e e 等假设有两个独立的信道a 、b 可用，视频编码器将解码器端误码掩盖困难的宏块使用 m d c 后分别发送到信道a 和信道b ，而将其它无需保护的宏块正常编码后发送到信道a 中 其中m d c 是将帧问编码宏块的运动矢量和帧内编码宏块的d c t 直流系数在两个信道中分别 发送，而其余的d c t 系数也分为两部分并在两个信道中分别发送这样通过减少编码视频的相 关性而在一定程度上限制了由于丢包所造成的误码传播多值描述编码比较适合在有突发误 码的信道上使用 该方法虽然增强了在信道中传输的编码视频信息对误码的鲁棒性，但是由于去除了视频 的相关性从而降低了编码效率如何在编码视频信息对误码的鲁棒性和编码效率之间取得平 衡是这类编码方法研究的关键 6 矢量量化技术 矢量量化技术是容错系统中经常使用的一种方法矢量量化的优点在于通过使用固定长 度的码字来限制误码在单个码字中的传播这里主要介绍容错熵编码( e r e c ) ”和金宇塔矢最 量化( p v q ) 编码”“， e k e c 仅通过对现有编码方案进行略微改进便可提高对随机误码和区间误码的容错陛能。 同时又能够保持较高的压缩比使用e r e c 量化方案的系统在无噪信道中可提供较为优良的 视频信息编码性能另外e r e c 量化方案也可应用于变速率传输系统 金字塔矢量量化( p v q ) 是一种网格矢量化技术该技术适合于针对d c t 编码或子带编码 以及对具有l a p l a c i a n 分布特性的视频信息进行编码仿真实验表明，使用金字塔矢量量化技术 的系统在较高的信道误码率下仍可以提供较好的容错性能 7 预测编码 预测编码方法如差分脉冲调制( d p c m ) 方法常常应用在结构简单且复杂度低的编码器中 但是由于这种方法会造成误码在预援0 编码回路中的传播，必要时可使用具有鲁棒性能的预测 器，例如有限冲击响应( f i r ) 中值混合预测器【8 ”咀降低这种误码传播的不利影响 8 自适应改变调制方式 采用自适应改变调制方式与信道编码相结合的技术也可以提高系统的抗误码性能在移 动速度较低和对时延要求不严格的情况下，c h o r e a 等口”提出了一种突发自适应调制方式的 方法：当信道质量较好时，采用高阶调制模式，反之则采用较为强健的低阶调制模式另外在信 道编码中使用了t u r b o 码，它与传统的b c h 码相比，可以减少编码视频信息的丢包率。提高有效 吞吐量和改善视频质量，但同时引入了较大的时延 9 主观质量控制策略 宋彬等1 提出了一种视频通信的主观质量控制策略：在给定的信道速率和误码率环境下， 按照一定的准则联合信源，f 言道编码，尽可能地提高重构图像的主观质量该控制策略给出了影 响重构图像主观质量的两个主要因素：粗量化或误码产生的方块效应和重构图像的帧频在高 误码率环境下，根据一定的准则以权衡和调整f e c 的纠错能力和量化因子，从而有效地提高并 保证重构视频的质量 1 2 3 信源胎道联合误码控制方法的研究及进展 将信源信道编码联合在一起抗误码是非常有效的误码控制技术，同时也是一个重要的研 究方向信源，信道联合编码是根据整体率失真理论( r _ dt h e o r y ) 动态地为编码视频信息和信 第一章 浙江走学7 - 学博士学拉论文( 2 0 0 3 1 1 ) 道的f e c 保护信息分配带宽，使得接收端重构视频图像的整体播放效果达到最佳该方法的基 本步骤是：第一，根据从接收方反馈回来的当前信道状态信息选择一个最佳的码率分配点；第二， 调整信源编码器使得其输出的码率达到所分配的带宽：第三遣择合适的信道编码方法并加入 保护信息以达到所分配的带宽 信源信道联合编码的优点是可随当前信道网络特性的变化而动态地改变误码保护的优 先级别，从而在解码器端达到