（信号与信息处理专业论文）视频通信中的错误隐藏技术研究.pdf

视频通信中的错误隐藏技术研究 摘要 随着多媒体、网络技术及移动通信的迅速发展，视频通信的应用 成了必然的趋势。但无论在i p 网络还是在无线移动网络信道中，误码 的产生、数据的丢失总是难以避免。然而，压缩后的视频数据对码元 错误非常敏感，少量码元的错误就可能导致大批码元无法正确解码。 由于传输效率、实时性等要求，在许多应用场合，过强的纠错编码、 重传机制等差错控制方法并不适于视频传输，因而必须寻找更适于视 频传输的差错控制方法。由于视频数据在时间、空间上具有相关性， 传输错误的视频数据有可能利用其时间、空间上邻近的数据来恢复， 这也就是所谓错误隐藏技术( e r r o rc o n c e a l m e n t ) 目前，应用最为广泛的错误隐藏算法主要基于确定性图像分析理 论，根据其作用域的不同，可分为时域隐错、空域隐错和频域隐错三 类。本文以t 的视频标准h 2 6 4 为平台，根据j v t 提供的无线信道 仿真工具，搭建了统一的测试环境，综合时域、空域、频域的三类错 误掩盖算法的分析比较，针对其中典型性的算法进行了实验分析与性 能比较。 随着图像处理技术的发展，基于统计分析的图像处理技术由于其 对图像更为精确的分析建模被越来越多的引入当前图像处理的各领 域，其中，马尔可夫随机场能够很好地描述空间连续性，用适当的邻 域系统，能对图像的结构特征建模，结合优化算法一模拟退火，可以 获得满意的图像隐错恢复效果。本文在研究国内外这一领域的研究成 果的基础上，通过实验仿真分析了这一技术的优劣性和算法效率，并 且与其它常用的隐错算法作了比较。 关键字：错误隐藏视频编码h 2 6 4 马尔可夫随机场 r e s e a r c ho ne r r o rc o n c e a l m e n t t e c h n o l o g y i nv i d e oc o m m u n i c a t i o n a b s t r a c t d i g i t a lv i d e oc o m m u n i c a t i o nc a l lb ef o u n dt o d a yi nm a n ya p p i i c a i s c e n a r i o s ，s u c h a s b r o a d c a s t i n g ，w i r e l i n e a n dw i r e l e s sr e a l t i m e c o n v e r s a t i o n a ls e r v i c e s i n t e r n e to rl a nv i d e os t r e a m i n g o n ei n h e r e n t p r o b l e mw i t ha n yc o m m u n i c a t i o ns y s t e mi st h a ti n f o r m a t i o nm a y b ea l t e r e d o rl o s td u r i n gt r a n s m i s s i o nd u et oc h a n n e ln o i s e t h ee f 琵c to fs u c h i n f o r m a t i o nl o s sc a r lb ed e v a s t a t i n gf o rt h et r a n s p o r to fc o m p r e s s e dv i d e o b e c a u s ea n yd a m a g et ot h ec o m p r e s s e db i t s t r e a mm a yi e a dt oo b j e c t i o n a b l e v i s u a ld i s t o r t i o na tt h ed e c o d e r i ti sw e l l k n o w nt h a ti m a g e so fn a t u r a l s c e n e sh a v ep r e d o m i n a n t l yl o wf r e q u e n c yc o m p o n e n t s ，f e t h ec o l o rv a l u e s o fs p a t i a la n dt e m p o r a l l ya d j a c e n tp i x e l sv a r ys m o o t h l y t h e s ef a c t sc a nb e u s e dt oc o n c e a lt h ea r t i f a c t sc a u s e db yt r a n s m i s s i o ne r r o r s a 1 1t h ee r r o rc o n c e a l m e n tt e c h n i q u e sr e c o v e rt h el o s ti n f o r m a t i o nb y m a k i n gu s eo fs o m eap r i o rk n o w l e d g ea b o u tt h ei m a g e v i d e os i g ? p r i m a r i l yt h et e m p o r a l ，s p a t i a la n d 丘e q u e n c ys m o o t h n e s sp r o p e r t y t h i s p a d e rm a k e sas t u d yo ft y p i c a le r r o rc o n c e a l m e n ta l g o r i t h m sb ya n a l y z i n g a n dp e r f o r m i n gs i m u l a t i o n sw i t ht h ec u r r e n tr e l e a s eo ft h et ms o f t w a r e n 压9 3a n das e to f n e t w o r ks i m u l a t i o nt o o l st h a ta r eg e n e r a l l yu s e db y t r e c e n t l y t e c h n i q u e sf o ri m a g er e c o n s t r u c t i o nh a v eg a i n e dp o p u l a d t 、， t h eu n d e r l y i n gi d e ai st h a tt h eo r i g i n a li m a g ei sm o d e l e da sam a r k o v r a n d o mf i e l d ( m r f ) d a m a g e dp a r t sa r et h e nr e c o n s t r u c t e db ym a x i m u ma p o s t e r i o r i ( m a p ) t e c h n i q u e s s e l e c t i n gap r o p e rn e i g h b o r h o o ds y s t e ma n d u s i n gt h ea b i l i t yo fm a r k o vr a n d o mf i e l dt od e s c r i b es p a t i a ld e p e n d e n c e 旺疆c a r lb eu s e dt om o d e lt h es t r u c t u r a la n dt e x t u r a lb e h a v i o ro fi m a g e s s e l e c t i n g aa p p r o p r i a t em o d e la n dm a k i n gl i s eo ft h eo p t i m ：1 a l g o r i t h m - 一s i m u l a t e da n n e a l i n gt o e s t i m a t et h ep a r a m e t e r s ，w o n d e r f u l i m a g er e s t o r a t i o nc a r lb ea c h i e v e d t oe v a l u a t et h ee f f e c t i v e n e s so fn 疆 b a s e da l g o r i t h m s ，t h i sp a p e rt e s t st h ea l g o r i t h m sb ym a k i n gac o m p a r i s o n o ft r a d i t i o n a la p p r o a c h e s k e yw o r d s ：e r r o rc o n c e a l m e n t ，v i d e oc o d i n g ，h 2 6 4 ，m r f 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：蛰抱 日期：至q q 鱼生q 2 旦2 1 旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学 校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论 文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用 影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后 遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论 文注释：本学位论文不属于保密范围，适用本授权书。 ， 本人签名：堡垒 日期： 2 q q 生q 2 且2 1 目 导师签名： 查圣四 日期： 2 q q 生q 2 旦2 1 旦 ：f e 京邮电大学硕士论文视频通信中的错误隐藏技术研究 1 1 视频错误隐藏技术 第一章绪论 2 1 世纪就是这样一个飞速发展的数字信息时代，数字信息化几乎波及到世界 的每个角落，改变了人类的生活和工作方式。信息技术的发展，使人们的学习和 交流打破了时空界限，为人类的发展带来了新的空间。以多媒体和网络为依托的 信息技术己成为拓展人类能力的创造性工具。信息化的一个主要特征就是多媒体 技术的广泛应用，随着多媒体业务的不断拓展，多媒体技术己成为工业界和学。 界的一个研究热点。 1 11 视频的误码产生 要进行多媒体通信尤其是视频通信，首先必须解决以下几个关键问题： 第一，网络带宽是影响多媒体通信质量的主要因素。视频信息数据量巨大， 而传输信道尤其是无线信道可用带宽有限。目前i n t e m e t 尚未采用资源预留协议 ( r s v p ) ，其中的链路带宽和路由器都可能成为网络带宽的瓶颈；无线网络则由于 其高误码和带宽抖动现象，其有效带宽也不能满足多媒体通信的需求。为了满足 传输信道对带宽的限制，视频信息在传输前必须经过压缩编码以降低通过信道传 输的信息量。目前已有多种有效的视频信息压缩编码标准，例如玎u t 提出的 h 2 6 x 系列和i s o i e c 提出m p e g 系列。这些标准通过使用复杂的信源压缩编码 算法来降低视频信息在信道中传输所需占用的带宽。 第二，视频信息在信道传输过程中都很容易受到误码的影响，因此为了保证 解码器输出重构视频信息的质量，满足用户的要求，需要采取一定的误码控制技 术( e c t ) 来增加编码视频信息的抗误码性能。 分组丢失率是i n t e m e t 的一个特性。由于i n t e r n e t 的“尽力而为”传输，当网 络繁忙时，路由器在不能处理到达队列中的所有数据时，往往会丢弃新到达的数 据，造成分组丢失。分组丢失会引起媒体质量下降甚至无法解码。在现有i n t e r n e t 条件下，降低分组丢失率的基本策略是采用可靠的网络传输协议，如t c p 协议。 然而，由于t c p 协议的网络负担较重，延时也较长，而不适合于多媒体通信( 尤其 是实时通信) ，但可将t c p 差错重传等控制策略引入专门为多媒体通信设计的传输 协议中。 传输差错主要发生在无线网络中。对于无线网络，除非在无线网络中设计可 靠的新协议，使其上层变成分组交换网络，否则，就需考虑传输差错问题。在无 ：。北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 线网络中，由于多径衰落和阴影衰落，造成信道的误码率很高，数据在传输过程 中会出现随机性或突发性错误。在目前的技术条件下，无线网络传输错误是不可 避免的。 另一方面，由于编码视频信息对传输中出现的误码较为敏感，而目前大多数 信源编码技术都是针对无误码信道环境进行设计的，因此如果此时在视频信息传 输过程中出现了误码，那将会导致解码器输出的视频质量严重降低。由此可见在 误码信道环境下，为了保证解码端重构视频图像的视觉质量，有必要采用有效的 误码控制技术，例如使用前向纠错( f e c ) 和自动重传( a r q ) 等以保证视频信息的传 输质量。这些技术除了增加信源编码算法的容错性能以外，还可提高视频信息传 输的可靠度和对误码的鲁棒性能。 112 视频错误的检测 一般来说，误码检测可在两个层面上进行：传输层和视频解码层。传输层上 的误码检测是指在信道解码环节上检测传输误码；而视频解码层上检测误码是指 在视频解码环节上检测传输误码。根据误码产生位置的不同，可以分为以下四类【l 】： 1 视频信息文件头产生的误码 ： 在对视频信息进行编码时，大多数编码系统都会加入少量的文件头信息( 比 如视频信息的长度和编码方法等重要信息) ，此信息一般先于图像帧进行编码。由 于文件头信息中存放着解码所需的重要信息，因此如果此部分中任何比特位出现 误码，则会导致解码失败。 现有的解决办法时设计一个具有容错功能的编码器，如：使用前向纠错( f e c ) 方法来对文件头信息加以保护。由于文件头信息相对于整个编码视频信息来说只 占很少部分，因此不必担心会对使用了有效的f e c 方法而显著增加整个编码视频 信息的长度。 2 预测编码数据出现误码 大多数视频编码系统为了实现较高的压缩比，都使用了预测编码技术。预测 编码使用先前编码的数据来预测下一个象素的值，然后将预测误差进行编码。因 此如果用于预测的参考图像帧中的任何部分出现误码，则此误码将会通过预测过 程传播到所预测的图像帧中去。 对这种在视频信息编码过程中，视频帧与帧之间出现的误码传播，可通过对 参考图像帧中受误码影响宏块采用帧内编码方法以在一定程度上限制误码在图像 帧之间的传播。 在具有多个场景的视频序列中，由于场景切换处突变帧的统计特性与上一帧 2 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 ( 即上一场景的最后一帧) 的统计特性有明显不同。如果此时编码器将上一帧作 为该突变帧的预测参考帧则会产生较大的预测误码，使得该突变帧在解码器端重 构图像的视觉质量受到严重影响。与此同时这种由于场景切换而造成的大范围预 测误码会在接下来的几帧视频图像中传播，以至需要花费数帧图像才可以从这种 由于场景切换所带来的影响中重构过来。为了解决这种因场景切换而造成的预测 过程中出现的误码，可通过将该突变帧进行帧内编码来避免预测误码的产生和传 播。 3 码字和数据块丢失同步产生的误码 大多数视频信息编码系统使用变长熵编码，如h u f f m a n 编码或算术编码。在 h u f f m a n 编码系统中，任何一个码字中出现误码都将使解码器输出错误码长。虽然 在实际应用中h u f f m a n 编码会根据所获得得统计信息来自动进行重同步，但仍然 会出现码字位置错误的情况。对于算术编码来说，它可以提供比h u f f m a n 编码更 优良的编码性能，但由于自身很少进行重同步而使得情况变得更加糟糕。 基于数据块的编码方法在许多视频信息编码系统中都得到了广泛应用，但其 主要缺点是当发生码字同步丢失的情况时，将会导致解码器错过对视频信息块结 尾( e o b ) 码字的检测或者出现检测错误，这意味着即使重新获得码字同步，解 码器输出的仍然是在错误位置处被解码的视频信息。 4 空间域内产生的误码 大多数编码系统通过使用子带分解或小波变换来提高视频压缩比，在解码器 端则使用相应的反变换。但是在子带分解过程中出现的任何误码都会传播到一定 空间范围内的所有图像帧中去。 空间域内产生误码的另一个原因是由于解码器对变长编码进行解码时丢失了 同步信息。 解码器端在使用视频误码控制措施前，首先要将码流中误码准确检测出来。 目前已提出的误码检测方法可以分为两类【2 j ： 第一类是通过媒体复合、信道编解码进行误码检测。该类方法是在媒体复合 包加入头信息检测误码，例如立视频复用标准h ，2 2 3 在包头中加入序列号来检测 丢包：或者使用前向纠错( f e c ) 检测误码，例如h 2 6 3 + 的附录h 中使用 b c h ( 5 11 ，4 9 3 ，2 ) 对码流进行检错纠错。 另一类是通过视频信源解码进行误码检测。该类方法利用视频信号的平滑特 征来进行时域误码检测。以h 2 6 3 + 为例，计算相邻两个块组邻近行数据的差值是 否超过门限值来检测误码；同样也可在变换域进行误码检测：首先使用同步码确 定出错范围，再计算出错范围内每个块中相邻两行系数的均方差，最后认为均方 北京邮电大学硕士论文视频通信中的错误隐藏技术研究 差最大的块出错。另外，可对视频码流进行语法检查，当出现非法v l c ( 可变长编 码1 码字，位移矢量超过了图像范围或重构的d c t ( 离散余弦系数) 系数超过范围 等，都可认为是由于误码引起的错误。? 最新的方法是对视频图像宏块在空域或时域上加入某种强制关系构成脆弱水 印。如果在解码端发现水印信息遭到破坏，也可以断定出现了误码。 t 一般来说，通过媒体复合、信道编解码进行误码检测是较为可靠的方法，但 这种方法纠错一冗余比较低，会增加信道额外的负担，所以在无线信道下几乎没 有实际应用价值。在视频解码器端的时域空域误码检测的依据是假设视频信号是 平稳的，这样虽然不会增加信道的额外开销，但会增加计算量，且常常检测出虚 假错误。在比特流中添加同步标志，利用v l c 码表的不完整性，则以较小的冗余， 换取了更高的误码检测效率，是一种较好的方法。而使用脆弱水印来检测误码， 其最大问题是当没有误码发生时，水印本身引起了噪声。 1 1 3 视频错误隐藏 如前所述，由于各种信道网络错误，压缩视频数据在传输或存储过程中会被j 损坏或丢失。虽然传输层提供了各种抗误码策略，但是除非重传可以无限制的使j 用( 这对实时业务是不可接受的) ，在接收到的数据中会残留有误码和丢失，在解 码端重建图像会引起较严重的失真。受许多因素影响，例如信源编码、传输协议 以及丢失的信息数量和种类等，误码引起的失真程度从暂时的质量下降到图像或 视频信号完全不可恢复。由于人眼视觉系统对视频信号中的高频成分不敏感，因 而可通过对解码器端的重建图像进行后处理( p o s t - p r o c e s s i n g ) 来减弱差错对图像 质量造成的影响，这个后处理过程即为错误隐藏。 错误隐藏技术不需要从编码器得到额外信息，只是利用视频信号在空间和时 间上的冗余信息和人类视觉系统特性来隐藏出错的图像数据。通过在解码器中加 入额外的校验信息或采用统计学方法，该技术首先对接收到的编码视频信息进行 检测以判断是否有误码存在。如果检测到有误码存在，解码器则预测出受误码影 响的视频信息内容的可能值，从而将由误码对视频信息造成的不利影响进行隐藏。 在误码检测和隐藏技术中涉及到的一个关键问题是其在很大程度上依赖于所使用 的编码方案。 错误隐藏可分为时域错误隐藏和空域错误隐藏两大类： ( 1 ) 采用时域错误隐藏时，通过前帧图像的信息重新构造出丢失的视频信息， 通常在帧间编码的帧中使用。如果运动矢量( m v ：m o t i o nv e c t o r ) 正确，出错块用相 应的运动预测块替代；如果m v 出错，则先用相邻块或先前帧对应位置处的m v 4 北京邮电大学硕士论文视频通信中的错误隐藏技术研究 对出错块的m v 进行估计，然后使用运动补偿方法来隐藏出错块信息。由于在误 码环境下m v 经常会出现错误，因此使用这种方法进行错误隐藏的效果较好。但 这种方法存在的问题是如果前一帧或相邻块采用帧内编码而无m v 或者出错块在 不同运动方向的两物体边缘处，则误码隐藏的效果会比较差。 ( 2 ) 采用空域错误隐藏时，通过邻近的宏块数据块，比特信息来重新构造出丢 失的编码视频信息，通常在帧内编码的帧中时用空域错误隐藏算法般有以下几 种：使用拉格朗日或梯度准则来最小化相邻象素的方差；用四周邻近块的像素插 值；使用相关的边缘信息；在凸集上的投影算法( p o c s ) 。由于空域隐藏算法是 假设相邻的图像块中存在强相关性，因此，如果受损块和相邻块处于同一亮度区 域，则这些方法会产生较好的隐藏效果，但如果它们处于图像边缘部分，由于亮 度变化比较激烈，则会导致图像质量的钝化。 此外，频域错误隐藏也是类比较常用的方法。频域隐藏往往通过将丢失块 四周相邻的四个块的频率系数进行内插得到丢失块的频率系数的办法进行恢复。 由于相邻块象素间的相关性较小，频域隐藏通常得不到令人满意的隐藏效果。本 文将在第三章对各种错误隐藏算法做进一步的介绍分析。 1 2 误码控制技术 在多媒体通信业务急速发展的同时，对其进行可靠传输的需求也逐渐增加对 于在网络上传输的编码视频信息来说，由于其在网络传输过程中会不可避免地产 生误码，包括信号衰落、区间误码、丢包等等，因此需要使用某种误码控制方法 来保证解码器输出视频信息的视觉质量。 误码控制方法大致可分为信道误码控制、信源误码控制、信源信道联合编码 控制和错误隐藏四类 1 21 传输层信道误码控制技术 在视频通信中，引起解码器端重构视频图像失真的主要原因有量化噪声和传输 误码引入的失真。为了降低这两种影响，都需要增加比特开销，以提高量化级数 和增加前向纠错能力。在给定信道带宽和信道误码特性的条件下，为准确检测出 编码视频信息中出现的误码并对其进行有效重构，从而使得由于误码和量化所引 起的视频图像总失真达到最小，通常需要结合信源的特点，在编码视频信息传输 过程添加误码控制码，其中最常用的方法有前向纠错( f e c ) 和自动重传( a r q ) 。 1 前向纠错( f e c ) 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 前向纠错( f o r w a r de r r o rc o r r e c t i o n ) 是比较经典的信道编码误码控制方法。它 的原理是：在编码视频信息流中添加冗余的保护信息，使解码器能够对一定数量 丢失或受误码影响的视频信息进行重构。与传统的t c p 重传方法相比，前向纠错。 具有较小的传输延迟，并且可保持恒定的吞吐量以及有限的时延，比较适合在实： 时通信等对所传输视频信息的时延有非常严格限制的应用系统中。 i 前向纠错方法可以分为与数据有关和无关两种模式： ( 1 ) 与数据有关的前向纠错方法： 此方法在编码视频信息中直接添加保护信息，例如在第r 1 个g o b 编码信息中 添加第n 1 个g o b 的保护信息( 一个粗糙量化的版本) 。这种算法的优点是时延更 小，但是仍无法适应动态变化的网络丢包率。 ( 2 ) 与数据无关的前向纠错方法： 此方法并不关心编码视频信息的句法，而将编码视频信息分成固定大小的数 据块，对每一个数据块添加保护信息。此方法实现简单，但是无法根据网络的动 态改变保护级别，因此可能会出现保护不够而无法重构原编码视频信息或保护程 度过高而造成编码效果低下的情况。j f e c 方案的缺点主要有以下几点：首先，加入的额外校验信息会使编码视频i 信息数据量相应增加。在无误码无线信道中传输时会引入一些恒定的开销，从而、 在一定传输速率下反而会使传输质量下降；其次，由于无线信道传输质量波动很 大，在进行传输系统设计时需要针对某一特定的最坏信道状态进行设计，由此严 重降低了对视频信息的压缩性能。而且当信道状态超出原先设定的最坏状态时， 整个系统可能会出现严重编码错误甚至不能正常工作的情况；第三，信道编码方 案对于某些具有区间误码特征的无线信道来说较难设计。解决方法之一就是使用 交叉编码，但由于引入了较大的时延，因此也不是一个最优解决方案。 2 自动重传( a r q ) 在自动重传方案中，当解码器发现有受误码影响的编码视频信息时，向视频 信息发送端发送重传请求，请求将受影响信息再重新传送一次。 a r q 在处理数据包丢失阻及发生较大区间误码的情况时是非常有效的，但由 于需要等待接收重传的数据，这样就可能会在接收端出现较为明显的时延，因此 在一些实时通信应用( 如视频会议) 中是不可行的。a r q 也不适合处理具有随机 误码以及短区间误码的情况。 虽然已证明a r q 方法比f e c 方法更有效，但是由于对受误码影响的信息进 行重传而引入了额外的时延，这样就限制了a r q 技术在无线视频传输中的应用。 改进的方案之一就是使用混合a r q 方案。在编码视频信息传输时间明显小于解码 6 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 器端重构视频的播放时延要求时，该方案采用有时延限制的重传机制重新发送丢 失的编码视频信息，通过限制重传数据包的数目来实现对时延和传输速率的有效 控制。有时延限制的重传策略可以分为接受方控制的重传、发送方控制的重传和 混合重传三种。但由于最大重传数目以及视频信息传输的优先级是事先设定好的， 这样就不能准确反映传输时延的时变特性，因此也具有一定的局限性。 12 2 信源误码控制技术 信源误码控制方法通常采用容错( e r r o rr e s i l i e n c e ) 技术，它的作用在于防止 误码的传播，减小误码的影响范围。容错技术的主要原理是在对视频信息进行传 输前先做相应的技术处理，这样即使编码视频信息在信道传输时受到一定程度的 影响，在解码端仍然能够得到可被用户接受的视频图像质量。换句话说，视频信 息具有抵抗在网络传输信道中出现的传输误码的能力，因此容错技术在多媒体信 息传输特别是无线视频传输中占用很重要的地位。 在面向低带宽传输环境下的视频标准如h 2 6 3 + 年1 m p e g 一4 中，定义了一系列 的容错工具，例如重同步标志( r e s y n c h r o n i z a t i o nm a r k i n g ) 、分层编码( l a y e r c o d i n g ) 、可逆变长编码( r e v e r s i b l ev a r i a b l el e n g t hc o d e s ：r v l c ) 等。以上这些 容错工具主要是针对随机误码，适用于无线信道。而在基于i n t e m e t 的视频传输中， 由于数据包的频繁丢失会造成大量编码视频信息的丢失，因此以上这些工具并不 是很有效，因此通常使用的容错工具是最优模式选择( o p t i m a lc o d es e l e c t i o n ) 和多 值描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 等。 1 重同步标志 在变长编码和解码过程中，码字同步丢失问题是大多数编码系统中所遇到的 最常见的问题之一。在许多编码系统中通过使用同步码字来对视频信息进行周期 性的重同步。重同步标志是在码流中插入一些特殊的二进制字符串，使得解码器 可以定期校准解码的帧和宏块序号，从而将误码限制在一定范围内。当出现误码 时，解码器可以寻找下一个同步码字来继续对后来的视频信息进行解码。 同步码字越复杂其长度就越长，如果过于频繁使用就会在解码器输出的视频 信息中出现明显的时延。 2 分层编码 结合传输优先级的分层编码基本思想是将编码视频信息分成两个或更多的层 结构，将码流中描述不同编码视频信息的部分( 例如运动矢量和d c t 系数) 分开 存放，以便在信道编码时加以不同优先级别的误码保护。这样做有利于对重要编 码视频信息的保护。 7 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 视频信息中的不同部分内容对视频信息重构所起的作用是不样的。一般来 说，在单层结构视频信息传输过程中，i 帧起的作用比p 帧和b 帧更大。而在分层 可扩展视频( s c a l a b l ev i d e o ) 传输过程中，位于高层的信息部分比位于较低层的 信息部分对视频信息重构起的作用更大。在非平衡误码保护( u e p ) 策略中，编码 视频信息按照信息内容被分割成不同的部分，并被置于相应优先级的层结构中， 对每一部分信息分别使用不同的误码控制方法，从而提高解码器输出视频的视觉 质量。 基本层( 具有高优先级) 用于对重要信息的编码，而其余层则用于对重要性不高 的信息进行编码。例如h 2 6 3 + 的附录o 中使用时间可分级、信噪比可分级和空间 可分级技术将码流分为基本层和一个或多个增强层： 基本层( b a s i cl a y e r ：b l ) 中包含了视频信息中最重要的内容，如运动矢量信 息等等，因此b l 层应当受到最高优先级的抗误码保护并在可靠信道上传输，从而 使得在解码器重构后可得到视觉质量满足用户要求的视频信息，否则解码器重构 后视频的视觉质量将会受到很大影响。 在增强层( e n h a n c e dl a y e r ：e l ) 中包含的视频信息在较低优先级信道上传输， 经解码器端重构后与基本层中重构的信息合并得到高质量的视频信号。由于增强 层中的信息是在高层信息( 如b l 层) 的基础上进行编码的，如果在高层数据中出 现误码，就会对其后的几帧图像中的增强层信息造成一定程度的影响，导致误码 能够在数帧图像中间进行传播。以上这些层可根据其优先级的不同加以不同程度 的误码保护，这就是非平衡误码保护策略( u e p ) 。 分层编码的缺点是由于在每一层都要引入位置信息而会导致编码器输出编码 视频流的比特率增加，同时也会增加信道负担，但具有较好的抗误码性能。该方 法的另一个缺点是基本层忽略了高频信息而使得其仅能获得一个次最优结果。 以上分层结构也可根据编码方法和应用场合的不同而有所不同： ( 1 ) 时间域扩展： 将视频信息分割成不同层结构的最简单方法可通过采用时间域扩展实 现。在该分层结构系统中，基本层中包含有在较低帧率上编码得到的编码视 频信息，而精细层则包含有较高速率的视频信息( 通常采用双向运动估计预 测编码) 。假如属于精细层的信息丢失，则视频图像的质量就会受到很大影响。 采用这种分层方法的系统所具有的优点是编码效率相对较高，并且不会受到 精细层中时间域误差传播的影响。但是对各层编码速率的控制相对较为困难， 另外这种方法在低速率实时应用中会引入较大的时延。 ( 2 ) 数据分区 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 在基于数据分区的分层编码中，最简单的方法是采用基于数据块的分层 编码方案。在该方案中将每个数据块分割成低频和高频信息两部分。运动矢 量和低频信息放置在高优先级层中，高频信息则放到低优先级层中。该系统 允许对于数据分区的位置有较高的自由度和适应性。 ( 3 ) 双重编码( d u a lc o d i n g ) 该方法是在高优先级层中使用粗量化对全部视频或图像信息进行编码， 而在增强层中将残差通过精细量化器重新进行编码。这种方法的优点是在基 本层中包含有更好的频率分布特性。 3 可逆变长编码 可逆变长编码是h u f f i n a n 编码的一种扩展，其中每一个码字都可以从前后两 个方向进行解码，从而提高了码流的鲁棒性。可逆变长编码能够同时从前向和反 向对比特流进行解码，如果前向解码比特流发现错误时，可以从反向解码比特流。 这样做的好处在于可以减小信道编码的误码控制和检测的负担，从而提高信道的 利用效率。 4 最优模式选择方法 最优模式选择方法的基本思想是当网络丢包率增加时，编码器采用帧内编码 方式而不采用帧问预测编码方式。由于帧间编码方式下的编码视频信息在解码时 需依赖多个视频帧的信息，而这些信息有可能出现丢失的情况，从而严重影响解 码器输出重构视频图像的视觉质量。目前的研究大多集中于如何在指定的比特率 约束下合理选择者两种编码模式以使解码器端重构视频图像达到整体最佳的播放 效果。 5 多值描述编码 在低比特率视频通信中，也可以使用多值描述编码( m d c ) 来增强码流的抗 误码能力。多值描述编码是将一个视频序列编码成若干各不同解析度的视频编码 流，接收方只要接收到一个视频流就可以独立进行解码，同时接收到的视频流越 多，解码视频的播放质量越好。 6 矢量量化技术 矢量量化技术是容错系统中经常使用的一种方法。矢量量化的优点在于通过 使用固定长度的码字来限制误码在单个码字中的传播。这里主要介绍容错熵编码 ( e r e c ) 和金字塔矢量量化( p v q ) 编码。 e r e c 仅通过对现有编码方案进行略微改进便可提高对随机误码和区间误码 的容错性能，同时又能够保持较高的压缩比。使用e r e c 量化方案的系统在无噪 信道中可提供较为优良的视频信息编码性能。另外e r e c 量化方案也可应用于变 9 北京邮电大学硕士论文视频通信中的错误隐藏技术研究 速率传输系统。 金字塔矢量量化( p v q ) 是一种网格矢量量化技术。该技术适合于针对d c t 编 码或子带编码以及对具有l a p l a c i a n 分布特性的视频信息进行编码。仿真实验表明， 使用金字塔矢量量化技术的系统在较高的信道误码率下仍可以提供良好的容错性 能。 7 预测编码 预测编码方法如差分脉冲调制( d p c m ) 方法常常应用于结构简单且复杂度低 的编码器中。但是由于这种方法会造成误码在预测编码回路中的传播，必要时可 使用具有鲁棒性能的预测器，例如有限冲击响应( f i r ) 中值混合预测器以降低这 种误码传播的不利影响。 8 自适应改变调制方式 采用自适应改变调制方式与信道编码相结合的技术也可以提高系统的抗误码 性能。在移动速度较低和对时延要求不严格的情况下，c h e r r i m a 等1 3 1 提出了一种突 发自适应调制方式的方法：当信遭质量较好时，采用高阶调制模式，反之则采用 较为强健的低阶调制模式。另外在信道编码中使用了t u r b o 码，它与传统的b c h 码相比，可以减少编码视频信息的丢包率，提高有效的吞吐量和改善视频质量， 但同时引入了较大的时延。 9 主观质量控制策略 宋彬等 4 】提出了一种视频通信的主观质量控制策略：在给定的信道速率和误码 率环境下，按照一定的准则联合信源，信道编码，尽可能地提高重构图像的主观质 量。该控制策略给出了影响重构图像主观质量的两个主要因素：粗量化或误码产 生的方块效应和重构图像的帧频。在高误码率环境下，根据一定的准则以权衡和 调整f e c 的纠错能力和量化因子，从而有效的提高并保证重构视频的质量。 1 z3 信源信道联合误码控制技术 信源和信道的低层交互，如量化器、熵编码、f e c 和调制方案等，就称为信 源信道联合编码。将信源信道编码联合在一起抗误码是非常有效的误码控制技术， 同时也是一个重要的研究方向。信源、信道联合编码是根据整体率失真理论动态 的为编码视频信息和信道的f e c 保护信息分配带宽，使得接收端重构视频图像的 整体播放效果达到最佳。 在给定的信道错误特性下，设计量化器和熵编码器使传输错误的影响最小化。 当信道有大量噪声时，p c m 编码时源编码级粗的量化反而胜过细的量化。可以设 计优化量化器，使在给定输入数据概率分布和信道错误特性下。量化和信道错误 1 0 北京邮电大学硕士论文 视频通信中的错误隐藏技术研究 的组合均方误差最小。 信源和信道的组合编码可以有三个选则。1 ) 对于每个量化变换系数，调制和 f e c 是相同的。2 ) 对于相同量化变换系数，调制和f e c 是相同的，对于不同的系 数可以是不同的。3 ) 对于同一变换系数的不同比特位，调制和f e c 也可以是不同 的。基本的原则是，对于有更多噪声的信道，应该更少的比特分配给高频系数， 而更多的比特分配给低频系数。 信源，彳言道联合编码的优点是可随当前信道网络特性的变化而动态的改变谡码 保护的优先级别，从而在解码器达到最佳的播放效果。目前视频通信中联套忙“ 信道编码研究还处于初级阶段：只局限用信源、信道独立进行编码联合优化王簧 参数。另外，在低时延信道中，使用r s 码和简单交织技术也可以减轻突发误码的 影响。在无记忆信道中，f e c 技术优于帧内块刷新编码，而在有记忆信道中，后 者更为有效。联合编码方法的难点在于整体优化的实现算法比较复杂，编码耗时 较长。 12 4 误码防扩散技术 在有误码信道环境下，当视频编码流在传输过程中出现误码时，由于编码器端 并不知道解码器端检测到误码，它还会继续使用这些宏块做运动估计，而解码器 端也会使用这些已出现误码的宏块做运动补偿，这样就引起了误码传播。误码配 传播不仅会使出错帧在解码器端输出重构图像的视觉质量下降，而且可能会给后 续帧造成无法弥补的损失。即使解码器端使用了错误隐藏技术也不能阻止重构图 像质量的下降。另外由于视频通信对实时性要求强，通常不采用a r q 方式将发生 错误的信息进行重传，而使用交互式防误码扩散措施来保证重构图像的质量。 1 帧内编码受影响的宏块 该方法利用运动矢量的前向依赖关系来对误码进行准确跟踪，并对受误码的宏 块采用帧内编码，从而有效地阻止误码的传播。s t e i n b a c h 等例首先分析了由运动 补偿所引起的帧间依赖关系，然后根据m v 的前向依赖性和权重因子的相关度计 算出误码的“能量”，对其中“能量”最大的宏块采用帧内编码，以阻止误码的仁 播。这种算法可以迅速提高图像质量，在视频通信中也没有引入额外时延，并且 与现有标准兼容，但是它存在有计算量大、对内存需求高等问题。 p a o c h ic h a n g 等 6 】基于象素的后向运动依赖性提出了较准确的误码跟踪( p e t ) 算法，并给出相应的快速算法。p e t 算法首先根据象素点后向运动依赖性的递归 计算公式和从反馈信道得出的出错宏块信息，来计算出当前编码宏块中象素点受 误码影响的程度，然后对受影响的宏块采用帧内编码，以阻止进一步的误码传播。 北京邮电大学硕士论文视频通信中的错误隐藏技术研究 此算法能够快速阻止误码传播并且与现有标准兼容，同时运算量和对内存的需求 也较少，适合实时视频应用场合。 2 标识受误码影响的宏块 在一些宽带网络中，编码器端处理下一个i 帧或p 帧之前有足够时间得到反馈 信息。基于此分析j o n g 一1 z yw a n g 和p a o c h ic h a n g 等【7 j 提出当发送端得到从接收端 反馈回来的出错信息之后，将同组( g o b ) 中的出错宏块以后的象素全部用一个特 定的值( 如0 0 ) 来标记，这样接下来的p 帧或b 帧的运动估计就不会参考己标识 区域，从而避免了接收端的误码扩散。这种方法在基本没有增加计算复杂度和信 道负担的情况下，将误码的影响仅仅限制在出错帧中。 3 自适应帧内块刷新 这种方法【3 1 不需要反馈信道，而是基于编码器端的”误码灵敏性尺度”( e s m ) 来衡量每一个编码宏块对信道误码的易损性，然后进行自适应的帧内块刷新。编 码器端初始化e s m 的基本思想是：距离同步标志越远的宏块，对误码的敏感性越 高；编码宏块的比特数越多，越容易受到误码破坏。在编码过程中，通过计算每 个宏块e s m 的累积值来更新e s m ，然后根据e s m 的值选择帧内编码的宏块。这 种算法不但减少了解码器端纠正大量误码的耗时，而且尺度矩阵对信道误码率的 变化并不敏感，特别适用于反馈信道时延较大或广播环境的无线视频通信系统。 4 连续更新的防误码传播技术 连续更新的防误码传播技术( r e s c u ) 是将显示过后接收到的视频信息保存下 来用于防止误码在后继帧中的传播。r e s c u 引入了周期性时间依赖距离( p t d d ) 的概念，指出在一个p t d d 内丢包可以重构，并且误码不在非周期帧中传播。此 外还可以将r e s c u 和f e c 结合在一起使用，这种技术不需要反馈信道，在组播、 无线或卫星通信中较为实用。 5 交互式防误码传播技术 该技术首先在解码器端将检测出的误码位置信息通过h 2 6 3 + 中的p e i 域( 包 括图像扩展信息( p e i ) 和补充增强信息( p s u p p ) ) 发往编码器端，并对误码宏 块进行错误隐藏；当接收到出现误码后的最邻近帧中信息时，可以快速准确计算 出误码在最邻近帧中的传播位置。根据约定，编码器端和解码器端同时对最邻近 帧受误码传播的区域采用误码屏蔽，从而有效阻止了误码在后继帧中的传播。在 误码环境下，这种算法能够有效的抑制误码的传播以保证重构视频质量，并且与 h 2 6 3 + 标准兼容，可应用于实际视频通信系统中。 1 2 ：l e 京邮电大学硕士论文 视频通信中的错误隐藏技术研究 1 3 本文的主要内容安排 第二章主要介绍了目前广为应用的视频编码标准如m p e g 系列和i t u t 提出 的h 2 6 x 系列编码标准，对t 建议的h 2 6 4 的错误隐藏算法进行了详细的算法分 析。同时，利用了j v t 提供的网络仿真工具对无线信道进行了仿真，在此基础上 对基于j m 9 3 的h 2 6 4 解码器的后错误处理能力在虚拟无线网络环境中进行了性能 测试。 第三章主要从空域、时域和频域三个角度归纳了当今常用的基于确定性图像分 析和建模的错误隐藏算法，并对其中具有典型性的算法进行了性能分析和仿