（通信与信息系统专业论文）基于h264avc的错误隐藏技术研究.pdf

摘要 t t 2 6 4 a v c 数字视频编解码标准具有高压缩率、优良的网络兼容性和广泛的应用领 域等优点。但是由于其高压缩率特点，信息冗余量小，在不稳定的网络信道中传输极 容易发生误码或丢包，而且错误容易扩散，所以对解码器的错误隐藏技术提出了很高 的要求。 h 2 6 4 a v c 的错误隐藏技术是本文的主要研究内容。首先对人们提出的几种错误隐 藏技术进行了研究，发现这些算法在实际应用中仍然存在不足。在针对i n t r a 帧的空 域错误隐藏算法中，常用的方法是线性加权插值，这种算法具有算法简单、实现速度 快等优点，然而对于视频中运动细节较多的区域恢复效果达不到要求。因此提出了一 种新的二维频率选择外插算法( 2 d f s e ) ，这种算法运算简单便于实现，在对视频图像 的平坦区域和细节较多的区域恢复效果都很好。 本文通过理论分析和仿真实验，对2 d f s e 算法做了系统的深入研究。通过实际验 证，在相同的信道下2 d f s e 算法优于以往的传统算法，所以2 d - f s e 算法是一种较理 想的空域错误隐藏方案。 关键词：空域错误隐藏频率选择 a b s t r a c t t h es t a n d a r d o fh 2 6 4 d i g i t a l v i d e oc o d e ch a sm a n ya d v a n t a g e s s u c ha sh i g h c o m p r e s s i o nr a t i o ，g o o dp e r f o r m a n c eo fn e t w o r kc o m p a t i b i l i t y , a n dw i d ea p p l i c a t i o nr a n g e o ft h ec o d e c h o w e v e r , b e c a u s eo fi t sl o wi n f o r r n a t i o nr e d u n d a n c yr e s u l t i n gf r o mt h eh i g h c o m p r e s s i o nr a t i o ，a n dt r a n s m i t t i n gi ni n s t a b i l i t yn e t w o r kc h a n n e l t h es t a n d a r dw i l l l c a dt o t h eb i te r r o ra n dp a c k e td r o p p i n ge a s i l y h e n c e ，t h es t a n d a r dr e q u i r e sh i g h e rt e c h n i q u eo f e r r o rc o n c e a l m e n to ft h ee n c o d e r t h em a i nr e s e a r c ho ft h i sp a p e ri st h ee r r o rc o n c e a l m e r i tt e c h n i q u eo fh 2 6 4 w ef i r s t l y i n v e s t i g a t et h ee r r o rc o n c e a l m e n tt e c h n i q u ep r o p o s e db yo t h e rr e s e a r c h e r s w ef i n d t h a t t h e s ea l g o r i t h m ss t i l lh a v es o m ed e f e c t s a m o n ga tt h ee ll o rc o n c e a l m e n ta l g o r i t h mo f s p a t i a ld o m a i n , t h ec o m m o nm e t h o di sl i n e a rw e i g h t e di n t e r p o l a t i o n , w h i c hh a s t h e a d v a n t a g e so fs i m p l i c i t ya l g o r i t h ma n df a s ts p e e di m p l e m e n t a t i o n t i l i sm e t h o d h o w e v e r , c a l ln o tm e e tt h ed e m a n di nt h er e g i o nw i t hr e l a t i v em o r em o v e m e n td e t a i l s f o rt h i sr e a s o n ， w ep r o p o s ean e w2 - d i m e n s i o nf r e q u e n c ys e l e c t i v ee x t r a p o l a t i o na l g o r i t h m ( 2 d - f s e ) t 1 1 i s a l g o r i t h mi ss i m p l ea n di m p l e m e m m ge a s i l y , a n dh a sab e t t e rp e r f o r m a n c ei nb o t hf l a tr e g i o n a n dt h er e g i o nw i t hr e l a t i v em o r ed e t a i l sc a nb ei m p l e m e n t e d i nt h i sp a p e r , w ea n a l y z e2 d - f s ea l g o r i t h md e e p l yt h r o u g ht h e o r e t i c a la n a l y s i sa n d s i m u l a t i o n e x p e r i m e n t i n p r a c t i c a lv e r i f i c a t i o n ， 2 d i m e n s i o nf r e q u e n c ys e l e c t i v e e x t r a p o l a t i o na l g o r i t h mh a sab e t t e rp e r f o r m a n c et h a nt h a to ft r a d i t i o n a la l g o r i t h mi nt h e s a m ec h a n n e l h e n c e t h e2 d i m e n s i o nf r e q u e n c ys e l e c t i v ee x t r a p o l a t i o na l g o r i t h mi sag o o d m e t h o df o rs p a t i a ld o m a i ne r r o rc o n c e a l m e n t k e yw o r d s ：s p a t i a l e r r o rc o n c e a l m e n t f r e q u e n c ys e l e c t i v e l i 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，基于h 2 6 4 a v c 的错误隐藏技术研究是本人在指导教 师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 储躲衅月日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使用规定”，同 意长春理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查 阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：年莎月 77 日 年伊月川日 倒 月日 1 1 引言 第一章绪论 随着多媒体技术的迅速发展和因特网络的快速普及，目前的通信方式和信源类型 已不能满足人们的生活工作需求，无线多媒体通信成为未来的发展趋势。在因特网络 中的多媒体通信有着非常广泛的应用领域，例如通过因特网络能够实现诸如视频会议、 可视电话、远程教育、远程医疗、远程购物和在线影视等功能，可以为人们的工作和 生活提供极大的方便，因此，视频在网络中的应用也成了多媒体通信研究热点。未来 将是多媒体通信的时代，其中视频通信将占通信传输的很大一部分。然而多媒体通信 包含音频和视频信息，如果不对视频信息进行压缩处理直接传输这些信息，数据量非 常巨大，需要非常大的信道容量，这在现实应用中是不允许的，所以必须对视频信息 进行压缩后再传输，其中视频的压缩处理和可靠传输是难点，在现有的通信设备和通 信网络带宽上传输视频信号，就必须采用多种技术以可靠有效的压缩、传输和解压视 频数据。 目前主要的视频编解码技术主要有国际标准化组织运动图像专家组的m p e g 系列 标准和国际电联的h 2 6 x 系列标准。然而由于这些标准在低比特率传输、网络兼容性 方面很难满足目前视频通信的要求。因此i t u t 视频编码专家组( v c e g ) 和i s o i e c 动态图像专家组( m p e g ) 联合组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 提出了高 度压缩数字视频编解码器标准h 2 6 4 ，这种编解码技术也被称为高级视频编码( a v c ) 。 h 2 6 4 a v c 由于采用了多种新的技术，如多参考帧的运动补偿、亚像素插值、基 于上下文自适应的可变长编码( c a v l c ) 和基于4 4 块的整数d c t 变换等，其错误隐 藏技术也较以往视频编解码标准复杂。由于h 2 6 4 标准采用多参考帧的运动补偿，当 前帧丢失宏块运动矢量的错误隐藏可能涉及多个运动矢量的选择，并且亚像素插值导 致的针对亚像素的计算，所以绝大部分传统的错误隐藏算法并不适用于h 2 6 4 a v c 编 解码标准，有很多地方不甚成熟需要改进。 本课题的研究，是在以往h 2 6 4 a v c 标准错误隐藏的基础上，设计出具有实用价 值的错误隐藏算法一二维频率选择外插算法( 2d i m e n s i o n f r e q u e n c ys e l e c t i v es i g n a l e x t r a p o l a t i o n ) ，即2 d f s e 算法。此种算法是一种新的空域错误隐藏算法，具有隐藏速度 快、恢复效果好等优点，是一种有效的h 2 6 4 a v c 标准错误隐藏方法。通过在h 2 6 4 的标准测试平台j m 8 6 上实验证明，本文提出的算法有一定的优越性和使用价值。 1 2 错误隐藏研究现状及意义 由于i p 网络是一种尽j ( b e s te 肋r t ) 的网络信道，信道带宽的不确定性和信道 噪声的存在使得视频数据在网络信道上传输产生误码或丢包。例如因特网，在传输过 程中，由于缓存溢出或者等待超时，数据包会被抛弃，发生包丢失；对于无线通信网 络，由于信道衰落和多径效应等因素影响传输信道中的数据会发生随机比特错误和突 发错误。此外，因特网和无线通信网络都属于时变信道，带宽、延迟和误码率等服务 质量参数时刻发生变化，所以无论是在i p 网络或无线网络信道上，信号误码、数据丢 失等都是存在的而且是不可避免的。信道传输错误会导致解码无法正常进行，使视频 图像中出现马赛克，甚至使通信中断。网络服务质量的时变特性也严重影响视频通信 质量，例如实时视频通信通常对延迟和延迟抖动很敏感，这就需要一种以较低的比特 率压缩音频和视频的有效算法，以便在无线环境中和因特网中不易产生误码和丢包。 h 2 6 4 视频通信中的差错隐藏具有相当的挑战性。首先，由于信源编码器使用帧间 预测编码和变长编码( v l c ) ，压缩的视频流极容易受到传输差错的破坏。由于使用帧间 预测，一个错误样点可能导致同一帧和相邻帧中的样点出错。同时，不只在时间上产 生误差积累，也会由于基于运动补偿的预测在空间上产生误差积累。另外，由于使用 v l c ，比特误码等价于错误比特丢失，引起视频帧中大面积的损坏。为了使压缩比特 流经信道传输后能够在解码器端很好地复原，必须在流中加入冗余，以使其能够检测 和纠正错误，这一般在信道用前向纠错( f e c ) 实现，对信源编码产生的比特流进行前向 纠错编码。对于指定的失真，信源编码器应该尽可能地压缩信源( 低于信道容量) ，信道 编码可以通过f e c 将冗余加入到压缩码流中，以便能够纠正传输误码。然而，这种理 想的无差错传输只有当实现f e c 是具有无限延迟才能达到，这在实际中当h 2 6 4 视频 应用在实时视频通信中是不能接受的。当由于传输差错而丢失一个图像样点或样点块 时，解码器可利用时域和空域相邻样点的内在相关性，根据相邻的己接收样点估计它 们，这种技术称为错误隐藏。由于实际的信源编码过程中没有完全去除信号冗余度， 同时，人类感知系统可以容忍一定程度的信号失真，视觉系统对视频帧中高频分量的 失真比低频分量失真敏感度要低，所以利用错误隐藏算法实现视频图像恢复是可行的。 当前h 2 6 4 a v c 视频编解码标准的错误隐藏技术在国内外文献中提到的相关方法 主要有：基于自适应边界匹配法、拉格朗同内插法心1 和区域分块加权内插算法n 1 等。 总体上讲h 2 6 4 a v c 的错误隐藏算法可以分为三大类：基于空域的方法、基于时域的 方法和基于频域的方法。 1 3 论文研究的内容 自从h 2 6 4 a v c 视频编解码标准提出以来，由于其优越的特性受到了很大的关注， 成为了研究的热点。作为h 2 6 4 视频通信系统中关键技术的错误隐藏技术，更是受到 了研究者的普遍关注。其中在空域隐藏算法中加权插值算法是实现空域错误恢复很好 的方法，加权插值算法简单易实现，但其也存在不足之处，所以这种方法还需要进一 步的改进和完善。基于区域分块的加权插值算法需要对不同的区域采取不同的插值算 2 法。在这种情况下，空域的二维频率选择外插算法被提出来。 h 2 6 4 a v c 视频编解码在编码端采取了很多措施来提高视频数据传输的健壮性， 例如通过对视频片的独立编解码将宏块组划分为片，并且根据网络信道的条件自动调 节片单元的大小。此外h 2 6 4 还通过灵活宏块排序( f m o ) 的方法，其中包括两种不同的 宏块排序方法：散乱和交织。解码端的错误隐藏算法必须结合h 2 6 4 a v c 编码端的关 键技术才能取得较好的效果，本文提出的二维频率选择外插算法就是结合f m o ，对丢 包或误码视频图像进行错误隐藏。通过仿真发现，在空域中的二维选择性外插算法克 服了线性加权插值的模糊效应，对于细节较多的区域恢复效果也比较好，并且考虑在 二维选择外插算法的基础上尝试根据视频图像的图像相关性进一步调整相关系数，也 获得更好的视频客观质量。 1 4 论文结构安排 本文的结构安排如下： 第一章绪论 介绍h 2 6 4 错误隐藏技术产生的背景、国内外研究的现状、本课题提出的背景和 意义以及本文的主要内容和结构安排。 第二章目前h 2 6 4 a v c 的错误隐藏技术 主要介绍h 2 6 4 a v c 编解码系统的基本原理及目前主要的视频错误隐藏技术，分 析基于时域、空域和频域的错误隐藏方法和算法，重点讨论空域错误隐藏算法。 第三章h 2 6 4 二维频率选择外插算法 主要研究了二维频率选择外插算法算法，并且将这种同步算法和以往的空域隐藏 算法进行仿真实验比较，在相同信噪比的传输信道下，发现此算法的隐藏效果较好。 第四章全文总结与展望 总结本文的工作，并提出今后工作的重点。 第二章目前h 2 6 4 a v c 的错误隐藏技术 2 1h 2 6 4 a v c 的基本原理 h 2 6 4 视频编码采用与m p e g 4 和h 2 6 3 类似的基于块的混合编码方法，通过复杂 的帧间预测来减少运动图像时域上的相关信息，通过对预测残差进行d c t 变换，减少 运动图像空间熵的相关信息。另外，还使用多种优于以往压缩算法的方法来提高整体 的压缩性能。h 2 6 4 编码器和解码器框图如图2 1 2 2 所示： 图2 1h 2 6 4 编码器 图2 2h 2 6 4 解码器 h 2 6 4 视频图像编码时首先将当前视频帧划分成宏块，然后以宏块为基本单位进行 预测编码。宏块的预测编码模式分为帧内预测和帧间预测两种模式。帧内预测使用当 前帧内已编码宏块进行预测；帧间预测使用以往一个或多个帧作为参考进行预测。然 后对预测值和原始值的差值进行变换、量化、重新排序和熵编码。对量化系数进行逆 量化和逆变换后，与预测系数相加，得到未经过滤波的帧，然后进行块间滤波，得到 当前重构帧。解码过程对对应于编码器的各部分进行逆向操作，即可输出重构的视频 4 图像。 在编码前，每幅图像被划分成固定大小的块：一个1 6 1 6 像素的亮度宏块和两个 8 8 像素的色度宏块，多个宏块组成一帧。宏块在比特流中传输的顺序是由宏块分配 映射标志决定的。一个视频图像可编码成一个或多个片，每片包含整数个宏块( m b ) ， 即每片至少一个宏块，最多时每片包含整个图像的宏块。总之，一幅图像中每片的宏 块数不一定，设片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。 某一片的预测不能以其它片中的宏块为参考图像，这样某片中的预测误差才不会传播 到其它片中去。 h 2 6 4 支持5 种类型的帧( i 帧、p 帧、b 帧、s p 帧和s i 帧) 。最简单的一种是i 帧， 它无须参照别的图像进行编码；p 帧和b 帧则需要参照已编码的图像进行运动预测。 另外，s p 帧和s i 帧是为了在不同速率的比特流之间进行有效切换而引入的。 2 1 1d o t 整数变换 为了节省图像传输码率，需要对图像信号进行压缩，为去除图像信号中的相关性 通常采用变换编码。变换编码将图像时域信号变换成频域信号，在频域中图像信号能 量大部分集中在低频区域，相对时域信号码率有较大的下降。h 2 6 4 对图像或预测残差 采用了基于4 x 4 块的整数离散余弦变换技术，避免了以往标准中使用的基于8 8 块 离散余弦变换的逆变换出现的失配问题。 h 2 6 4 中整数变换及量化具体过程如图2 3 所示： 图2 3 编码器中变换编码及量化过程 二维n x n 图像块的d c t 可以理解为先对图像块的每行进行一维d c t , 然后对经 行变换的块的每列再应用一维d c t 变换。可以表示为： = g g 丢n - i 丢n - i 乃c 。s 里笔等c 。s ( 2 i 矿+ 1 ) m x ( 2 1 ) = 委n - i 萎n - ie g 匕。c 。s 紫c 。s 里笔等竺 ( 2 2 ) 其中，k 是图像块x 中第i 行第j 列图像或残差值，k 是变换结果矩阵y 相应 频率点上的d c t 系数。可以用矩阵表示： y ：a x a 7 ( 2 3 ) x = a iy a 其中n x n 变换矩阵a 中的系数： a f ，= c 。c o s 螋 2 n 2 6 4 对4 x 4 的图像块( 亮度块或c r 、c b 色度块) 进行操作， 变换矩阵a 为： a = 口口 bc 口一口 c b 口口 一cb 一口口 bc ( 2 4 ) 则相应的4 x 4d c t 其中口7 16 = 扣( 及c 一如c o s ( 争 a 中的a 、b 和c 是实数，而图像块x 中的元素是整数，对实数的d c t ，由于在 解码端的浮点运算精度问题，会造成解码后的数据的失配，进而引起漂移。h 2 6 4 较其 它图像编码标准使用了更多的预测过程，甚至内部编码模式也依赖于空间预测，因此， h 2 6 4 对预测漂移是十分敏感的。为此，h 2 6 4 对基于4 x 4 块的d c t 中的矩阵a 进行 了改造，采用整数d c t 技术，有效地减少计算量，同时不损失图像准确度。式( 2 3 ) 可 以等效为： y = ( c x c t ) o e 1l 1d 1一l dl 11 一d一1 11 ld x 11 1d ld ll ld 一11 一l1 ld 6 口2a b a bb 2 口2a b a bb 2 a 2a b a bb 2 a 2a b a bb 2 ( 2 5 ) 其中a = j 1 ，6 = j ；，d = j ，符号“秽示c x c t 结果中的每个元素乘以矩阵e 中对 应位置上的系数值的运算。 这样，c x 一中只剩f 整数的加法、减法和移位运算。式( 25 ) 被称为整数d c t 变换。 212c a v l c 编码 在c a v i 。c 中，h2 6 4 采用若干v l c 码表，不同的码表对应不同的概率模型。编 码器能够根据上下文，如周围块的非零系数或系数的绝对值大小，在这些码表中自动 地选择，最大可能地与当前数据的概率模型匹配，从而实现了上下文自适应的功能， 同时使得平均码长晟小。但足变长编码也存在抗误码扩散能力差的问题，在进行错误 隐藏时也不便于码同步。 213 灵活宏块排序 h 2 6 4 视频编码中为防止一帧图像宏块的连续丢失，在编码端中采用灵活宏块编码 的方式，既将宏块打乱分配到编码片上。灵活宏块编码的方式主要有两种：交织方式 和散乱方式。如下图2 4 所示： 口s h o e g r o u p1 口$ h c eg f o 婶2 口s h o e g r o u p3 口s h o eg r o u pd 口s l i c eg r o u p1 口s h o e g r o u p2 口s l i c eg r o u p3 口s l i c eg r o u p 4 酗24 灵活宏块排序方式示意| 芏f ( 左为散乱方式，右为变纵方式) 灵活的宏块排序f m o ( f | e x i b l cm * t c r o b l o c k o r d e r i n g ) 是指将一幅图像中的宏块分 成几个组分别独立编码，某一个组中的宏块不一定是在常规的扫描顺序下i i 后连续， 而呵能是随机地分散在图像中的各个不同的位置。这样在传输时如果发生错误某个 组中的某些宏块不能j f 确解码时，解码端仍然可以根据图像的宅“u 相关性依靠其周 围证确解码的像紊对丢失宏块进行恢复。f m o 不会过多的增大编码和解码的复杂度 又可以有效的控制误码的扩散，极大的提高了抗误码的能力，后面的解码端空域错误 隐藏算法就是基于编码端采用灵活宏块排序方式。 214 帧内预测 在间一帧内由于相邻宏块间具有相关性，所以为了提高编码效率，减少传输的数据 最，h2 6 4 利用宏块问的空| t i j 相关性来进行帧内预测编码。对于给定宏块，首先利用相 邻的周围宏块对此目标宏块进行预测然后对实际宏块和预测宏块对应像素做差值， 并时差值变换编码，从f uu r 以在定程度 降低传输数制量，有效降低传输码率。同 时为了更有效的提高编码效率，对卜亮度分量，h 2 6 4 a v c 标准使用三种不同尺寸的 帧内( i n t r a ) 编码方式：帧内1 6 1 6 块、帧内8 8 块和帧内4 4 块。如阁25 所示： i n t r a1 6 x 1 6i n t n l8 x 8i n t r a4 x 4 图2 5 帧内编码的三种宏块分割方式 根据块划分的大小预测编码方式也不同，i n t r a l 6 1 6 有四种预测编码方式，如图 2 6 所示。i n t r a 4 x 4 和i n t r a 8 x8 有九种预测编码方式如图2 7 所示。 h 一 一 l v i i i p m n d cl 图2 6i n t r a l 6 1 6 的4 种帧内预测模式( 0 垂直模式、1 水平模式、2d c 模式和3 平面模式) mabcdeif i g ihi i j k l 1r 1 r 1r1r p i n o d c e0 mabcdefg lhi i 乡 萎 多多 j 。彩 k l p m o d e 3 ma bc d l efg h l 、 、 j 、 k、nn 、 l1 k 、 p n l j d e6 mab cdelfg lhi l j k l p m o d e1 mabcdefgh l 寒蠢 滏 j 适 k l p m 仆d e4 p n u k l e7 ma b cdefgh i j m e 扪 ka d 1 - j ) l p m o d e2 mabc defg i 弋j j k i l 霉； p m o d e ，i ma bcdl 兰fgh l r， j ，。 r k 。 l一一p p m o d e8 图2 7i n t r a 4 4 的9 种帧内预测模式( 0 垂直模式、1 水平模式、2d c 模式、3 下左对角线模 式、4 下右对角线模式、5 右垂直模式、6 下水平模式、7 左垂直模式和8 上水平模式) 8 基于空域的多模式帧内预测技术是h 2 6 4 获得高编码效率的关键技术之一。h 2 6 4 充分利用图像的空间相关性，用周围的像素以多种模式对待编码宏块进行帧内预测， 并利用亮度和色度相结合的率失真优化r d o ( r a t e d i s t o r t i o no p t i m i z a t i o n ) 判决准则最 优帧内预测模式。从而降低了空域冗余，提高了视频编码的压缩效率。 r d o 的判决准则通过遍历所有预测模式，寻找率失真代价r d c o s t 最小的作为最 优预测模式。率失真代价公式为： r d c o s t = s s d + 2 x r a 招 ( 2 6 ) 其中，s s d 表示当前块与重构块的平方差之和；z 为量化参数q p 的函数；r a t e 表 示熵编码后的码率。 h 2 6 4 种确定最优帧内预测模式的过程如下： ( 1 ) 确定i n t r a1 6 1 6 方式下的最优预测模式：用4 种预测模式对待编码宏块进行 预测，对预测残差宏块进行哈达码变换，并计算编码代价，选择编码代价最小的模式 作为i n t r a1 6 1 6 方式下的最优预测模式。 ( 2 ) 结合色度编码计算待编码宏块在i n t r a1 6 1 6 方式下的率失真代价r d c o s t 溺。 ( 3 ) 确定i n t r a4 x 4 方式下的最优预测模式。将待编码宏块划分为1 6 个4 x 4 块， 分别确定每个4 x 4 块的最优预测模式：用9 种预测模式对4 x 4 块进行预测，对预测 残差块进行d c t 变换量化、反d c t 变换反量化，计算编码代价r d c o s t ，选择r d c o s t 最小的模式为当前4 x 4 块的最优预测模式。 ( 4 ) 结合色度编码计算待编码宏块在i n t r a4 4 方式下的率失真代价r d c o s t ，。 ( 5 ) 确定最优的帧内预测模式。比较待编码宏块的r d c o s t z 。6 和r d c o s t j 。，选择 r d c o s t 小的作为待编码宏块最终的亮度编码方式，该方式对应的预测模式即使最优帧 内预测模式。 在r d o 模式中，r a t e 值被精确地计算出，从而使得其模式选择的准确度大大提高。 2 1 5h 2 6 4 的优势 h 2 6 4 压缩性能要比其他的标准优越，主要表现在以下几个方面： 1 压缩率和图像质量方面 对传统的帧内预测、帧间预测、变换编码和熵编码等算法的改进，使h 2 6 4 的编 码、效率和图像质量在以往标准的基础上得到进一步提高。 ( 1 ) 可变换大小：帧间预测时可以灵活选择块的大小。这样可以使运动物体的划分 更加精确，减小预测误差，提高编码效率。 ( 2 ) 高精度运动估值在h 2 6 4 中采用l 4 像素甚至1 8 像素的运动估计。即真正的 运动矢量的位移可能以1 4 像素甚至1 8 像素为基本单位的。显然，运动矢量位移的精 度越高，帧间剩余误差越小，传输码率越低，即压缩比越高。理论上，如果将运动补 9 偿的精度增加一倍( 例如从整像素精度提高到1 2 像素精度) ，可能有0 5 s a m p l e 的编 码增益，但实际验证发现在运动矢量精度超过1 8 像素后，系统基本上就没有明显增益 了。因此，在h 2 6 4 中，在采用了1 4 像素精度的运动矢量模式，而不是1 8 像素的精 度。 ( 3 ) 多参考帧运动估值：每一个m n 亮度块都要经过运动补偿预测得到运动矢量 和参考图像索引，宏块中的每个子宏块划分都会有不同的运动矢量。选择参考图像过 程是在子宏块层次上进行的，因而多个子宏块划分在预测时使用相同的参考图像，而 同一个片的多个子宏块之间选择的参考图像可以不同，这就是多参考帧运动估值， ( 4 ) 参考图像的选取更加灵活：参考图像可以是采用双向预测编码方式的图像，这 就允许选取与当前图像更加匹配的图像为参考图像进行预测，从而可以减少预测误差。 ( 5 ) 加权预测：允许编码器以一定的系数对运动补偿预测值进行加权，从而在一定 的场景下可以提高图像质量。 ( 6 ) 运动补偿循环内的消除块效应滤波器：为消除在预测和变换过程中引入的块效 应，h ，2 6 4 也采用了消除块效应滤波器，但不同的是h 。2 6 4 的消除块效应滤波器位于运 动估计循环内部，因而可以利用消除块效应以后的图像去预测其他图像的运动，从而 进一步提高预测精度。 2 抗丢包和抗误码方面 使用参数集和片等关键技术可以大大提高系统的抗丢包能力和抗误码性能。 参数集的使用：参数集及其灵活的传送方式会大大降低因关键的头信息丢失而造 成错误发生的可能性。为保证参数集可靠地到达解码端，可以采用重发的方式多次发 送同一参数集，或传送多个参数集。 片( s l i c e ) 的使用：图像可以划分成一个或几个片。将图像划分为多个片，当某一片 不能正常解码时，空间视觉影响就会大大降低，而且片还提供了重同步点。 3 网络适应性方面 为适应各种网络环境和应用场合，h 2 6 4 定义了视频编码层( v c l ) 和网络提取层 ( n a l ) 。其中v c l 功能是进行视频编解码，包括运动补偿预测，变换编码和熵编码； n a l 用于采用适当的格式对v c l 视频数据进行封装打包。 2 2 错误隐藏技术概述 2 2 1 错误隐藏过程和算法分类 由于通信信道容错性能不理想，经过h 2 6 4 编码压缩后的视频数据在信道中传输 会发生随机比特误码和数据包丢失。随机比特数据错误会造成比特反转、插入和丢弃， 由于h 2 6 4 编码采用的是变长编码( v l c ) ，随机比特错误不仅是当前数据错误也会使编 码信息失去同步，从而导致后续信息无法解码。尽管解码端采用了重同步及数据恢复 等技术，仍有部分发生差错的数据最终被丢弃。相应地，在图像中存在一些区域由于 1 0 数据受损而无法重建，在这种情况下解码端需要利用错误隐藏技术来进一步减少差错 对图像质量的影响。错误隐藏策略实质上是对解码图像进行后处理的算法，旨在减少 数据丢失以及误码对图像产生的影响。 在解码端，强调利用已接收到的视频数据中的空间及时间相关性来恢复所丢失或 被损坏的数据，从而使得解码图像具有主观可接受的质量。基于解码器的误码掩盖不 需要附加的反馈信道，且对视频信号的压缩没有影响，它是利用接收到的视频数据的 有效冗余来补偿丢失的数据或纠正错误的数据，既不需要修改发送端的源编码器，也 不影响信道传输码率。错误隐藏的工作流程如下：首先，通过句法和逻辑检查来检测 出误码；其次，搜索同步头获得解码器的重同步；然后，采用像素域上的定位方法来 进行误码定位；最后，估计出错误的数据并进行误错误隐藏。 错误隐藏流程如图2 7 ： 视频流 误误 错 l 码 重 l 同 l 码误 l 检 ，rr 定 r 隐 步 测位藏 据 图2 7 错误隐藏流程 解码器在进行错误隐藏前，首先检测到错误发生的位置或类型，这是错误恢复的 先决条件。只有检测出错错误并确定错误的准确位置才能对错误进行恢复。这就要求 解码器具有强的错误检测定位和错误隐藏能力。错误检测技术主要有基于语法分析和 基于编码端加入冗余数据( 嵌入水印技术) 来实现错误的检测。 当发生误码后解码器就失去了与编码器的同步，由于视频编码采用了v l c 变长编 码，因此解码器与编码器的失步会造成严重的误码扩散，并且由于差值预测编码的采 用，使得接收端很容易产生误差积累。当检测到误码时，解码器已处于失去同步的状 态，此时解码器应该停止正常的解码过程，转向实现解码器的重同步。例如，在h 2 6 4 标准中为了减小误差积累，一般每隔1 2 秒帧间编码后必须进行帧内编码。通常在出 现错误的同步点和重建的同步点之间的数据都被丢失，重新同步的方法能够有效地定 位编码器所丢失的数据，能够增强误码掩盖的效果。 误码掩盖算法在检测到误码时往往不是误码真正开始的位置。因此，在检测到误 码并完成了解码器重同步之后，接着要进行误码定位工作。对于h 2 6 4 标准，主要根 据h 2 6 4 语法进行错误检测和定位。h 2 6 4 的不同类型帧的编码参考帧及视频序列层次 结构如图2 ，8 。每个视频序列( s e q u e n c e ) 由若干图像( p i c t u r e ) 组成，其中至少一个i 帧，若干p 帧和b 帧。 每帧图像由条带( s l i c e ) 组成。条带是传输时最小的同步单元，由宏块( m b ) 构 成，一个宏块由若干个块( b l o c k ) 组成，块是最小的d c t 变换和编码单元。 视频序列 帧 片 宏块 图像块 图2 8 序列层次结构 ( 1 ) 序列层：序列头是视频解码的环境数据，每隔一定时间发送一次。序列头的 数据一般是定长码和标志位，对于一个序列，这些数据应当是固定不变的，因而后边 的重复数据可以直接使用前边的数据进行比较和校验，在修改时需使用上一次解码的 数据。当用不同的程序解码时，算法的缓冲区需要重新进行初始化。 ( 2 ) 图像层：图像层的校验方法应根据数据的特点灵活地选择，即对不同的数据 采用不同的方法。 ( 3 ) 片层：片层是进行检测和控制的重要部分，帧个数检测时应使用差值不大于 l 的方法。s l i c e 中应包含设定的宏块数。 ( 4 ) 宏块层：对宏块层主要检测两个参数，即：片个数( s l i c en r ) 和宏块类型 ( m b。对于第一个参数，最大值不应超过规定的最大条带数。对于第二个_ t y p e )f m o 参数，可以利用其他层的相关参数进行检测，如i 帧为帧内编码，解码宏块不可能为 帧间预测编码宏块等，这样宏块类型就可根据其他层的某些参数来修改。 ( 5 ) 块内数据：对基于块的d c t 变换和运动补偿的压缩，对于宏块内部数据错 误的检测可从如下几个方面着手：( a ) 非法v l c 表入口：( b ) 运动矢量越界；( c ) d c t 系数 越界：( d ) d c t 系数个数越界。 检测出出错的准确位置对于误码掩盖是很重要的。通常如果检测到某个位置非法， 很可能并不是真的错误发生在这个位置。因为，某个比特发生错误可能不会马上得到 非法数据，而很可能会将错误延迟到下面几个数据上出现非法错误，也就是说错误的 出现会延迟。因此，检测到某个块中的某个数据出错，就要把整个块都标记为出错块。 错误隐藏( e r r o rc o n c e a l m e n t ) 技术本身并不能更正误码并恢复其原始数据，而只 是利用视频图像在时间和空间上的相关性，寻找另外一些相关的数据来代替误码数据， 设法使这些误码在视觉上尽量不被察觉出来，从而达到误码掩盖的目的。目前，人们 已经提出了许多误码掩盖方法来减少由于误码造成的不良影响。误码掩盖技术可以在 空间域、频率域以及时间域上进行，一般对于帧内模式的m b ，使用空域或频域插值恢 复，其限定条件为：均方差最小或与周围相邻区域过渡最为平滑。若帧间模式的m b 丢失，则在时域上进行误码掩盖，先恢复其m v ，再进行运动补偿。误码掩盖的关键 就是如何估计出受损区域的编码模式和运动矢量。而恢复运动矢量则是利用周围运动 矢量在各方向的内插或利用丢失块周边信息与前一帧的相关性来估计，其前提是受损 m b 周围运动信息基本正确。 目前的错误隐藏技术主要可分为三类：预处理错误隐藏技术、后处理错误隐藏技术 和交互式错误隐藏技术。预处理错误隐藏技术主要在编码端实现，但一般需要解码端 的配合，其错误隐藏的效果较好：后处理错误隐藏技术只在解码端实现，所以不需要 编码端任何额外支持，也不会增加信道开销，通用性强，具有广泛的网络适应性和平 台移植性：交互式错误隐藏技术虽然需要额外的信道支持，对软硬件都有较高的要求， 但其隐藏效果最好，适合于对实时性要求不高的应用中。 2 2 2 预处理错误隐藏技术 预处理错误隐藏技术主要在编码端实现，具有灵活、多样的优点，但在编码比特 流中加入一定量的冗余，从而造成传输码率下降，传输带宽增加等问题。 ( 1 ) 分层编码 目前，在视频传输层使用最广泛、有效的错误隐藏技术是将分层编码【3 0 】川与不等 重保护机制结合，如图2 9 所示。在分层编码中，视频信息被划分为多个组或者层。编 码模式、运动矢量等最重要的信息通常作为视频源的基本信息被包含在基本层中，解 码器可以将其解码得到一定视频质量的输出信号，然后通过增强层携带的数据就可以 得到一个更加高质量的视频信号。为了应对信道差错，分层编码必须与不等重保护机 制联合应用，让基本层在传送过程中具有较高的错误保护等级。这样，即使增强信息 丢失，解码器依然可以利用基本层的信息解码得到一个粗糙的视频画面，而不会造成 画面、场景的丢失。 图2 9 分层编码 信源信道联合编码主要是通过针对给定的信道误码特性，设计一个量化器和熵编 码器来最小化传输差错的影响。其实现方法有多种，一种是利用信源中的冗余优化信 道编码或调制来实现，即通过优化冗余比特或发射能量在不同信息比特上的分配，已 获得最小的端到端失真：另一种方法是通过在给定的信道特征下设计信源编码器来实 现，即基于信道优化信源编码。这种方法优化构造信源编码的码字和码本，使码字在 发生传输差错时所引起的失真最小。因此，在选择信源编码的码字时，码字之间要引 入一定的码距，使得码字有一定的纠错和检错能力。 分层视频编码技术为我们提供了在异构网络环境中，特别是在经常出现网络拥塞 的环境中，有效地实现动态编码与传输的解决途径。同时，由于分层编码的优良性能， 使得编码后的码流具有较高的编码效率和很好的传输鲁棒性。 在传统的视频编码中，量化后的d c t 系数采用游程编码，而分层编码可以对增强 层视频流采用位平面编码。位平面编码方式和游程编码方式的最大区别在于，位平面 编码方式把每个量化的d c t 的系数看成几个位平面中的一个二进制整数，而不是一个 确定值的十进制整数。所以，采用位平面编码方式时，对不同编码比特能够重建不同 精度的d c t 系数，使得增强层比特流能在任意时刻被截断而不会明显地影响视频的质 量。 在分层编码中，为了进一步提高增强层视频的性能，还可采用频率权重和选择增 强的方式。频率权重意味着不同频率成分采用不同的优先权，重要的视频频率成分的 比特应该优先进入编码比特流。而选择增强则是在一帧中对不同的空间位置采用不同 的优先权，一帧中越重要的视频部分有越多的比特优先于该帧的其他部分进入编码比 特流。 分层视频编码的最终目的是将视频内容编码为一个可以单独解码的基本层码流和 1 4 一个可以在任何时刻中断的增强层码流，其中基本层码流适应于网络所能提供的最低 带宽，而增强层码流用来适配网络实时变动的可用带宽。 分层视频编码的思想通过编码器、解码器和视频分层传输机制来实现的。首先分 层视频编码器将完整的视频信息编码为基本层视频流和增强层视频流。在传输过程中， 基本层视频数据流被分配到高优先级的传输信道进行发送，而增强层视频数据流则采 用优先级相对基本层较低的传输信道进行发送。网络试图发送所有高优先级的基本层 视频数据包，在网络出现拥塞的情况下，网络首先丢弃那些优先级相对较低的增强层 视频数据包，以确保基本层视频数据包的正常发送。同时，分层视频解码器也会优先 对基本层视频信息进行解码，当用户对视频质量要求不高的情况下，它甚至可以不对 增强层视频数据进行解码。 例如，可以每隔几帧发送一个高优先级视频数据帧，其余视频帧均以相对较低的 优先级进行发送。当网络出现拥塞时，首先丢弃增强层视频数据帧。对于解码器来说， 当解码器不能接收到增强层的数据帧时，并不影响解码器对其它各帧的正常解码。 分层编码除了它本身具有的编码特性和传输特性之外，还具有很好的兼容性，它 可以和许多具有不同优点的编码技术相结合，形成一种在特定条件下最好的编码方案。 例如，在异构网络中，特别是在“三网合一”的情况下，分层编码可以和多描述编码 结合成多描述可分层编码技术，能够适应异构网络中带宽的剧烈变化以及不同的服务 质量和不同种类的设备对信道的影响，具有良好的容错性能。 ( 2 ) 多描述符编码 多描述编码1 3 l j 不同于常规的分层编码，分层编码的基本层是最重要的，如果基本 层丢失，剩下的其他比特流没有用处，而多描述编码将一个视频源编成多个码流，每个 码流都是这个视频流的一个描述，形成多重描述。编码后将这些描述分别通过多个相 对独立的信道传送到接收端，接收端接收到任何一个描述( 码流) 都可以恢复出一定质量 的图像。如果多个描述都能够正确传送，在解码端可以获得高质量的图像。