（交通信息工程及控制专业论文）JVT标准中基于无等待ARQ的视频差错掩盖技术研究.pdf

西南交通大学硕士研究生学位论文 第1 页 摘要 采用运动补偿预测及可变长编码的压缩视频数据，在极易发生干扰的网络 环境中传输时，信道传输差错对压缩编码图像质量影响很大，有时甚至会导致 整个视频通信完全失效。解决这一问题的视频差错恢复和掩盖技术因而正成为 当前视频压缩及通信领域中十分关键、活跃的前沿技术。本论文以新一代视频 压缩标准j v t ( j o i n tv i d e ot e a m ) n 试模型j m l 4 为基础，重点研究了视频差错 恢复和掩盖技术，其中包括解码器端差错掩盖技术和基于编码器解码器交互的 无等待a r q 技术。 本文内容安排如下： 第一章简要介绍了视频压缩带来的问题及相应的解决办法： 第二章和第三章分别详细介绍了j v t 视频编码标准中引进的新算法及目前 视频差错恢复和掩盖技术的内容、方法和发展现状。这些知识是进行本论文研 究的基础； 第四章重点研究解码器端差错掩盖技术，并针对目前差错掩盖技术本身存 在的一些不足，引入了边框匹配s m 、预处理p r e p 和运动向量外插m v e ，提 出了搜索s e a r c h 等相应的改进算法：然后以j m l 4 为实验平台，实现并测试 了这些改进算法。实验结果表明，各改进算法能不同程度地提高和改善重建图 像的峰值信噪比( p s n r ) 和主观质量； 第五章研究、实现并测试了基于j v t 视频编码标准的无等待a r q 技术。 测试结果表明：本文实现的无等待a r q 算法相对于传统的a r q 技术和差错掩 盖技术而言，能在不影响解码器端重建图像正常回放的情况下，阻止差错的扩 散，实现图像的完全彻底恢复。 关键词：差错掩盖；a r q ；差错控制；视频传输；j v t 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t l o s so fi n f o r m a t i o nd u r i n gt r a n s m i s s i o no fc o m p r e s s e dv i d e oo v e re r r o rp r o n e n e t w o r k sm a yl e a dt oo b i e c t i o n a b l ev i s u a ld i s t o r t i o ni nt h ed e c o d e dv i d e o a n ds u c h d i s t o r t i o nc a np r o p a g a t et o m a n yf r a m e s b e c a u s eo ft h em o t i o n c o m p e n s a t e d p r e d i c t i o n a n dt h e v a r i a b l e 1 e n g t hc o d i n gu s e d a st h e s o l u t i o nt ot h i ss e r i o u s p r o b l e m ，v i d e oe r r o rr e c o v e r ya n dc o n c e a l m e n tt e c h n i q u e st h u sp l a yak e yr o l ea n d a t t r a c tm o r ea n dm o r ea t t e n t i o n si nc u r r e n tv i d e oc o m p r e s s i o na n dc o m m u n i c a t i o n i nt h i sp a p e r , r e s e a r c ho ns u c hv i d e oe r r o rr e c o v e r ya n dc o n c e a l m e n t t e c h n i q u e sa s d e c o d e r s i d ee r r o rc o n c e a l m e n t ( e c ) a n df e e d b a c k b a s e dr e t r a n s m i s s i o nw i t h o u t w a i t i n g ( n w a r q ) i s c a r r i e do u tb a s e do nt h et e s tm o d a ir e f e r e n c es o f t w a r ej m l 4 o ft h ed e v e l o p i n gi s o i e cm p e ga n dn u - tv c e gv i d e oc o d i n gs t a n d a r dj v t ( j o i n tv i d e ot e a m ) i nc h a p t e r1ab r i e fi n t r o d u c t i o nt op r o b l e m sr e s u l t i n gf r o mv i d e oc o m p r e s s i o n a n dt r a n s m i s s i o na n ds o l u t i o n st ot h es t a t e d p r o b l e m s i sa d d r e s s e d d e t a i l e d d e s c r i p t i o n s o fj m l 4 s n e w l ya d o p t e da l g o r i t h m s a r e p r e s e n t e d i n c h a p t e r 2 ， c h a p t e r3d i s c u s s e s v a r i o u sv i d e oe r r o rr e c o v e r ya n dc o n c e a l m e n t t e c h n i q u e s ， i n c l u d i n g e r r o rr e s i l i e n te n c o d i n gs c h e m e s ，r e c e i v e r s i d ep o s t p r o c e s s i n ga n ds e v e r a l f e e d b a c k b a s e de r r o rc o n t r o lt e c h n i q u e s e t c k n o w l e d g ei nt h e s ec h a p t e r sf o r m st h e t h e o r e t i c a lb a s i so fo u rr e s e a r c h i n c h a p t e r 4t h e e m p h a s i s o fo u rr e s e a r c hi s m a i n l yc o n c e n t r a t e d o ne c t e c h n i q u e s e v e r a lt h e o r e t i c a l l yu s e f u li m p r o v e m e n t so v e rc u r r e n te ct e c h n i q u e s d e f i c i e n c i e sa r ei n t r o d u c e d ，s u c ha ss i d e m a t c h i n g ，p r e p r o c e s s i n ga n d m o t i o n v e c t o r e x t r a p o l a t i o n ，a n d s e a r c ha td e c o d e rs i d ei s p r o p o s e d a i i m e t h o d s p r e s e n t e d i nt h i sc h a p t e ra r ei m p l e m e n t e da n dt e s t e db a s e do nm o d i f i e dj m l 4c o d e c o fj v t s i m u l a t i o nr e s u l t ss h o wt h a tb o t ho b j e c t i v eg a i n sm e a s u r e di np s n r ( p e a k s i g n a l t o n o i s er a t i o ) a n d v i s u a l i m p r o v e m e n t s o fr e c o n s t r u c t e dv i d e oc a nb e a c h i e v e d b yu t i l i z i n gi n t r o d u c e d m e t h o d s c h a p t e r 5 g i y e s t h e i m p l e m e n t a t i o n o fj v r - b a s e d n w a r qt e c h n i q u e s i m u l a t i o nr e s u l t sb a s e do nm o d i f i e dj m l 4c o d e cs h o wt h a ti m p l e m e n t e dn w a r q c a n s t o p e r r o r p r o p a g a t i o n a td e c o d e ra n dc o m p l e t e l yr e c o v e r d a m a g e dv i d e o w i t h o u t i n t r o d u c i n ga n y a d d i t i o n a lp l a y o u t d e l a y , c o m p a r i n g t oe ca n dc o n v e n t i o n a l a r o ( a u t o m a t i cr e p e a tr e q u e s t ) t e c h n i q u e k e y w o r d s ：e r r o rc o n c e a l m e n t ；a r q ；e r r o rc o n t r o l ；v i d e ot r a n s m i s s i o n ；j v t 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 问题的产生 视觉信息直观、生动，是人类获取信息最为重要的途径。近年来，由于网 络技术的不断发展完善，以及数字信号本身所具有的易存储和远距离传输、无 积累失真等优点【1 0 】，数字化视频传输业务的应用前景正日益为人们所认识，如 通过p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) t 网传输可视电话，无线移动网上 的各类视频业务，及互连网i n t e m e t 上的多媒体电子邮件、电子报纸、视频检 索等等。然而，数字化后的视频包含大量的数据，以公用中间格式c i f ( c o m m o n i n t e r m e d i a t ef o r m a t ) 为例，每幅图像由2 8 8 行组成，每行3 6 0 个像素，如果每个 像数用2 4 比特来存放亮度和色度信息，当帧率为3 0 f p s ( f r a m ep e rs e c o n d ) 时，每 秒c i f 数字视频中的比特数为：3 6 0 x 2 8 8 x 2 4 x 3 0 a7 4 6 5 倍 i o l ，而现有的窄 带通信网如p s t n 和移动通信网，虽然可提供有改进的语音和数据服务，但在 支持较大容量的多媒体业务方面却存在很大局限性【1 0 】，这使得大数据量视频的 传输和应用变得非常困难；另一方面，视频图像的表示中存在大量空问、时间 和视觉信息冗余，而这些冗余都可通过一定的编码方法去除。上述两方面为数 字化视频的压缩提供了必要性和可能性。视频编码就是采用一系列变换技术减 少视频中存在的冗余信息，在一定的需求和应用条件下，用尽量少的数据来获 得最好质量的视频图像。而目前大多数低速率视频编码标准普遍采用运动补偿 预测( m o t i o nc o m p e n s a t i o np r e d i c a t i o n ) 、d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 变换和 可变长编码( v a r i a b l el e n g t hc o d i n g ，v l c ) 的混合编码技术来实现高压缩率，这 使得压缩后的视频流对传输误码( t r a n s m i s s i o ne n o 州e 常敏感。在v l c 编码中， 由于每个码字占用比特位数不一样，一旦某位数据出错，解码器将无法判断该 出错数据所在码字在何处结束，从而不可能判断下个码字从何处开始，这样解 码器不得不丢弃部分数据，而寻找下个同步字，这就导致错误数据在空间域上 扩散；采用运动补偿编码时，传输过程中产生的差错会因运动补偿而在时间上 传播扩散，使视频质量迅速下降。另一方面，无线信道具有非同寻常的噪声和 信道衰减特性，如由多径衰落( m u l t i p a t hf a d i n g ) 、散射( d i s p e r s i o n ) 、多谱勒平 移( d o p p l e rs h i f t ) 、路径衰减( p a t hl o s s ) 等带来的比特错( b i te r r o r s ) 和突发错( b u r s t e r r o r s ) 等p 1 。因此当将压缩视频流用于无线信道时，不但服务质量( q u a l i t yo f s e r v i c e ) 无法得到保障，甚至整个视频通信都有可能失败。 西南交通大学硕士研究生学位论文 第2 页 图1 - 1 给出了视频测试序列s u z i e 中第3 帧丢掉一个片( s l i c e ) 后，错误在 解码器端的扩散情况： 图l - l 视频测试序列s u z e 差错扩散示例 1 2 问题的解决 目前对付视频传输差错的技术分两类，一类是传统的差错控制和恢复技术， 以保证通信时尽可能做到无损为目的，主要应用于通信系统底层；另一类则是系 统层的差错恢复和掩盖技术，作用是尽可能减小和隐藏已出现的差错，使图像视 觉效果接近于原来的效果。 传统的差错控制和恢复技术在对付视频传输差错方面面临众多技术挑战： 各种变化的差错条件降低了传统的前向纠错( f o r w a r de r r o rc o r r e c t i o n ) 码的效 率：a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 等闭环差错控制技术虽然比f e c 有效，但重 传带来了额外延迟，这在多数实时会话系统中是无法接受的；改进后的重传高 压缩比视频数据、或重传多个备份包等技术，通常只在有线网中较为有效j 。 即使结合多种检纠错技术，移动无线信道中的残留传输差错仍无法避免，此时 系统层的差错恢复和掩盖技术将形成“最后一道防线”， 以保证低速率视频数 据的有效恢复。 当检测到差错时，差错恢复和掩盖技术常采用重同步( r e s y n c h r o n i z a t i o n ) 和限制预测区技术( r e s t r i c t i n gp r e d i c t i o nd o m a i n ) 等技术来消除v l c 和预测编码 技术带来的差错扩散( e r r o rp r o p a g a t i o n ) ，力争把错误控制在尽可能小的范围内； 而对己发生错误的数据则采用数据恢复技术如r v l c ( r e v e r s i b l ev a r i a b l el e n g t h 西南交通大学硕士研究生学位论文第3 页 c o d i n g ) 等来恢复其中可以恢复的部分数据；对剩下不能恢复的错误数据，解 码器常依据视频信号在空间和时间上的高度相关性，采用空域( s p a t i a l ) 、时 域( t e m p o r a l ) 或频域( f r e q u e n c y ) 插值 8 1 等差错掩盖技术( e rc o n c e a l m e n t ) 来尽 可能减小差错对重建图像质量造成的影响。经差错掩盖处理后，残余差错仍会 在一段连续的图像帧之间扩散传播，即使个别差错很小，但其积累仍会导致图 像质量下降。通常的解决办法是定期插入帧内( i n t r a ) 编码帧，但由于帧内编 码帧数据量大，限于网络带宽，不能频繁使用。在此情况下，基于反馈的编码 器解码器交互技术便可达到既彻底消除传输差错、又不显著增加数据量的目 的。基于反馈的编解码交互技术利用反向信道，将解码出错的信息通知编码 器，从而对编码策略进行适当改进，以尽可能减小传输差错造成的影响。目前 研究得较多的有差错跟踪( e l l o r t r a c k i n g ，e t ) 技术、参考帧选择( r e f e r e n c e p i c t u r e s e l e c t i o n ，r p s ) 技术以及无等待a r q ( r e t r a n s m i s s i o n w i t h o u t w a i t i n g ，n w a r q ) 技术等【l l i 。 1 4 论文研究的内容 本论文研究内容如下： ( 一) 对新一代视频压缩标准j v - f f j o i n tv i d e ot e a m ) 的编解码器进行了分析 和理解，以便为新算法的嵌入准备条件。这部分的内容主要包括对j v t 编码标 准本身的学习、理解和对j v t 测试模型j m ( j o i n tm o d a lo fj 、m 1 4 源代码的分 析； ( 二) 对当前视频压缩系统中现有的差错恢复和掩盖技术的原理进行了较详 细的介绍，为本论文的研究奠定理论基础； ( 三) 重点研究了解码器端差错掩盖技术，并针对目前差错掩盖技术本身存 在的一些不足，引入和提出了边框匹配、预处理、运动向量外插和解码器端搜 索等改进算法，然后以j m l 4 为试验平台，实现并测试了这些算法。实验结果 表明：各算法能不同程度地改善重建图像的质量； ( 四) 论文的最后一部分研究了n w a r q 技术，并将其应用到新一代视频 压缩标准j v t 中。仿真试验结果表明：n w a r q 相对于传统的a r q 技术和差 错掩盖技术而言，能在不影响解码器端重建图像正常回放的情况下，实现图像 的完全彻底恢复。 西南交通大学硕士研究生学位论文第4 页 第2 章j v t 视频编码标准新技术简介 j v t 是i s o i e cm p e g 和i t u tv c e g 联合制定的下一代视频压缩编码标 准，目前正处于研究制定当中。j 集中了以往标准的优点，吸收了标准制定 中积累的经验，并在此基础上采用了很多的新技术和新算法。下面以j 测试 模型j m l 4 为基础，对这些新技术和新算法分别进行简要介绍。 2 1 编码结构 j v t 将每帧图像划分为多个片( s l i c e ) 。片是j v t 中的独立编码单位 ( i n d e p e n d e n t c o d i n g u n i t ) ，每片的编码解码均不用参考同帧中任何其它的片； 一个片由多个宏块( m a c r o b l o c k ，m b ) 组成，每片中具体包含的宏块数量没有硬 性规定，可在编码过程中根据条件灵活设定1 7 ；宏块是1 6 x1 6 个像素组成的方 形区域，是视频编码的基本单元；宏块本身可进一步划分为各种大小的予块， 具体划分方法可参考2 2 1 2 节。 编码帧的划分结构如图2 一l 所示： 图2 - i 编码帧划分结构示意图 2 2 编解码算法 j v t 核心算法仍采用混合编码方法，即利用预测编码消除时间冗余，利用 变换编码去除空间冗余。其编、解码框图如图2 2 所示： 西南交通大学硕士研究生学位论文第5 页 码流 削2 - 2j v t 编解码框例 2 2 1 预测编码 预测编码是利用视频信号在时间上的相似性，通过只编码某帧图像相对于 其前相邻帧的变化来去除其时间上存在的大量冗余、显著提高压缩比的一种压 缩算法。用于预测的相邻帧叫参考帧( r e f e r e n c ef r a m e ) ，编码单位通常为1 6 x 1 6 像素大小的宏块。由于物体或场景在时间上相邻的帧之间大部分保持相似，且 大多情况下这些物体或场景在不停地运动，因此，通常需在一定范围内( 称为 搜索窗口，s e a r c hw i n d o w ) 通过一定的偏移量在参考帧中寻找与待编码宏块最 相似的最佳匹配宏块，以使最终得到的差值最小，实现高压缩比。宏块与参考 帧中最佳匹配宏块之间的偏移量就是视频压缩编码中非常重要的概念运动 向量( m o t i o nv e c t o r , m v ) 。通过一定的偏移在参考帧中寻找最佳匹配宏块的过 程称为运动补偿预测( m o t i o nc o m p e n s a t i o np r e d i c t i o n ) ，如图2 3 所示： 西南交通大学硕士研究生学位论文第6 页 参考帧当前帧 图2 3运动预测与运动补偿 利用参考帧进行预测而去除时间冗余性的编码方法称为帧间( i n t e r ) 模 式，对应的帧叫p ( p r e d i c t i v e ) 帧；不能( 如第一帧) 或不采用帧间预测的编 码方法称为帧内( 玳t r a ) 模式，对应的帧叫i ( i n t m ) 帧。采用帧间模式进行 编码的宏块称为帧间编码宏块( i n t e rm a c r o b l o c k ) ：采用帧内模式进行编码的宏 块叫帧内编码宏块( i n t r am a c r o b l o c k ) 。i 帧全部采用帧内编码宏块：而p 帧则既 可包含帧间编码宏块，又可包含帧内编码宏块( 与帧间编码宏块并存) 。 为获得更高的压缩效率和更好的视频质量，j v t 相对于h 2 6 3 + 在帧间宏块 的预测编码方面引入了很多新算法。下面分别进行介绍。 2 2 1 1 多参考帧预测 以往的视频压缩标准( 如m p e g 1 和h 2 6 3 + 等) 仅支持一个参考帧，j v t 支持多达5 个参考帧。这意味着当前编码帧的预测值不再仅限于来自前一帧， 而可以取自前5 帧内的任何一帧，参考帧信息随运动向量信息一起编码并传送 给解码器【7 l 。图2 - 4 是多参考帧示意，图中各箭头表示预测的可能性，各箭头之 间是互斥关系 图2 - 4 多参考帧示意图 当前帧 时间 卜 西南交通大学硕士研究生学位论文第7 页 2 2 1 2 多种宏块编码方式 为更细致地表现画面中各种细微的运动，以便将宏块预测值与真实值之间 的预测误差尽可能减到最小，j v t 支持将1 6 x 1 6 大小的帧间宏块进一步划分为 各种形状大小的块( b l o c k ) ，最少为1 个1 6 x 1 6 ，最多为1 6 个4 x 4 ，每块单独 进行预测，具有独立的运动向量f t ，因此每个帧间宏块需编码传送的运动向量 为1 到1 6 个不等，而h 2 6 3 + 标准仅支持大小为1 6 x 1 6 的宏块及一个宏块1 个 运动向量( 在可选模式中，一个宏块可同时具有4 个运动向量) 。按形状划分的 不同，总共有7 种划分模式，如图2 5 所示( 数字表示同一宏块内不同块的运 动向量在压缩流中的先后排列次序) ： 模式1 ，1 个1 6 模式2 ，2 个8模式3 。2 个模式4 ，4 个8 1 6 块x 1 6 块1 6 x 8 块x 8 块 口田目田 模式5 ，8 个4 模式6 - 8 个8模式7 ，1 6 个 x 8 块 4块4x4块 田团圈 图2 - 57 种帧间宏块编码模式 2 2 1 3 高分辨率搜索 为进一步提高预测块与待编码块间的相似性，在获得块的预测运动向量之 后，还需通过在搜索窗口内搜索来寻找更匹配的预测块。衡量块匹配程度的算 法称为匹配标准( m a t c h i n gc r i t e r i o n ) 。目前成熟的匹配标准很多，但使用最广 泛的是绝对差值和( s u mo f a b s o l u t ed i f f e r e n c e ，s a d ) ，定义如下： 阴d 2 著荟i e ，j ( 七，2 ) 一曰小啡) l b i j q ，f ) ：当前帧中某象素的值2 旦。( 七，f ) ：参考帧中某象素的值： o ，) ：宏块坐标； 西南交通大学硕士研究生学位论文第8 页 ( 七，1 ) ：象素在宏块中的坐标 m ，v ) ：运动向量值。 搜索的任务就是找出使s a d 值最小的最佳匹配块。 搜索的精度可采用全像素搜索( i n t e g e rp i x e is e a r c h ) ，也可采用半像素搜 索( h a l f p i x e ls e a r c h ) ，如h 2 6 3 + 标准就支持半像素精度搜索。j v t 将搜索精度 从半像素提高到三像素分辨率，甚至支持言像素分辨率( 可选) 。三4 像素值和； 像素值通过插值实现【们。图2 - 6 是 像素分辨率示意图( 黑体a 代表整像素位 4 置，黑体小写字母代表半像素位置，其他字母代表插值得到的 像素位置) ： adbda ehfh b g c g b ehfi aba 酗2 - 61 4 分辨率像素插值示意图 对于整像素搜索，j v t 采用螺旋搜索路径( s p i r a ls e a r c h ) ，如下图2 7 所 示，数字0 ，1 ，2 ，3 表示搜索顺序： - 1 591 11 31 6 1 73l4 1 8 1 9506 2 0 2 l7282 2 2 31 01 21 4 2 4 图2 7 螺旋搜索路径示意图 其他分辨率下的搜索则按下述方式进行，图示如下( 图中大写字母表示整 像素，数字表示丢像素，小写字母代表 像素) ： 西南交通大学硕士研究生学位论文第9 页 图2 81 4 分辨率的攫索路径 搜索过程为：假设整像素搜索过程的结果是点e 为最优点( s a d 最小) ， 则接下来开始搜索e 点四周的半像素点1 、2 、3 、4 、5 、6 、7 、8 。再次假设搜 索结果为半像素点7 是最优点，则开始搜索点7 四周的三像素点a 、b 、c 、d 、 4 e 、f 、g 、h 点。此次搜索过程结束得到的 像素点即为要求的运动向量值，它 表示参考帧中与待编码块最相似的最佳匹配块相对于待编码块本身在三分辨率 4 下的偏移量。值得指出的是，如果使用了i 1 分辨率搜索，则还须进一步搜索三像 素点四周所有的8 个妄像素点，搜索过程与1 4 像素点相同，这里不再赘述。 2 2 2 变换编码 经预测编码后，视频信号中的时间冗余已被去除，残留的预测误差表示客 观存在的视频信号在时间和空间上的连续变化，属于不能预测的信息。 为对残留误差进行压缩，需对其进行变换编码。h 2 6 3 4 中采用的变换编码 为8 8 大小的d c t 变换，而j v t 改用4 x 4 大小的整数变换门( i n t e g e r t r a n s f o r m ) 。因此，j v t 中需将1 6 x 1 6 的宏块分成1 6 个4 x 4 的子块分别进行整 数变换。 4 x 4 大小的整数变换定义如下： a 一1 3 a + 1 3 b + 1 3 c + 1 3 d b 一1 7 a + 7 西一7 c 一1 7 d c t l 3 a 一1 3 6 1 3 c + 1 3 d d _ 7 口一1 7 6 + 1 7 c 一7 d c f 工 8 3 5 c e h b 2 e b 7 g h a d f l 4 6 a d g 西南交通大学硕士研究生学位论文第1 0 页 式中，a ，b ，c ，d 是变换前的像素值，ab ，c ，d 是变换后得到的变换系数值。 需指出的是，变换编码本身并不能对数据进行压缩，属无损编码。 2 2 3 量化 h 2 6 3 + 中采用的量化公式为： c 一蠢0 蜊s 7 而j v t 中采用如下公式对变换系数k 进行量化i 7 1 ： 把v e l ；k x a ( q ：p 万) + f x 一2 ” 其中，q p 为量化参数。j v t 中可使用3 2 个不同的量化参数，因而q p 取 值为0 3 1 ； a ( q p ) 为一维数组，定义如下： a ( o e = o ，3 1 ) = 6 2 0 ，5 5 3 ，4 9 2 ，4 3 9 ，3 9 1 ，3 4 8 ，3 1 0 ，2 7 6 ，2 4 6 ，2 1 9 ，1 9 5 ，1 7 4 ，1 5 5 ，1 3 8 ，1 2 3 1 1 0 ，9 8 ，8 7 ，7 8 ，6 9 ，6 2 ，5 5 ，4 9 ，4 4 ，3 9 ，3 5 ，3 1 ，2 7 ，2 4 ，2 2 ，1 9 ，1 7 ； f 的符号与k 相同，其值因宏块编码模式不同而取不同的值：当宏块为帧内 编码时，f 取三；当宏块为帧间编码时，f 取三。 4 x 4 的块经整数变换和量化之后，大部分变换系数被量化为0 。非零系数 主要集中于矩形左上方，大量零系数集中在矩形右下方，形成一个稀疏矩阵。 为有效地将非零系数和零系数组织起来，保证最大的连续零系数出现概率，j v t 采用单z i g - z a g 扫描和双z i g - z a g 扫描，将零系数集中在一起，以便采用游程编 码( r u n - l e n g t hc o d i n g ) 进行压缩。 单z i g z a g 扫描和双z i g z a g 扫描如图2 - 9 所示： 图2 - 9 单z i g - z a g 扫描和双z i g - z a g 扫描 西南交通大学硕士研究生学位论文第1 1 页 双z i g - z a g 扫描用于量化系数小于2 4 的帧内编码宏块，主要解决单z i g - z a g 扫描引起的编码效率变低的问题f 7 j 。 对扫描之后的系数采用游程编码压缩。个游程编码单位是一个三元组 ( l a s t , r u n ，l e v e l ) 。其中，l a s t = 1 表示该数据是本块的最后非零系数， l a s t = 0 表示后面还有本块的非零系数；r u n 表示该非零系数与前一非零系数 之间含有多少个零系数：l e v e l 表示当前非零系数的值。 量化因丢弃了部分数据而属于有损压缩，会造成图像失真，使重建帧无法 被还原为原始图象。 2 2 4 熵编码 经预测编码、变换编码、量化及游程编码后，视频信号中的冗余已得到有 效去除。但在剩下的数据被最终输出编码器之前，一般还要采用熵编 i 目j ( e n t r o p y c o d i n g ) 对其进行最后的压缩，以消除数据本身存在的统计频率冗余。 j v r 中的熵编码通过通用可变长编码( u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ， u v l c ) 来实现 7 1 。 u v l c 码字具有如下的形式： 1 0 x o 1 0 x 1 0 x o 1 0 x 2 0 x 1 0 x o 1 0 x 3 0 x 2 0 x 1 0 x o 1 其中，x n 取值0 或1 ，n = 0 ，1 2 一 定义u v l c 码字所占的比特数为l ，玳f 0 = x n x i x 0 ，u v l c 码字编码 的数为c o d en u m b e r 。三者之间存在如下关系： 墨 c o d e n u m b e r ；2 2 + i n f o - 1 ( 当l m 十，i n f o t 0 ) ， 式中，兰向下取整。 z 编码时，给定任意一需编码的数，可计算出l 和i n f o ，生成相应的u v l c 码字：解码时，解码器从压缩流中逐位读入比特，直到遇到u v l c 码字的结束 比特位“1 ”。有了完整的u v i c 码字，解码器可容易地得到l 和i n f o 的值， 西南交通大学硕士研究生学位论文第1 2 页 然后根据c d 如一n u m b e r 一2 2 + i n f o 一1 对相应的数据进行解码。 生成的u v i , c 码将直接作为编码器输出。 2 2 5 反向量化 j v t 中采用如下公式将得到的l e v e l 量化值转换为重建的变换系数k f 【7 l ： k = l e v e l 口( q p ) 其中，q p 为从压缩流中得到的宏块量化参数值，取值为0 3 1 ； b ( q p ) 为一维数组，定义如下： b ( q e 一0 ，3 1 ) 一 3 8 8 1 ，4 3 5 1 ，4 8 9 0 ，5 4 8 1 ，6 1 5 4 ，6 9 1 4 ，7 7 6 1 ，8 7 1 8 ，9 7 8 1 ，1 0 9 8 7 ，1 2 3 3 9 1 3 8 2 8 ，1 5 5 2 3 ，1 7 4 3 5 ，1 9 5 6 1 ，2 1 8 7 3 ，2 4 5 5 2 ，2 7 6 5 6 ，3 0 8 4 7 ，3 4 8 7 0 ， 3 8 8 0 7 ，4 3 7 4 7 ，4 9 1 0 3 ，5 4 6 8 3 ，6 1 6 9 4 ，6 8 7 4 5 ，7 7 6 1 5 ，8 9 11 3 ，1 0 0 2 5 3 ， 1 0 9 3 6 6 ，1 2 6 6 3 5 ，1 4 1 5 3 3 a 注意，重建得到的变换系数k i 不等于量化前的变换系数k 。 2 2 6 反向变换 对得到的4 x 4 重建变换系数矩阵，j v t 采用反整数变换将其变换为像素预 测误差值。 4 x 4 大小的反整数变换定义如下： a - 1 3 a + 1 7 b + 1 3 c + 7 d b + 。1 3 a 7 b 一1 3 c 1 7 d c1 1 3 4 7 b 1 3 c + 1 7 d d ；1 3 , 1 1 7 b + 1 3 c 一7 d 式中，a ，b ，c ，d 是重建的变换系数值，a ，b ，c ，d 是变换后得到的像素预测 误差值。 2 3 图像的质量评价 目前的视频编码技术普遍将量化作为提高压缩比的手段之一，这样就不可 西南交通大学硕士研究生学位论文第1 3 页 避免地存在数据丢失，导致解码器端重建图像质量下降。如何评价这个质量下 降? 其下降程度能否被接受? 这要求有合理的图像质量评价方法。 目前常用的图像质量评价方法有两种1 0 l ： 客观质量评价：按某一数学模型或公式，针对原始图象和重建图象求出 一确定的数值，用其来衡量重建图像相对于原始图像的偏离程度： 主观质量评价：让一群观察者对同一幅图像按视觉效果好坏进行打分， 并对其进行加权平均。主观质量评价通常是变化的，需要客观质量评价的配合。 2 3 1 客观质量评价 目前常用的客观质量评价有均方误差( m e a ns q u a r ee r r o r , m s e ) 和峰值信 噪l l ( p e a ks i g n a ln o i s er a t i o p s n r ) 。 m s e 的定义如下： 。荟荔( 厶一) 2 腑。鱼鱼：! 二 mx n 其中 厶 ， 一 分别表示原始图像和恢复图像t g _ o s f s m ，0 s ，s 。 丽p s n r 本质上与m s e 相同，表达式为： p s n r 。1 0 l o g 2 5 5 x ，2 5 5 m s e 2 3 2 主观质量评价 m s e 和p s n r 从总体上反映重建图像和原始图像的差别，不能反映少数像 点有较大灰度差别和较多像点有较少灰度差别等各种情况【7 1 。对图像中各像素 点同样对待，显然不能反映人眼的视觉特性。图像最终是给人观看的，因此合 理的图像质量评价方法还应充分考虑主观质量评价。 主观质量评价可分为3 种类型f 7 1 ，都有各自的分级标准和测试规程： 质量测试：观察者应评定图象的质量等级； 损伤测试：观察者评审出电视图象的损伤程度； 。 比较测试：观察者对一幅给定图象和另一幅图象做出质量比较： 主观质量评价结果应具有足够置信度，要求严格规定试验各方面的条件。 西南交通大学硕士研究生学位论文第1 4 页 7 第3 章视频差错恢复和掩盖技术简介 目前大多数低速率视频编码标准普遍采用运动补偿预测去除时问冗余信 息、用变换编码去除空间冗余信息以及可变长编码( v l c ) 实现熵编码的混合编 码技术来实现高压缩率。这使得压缩码流对抗差错的能力十分脆弱。一方面 v l c 的采用大大削弱了码流的抗误码能力：任意一个比特误码都有可能造成解 码器端的误码扩散，导致同步丢失，从而使得重建图像质量恶化；另一方面， 基于运动补偿的预测编码技术使出现的差错迅速扩散，导致重建图像质量严重 受损，甚至无法重建图像t ”i 。信道传输中产生的差错主要包括随机比特误码( b i t e r i o r ) 、突发差错( b u r s tm o o 及数据丢失等【9 i 。为了减小或消除信道差错的影响， 差错恢复和掩盖技术( v i d e oe o rr e c o v e r ya n dc o n c e a l m e n t ) 就成为易发生差错 信道视频压缩编码的重要内容之一。现有或正在制订中的视频压缩编码标准如 h 2 6 3 + 、m p e g 4 和j v t 等为了提高差错复原能力，满足易发生差错信道视频 传输业务的要求，均采用了若干差错复原技术或工具，并成为标准的重要内容。 差错恢复和掩盖技术是指通过改进传输码流的结构、使其利于解码器检测 差错和恢复因差错而丢失的数据，并利用图像中的空间及时间相关性来降低信 道差错对图像质量造成的影响的技术。根据控制机制作用的位置和工作方式不 同，差错恢复和掩盖技术可分为以下三方面： 编码器端的差错恢复编码( e r r o rr e s i l i e n te n c o d i n g ) ：在信源和信道编码中 增加冗余信息，使比特流对可能的差错有更好的健壮性； 解码器端的差错掩盖( e r r o rc o n c e a l m e n t ) 技术：解码时根据正确接收到 的图像信息的有效冗余来补偿被信道误码损坏的部分，使接收图像的观觉效果 接近于原始图像； 编码器解码器交互技术：编码器、解码器双方通过反馈信道交互作用， 从而使得编码器能针对解码端检测到的差错情况作出相应的编码策略调整。 差错恢复和隐藏技术示意图如下： 西南交通大学硕士研究生学位论文第1 5 页 i f e e d b a c k k ；d e t e c t i o ni ；矗矗= i 磊= j 。 圉3 1 视频传输筹错恢复编码系统示意酗 ；f e e d b a c k i ；c o r l f f o li 3 1 差错恢复编码 差错恢复编码主要通过在信源编码器或信道编码器增加冗余信息来实现差 错的恢复或阻止差错在时域和空域上的扩散。视频压缩编码的最后一个环节是 熵编码，熵编码的特点决定了视频码流对错误比特高度敏感。于是，人们设计 了多种技术用于在视频编码环节进行差错复原，提高码流鲁棒性。这些技术 方面提高了视频传输的鲁棒性( r o b u s t n e s s ) 、增强了纠错能力，在一定程度上 阻止了差错的扩散；但同时降低了压缩效率，其中某些技术还必须通过修改压 缩标准的编码器和比特流语法才能实现。 根据引起差错扩散原因的不同，差错恢复编码技术主要可分为改善v l c 同步的鲁棒熵编码( r o b u s te n t r o p yc o d i n g , r e c ) ；解决由预测编码而导致差错 扩散的限制预测区技术( r e s t r i c t i n gp r e d i c t i o nd o m a i n ，r p d ) 和帧内编码( i n t r a ) 块更新技术等；信源信道组台编码的分层编 i 马( i a y e rc o d i n g , l c ) 和相关子数据流 传输的多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 等。下面分别对其进行 简要介绍。 r e c 着眼于减小由v l c 带来的差错在空域上的扩散问题【6 l 。实现r e c 的 第一种方法是通过在压缩流中周期性地插入重同步字( s y n c h r o n i z a t i o nc o d e ) 来有效地隔离差错的扩散。解码器利用视频流本身的句法和语义对数据流中的 差错进行检测。当误码直接使得某码字映射为一非法码字，那么解码器就可以 立即检测到该误码；假设误码使得某码字映射为另一个码字，或者映射为某合 法的码字序列，那么解码器就不可能立即检测出误码的存在，但由于误码扩散 的缘故，解码器可以在随后的某个位置检测至0 误码。当检测到误码的时候，解 码器己处于同编码器失去同步的状态，它应该停止正常的解码过程，转向实现 西南交通大学硕士研究生学位论文第1 6 页 解码器的重同步。此时解码器就在数据流中向前搜索，寻找码流的下一个同步 字。一旦找到这个同步字，解码器便又重新回到同步上，从而有效地将差错限 制在了两同步字之间，如图3 - 2 所示。过于频繁的重同步字插入会显著降低编 码效率，并且同步字本身也会受到干扰的破坏。羁前的视频编码标准( 如 m p e g 2 和h 2 6 3 ) 普遍采用较长