（通信与信息系统专业论文）视频的抗误码技术及显示的优化.pdf

北京邮电大学硕士研究生论文摘要 视频的抗误码技术及显示的优化 摘要 数字通信技术和数字视频技术的发展与结合极大的推动了多媒体 通信业务的发展而视频信息在通信网络中进行传输正是这中间研究 的热点由于视频数据本身数据量巨大，在对其进行传输或者存贮前 必须对这些数据进行压缩。视频压缩技术对数据进行时间上的预测、 空间上的变换和基于统计特性的编码，从而大大减少了冗余，提高了 传输的有效性。无线和互联网协议( ip ) 分组视频通信势在必然，然 而实际的无线和i p 信道不可避免地存在噪声和分组丢弃。由于编码以 后的视频码流对误码较为敏感，使得其抗干扰能力非常差，同时由于 视频信息还具有实时性的特点，因此，差错的产生不但严重影响视频传 输的服务质量，甚至会导致整个视频通信的安全性失效如：在h 2 6 3 视频信号的传输过程中，由于采用了可变长编码，当发生比特错误时， 很容易造成错误的扩散传播及图像质量下降。为了保证视频传输的服 务质量( q o s ) ，我们需要在视频码流中进行误差恢复处理，以此来降低 差错对视频传输的影响所以各种高误码网络中视频传输的抗误码技 术成为无线和分组视频通信的关键技术问题之一。 该论文对目前应用较广泛的h 2 6 3 ，m p e g 4 标准以及最新制定 的h 2 6 4 a v c 标准所采用的抗误码技术进行了介绍与研究，对相应 技术所具有的特点及其适应范围进行了分析总结。根据视频码流的语 义，实现了解码器误差检测，定位和重同步，并根据不同的运动情况 实现了空域和时域的差错掩蔽，并对解码后图像的显示做了优化，使 得c p u 的消耗大大减少，使多线程的多路解码和显示可以实现。并在 最后对抗误码的效果做了比较。证明这种抗误码方案是可行的。 关键词：h 2 6 3 、抗误码、差错检测，错误定位，时域掩蔽和空域掩 蔽 北京邮电大学硕士研究生论文a b s t r a c t r e s e a r c h e so ne r r o rr e s i l i e n c et e c h n i q u e s a n d i m p r o v e dd i s p l a y a b s t r a c t t h ec o m b i n a t i o na n dd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g i e sa n dd i g i t a l c o m m u n i c a t i o nt e c h n o l o g i e sh a v ep r o m o t e dt h ed e v e l o p m e n to fm u l t i m e d i a c o m m u n i c a t i o ns e r v i c e sg r e a t l y t h ei n t e r e s ti nv i d e od e l i v e r yo v e rm o b i l e n e t w o r k sa n di n t e r n e ti sg r o w i n g t h ee f f e c to fc h a n n e le r r o r sn o to n l yc a r l c a u s eg r e a td e g r a d a t i o no ft h eq u a l i t yo fs e r v i c e ，e v e nc a nl e a dt ot h ef a i l u r eo f t h ew h o l ev i d e oc o m m u n i c a t i o ns y s t e m s u c ha s ，d u r i n gt h et r a n s m i s s i o no f h 2 6 3s i g n a l ，d u et ot h eu s eo fv a r i a b l el e n g t hc o d e ( v l c ) ，as i n g l eb i te r r o r m a yp r o p a g a t eu pt oo t h e r s i no r d e rt oi n s u r et h eq u a l i t yo f v i d e ot r a n s m i s s i o n o v e re r r o r - p r o n ec h a n n e l s ，t h ee r r o rr e s i l i e n c e t e c h n i q u e s a r e b e c o m i n g i n c r e a s i n g l yi m p o r t a n t t h i sp a p e ri n t r o d u c e st h ee r r o rr e s i l i e n c em e t h o d su s e di nv i d e o i n t e r n a t i o n a ls t a n d a r d so fh 2 6 3 d 江p e g 4a n dh 2 6 4 a v c t h r o u g ht h e a n a l y s i so ft h es p e c i a l t ya n dc a p a b i l i t yo ft h e s em e t h o d si tp r o v i d e st h e c o r r e s p o n d i n ga p p l i c a t i o n a r e a s i nt h i s p a p e r , w ep r o p o s e a ne r r o r c o n c e a l m e n tm e t h o db a s e do nd e c o d e rt od e t e c ta n dl o c a t et h ee r r o rp o i n ts o t h a tt h er e - s y n c h r o n i z a t i o na n de r r o rc o n c e a l m e n tc a nb ei m p l e m e n t e d a n d w ep r o p o s ea na d a p t i v ec l a s s i f i c a t i o ne r r o rc o n c e a l m e n ta l g o r i t h m b y a n a l y z i n gt h ed e g r e eo ft h em o t i o ni nap i c t u r e ，w ep u tt h ep i c t u r e si nt ot h r e e c l a s s e st ob ec o n c e a l e d t h i sm e t h o di sn o to n l yr e d u c i n gt h ec o m p l e x i t yo f c o m p u t a t i o n ，b u ta l s og e e i n gas a t i s f i e dc o n c e a l m e n tr e s u l t t h ed i s p l a yo ft h e d e c o d e d i m a g ei sb ei m p r o v e db yt h ed i r e c t l ys h o wo u ta f t e rb e i n gp r o c e s s e d t h er e s u l ts h o w st h ee r r o rr e s i l i e n c et e c h n o l o g yi sd o a b i e k e yw o r d s ：e r r o r r e s i l i e n c e ；s p a t i a lc o n c e a l m e n t ；t e m p o r a l c o n c e a l m e n t ；h 2 6 3i m a g ee n c o d i n g 北京邮电大学硕士研究生论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 车缉 日期：亟堕：! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 日期 日期 二递垂丘仁 北京邮电大学硕士研究生论文第一章绪论 第一章绪论 1 1 研究的意义和该领域的现状 在多媒体通信中，视频和音频信息的通信传输占据了主导地位，视频和音频的可靠 传输受到人们的关注，视频信息的传输要占用很大的带宽，这使得进行实时的视频通信 相当困难。例如：一帧p a l 格式7 0 4x5 7 6 的彩色图像，若每象素用2 4 位表示，以每秒2 5 帧的速率传输，大概要求占用2 4 3 m b s 的带宽，这在实际传输中是十分困难的。因此， 在视频通信传输中要求对视频图像进行高效的压缩。近年来h 2 6 l ，m p e g l ，m p e g 一2 ， 3 i p e g 一4 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6l 等一系列压缩标准的制定，使得数字视频压缩 技术取得了飞速的发展。h 2 6 3 标准是i t u t 于1 9 9 6 年在h 2 6 l 的基础上制定的视频编码 标准，是一种能够在3 0 k b s 左右的速率下提供可以接受质量的视频信号压缩标准。h 2 6 3 编码是一种用帧间预测减少时域冗余、变换编码减少空间域冗余的编码方法，具有压缩 率高、算法复杂度低等优点。十分适合于数据分组网中视频会议、可视电话的应用。 目前，h 2 6 3 是i p 视频通信以及无线移动视频通信等应用中采用最多的一种视频编码 方法。特别是随着计算机技术、网络通信和视频压缩技术的发展，视频通信将成为基于 i p 的分组网络的重要业务之一。当前，i n t e r n e t 上己经出现了v o d ( 视频点播) 、可视电 话、视频会议等通信系统，多播骨干i p 网上几乎每周都有一次视频会议举行。但是，由 于分组交换网所固有的特点，网络拥塞时有发生，网络带宽经常变动，这些将造成分组 的丢失，此外，由于传输信道的不理想还将产生传输差错。分组数据在网络传输的过程 中出现分组比特差错，如果出现在分组头部，会使分组地址错误，从而使分组无法到达 正确的地址；当这种比特差错出现在分组数据域时，就会对重建图像质量造成严重影响。 目前的视频编码标准均采用变长编码，变长编码虽然提高了编码效率，但也使得编 码后视频数据对抗差错的能力十分脆弱。信道传输差错将使得解码器失去与编码器的同 步，无法正确地对变长编码进行解码。现有的视频编码标准所采用的基于运动补偿的预 测编码技术使出现的差错迅速扩散，导致重建图像质量严重受损，甚至无法重建图像。 因此，为了减小或消除信道传输差错的影响，必须采取适当的技术措施来对抗信道传输 差错。为此，人们研究了各种误差恢复方法，而这些方法可分成三类：前向误差纠正、 后向处理错误掩盖和编解码器交互的错误掩盖。前向误差纠正是在传输比特流中增加一 些冗余信息，使得传输码流增强容错能力：后向处理错误掩盖是利用图像序列空间和时 间上的相关性来提高解码后的图像质量：编解码器交互的错误掩盖是用反馈信道改变编 码策略，以提高解码后的图像质量。 本论文以低比特率视频图像压缩标准h 2 6 3 为研究对象，提出了一种应用于h 2 6 3 视 频传输的差错复原方法，即基于h 2 6 3 视频编解码的差错掩蔽方法。在这种方法中，由 北京邮电大学硕士研究生论文 第一章绪论 于编码端的码流是固定的，不能改变编码器输出的码流，所以在解码器端，根据语义， 检测差错，并定位和重同步，利用视频信号在空间域和时间域上的相关性对受损的数据 进行自适应的误差掩蔽，并对解码后图像的显示做了优化。在文章中我们通过对传输 的码流进行测试，以证明这种方法的正确性。 1 2论文的主要内容 论文在第二章介绍了视频标准和编码所用的关键的技术和基本的算法，如d c t ， v l c ，运动补偿以及帧内帧间编码模式。 第三章对视频的码流格式做了介绍，并详细叙述了解码的过程以及流程，使得错 误检测，定位，重同步，和错误掩蔽的流程更清楚。 在第四章介绍了各种视频编码标准中视频抗误码的各种方案。这些抗误码方案大 部分是在新制定的标准或者原来的视频标准附加的条文中得到支持，是在编码端采取 的各种的措施，对原来视频码流的格式做了适当的修改，或者是对编码的图像采取不 同的措施。但是协作公司提供的课题环境是h 2 6 3 视频标准，编码器端是硬件实现， 不可改变的，所以，在实现抗误码方法的时候，这些方法只能作为进一步学习新标准 的基础，而需要在解码端制定适合当前码流的视频抗误码方案。即在现有的码流的基 础上，采取措施，达到抗误码的效果。 在第五章，讲述了针对标准的 l 2 6 3 码流，在解码端实现的错误检测，定位，重 同步和错误掩蔽。解码后的图像为y u v 数据，一般显示设备需要转换成r g b ，然后 再显示。但是转换后的r g b 显示过程，对c p u 的消耗很大，不适合协作公司的多路解 码显示。 第六章对解码后图像的显示做了优化，通过图像格式的转化，在现在显卡的支持 下，直接显示y u v 图像，使得c p u 的消耗达到了要求。 第七章，对实现的结果做了比较：将有错误的图像，没有经过抗误码和经过错误 掩蔽的结果做了比较，证明了这种抗误码方案的可行性。 北京邮电大学硕士研究生论文第二章视频标准和编码知识 2 1 引言 第二章视频标准和编码知识 图像压缩编码从1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，不仅在理 论研究上取得了重大的进步，而且在实际应用中也获得了很大的成果近十年来，图像编 码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就是多个关于静止图像编码 的国际标准的制定，即国际标准化组织i s o , 口国际电工委员会i e c 关于静止图像的编码 标准j p e g j p e g 2 0 0 0 ，关于活动图像的编码标准h 2 6 3 ，m p e g 一1 ，m p e g 一2 ，m p e g 一4 等 以及国际电信联盟i t u t 制定的视频编码标准h 2 6 l 系列这些标准采用的图像编码算 法融合了各种性能优良的图像编码方法，代表了目前图像编码的发展水平 2 2 h 2 6 3 简介 h 2 6 3 建议是由i t u t 第1 5 研究组提出的，它说明一种可应用于低比特率视听服 务中压缩动态图象的编码方法。它是在h 2 6 1 协议基础上提出的，对h 2 6 1 协议是兼 容的，它的速率范围是1 9 2 k b p s 2 m b p s 。h 2 6 3 建议采用一种结合了可减少时间冗余 的帧间预测和可减少空间冗余的残留信号编码的方法。而解码器具有运动补偿的能力， 并允许可选择的在编码器中增加这种技术。这里的运动补偿采用的是半象素精度，而 不是h 2 6 l 建议中的全象素精度和循环滤波器。而对待传送的符号采用了游程编码。 除了h 2 6 3 的核心编码算法之外，建议还有四个可选编码选项来改良性能。这四个选 项是： 1 无限制运动矢量模式： 在这个选项模式中，运动矢量被允许指到图片的外部。边缘象素被预测为“不存在” 象素。当有运动穿越图片的边界( 特别是在较小的图像格式中) ，采用这种模式的好处 是非常明显的。另外这种模式扩展了运动矢量的范围，所以可以使用更大的运动矢量。 这在移动相机时特别有用。 2 基于句法的算术编码模式： 在这种模式中算术编码代替了游程编码。这时的信噪比和重建图像仍和原来一样， 但最终的比特数可以得到显著的降低。 3 高级预测模式： 在这个选项中，对p 帧的亮度部分采用了块重叠运动补偿。这时对图片中的某些宏 块采用了4 个8 8 矢量来代替原来的1 个1 6 1 6 矢量。编码器必须决定使用哪一种 矢量。四个矢量会占用更多的比特数，但也会产生更好的预测效果。使用这种模式通 北京邮电大学硕士研究生论文第二章视频标准和编码知识 常会得到显著的改进。特别是人们对图像质量的主观评价会得到明显的改善，因为块 重叠运动补偿可以减小方块效应。 4 p b 帧模式： 一个p b 帧对两帧图像进行统一编码。p b 这个名字来源于h 2 6 2 建议中的p 帧和b 帧。因此，一个p b 帧包含一个由前面的解得的p 帧图像预测得出的p 帧和一个由f j 一 个p 帧和当前解码的p 帧共同预测得出的b 帧。b 帧的得名是由于b 帧的许多部分都 需要从前面的帧和将来的帧进行双向预测共同得到。使用这种模式可以在比特率增加 幅度很小的情况下大幅度增加帧频。 由上面对h 2 6 3 的介绍可以看出，h 2 6 3 建议利用序列在时间、空间上的相关性减 小图象中的冗余，降低了图象的传输码率。 图像格式： h _ 2 6 3 标准支持五种标准的图像格式：s u b q c i f , q c i f , c i f ，4 c i f 和1 6 c i k 如图表2 1 图像格式亮度象素数亮度行数色差象素数色差行数 s u b q c i f 1 2 89 66 44 8 q c i f1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 e l f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1 5 27 0 45 7 6 图表二一1h2 63 的五种图像格式 现以q c i f 图像格式为例，在图2 2 中说明了图像的结构：图像色差分量c b 和c r 的 抽样在水平和垂直方向分别是亮度分量抽样的1 2 ；输入图像序列的每一帧被分为多个 宏块( m b ) ，每个宏块包括四个亮度块( y ) 和两个色差块( 一个c b 块，一个c r 块) ，这些块都 是8 行8 列的；一定的宏块构成块组( g o b ) 或块片( s l i c e ) ，每帧图像g o b 个数由图像的 格式决定如图2 - 2 所示在q c i f 格式中，一个g o b 包括一个宏块行 2 3 编码模式 h2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧问编码 两个部分。i 帧内用改进的d c t 变换并量化，在帧间采用t 2 象素运动矢量预测补偿 技术，使运动补偿更加精确，量化后适用改进的变长编码表( v l c ) 的量化数据进行熵 编码，得到最终的编码系数。 2 3 1 帧编码模式 图象的帧频为3 0 帧秒件目邻帧由于其中的内容渐变丽具有很强的相关性，所以允许 北京邮电大学硕士研究生论文第二章视频标准和编码知识 每两帧图象中间最多可以有3 帧不传每次场景更换后，第一帧一定要传，所以要对第一 h - - 一1 7 6p e l s - - - - - l g o b l g o b 2 g o b 3 g o b 4 g o b 5 g o b 6 g o b 7 i 、 g o b 8 、 、 、 、 g o b 9 、 、 ，j 、 m b lb 国2m b 3搬j 4鼢5 l f i b 6 i 船7 缸b 8 f b 9m b l 0毋1 1 _ l8p e l s 二寸 ，、 图表二一2 图像的结构 帧进行帧内编码，所传的这帧被称为i 帧。帧内( i n t r a f r a m e ) 压缩也称为空间压缩 ( s p a t i a lc o m p r e s s i o n ) 。帧内压缩一般达不到很高的压缩比。由i 帧和本身经过预 _，l口oh，l- 北京邮电大学硕士研究生论文第二章视频标准和编码知识 测编码而得的帧称为p 帧形成p 帧的方法称为帧间编码采用帧间( i n t e r f r a m e ) 压 缩是基于许多视频或动画的连续前后两帧具有很大的相关性，即连续的视频其相邻帧 之间具有冗余信息，压缩相邻帧之间的冗余量就可以进一步提高压缩量。帧间压缩一 股是无损的。采用帧间，帧内编码的形式，可以减少连续图象的时闻上的相关性，实现在 时域和空域的数据压缩 i 帧编码过程： 每个图像亮度和色差平面被分成8 8 的块 各块使用d c t 转换成频率域 利用量化表进行量化 对各块中最重要系数序列( d c 系数) 用d p c m 技术进行编码，且仅编码两个相 邻d c 值的差 各块中的系数是按锯齿形次序进行行程编码 最后进行类哈夫曼编码 p 帧编码过程： 在基准帧中对每个宏块均查找其最佳匹配宏块 计算实际宏块和最佳匹配宏块的差，作为运动向量 误差项用d c t 进行转换 接着进行量化，形成“锯齿形次序”行程编码，最后进行类哈夫曼平均信息量 编码。注意量化表与i 帧所用的不同，d c 系数的编码与其他系数的编码方式 相同 2 3 2 帧内帧间判据 为了自动解决输入的宏块m b 采用帧内还是帧i n 编码，应该先找到判据，其方法 是先将前帧图象存储在帧存储器，后帧图象来临时，则比较前后两帧图象的相关性， 若相关性弱，则采用帧内编码，否则采用帧间编码，这里的判据是用于宏块m b 的。 设前帧宏块的亮度信号象素值用p ( x ，y ) 表示，后帧宏块的亮度象素值用c ( x ， y ) 表示，前帧宏块的亮度信号方差用代号v a r o r 表示，其值出下式决定： r1 6 1 6 - 1 2 挚挚p2 ( x 。1 | p ( x ，y ) l 毛萎；老l 妻1i v a r o r ：上生生一一l 芝型v 二l 一i 2 5 6 2 5 6 lj v a r o r 实际上反映了前帧图象的反差强弱。前后帧因时间差而引起象素差，用时 间预测变动v a r 表示，其值由下式决定： 6 北京邮电大学硕士研究生论文第二章视频标准和编码知识 蹦r ：薹差匿! 兰：兰! 二竺! 兰：兰! 1 2 5 6 此式就是前后帧对应象素之差的均方值。v a r 也说明前后帧象素值变动所导致的 平均能量变动。根据v a r o r 和v a r 的值，可以定出下述三条帧内，帧间编码模式的 判据： a ) 当v a r - 6 4 ，v a r o r _ v a r 时为帧间模式； c ) 当v a r 6 4 ，v a r 、r o r 时为帧内模式。 上述三条判据可以用下图2 - 3 表示，若是帧内编码，则对该宏块m b 进行d c t 变 换和量化等。若为帧问编码，则该宏块属于p 帧，则要进行运动估计等编码，若采取 不传，则该宏块属于b 帧。 2 4d c t 变换 64 图表二一3 帧内，帧间编码模式 如图2 - 4 ，编码的流程用d c t ，量化运动补偿技术对图像进行压缩。 帻间帧内标志 图表二一4h 2 63 视频编码器 编码流程中的d c t 变换，是当前都采用的离散余弦变换d c t ，它将2 维空间频域值， 1 北京邮电大学硕士研究生论文 第二章视频标准和编码知识 通常8 8 象素块作为基本变换单元变换公式如下： 地v ) 圳4 c ( v ) 墨弘力c 。睾c 。睾 x - - ov = u 7 7 f ( x , y ) = 1 4 x y y c ( u ) c ( , v ) f ( u , o 卸v = o 曩2 州 西2 州) ” v ) c o h l 6o 卜1 6 f 2 ) ( r 2 ) 式中，当u ，v = - - 0 时，c ( u ) ，c ( v ) = l 2 ；当u ，v 0 时，c ( u ) ，c ( v ) = 1 上述第一式将空域的8 8 象素值f ( x ，y ) 变换到频域，得8 8 频域系数f ( u ，v ) 第二式 将频域系数f ( u ，v ) 反变换回空域象素值f ( x ，y ) 第一式主要在编码器中使用，第二式主要 在解码器中使用d c t 变换能减小单帧图象在频域上的相关性，实现了频域上的数据压 缩 经过d c t 变换后的系数矩阵都有着明确的意义：u 代表水平象素频率分量号，v 代 表垂直象素频率分量号。如当u = o ，v = o 时，f ( o ，0 ) 是原6 4 个样值的平均，相当 于直流分量，随着u ，v 值增加，相应系数分别代表逐步增加的水平空间频率分量和垂 直空间频率分量的大小。 2 5 量化 在图中，量化器q ，即对频域系数( d c t 系数) 进行量化，通常f ( u ，v ) 数值较小，因此经量 化公式算得的q ( u ，v ) 有不少为零，这使传输位率降低对每一个宏块m b 有6 个8 8 方 块( 6 个亮度块和2 个色差块) ，量化步长q 均为相同值，此值由传输缓冲器的存储余量决 定，余量大则q 值取低，使输出q ( u ，v ) 值提高，同时传输位率也提高，若余量小则q 值提高， 使输出q ( u ，v ) 值降低，产生许多零，使传输位率降低 2 6 运动补偿 帧间运动补偿技术是消除时间冗余的最基本和最重要的方法。运动补偿实际上是对 活动图像进行压缩时所使用的一种帧间编码技术，其目的正是要将这种时域相关性尽 可能的去除。 消除或降低时间冗余度的帧间运动补偿压缩编码大致可以分为如下步骤： 帧间编码的基本思路如下图2 5 所示： 第一步是在相邻帧中估计运动物体的位移值，称为运动估值( m o t i o ne s t i m a t i o n ，m e ) 也称为位移估值( d i s p l a c e m e n te s t i m a t i o n ) ，运动预测等运动估值在于寻找运动信息即 运动矢量。 第二步是利用所得到的运动估值进行帧间预测编码，即运动补偿( m o t i o n c o m p e n s a t i o n , m c ) 运动补偿是预测信息如运动矢量，预测误差的编码 北京邮电大学硕士研究生论文第二章视频标准和编码知识 4 8 l a l g o l 冀、 溯 图表二一5 帧间编码图 硅a f i r e a n c n d e r 0 h 1 0 l l o 参考图像( r e f e r e n c ei m a g e ) 指前面( 己编码) 的图像 目标图像( t a r g e ti m a g e ) 指当前要编码的图像 这里用解码后的图像( d e c o d e di m a g e ) 作为参考图像，而不用原始图像 实现上述编码过程的关键是运动估值对于当前目标图像中的菜一宏块，在参考图 像中寻找与之最相似的宏块( b e s tm a t c h ) ，然后对他们的差值进行和帧内编码类似的 编码。这样做的好处是得到的差值矩阵比较小，编码需要的比特量也比较小。但是这 里还要传送最匹配宏块和当前编码宏块之间相对位置的信息，这里称为运动向量 ( m o t i o nv e c t o r ) 。 运动补偿编码的效率取决于运动估值质量好坏运动补偿技术的基 本思想是：由于画面上运动部分在帧与帧之间有连续性，也就是说，当前的图像画面可以 看作前面某一时刻图像帧画面的位移该位移的幅度和方向在图像画面的各处可能是 不同的，利用反映运动的信息和前面( 或后面) 某一时刻的图像，可以预测出当前图像帧 接下来详细描述运动补偿原理 2 6 1 运动补偿原理 活动图象的帧与帧之间不仅存在基于象素的线性相关性，例如图像背景不变仅是前 景改变，还在宏观上存在着很大的运动相关性，即后一帧图像总是前一帧图像经过平移 缩放旋转等各种运动得来的，如摄像镜头的晃动为了充分利用图像序列的运动信息_ 肖 除冗余，必须采用补偿技术，以提高视频的压缩效率 北京邮电大学硕士研究生论文 第二章视频标准和编码知识 h 2 6 x 和m p e g 标准都采用运动补偿法来作为帧问的编码方法运动补偿技术就是 在动态序列图像实时编码中运用信息以及象素的位移向量进行图像高效率编码的一种 方法它属于时间预测运动补偿的原理框图见图2 - 6 运动补偿技术通常包括如下过程： 1 ) 从图像中分割出运动目标 2 ) 对运动目标进行估计 3 ) 用位移估计进行补偿预测 4 1 对预测信息进行编码 图表二一6 运动补偿原理框图 其基本过程如图2 7 ，设在k 1 帧里中心点为( x l ，y 1 ) 的运动物体，在第k 帧移动到中 心点为( x l + d x y l + d y ) 的位置，如图所示，其位移向量d = ( d x ，d y ) 若直接求两帧间的差值， 由于第k 帧运动物体的中心点( x 1 + d x ，y l + d y ) 与第k 1 帧的对应点( 背景部分) 问相关性 极小所得差值幅度很大；同样第k 帧的( x 1 ，y 1 ) 点( 背景部分) 与第k 一1 帧的对应点( 运动 物体) 之差值幅度也很大但若能对运动物体的位移量进行运动补偿，即将第k 帧 ( x l + d x ，y 1 + d y ) 点运动物体移 n 至t j ( x l ，y 1 ) 点，再与第k 1 帧的对应点求差值，则会使相关 性增大，差值信号减小，从而提高压缩比为此，必须事先估测运动物体的位移量，亦即进 行运动位移估计 运动物体 图表二一7 运动物体的帧间位移 北京邮电大学硕士研究生论文第二章视频标准和编码知识 2 6 2 运动估计和运动矢量 所谓运动估计就是使用于帧间编码方式时，通过参考图象产生对被压缩图象的估 计在相继的序列图象中，运动估值应能够估计或预测出要编码的下一副图象的象素值， 再将需要压缩的当前图象的各象素减去其相应的估计值( 预测值) ，如果这个估计值良好 需传送的仅是一个极小的残留差值，这些差值代表了需要传输的信息 运动估计的准确程度对帧间编码的压缩效果非常重要如果估计做的好，那么被压 缩图象与估计图象相减后只留下很小的值用于传输，而无需传送任何新的信息估值( 预 测) 的目标是象素的帧间差值为零或接近于零运动估计以宏块为单位进行，计算被压缩 图象与参考图象的对应位置上的宏块间的位置偏移这种位置偏移是以运动向量来描 述的，一个运动向量代表水平和垂直两个方向上的位移运动估计时，p 帧和b 帧图象所 使瞬的参考帧图象是不同的p 帧图象用前面最近解码的i 帧或p 帧作参考图象，称为前 向预测；而b 帧图象使用两帧图象作为预测参考，称为双向预测，其中一个参考帧在显示 顺序上先于编码帧( 前向预o h , u ) ，另一帧在显示顺序上晚于编码帧( 后向预测) ，b 帧的参考 帧在任何情况下都是i 帧或p 帧，如图2 8 7，7 i。? 匕一奠7 ( a ) 前向预测 ( b ) 双向预测 一 多j 图表二一8 参考帧预测示意图 在帧内编码时，需要传输前后宏块m b 的差值，此差值是在前帧内，对应于后帧宏块 m b 位置的附近区域中，搜索最匹配的m b ，也就是寻找最相近的m b ，也可能找到完全相 同的m b ，这时差值为零，也就是不需要传m b 的差值数据，只需要传表示前后帧位置差 别的信号，即运动矢量m v ，其表达式如下所示： 1 61 6 m v ( h , v ) = m 。i 匹c ( x , y ) - c ( x + h ，+ v ) 1 ：f e 京邮电大学硕士研究生论文第二章视频标准和编码知识 式中m i n 表示搜索最小值，h ，v 表示水平和垂直方向搜索象素数这是在前后帧亮度 信号中的搜索上式中m v 0 a ，v ) 除了表示所找到的最小差值外，其中h 和v 表示前帧中匹 配宏块m b 的位置，即相对于后帧水平方向向右移动h 个象素，垂直方向向下移动v 个 象素，若为负值则相反上述操作称为运动估计，运动估计的目的是找到运动矢量 运动估值算法：在视频图象编码中，由于实时运算的要求，在目前所采用的运动估计 算法仅考虑物体运动在视频画面内的平动在图象编码领域目前使用的运动估计算法 有象素递归法，相位相关法，时空域约束法及块匹配法等多种算法，其中，块匹配法是最常 用的一种方法由于块匹配算法简单，实现容易，额外开销少，所以称为目前使用最多的运 动估计算法在活动视频图象编码的国际标准m p e g 一1 。m p e g 2 ，和h 2 6 3 中实际都采用 块匹配法做运动估计 块匹配算法通过对图象序列中两帧图象间子块的匹配来进行运动估值块匹配算 法中，图象被分割成子块，子块中的所有象素的运动矢量被认为是相同的由于复杂的运 动可以被近似的分解为组平移运动之和，所以块匹配算法采用的运动模型是假定图 象中的运动物体是由平移运动的刚体组成的平移运动模型 运动估值的目标是搜索位移矢量d ，从i ( r , t 一t ) 预测出i ( r t ) 位移矢量的搜索过程中 对当前帧中的待匹配块w 和参考帧的相应块进行匹配，寻找最小匹配误差 d = a r g m i n _ ，( ，f ) - i ( r d ，r 一f ) | l d e s r 。a 。w 。 上式中s 为搜索区域式中计算象素差值的范数常取平方范数忪【= x 2 或绝对值t l x l i = t x i 块匹配算法的精度通常为1 个象素，可以通过对图象的内插达到更高精度块匹配算法 最基本的搜索方法是全搜索( f u l ls e a r c h ) ) ： ( 1 ) 当前帧图象被分割为m n 个象素大小的矩形块( 称为子块，通常取m = n ) ，并假设位 于同一子块内的所有象素具有同样的位移，则对每一个子块只需计算一个运动矢量 ( m v ) 图表二一9 块匹配算法的几何结构 北京邮电大学硕士研究生论文 第二章视频标准和编码知识 ( 2 ) 每一个子块w 在参考帧内预先确定一个搜索区域s 内的所有位置上进行位移匹配 运算，如图2 - 9 所示 搜索窗大小s = ( m + 2 d m ) ( n + 2 d m ) ，其中d 为垂直和水平方向的最大位移，对每 一位移( i j ) ，一d i ，曼d ，在给定的匹配准则下，计算出相应的代价( 匹配) 值d ( i j ) ，而对 于d f i j ) 为最小( 或最大) 的( i j ) 给出了该块的位移矢量( i ，j ) 衡量块匹配法最佳匹配的准则有阻下几种： 1 ) 归一化二维互相关函数n c c f , 其数学表达式为： s ( 垅，门) 母( 用+ f ，门+ ) n c c f ( i ，) = 可可j 丛生1 再一 s 2m ，洲2 - s 2 沏+ ? ，z + 硝2 式中：s ，( m ， ) ，s ，( m + i ，n + ，) 分别表示当前帧( t a r g e tf r a m e ) 象素值和参考帧 ( r e f e r e n c ef r a m e ) 位移( i j ) 的象素值 2 ) 由于n c c f 准则运算量太大，j r j a i n 和a k j a i n 提出了一种简化的匹配准则一 均方误差准 j ( m s e ，m e a ne r r o r ) ，其表达式： 1 mn 2 m s e ( f ，力2 高荟擎( 旷趴斛咖 式中s ( 1 2 , m ) 为当前帧在( m n ) 处的象素值， s ，( m 十i h + j ) 为参考帧在( m + i ，n 叫) 处的象素值 m 和n 分别为图象尺寸， 3 ) 为进一步减小运算复杂度，t k o g a 等人提出了不用乘法和除法的匹配准则绝对 帧间差平均准贝j j ( m a d ，m e a no f a b s o l u t ef r a m ed i f f e r e n c e ) ，数学表达式为： 心d ( f 2 高薹善瞰删m ( 斛咖枷 式中符号的意义与m s e 相同 4 ) 绝对误差和准贝j j ( s a d ，s u mo f a b s o l u t ed i f f e r e n c e ) 数学表达式为： s a d ( i ，j ) = 晦( 垅，胛) 一s ，m + f ，门+ 朋 研究表明，各种准则性能差别不显著，而m a d 运算量最小，且便于硬件实现，所以应 用较多在块匹配算法中，比较费时的是搜索算法最细致的搜索方法是全搜索，即在搜索 区内逐点搜索，每搜索一点计算一次m a d ，当m a d 达到最小值时，求得最佳匹配块当 图象空i 可分辨率高，运动速度快，需大范围搜索时，其运算量是相当大的为了减少搜索次 北京邮电大学硕士研究生论文 第二章视频标准和编码知识 数，出现了多种快速搜索方法，如三步法，正交搜索法c s a ，共轭方向法c d s i 二维对数 法，2 d l o g 等这几种典型的快速搜索算法的性能均较好，大大简化了计算它们共同之处 在于它们把准则函数趋于极小的方向视为最小失真方向，并假定准则函数在偏离最小 失真方向时是单调增加的因此，这些快速搜索算法本质上都是梯度搜索法，所不同的是 搜索路径和步长有所区别 在前帧中通过运动矢量估计找到最匹配的m b 后，则需要传送前后帧匹配宏块间象 素差值矩阵a m b x y 如下式所示： 3 a 4 b x y = c ( 墨力一p ( x + h ，y + v ) 这里所讨论的实际上是如何传送p 帧，即预测帧，每一宏块的预测误差都需要经过 d c t 的量化等编码操作后再传输 在上述操作过程中，首先是由运动估计找到运动矢量，而后计算预测误差，这是帧问 编码中对p 帧编码的基本过程此操作过程可称为运动预测或运动补偿，即不传p 帧，只 传”预测信息”，或只传”补偿”信息事实上这些”预测误差”或”补偿”信息是远少于p 帧信 息的，这是利用了与临近全帧图象的相关性进行预测的结果，即补偿了只利用分块时间 相关性的不足h 2 6 3 建议利用序列在时间、空间上的相关性减小图象中的冗余，降低了 图象的传输码率 北京邮电大学硕士研究生论文 第三章h 2 6 3 码流和解码程序分折 第三章h 2 6 3 码流和解码程序分析 3 1 引言 每帧图像被分为许多块组( g o b ) 。一个块组由k 1 6 行组成。k 值由图像格式决 定。g o b 的编号方式是按对g o b 块由上而下的垂直扫描进行，最上的g o b 为0 号。 对宏块的编号是按从左到右的顺序对宏块进行水平扫描而得出的，从上面的宏块行开 始。对宏块数据的传送也是按宏块编号的顺序来进行的。块数据的传送则是按块编号 的顺序进行的。 3 2h 2 6 3 码流格式 h 2 6 3 帧结构见下图3 一l ，每帧图像分为四个层次，从上到下分别是图象层，块组层 宏块层和块层： 图象层 p s ct rp t y p e a p c n ；c p m 块组墅一一一一一一一一 g b t u fg b s c g ng s b ig f i dg q u a n t 一三三三三三三二三_ 一：二二 。、_ m a c r o b l o c kd a t a c o dm c b p cm o d bc b p b c b p yd q a u n tm v dm v d 2 ；m v d 3m v d 4m v d bb l o c k 图表三一1 视频层结构 n t r a o ct c o e f 图象层： 每帧图象的数据包含一个图象头，并紧跟着块组数据，最后是一个e n d o f - s e q u e n c e 码和填塞位p s b l 只有在被c p m 说明后才出现c p m ，t r b 和d b q u a n t 只有在p t y p e 指明了”p b 帧”才出现p s p a r e 和p e i 的组合不可以出现，e s t u f 只有在e o s 出现才可 以出现不要传送丢失帧的图象头对于c i f ，4 c i f , 1 6 c i f 格式，一个图象层有1 8 1 6 个 g o b s ，而q c i f 是9 1 6 个，s u b q c i f 是6 1 6 个g o b s 块组层： m ， 、 罢 莹一 差| 婶一 阳一 掣一 二 阻二 t 一 i 二 啪二 北京邮电大学硕士研究生论文第三章h 2 6 3 码流和解码程序分析 每个块组层( g o b ) 包含了一个g o b 头，紧跟着宏块数据每个g o b 包含了一行或多 行宏块s u b q c i f , q c i f 和c i f 中，包含一个宏块；4 c i f 有2 个宏块；1 6 c i f 有4 个宏块 对于每帧图像的第一个g o b ( 0 号) ，不需要传送g o b 头而对于其他的g o b ，g o b 头可 以为空这决定于编码策略译码器可以通过外部手段发送信号给远程编码器要求只传 送非空g o b 头，例如建议h 2 4 5 当g b s c 出现时，可能会出现g s t u f ；如果出现g b s c 则会出现g n ，g f i d