（信号与信息处理专业论文）基于信息嵌入技术的h264视频流抗误码方法研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 h 2 6 4 标准是由运动图像专家组m p e g 和i t u 下属的视频编码专家组v c e g 联合制 定的新一代高效视频压缩编码标准。它不仅具有优异的压缩性能，而且具有良好的网络亲 和性。它采用了参数集、数据分割、灵活宏块次序等抗误码技术，使得h 2 6 4 标准编码可 以获得更好的主客观质量。但是由于压缩后的码流对信道比特误码特别敏感，因此必须采 取进一步的错误恢复措施。 针对信道比特错误造成的误码，本文研究和改进了传统的基于信息嵌入技术的i 帧 误码恢复方法。在编码端，基于一种新的f m o 分片模式下进行重要数据的嵌入。在解码 端，重要数据首先被提取用于判断有无场景切换发生。如果没有场景切换，就用时域的误 码掩盖方案；如果有场景切换，空域内的自适应方案就会被用于掩盖，本文空域使用了两 种方案，分别是方向插值法和使用提取数据基于小块的双线性插值法。仿真结果表明：本 文提出的i 帧空域与时域结合的改进误码掩盖方案要优于文献中的掩盖方法，整体的峰值 信噪比有明显的提高。 关键词：抗误码方法；空域误码掩盖；时域误码掩盖；h 2 6 4 a v c ；信息嵌入 a b s t r a c t h 2 6 4 1 a v ci st h en e we f f i c i e n tv i d e oc o m p r e s s i o na n dc o d e cs t a n d a r ds p e c i f i e db ym p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) a n dv c e g ( v i d e oc o d i n ge x p e r tg r o u p ) w h i c hi s a n o r g a n i z a t i o nu n d e rt h el f u ( i n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 。 i tn o t o n l yh a s e x c e l l e n tc o m p r e s s i o np e r f o r m a n c e ，b u ta l s oh a sag o o dn e t w o r kc o m p a t i b i l i t y i tu s e st h ee r r o r r e s i l i e n tt e c h n i q u e s ，s u c ha sp a r a m e t e rs e t , d a t as e g m e n t a t i o n , f l e x i b l em a c r o b l o c ko r d e r i n g a n ds oo n h o w e v e r ，d u et oc o m p r e s s e dc o d i n gs t r e a ms e n s i t i v et oc h a n n e lb i te r r o rp a r t i c u l a r l y , i ti sn e c e s s a r yt ot a k ef u r t h e rm e a s u r e so fe r r o rr e s i l i e n t 。 f o re r r o r sc a u s e db yc h a n n e lb i te r r o rt h i sp a p e rs t u d i e da n di m p r o v e dt h et r a d i t i o n a l s c h e m e sb a s e do nd a t ae m b e d d i n gi nt h ei - f r a m ee r r o rr e s i l i e n tm e t h o d s 。i no r d e rt oi m p r o v et h e q u a l i t yo fr e c o n s t r u c t e di m a g ei nv i d e oc o m m u n i c a t i o n , a c c o r d i n gt ot h ef e a t u r e so f h 2 6 4 s t a n d a r d , t h i sp a p e rp r o p o s e sat e m p o r a la n ds p a t i a lc o m b i n e dif r a m e e r r o rc o n c e a l m e n ts c h e m e b a s e do nd a t ae m b e d d i n gt e c h n i q u e s i nt h ee n c o d e r t h ei m p o r t a n td a t ai se m b e d d e db a s e do na n e wf m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) m o d ei nh 2 6 4 i nt h ed e c o d e r , t h ei m p o r t a n td a t ai s f i r s t l ye x t r a c t e dt oe s t i m a t ew h e t h e r s c e n ec h a n g eo c c u r s i ft h e r ei sn os c e n ec h a n g e ，t e m p o r a l e r r o rc o n c e a l m e n ts c h e m ew i l lb eu s e d o t h e r w i s et h ea d a p t i v es p a t i a lc o n c e a l m e n ts c h e m e c o n s i s t e do fd i r e c t i o ni n t e r p o l a t i o na n db i l i n e a ri n t e r p o l a t i o nu s i n gt h ee x t r a c td a t aw i l lb eu s e d t h es i m u l a t i o nr e s u l t ss h o wt h a tc o m p a r e dw i t ht h es c h e m e so fl i t e r a t u r e st h i st e m p o r a la n d s p a t i a lc o m b i n e dc o n c e a l m e n ts c h e m ea c h i e v e ss i g n i f i c a n ti m p r o v e m e n to nif r a m e se r r o r r o b u s t n e s s ；o v e r a l lp e r f o r m a n c eo fp s n r i si m p r o v e ds i g n i f i c a n t l y k e y w o r d ：e r r o rr e s i l i e n c et e c h n i q u e s ；s p a t i a le r r o rc o n c e a l m e n t ； t e m p o r a le r r o rc o n c e a l m e n t ；h 2 6 4 a v c ；d a t ae m b e d d i n g l 重 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：毛笨丕区幺b 期：丝堡墅12 ) ) f 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：蚴师签名： 日期：壁呈：主丑 南京邮电大学硕士研究生学位论文 第一牵绪论 1 1 研究背景 第一章绪论 i n t e r n e t 在过去几年发展迅速，取得了巨大成就，并且未来也蕴涵着巨大潜力。但是 如何在p 网络上保证用户信息传输的质量是一个不容忽视静重要闯题。随着宽带网络豹 发展和用户需求的驱动，多媒体技术及其应用得到了越来越多的关注。多媒体应用尤其是 视频应用，相对于i n t e m e t 的传统应用如w w w 、e - m a i l 等，其对实时性要求更高，对带 宽的需求更大。基于i p 的视频应用分为三类：交互应用，如可视电话和视频会议；预编 码的视频流下载，基予p 的实时视频流；数字魄视广播。为满足这些应用的需求，必须 解决四个q o s 问题：吞吐量、传输时延、时延抖动、误码率。同时，由于视频应用中大 多采用了高压缩率的编码技术，其对传输误码的要求非常苛刻，而i n t e m e t 的本质是尽力 而为的网络，不提供传输的q o s 保证，因此提高视频应用对传输误码的抗千扰和恢复能 力一直是多媒体通信领域的研究热点。 视频通信系统通常由五部分组成：视频源编码、复用包封装，詹道编码、信道传输、 解复用解包信道解码和视频解码。由于以下原因视频通信中的错误恢复问题显得尤为重 要： ( 1 ) 由于在源编码器中采用了空间和时间预测编码以及可交长编码( v l c ) ，压缩的 视频流对传输中的错误特别敏感； ( 2 ) 视频源和网络环境通常是时变的，因此基于某些统计模型设计出一个“优化 的 解决方案是很困难的，甚至是不可能的； ( 3 ) 视频源码率通常很高，对于某些实时应用而言，编解码器不可能过于复杂。 而且，无线信道由于多径衰落和信道带宽限制等原因，视频压缩数据经过信道传输后， 图像恢复质量急剧下降。所以，如何在在无线信道中，因为多径衰落、时延等而造成的高 误码率情况下，有效地提高重构图像的质量，是迫切需要关注和研究的问题。 1 2 研究现状 传统上，抗误码的机制分为三类：在信源和信道编码器中引入冗余，使编码流对传输 错误具有更强的抗子扰能力：解码器根据错误检测的结果对错误进行隐藏；通过编码器、 南京邮电大学硕士研究生学位论文第一章绪论 传输信道和解码器之间进行交互，编码器根据检测到的错误信息调整自身的操作。撇开信 道编码，从编解码端考虑，抗误码技术就是利用视频信号的时域或空域相关性，对损坏或 者丢失的视频信号进行恢复的一种技术。 大体上说空域误码掩盖有平均像素权值法、方向插值法、双线性插值法等，时域误码 掩盖有边界邻域差值法、边界邻域搜索法、多参考帧时域误码掩盖算法等，除了空域和时 域误码掩盖外，还有利用相邻块的d c t 系数的相似性的频域误码掩盖法，最后还有结合 时域空域误码掩盖进行自适应的空时域误码掩盖方法。这些方法进一步提高了视频流在传 输中的错误恢复能力。 1 3 研究内容及结构 本文针对当前最新的h 2 6 4 视频编码标准在高误码网络环境中的应用，围绕新一代视频 网络通信的需求和所面临的难题展开了深入地分析和研究。其主要贡献是：结合传统的方 向插值法、双线性插值法和最佳邻域匹配算法的优点，提出一种基于信息嵌入的空时域误 码掩盖方法。以当前i 帧和上一帧的亮度的平均绝对误差值来判断场景运动是否剧烈，然后 自适应选择时域的最佳邻域匹配算法和空域的另两种算法。如果选择空域的方法，那么就 设定一个邻域边界的梯度方向最大角度差的阈值来自适应选择方向插值法和双线性插值 法。 实验表明，使用这种改进误码掩盖方案，视频序列的恢复质量取得了显著的效果。 论文结构安排如下： 第一章：介绍视频编码标准的发展，简要分析各标准的编解码框架。 第二章：视频编码标准简介和h 2 6 4 的相关技术。 第三章：介绍视频通信中的错误隐藏技术，总结了基于时域和空域的传统错误隐藏算 法，并分析比较了各类方法的优缺点。 第四章：详细叙述了本文基于信息嵌入技术应用于混合误码掩盖的基本思想。 第五章：总结本文的研究成果，并给出结论，提出进一步研究的方向。 2 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 第二章视频编码标准简介和h 2 6 4 的相关技术 2 1 视频编码标准简介 2 1 1m p e g 标准简述 m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 是19 9 8 年由国际标准化组织( i n t e r n a t i o n a l o r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ，i s o ) 矛i 国际电工委员会( i n t e r n a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n ，m e ) 联合成立的专家组，负责开发电视图像及声音数据的编码、解码和它 们的同步等标准。这个专家组开发的标准称为m p e g 标准。 m p e g 标准已经经历了几个阶段，原本这个委员会有三个工作团队组成，即m p e g 1 、 m p e g 2 和m p e g 3 ，分别将位速率放到1 5 、1o 、及4 0 m b i f f s ，但后来由于m p e g 2 足 以能提供m p e g 3 的位速率，因此m p e g 3 便被舍弃了。 m p e g 1 【l 】是为针对多目标视频压缩而设计的，它的应用范围包括交互式多媒体、 c d r o m 存储、v c d 等。它的输入信号一般为y ( 7 2 0 * 4 8 0 ) 、u v ( 3 6 0 * 4 8 0 ) ，是将 经过取样成s i f ( s o u r c ei n p u tf o r m a t ) 的格式：y ( 3 6 0 * 2 4 0 ) 、u v ( 1 8 0 1 2 0 ) ，然后再 做编码。 m p e g - 2 t l 】标准与m p e g 1 相容，也使用了i 、p 、b 帧，主要应用与d v d 、h d t v 等领域，在非可分等级的编码中，与m p e g 1 一样，m p e g 2 是以通用的混合d c t 和d p c m 编码为基础，加入了宏块结构、运动补偿和帧间预测的编码方式。m p e g 2 引进了一些新 的运动补偿场预测模式，以便有效地对场图像和帧图像加以编码，另外，m p e g 2 还引入 了更高的色信号取样模式。m p e g 1 中使用4 ：1 ：1 模式，即色差信号的取样无论在水平方 向，还是在垂直方向上都是亮度信号采样点数的1 2 。m p e g 2 除了4 ：2 ：0 外，还支持4 ：2 ：2 和4 ：4 ：4 模式，前者色差信号的采样点数在垂直方向上与亮度信号相同，只在水平方向上 是亮度信号的1 2 ；后者的色差信号的采样点数和亮度信号则完全相同。 m p e g 4 q 于1 9 9 8 年1 1 月公布，原预计1 9 9 9 年1 月投入使用的国际标准m p e g 4 不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。 m p e g 4 标准主要应用于视频电话( v i d e op h o n e ) ，视频电子邮件( v i d e oe m a i l ) 矛l 电子新闻 ( e l e c t r o n i cn e w s ) 等，其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i t s 之间，分辨率为1 7 6 x 1 4 4 。 m p e g 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求用最少的数据获得最 佳的图像质量。与m p e g 1 和m p e g 2 相比，m p e g 4 的特点是其更适于交互a v 服务以 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 及远程监控。m p e g - 4 是第一个使得用户由被动变为主动( 不再只是观看，允许你加入其 中，即有交互性) 的动态图像标准；它的另一个特点是其综合性。从根源上说，m p e g 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) ，但从设计目标上看它还有着更为 广泛的适应性和可扩展性。 它的优点是： 1 有着很高的压缩比，并且对画面质量影响很小。 2 错误处理的鲁棒性，有助于低比特率视频信号在高误码率环境( 如移动通信环境) 下的存储和传输。 3 基于内容的编码方式，便于操作控制。 m p e g 7 【l 】并不是一种压缩编码方法，而是一个多媒体内容描述接口。其目标是产生 一种描述多媒体信息的标准，并将该描述与所描述的内容相联系，以实现快速有效地检索。 只有首先解决了多媒体信息的规范化描述后，才能更好地实现信息定位。该标准不包括对 描述特征的自动提取。 m p e g 7 标准可以独立于其他m p e g 标准使用，但m p e g 4 中所定义的音频、视 频对象的描述适用于m p e g 7 。m p e g 7 的适用范围广泛，既可以应用于存储，也可以用 于流式应用，它还可以在实时或非实时的环境下应用。 m p e g 2 1 1 】是一个可互操作和高度自动化的框架，而且这个框架还考虑到了d r m ( d i g i t a lr i g h t sm a n a g e m e n t ) 的要求、对象化的多媒体接入以及使用不同网络和终端进行 传输等问题。m p e g 2 1 也可表述为：以一种高效、透明和可互操作的方式支持用户交换、 接入、使用并操作d i ( t h ed i g i t a li t e m ) 的技术。 2 1 2a v s 标准简述 a v s 是基于我国创新技术和部分公开技术的自主标准，a v s 标准包括系统、视频、 音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。 a v s 视频编解码的核心技术包括：8 x 8 整数变换、量化、帧内预测、1 4 精度像素插 值、特殊的帧间预测运动补偿、二维熵编码等。它是在h 2 6 4 的基础上发展起来的，吸收 了h 2 6 4 的精华，但为了绕过专利的困扰，又不得不放弃的一些核心算法。换来的代价就 是，编码效率稍微降低一点的情况下，复杂度极大的降低了。 a v s 是我国自主知识产权的标准，现在还没有大规模使用，处在起步阶段。大多数 企业处于观望状态，没有资金大量投入，面临重重困难，但是它的广阔前景是不容忽视的， 4 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 又有国家的大力支持，一定会发展的更加完美。 2 1 3h 2 6 x 标准简述 应用于电信网络的视频编码先后经历了i t u th 2 6 1 、h 2 6 2 ( m p e g 2 ) 、h 2 6 3 及其 改进h 2 6 3 + 和h 2 6 3 + + ，应用领域覆盖i s d n 、t 1 e 1 、p s t n 、移动无线网络及局域网等， h 2 6 x 系列标准正朝着网络适应性好、抗误码能力强、编码效率高的方向不断发展。 1 9 9 8 年，视频编码专家组( v c e g ) 开始了h 2 6 x 标准的研制工作，旨在使编码效率比 现有视频编码标准提高一倍以上。2 0 0 1 年1 2 月，视频编码专家组与运动图像专家组合作， 成立了联合视频小组( j v t ) ，开始致力于完成新的视频编码标准h 2 6 4 a v c ( i t u t 称之为 h 2 6 4 ，i s o 称之为a v c ) ，作为m p e g - 4 标准的第十部分。 h 2 6 1 1 2 1 又称为p 6 4 ，其中p 为6 4 k b i 以的取值范围，是1 到3 0 的可变参数，最初是 针对在i s d n 上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的 编码算法类似于m p e g 算法，但不能与m p e g 兼容。h 2 6 1 在实时编码时比m p e g 所占 用的c p u 运算量少的多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之 间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。 h 2 6 1 采用了一种公共中间格式( c i f ) ，不论何种彩色格式，发送方先把自己国家的 彩电制式转换成c i f 格式，经h 。2 6 1 编码后再由c i f 格式转换到接收方彩电制式。h 。2 6 1 编解码器框图如下： 图2 1 h 2 6 1 视频编码器框图 5 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 图2 2h 2 6 1 视频解码器框图 h 2 6 3 2 1 是国际电信联盟推出的码率低于6 4 k b i t s 的低码率视频压缩标准，它是一种集图 像帧间预测( 降低图像的时间冗余度) 和离散余弦变换( d c t ) 编码( 降低图像的空间冗余度) 于一体的混合编码结构的标准。具有较高的压缩比，适合于无线视频传输。采用的基本技 术包括：d c t 变换、运动补偿、量化、熵编码等，其核心是离散余弦变换加运动补偿 ( d c t + m c ) 。 h 2 6 3 将视频信号按帧序列图像进行分组，每组中包含3 种图像类型，即i 、p 、b 帧图 像。在标准中，i 、p 、b 几种图像的组织也很灵活，可根据具体的应用来组织。通常可按 下列格式来组织：每8 帧有一帧i 图像；两帧i 图像之间有一帧p 图像；i 帧图像与p 帧 图像之间有3 帧b 图像。下图可以看出这种组织形式。 图2 3 图像的组织 h 2 6 3 编解码器的结构如图2 4 ，2 5 ： 6 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 输7 l 、1 门d c t 厂 量化_ 1 运动纹理编码厂矧视频复用器l 入 j i d c t 图 像 序 列 回 i 预r v i + 开1 i 预l 预测厂- i 帧存储i 关 i l 。l i 坝铡3l 1 运动砉值一 形状编码 图2 4h 2 6 3 编码器结构图 图2 5h 2 6 3 解码器结构图 h 2 6 3 + 是h 2 6 3 的新版本，其宗旨是拓展应用范围，提高压缩效率。它可以支持各种 各样不同的图像信源格式，增加了多达1 2 种编码可选模式，如高级帧内编码、去方块效应、 参考帧选择、s n r 时空可分级性等。h 2 6 3 + + 是在h 2 6 3 + 的基础上增加t - - 个选项：1 ) 增强型的参考帧选择；2 ) 数据分片模式：3 ) 在码流内加入许多附加的信息。 为了不断提高编码效率和增强码流的抗误码能力，加拿大的u b c 大学向玎u t 提交 了h 2 6 l 的草案。该编码算法和h 2 6 3 相比，有以下不同之处： ( 1 ) 运动估计采用了几种不同大小的块； ( 2 ) 运动估计的精度可以到像素的精度； ( 3 ) 残余编码采用的块并采用整数变换； 7 南京邮电大学硕上研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 ( 4 ) 多参考帧选择用于预测，不再需要b 帧； ( 5 ) 只有一个v l c 表用于符号编码。 h 2 6 4 3 】标准是i t u t 的视频编码专家组和i s o i e c 的运动图像专家组组成的联合视频 组( t ，j o i n tv i d e ot e a m ) 开发的标准，也称为m p e g - 4p a r t1 0 ，又称a v c ( 高级视频 编码) 。在相同的重建图像质量下，h 2 6 4 l p , h 2 6 3 节约5 0 左右的码率。因为其具有更高 的压缩比、更好的i p 和无线网络信道的适应性，在数字视频通信和存储领域得到越来越广 泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是计算复杂度增加，据估计，编码的 计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。下图为h 2 6 4 标准 的编码结构图。 图2 6h 2 6 4 视频编码框图 h 2 6 4 的特点： 1 h 2 6 4 具有较强的抗误码特性，可适应在丢包率高、干扰严重的信道中传输。 2 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。 3 h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 4 h 2 6 4 的基本系统无需使用版权，具有开放的性质，能很好地适应i p 和无线网络的 使用，这对目前的因特网传输多媒体信息、移动网中传输宽带信息等都具有重要的意义。 关于h 2 6 4 标准的相关技术将在下一节进行详细介绍。 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 2 2 帧内预测编码 文献 3 】介绍了帧内预测编码的基本原理：利用相邻像素的相关性，依据已解码重建 的相邻块像素来实现对当前编码块的预测，并且对预测块和实际块的预测残差进行变换、 量化、熵编码，以消除图像在空间上的冗余。通常视频在空间相邻像素之间有很强的相关 性，存在大量的空间冗余，尤其在变换平缓的区域，由于相邻像素值相近，利用帧内预测 编码可以有效地提高编码效率。 2 2 14 4 亮度预测模式 该模式下，把1 6 x 1 6 宏块划分成1 6 个4 x 4 的子块，每个子块利用相邻的上方及左方 已编码重构的像素点来预测，4 x 4 亮度块的上方和左方像素位置分布如下图所示，a q 为已编码重构像素，用作编解码器中的预测参考像素。a p 为待预测像素。 efg h 图2 74 x 4 块中像素及相邻像素位置 根据预测方向的不同有9 种不同的预测模式，如下： 9 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 4 ( 下右对角线)5 ( 右垂直) 8 ( 上水平) 2 ( d c ) 6 ( 下水平) 图2 8 i n t r a 一4 x 4 帧内预测模式 7 ( 左垂直) 这9 种预测模式的描述： 模式o ：垂直预测，由上方相邻子块中的像素点a 、b 、c 、d 垂直推出相应的像素 值。 模式l ：水平预测，使用左方相邻子块中的像素点i 、j 、k 、l 水平推出相应像素值。 模式2 ：d c 预测，使用上方相邻子块中的像素点a 、b 、c 、d 和左方相邻子块中的 像素点i 、j 、k 、l 这8 个像素值的平均值推出所有像素值。 模式3 ：下左对角线预测，与模式0 成4 5 度角，使用相邻子块的像素点a 、b 、c 、 d 、e 、f 、g 、h 进行线性插值得出相应像素值。 模式4 ：下右对角线预测，与模式1 成4 5 度角，使用相邻子块的像素点a 、b 、c 、 d 、i 、j 、k 、l 、x 进行线性插值得出相应像素值。 模式5 ：右垂直预测，与模式0 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、 i 、j 、k 、l 、x 进行线性插值得出相应像素值。 模式6 ：下水平预测，与模式l 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、 i 、j 、k 、l 、x 进行线性插值得出相应像素值。 1 0 南京邮电大学硕七研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 模式7 ：左垂直，与模式0 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、e 、 f 、g 、h 进行线性插值得出相应像素值。 模式8 ：上水平预测，与模式1 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、 e 、f 、g 、h 进行线性插值得出相应像素值。 2 2 21 6 x1 6 亮度预测模型和8 x 8 色差块预测模型 1 6 x 1 6 亮度预测模型时，将整个亮度宏块看成一个整体来进行预测，有4 种预测模式， 分别是： 模式0 ：垂直预测，由上边像素推出相应像素值。 模式1 ：水平预测，由左边像素推出相应像素值。 模式2 ：d c 预测，由上边和左边像素平均值推出相应像素值。 模式3 ：平面预测，利用线形“p l a n e 函数及左、上像素推出相应的像素值( 在亮度 变化平缓区域效果好) 。 每个帧内编码宏块的8 8 色度成分由已编码左上方色差像素的预测得到，两种色差 成分常使用同一种预测模式。它也有四种预测模式，类似于帧内1 6 x 1 6 预测的4 种预测 模式，只是模式编号不同，即模式0 ( d c ) 、模式1 ( 水平) 、模式2 ( 垂直) 、模式3 ( 平 面) 。 2 3 帧间预测编码 帧间预测主要是利用连续图像序列之间的相关性，通过运动补偿预测编码方法来消除 视频图像的时间冗余。h 2 6 4 除了具有以前一些标准中的基本的p 帧、b 帧预测方法外，还 增加了许多新的功能：采用不同大小的预测块进行运动估计；采用1 4 ( 甚至1 8 ) 像素精度的 运动补偿算法；采用多参考帧进行帧间预测编码；采用去块效应滤波器消除由块预测误差 产生的块效应。这些新的功能在文献【4 】、 5 】、 6 】、【7 】都有详细的说明。 h 2 6 4 标准中对帧间预测时每个1 6 x 1 6 宏块又可分为8 1 6 、1 6 x 8 、8 8 、8 x 4 、4 x 8 、4 x 4 等更小的块进行变换编码。色度块大小为亮度块的1 4 ，每个宏块的编码顺序下图所示： 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 5 0123 4567 234 ol 6 o 1 7 01 23 45 6 7 891 01 1 1 21 31 41 5 01 23 图2 9 帧间编码中( 不同种类块) 运动补偿编码的块扫描顺序 因为采用了不同大小的块进行帧间预测，使得运动估计模型更接近物体的实际运动， 所以运动补偿更精确。 h 2 6 4 的运动估计可以达到1 4 甚至1 8 像素，它主要是通过插值来取得分数像素值。图 2 1 0 给出了整数像素点和分数像素点的分布示意图，图中大写字母a u 为整数像素点位置， a a 、b b 、c c 、d d 、e e 、i f , g g 、h h 及b 、h 、j 、s 、r n 为半像素点位置，a 、c 、d 、r l 、f 、i 、k 、 q 、e 、g 、p 、r 为1 4 像素点位置。其中1 ，2 像素预测值由一个抽头值为( 1 ，一5 ， 2 0 ，2 0 ，- 5 ， 1 ) 的6 抽头滤波器得到，l 4 像素预测值由相邻的整数像素和半像素值平均得到。 1 2 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 口口囚团回 口口 口口回回回口口 回 囡 固 回 回 回 口口 gab ch d ef g h l j km np qr m s n 田 园 回 团 囡 囵 因园团口口 口口团囤回 口口 图2 。l o 整数像素点与分数像素点的位置 具体采样插值方法如下： ( 1 ) l 4 像素亮度插值方法 半像素点b 预测值：由水平方向相邻的6 个整数像素点值利用6 抽头滤波器得到一个中 间临时值b l ，再由b l 得n b 的值。h 点则是由垂直方向的6 个整数像素点值得到中间临时值h i ， 再由h l 得n h 的值。 具体计算公式如下： b l = ( e 一5 f + 2 0 幸g + 2 0 幸h 一5 掌i + j )( 2 1 ) h 12 ( a 一5 木c + 2 0 幸g + 2 0 木m 一5 拿r + t ) ( 2 2 ) 最终b ，h 点值由下式获得： b - - m a x ( 0 ，m i n ( 2 5 5 ，( b 1 + 1 6 ) 3 2 ) ) ( 2 3 ) h - - m a x ( o ，m i n ( 2 5 5 ，( h 1 + 1 6 ) 3 2 ) )( 2 4 ) 半像素岗预测值：首先由水平或垂直方向的6 个相邻半像素点值由6 抽头滤波器得至l j j i 的值，再由j l 值得至l j j 的值。过程如下： j l = e c 一5 幸d d + 2 0 母h l + 2 0 n l ! 一5 幸e e + f f 或者( 2 5 ) j l = a a 一5 b b + 2 0 b l + 2 0 s l 5 g g + 1 1 l l( 2 6 ) 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 最终i 点值由下式获得： j = m a x ( 0 + m i n ( 5 1 2 ，0 1 + 1 6 ) 1 0 2 4 ) ) ( 2 7 ) 半像素点s 、m 点的值与b 、h e 似，即先得到中间值s l 、m 1 之后再计算得出。其中s 点值 由公式( 3 8 ) 获得，m 与s 类似可得。 s = m a x ( 0 ，m i n ( 2 5 5 ，( s l + 1 6 ) 3 2 ) ) ( 2 8 ) 四分之一像素点a 的值为a - - ( g + b + 1 ) 2 ，其它四分之一像素点类似。c 、d 、n 、f 、i 、k 、 q 分别由其水平或垂直方向上的相邻整像素或半像素点值按与a 点类似的方法获取，而四分 之一像素点e 值由e = ( b + h + 1 ) 2 得到，其它几个四分之一像素点g 、p 、r 的值由其对角方向相 邻的半像素点值按类似e 点的方式获得。 ( 2 ) 色度系数插值方法 图2 1 1 色度分数像素插值 图2 1 1 给出了色度整像素点a 、b 、c 、d 及其内部分数像素点的相对位置信息 该色度分数像素点值由公式2 9 得到： n = r m n d ( ( 8 一d x ) ( 8 一d y ) a + d x 8 一d y ) b + ( 8 一d x ) d y c 十d x d r d l 6 4 ) 2 4 整数变换和量化 2 。4 1 变换过程 ( 2 9 ) 目前大多数视频编码标准采用的都是基于变换的混合编码算法，即变换将在空间域内 把以像素值形式表示的图像信息变换到变换域中，以变换系数的形式加以表示。显然，如 果变换选择得当的话，所得的变换系数之间的相关性要明显小于原像素值之间的相关性， 1 4 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 从而达到去除图像冗余度的目的。变换后再根据人眼的视觉特性即人眼对低频信息较高频 信息更为敏感的特性以及低频系数含有大多数的图像信息的事实，可以对不同位置的变换 系数进行不同步长的量化，这样就可以进一步实现有效的数据压缩。h 2 6 4 相比于以前的视 频编码标准的一个重要区别就是用4 x 4 整数变换算法取代了传统d c t 变换编码算法。变换 具有将图像能量集中到某些系数的能力，一个能够把最多能量集中于最少系数的变换所产 生的重建误差是最小的。离散余弦变换是当前视频编码领域的核心技术之一，它是先对图 像进行分块，然后按块进行能量集中的方法，因为它的性能接近k l 变换，而且要简单易 于实现，具有高效的快速算法，易于硬件实现，因此被广泛的应用在j p e g 和m p e g 等图像 压缩算法中。d c t 实质是通过线性变换x = h x ，将一个n 维向量x 变换为变换系数向量x ， d c t 的变换核心矩阵的第k 行第n 列的元素定义为： h ( k ，2 ) ：c ( 后) c 。s ! 学】 凡一卵后= 居 q j 由于d c t 是线性正交变换，因此d c t 完全可逆且逆矩阵就是其转置矩阵。从上面变换 核心公式中元素形式可以看出，d c t 变换核中元素h ( k ，n ) 是无理数，这意味着在做d c t 变换时需要进行浮点运算。对于向量x ，做d c t 变换及其反变换后并不能够保证对于所有 的x ( n ) 反变换后的结果和变换前相等。因此利用有限精度的浮点d c t 去实现变换编码只能 是有损编码。这在一些特定的场合是不允许的，例如医学图像、遥感成像等。另外，在硬 件实现上，不同的处理器对浮点数和取整的定义不同也会造成结果偏差。先前的标准 m p e g 一1 ，m p e g 2 ，m p e g - 4 ，h 2 6 1 及h 。2 6 3 等都是采用8 x 8 的d c t 作为基本变换。其变换 与反变换格式为： 脚m p 萎n - ! 萎n - i ( v ) f ( x , y ) c o s 与芋炳 , i 一, z y 。+ 号u 、v z ( 2 1 1 ) l - 1 ，( 州) = c ( “p s 警 c o s ，( 2 工= 0v = o 厶j ￥ 厂( x ，少) = 艺窆c ( 甜) c ( v ) f ( 跏，v ) c 。s t 7 6 z x 主+ ，u 笋u z c 。s l 7 z “y 嘉+ u 、v ，r (212)u=0 v = 0 厂( x ，少) = c ( 甜) c ( v ) f ( 跏，v ) c o s ， c o s ， ( 2 -y- 式中：u ，v ，x ，y = 0 ，1 ，2 ，n 1 ；x 和y 代表像素的空间坐标，u 和v 代表变换域坐标。 因为图像是二维的，所以在图像压缩算法中理应使用二维d c t 变换，但是二维d c t 变换复 杂而且不易于实现，所以一般都使用一维d c t 变换，对图像的行和列分别进行d c t 变换， 取得和二维d c t 变换相近的结果。一维d c t 变换的基本概念是把n 维向量x 通过变换矩阵h 变换成新的n 维向量y ，它的公式如下： 南京邮电大学硕士研究生学位论文 第二章视频编码标准简介和h 2 6 4 的相关技术 m ，= 序m sc 号笋， 川，叱m ，= 击拈。 q 1 3 l 1k 0 写成矩阵的形式为y = h x ，其中变换核心是： 踯= 序c o s c 等m o ，； 删，州耻j 击粘。 ( 2 1 4 ) i lk 0 可以证明变换矩阵h 是正交的，但不是对称矩阵，根据h 正交性有h 一= h f ，所以反余弦 变换i d c t 也可以用矩阵形式表示为x _ h 一歹= h ，可以看出矩阵h 的元素不是有理数，对 子输入的整数图像数据来说经过d c t 变换后变成了无理数，这对于数字计算机来说是不利 的，因为即使直接使用d c t 变换再反变换，也不一定得到和原始数据精确相等的值，特别 是在位长比较低的情况下。这在m p e g 和h 2 6 3 等标准中有明显的体现，编码端和解码端数 据总是有所差别，m p e g 和h 2 6 3 等压缩算法在计算d c t 变换时，针对变换系数为无理数的 情况，通常都是把系数扩大一定的倍数，然后取整进行计算。h 2 6 4 继承了d c t 算法的优越 性，同时也进行了改进，它不再是把系数同时扩大一定的倍数，而是对系数进行取整，然 后再进行变换，这样会损失一定的能量集中性能，但实现起来较为简单。为了消除d c t 的 不利因素，h 2 6 4 中采用了最小的块为4 x 4 大小的整数变换算法，在文献 8 】中详细的阐述了 h 2 6 4 中变换方式，主要有3 种：4 x 4 残差变换，4 x 4 亮度直流系数变换( 1 6 1 6 帧内模式下) ， 2 x 2 色度直流系数变换。对于4 x 4 点的d c t 正向变换计算出的变换矩阵为： y = a x a = 量b c a a a斗a-b b c一61 一 一i cci ( 2 1 5 ) 这里口= 1 2 ，b = 况e o s ( n 8 ) ，c = 而e o s ( 3 n 8 ) 。在上式基础上经过处理，可得到h 2 6 4 的4 x 4 残差变换公式。其正向变换公式为： 1 6 1，j c 而6 叩 口 哪 嵋 口 - 一 6 c 叼而 口 口 口 口 南京邮电大学硕士研究生学位论文第二章视频编码标准简介和h 2 6 4 的相关技术 拦1 - 1 斗 i 2 11 l 111 - 2 l 因 1 - 1 - 12l i 1 - 21一li 2 口 a b 2 2 口 a b 2 其中a = 1 2 ，b ：历，d ：1 2 。其反向变换公式为： 】，= c f7 ( y 。e ，) c ， 1 1 2 f ， “-1 l 忖。 1 1 2 ，j l 其中a ：1 2 ，b ：压万。 口2 口6 口6 6 2 口2 动 口6 6 2 口2 口6 a b b 2 口2 口6 口6 6 2 幻2 6 2 4 曲2 6 2 4 2 口 a b 2 2 口 a b 2 口6 2 6 2 4 口6 2 6 2 4 ( 2 1 6 ) 。；2 兰亍 2j 2