（通信与信息系统专业论文）基于h264的运动估计算法的研究与优化.pdf

武汉理工大学硕士学位论文 摘要 h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压缩 编码标准。它的主要目标是改善编码效率和网络适应性。它集中了以往标准的 优点，并吸收了标准制定中积累的经验。在重建图像质量相同的情况下，h 2 6 4 比h 2 6 3 码率节约达5 0 。但是h 2 6 4 获得的高性能是通过增加计算复杂度获 得的，编码复杂度大约相当于h 2 6 3 的3 倍，解码复杂度相当于h 2 6 3 的2 倍。 运动估计的基本思想是先将每一帧图像都分成互不重叠的宏块，在参考帧特 定的搜索范围内，对每个宏块根据相应的匹配准则找出与当前块最相似的块， 即匹配块。运动估计得出的运动矢量越准确，得到的预测误差就越小，编码后 需要传输的信息就越少，整个系统的码率压缩比就越高。但是要获得准确度高 的运动估计值，就会带来较大的计算量，而计算量大不利于编码器的实时实现。 所以，可以在准确性与比特数之间作个折中的选择，即在运动估计准确度和计 算复杂度之间平衡的运动估计算法。宏块模式选择和运动估计技术是视频压缩 中的关键技术，并且决定了压缩编码的主要开销，大约占视频编码总量的5 0 以上，在很大程度上决定了视频压缩的效果。因此一种简便、快捷、高效的运 动估计算法成了视频编码领域所追求的目标。 本文首先简单介绍了h 2 6 4 视频编码标准和视频编码中的关键技术，重点介 绍了帧间宏块选择技术和运动估计技术的原理，详细分析了其中的关键技术及 实现方法，然后对这两个关键技术分别进行了优化和实现。在保证图像质量的 前提下，降低运算复杂度，缩短编码时间，提高编码效率。本文的创新主要集 中在一下几个方面： ( 1 ) 根据前后两帧视频图像内容的强烈时间相关性原理，绝大部分前后两 帧图像相同位置宏块所选择的模式相同或相近，根据帧间宏块只选择部分的模 式，减少部分不必要的计算的方法，提前确定待选宏块的模式，缩短宏块模式 选择的时间； ( 2 ) 对h 2 6 4 中的典型的运动估计算法u m h e x a g o n s 进行深入的研究，通 过对它的一些技术的分析，主要在初始点预测、静止块检测、提前终止、搜索 模式四个方面，并对其进行一些相应的改进，缩短了运动估计的时间，提高了 武汉理工大学硕士学位论文 编码效率。 最后，结合j m 8 6 模型对改进的算法的性能进行测试，验证其编码效果的优 越性。实验结果表明，本文的算法与原有的u m h e x a g o n s 相比，在编码图像质 量基本不改变的情况下，编码效率有显著的提高。 关键字：h 2 6 4 ，模式选择，运动估计，u m h e x a g o n s ，优化 i i 武汉理工大学硕士学位论文 a bs t r a c t h 2 6 4i san e wg e n e r a t i o ns t a n d a r do fv i d e oc o m p r e s se n c o d i n g ，p r o p o s e db y tc o n s t i t u t e do fi s o i e ca n di t u t - i t sm a i ng o a li st oi m p r o v ee f f i c i e n c ya n dn e t a d a p t a t i o n o fe n c o d i n g i nt e c h n o l o g i c a la s p e c t ，i ta b s o r b sa d v a n t a g e so fo t h e r s t a n d a r d sa n de x p e r i e n c ei nc o n s t r u c t i n gs t a n d a r d a sf o rt h es a m eq u a l i t yo f r e c o n s t r u c t i o no fi m a g e ，a b o u t5 0 e n c o d i n ge f f i c i e n c yi sg a i n e di nh 2 6 4 ，c o m p a r e d t oh 2 6 3 ，a te x p e n s eo fi n c r e a s eo fc o m p l e x i t y i ti se s t i m a t e dt h a tc o m p u t a t i o n a l c o m p l e x i t yo fh 2 6 4i sa sm u c ha s3t i m e st h a to f h 2 6 3i ne n c o d i n ga n da sm u c ha s 2t i m e si nd e c o d i n g t h ei d e ao fm o t i o ne s t i m a t i o ni st h a to n ei m a g ei sd i v i d e di n t on o n - o v e r l a p p e d b l o c k s ，w i t h i ns o m es e a r c h i n gr a n g et of i n dt h em o s ts i m i l a rb l o c kc a l l e dm a t c h e d b l o c ka c c o r d i n gt os o m em a t c h i n gc r i t e r i o n t h em o r ee x a c tm o t i o nv e c t o re s t i m a t e d ， t h eb e t t e rm o t i o nc o m p e n s a t i o n , t h e1 e s se s t i m a t i o ne r r o r s ，t h e1 e s sn e c e s s a r y t r a n s m i t t e di n f o r m a t i o n , t h eh i g h e rc o d ec o m p r e s sr a t i o t og a i nm o r ee x a c tm o t i o n e s t i m a t i o n , m o r ec o m p u t a t i o ni sn e e d e d ，s oi ti sd i f f i c u l tt or e a l i z ei ti nr e a l - t i m e s o i ti sc o m m o nt om a k ec o n t r a c t i o nb e t w e e na c c u r a c ya n dc o d ec o m p r e s sr a t i o t h ek e y o fv i d e oc o m p r e s sl i e si nb l o c km o d es e l e c t i o ns t r a t e g ya n dm o t i o ne s t i m a t i o n ，s i n c e i t i st h em a i nc o m p u t a t i o n a lb u r d e n , m o r et h a n5 0 o ft h et o t a l ，a n di ta l s o d e t e r m i n e st h ef m a le f f e c to fc o m p r e s s s oh o wt of i n do n es i m p l e ，f a s ta n de f f e c t i v e m o t i o ne s t i m a t i o na l g o r i t h mh a sb e e nc e n t e r e di nt h ev i d e oe n c o d i n ga r e a t h i sp a p e rf i r s ti n t r o d u c e sk e yt e c h n i q u e si nv i d e oe n c o d i n ga n dh 2 6 4v i d e o e n c o d i n gs t a n d a r d t h ef o c u s i so nt h ep r i n c i p l e so fi n t r ab l o c ks e a r c h i n gs t r a t e g ya n d m o t i o ne s t i m a t i o n ，t h ek e yt e c h n i q u ea n di m p l e m e n t a t i o ni sa n a l y z e di nd e t a i l sa n d f u r t h e ro p t i m i z a t i o na n dr e a l i z a t i o no ft h e s et w ok e yt e c h n i q u e si sa c c o m p l i s h e d f o r t h es a m ei m a g eq u a l i t y , l e s sc o m p u t a t i o na n dt i m ei sa c h i e v e d g e n e r a l l ys p e a k i n g ， t h em a i ni n n o v a t i o n sf o c u so nt h ef o l l o w i n ga s p e c t s ： 、 ( 1 ) t h e r ei ss t r o n gc o n t e n tr e l a t i v i t yb e t w e e nt w os e q u e n t i a li m a g e s ，t h a ti st o s a y , i nm o s tt i m e t h em o s ts i m i l a rb l o c k o ft h en e x ti m a g ef o rt h ef o r m e ri m a g el i e s i i i 武汉理工大学硕士学位论文 i nt h es a m eo rs i m i l a rp o s i t i o no ft h eb l o c ki nt h ef o r m e ri m a g e s op a r t i a lb l o c k sa r e c h o s e nf o ri n t r ab l o c km a t c h i n g ，a n du n n e c e s s a r yc o m p u t a t i o ni sc u ta n dc a n d i d a t e b l o c km o d e si sn a r r o w e di na d v a n c e ，a c h i e v i n gt h er e d u c t i o no ft i m ei nb l o c k s e l e c t i o ns t a g e ( 2 ) m a k ed e e pr e s e a r c ho nt y p i c a lb l o c km a t c h i n ga n dm o t i o n e s t i m a t i o n a l g o r i t h m i nh 2 6 4 - - u m h x a g o n s t h r o u g hs o m e t e c h n i c a l a n a l y s i s o n u m h e x a g o n s ，m a i n l yf o c u s i n go nf o u ra s p e c t s ：i n i t i a lb l o c kp r e d i c t i o n ，s t a t i cb l o c k d e t e c t i o n , p a u s ei na d v a n c ea n ds e a r c h i n gm o d e ，s o m ec o r r e s p o n d i n gm o d i f i c a t i o n s a r em a d eo nt h e s ef o u ra s p e c t s ，t or e d u c em o t i o ne s t i m a t i o nt i m ea n di m p r o v e e n c o d i n ge f f i c i e n c y f i n a l l y , e x p e r i m e n t so np e r f o r m a n c eo fi m p r o v e da l g o r i t h mw i t hj m 8 6m o d e l p r o v et h ea d v a n t a g e so ft h ee n c o d i n ge f f e c t s e x p e r i m e n t s s h o wt h a tw i t hl i t t l e c h a n g e so ni m a g eq u a l i t y , c o d ee f f i c i e n c yo f t h i sn e wa l g o r i t h mh a si m p r o v e dg r e a t l y , c o m p a r e dt of o r m e ru m h e x a g o n s k e yw o r d s ：h 2 6 4 ，m o d es e l e c t i o n , m o t i o ne s t i m a t i o n , u m h e x a g o n s ，o p t i m i z a t i o n i v 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：典日期：奄挫监 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签鼽江妖导师( 签鼽渤日期叩胁f 武汉理工大学硕士学位论文 第1 章绪论 1 1 研究背景、目的及意义 随着计算机、数字通信和网络技术等各种数字化技术的发展，信息数字化 几乎遍布生活的各个方面，改变了人们的生活和工作方式。而迅速发展的信息 技术是以多媒体和网络为依托的，其中视频以其直观性和生动性的特点在多媒 体通信中占有重要地位。无论是在数字高清电视，还是视频会议、远程教育医 疗等领域，视频信息的应用都十分广泛。 数字化后的多媒体信息具有易于加密、抗干扰能力强、可再生中继等优点， 但同时也伴随大量数据的产生，从而成为人们获取和使用信息的主要困难。在 许多应用领域，如视频会议系统、h d t v 及视频监控系统等都需要先进的压缩 技术，以实现对大量数据的实时传输和数字存储i l 】，如n t s c 制式的电视图像以 6 4 0 4 8 0 的分辨率、2 4 b i t s 像素、每秒3 0 帧图像传输时，其数据传输率达2 8 m b i t ， 1 分钟的未经过压缩的视频图像的容量达到近1 7 g b i t 。换句话说，当视频图像 不经过压缩时，2 分半钟的电视节目就能占用一张d v d 光盘，所以如何存储和 传输巨大的视频信息成为主要问题。 所以，相比增加信道带宽和扩大存储容量，更好的解决办法是对视频进行压 缩，通过有效的视频压缩技术将视频数据大幅度的减少，降低存储和传输的量。 1 2 当前研究情况 制定视频编码标准的国际组织主要有i t u t 与i s o i e c 两个，它们制定的 标准也各不相同，其中i t u t 制定的标准有h 2 6 1 、h 2 6 3 、h 2 6 4 等，主要应 用于实时视频通信领域；i s o i e c 的标准是m p e g 系列，主要应用于视频存储、 广播电视、因特网或无线网上的流媒体等。同时两个组织也根据需要共同制定 了一些标准，最具代表性的就是最新的1 4 2 6 4 标准就是m p e g 4 的第1 0 部分。 h 2 6 4 具有较强的抗误码性，能够获得较高的图像质量，并且能适应不同的 网络，网络亲和性好【2 】。h 2 6 4 的基本档的使用不涉及版权，这对在目前的i n t e m e t 中传输多媒体信息具有重要的意义。 武汉理工大学硕士学位论文 在重建图像质量相同的情况下，h 2 6 4 比h 2 6 3 节约达5 0 的码率。而h 2 6 4 取得高性能的代价是计算复杂度增加，编码的计算复杂度大约达到h 2 6 3 的3 倍，而解码复杂度达到h 2 6 3 的2 倍1 3 。宏块模式选择和运动估计技术是视频压 缩中的关键技术，宏块模式选择是将活动图像的每个宏块根据运动的剧烈程度 分成不同大小的亚宏块，而运动估计则是在这基础之上，以每次模式选择的最 佳模块为单位，设法检测出每个模块在参考帧图像中的位置的过程，它是压缩 编码的主要开销，占视频编码计算总量的5 0 以上，是视频压缩效果的关键。 因此寻找一种简便、高效的运动估计算法成了视频编码领域的重点。 h 2 6 4 的应用范围是非常广泛的，它优异的性能因而可以在很多应用中使 用，目前主要实现在以下领域：基于电缆、卫星、m o d e m 等的广播：视频在光 碟上的存储；基于i s d n 、以太网、无线及移动网络的各种服务等。除了以上的 介绍，还将会涌现出更多新的基于h 2 6 4 的平台的应用。在已经开通的3 g 市 场上，h 2 6 4 已经开始发挥它的优势，视频通讯带给了人们更为直观的交流方式。 本文主要对h 2 6 4 标准的宏块模式选择和运动估计两个关键编码技术进行 了研究、分析，对其中某些算法进行了改进，并且在最后用实验验证了改进算 法的好坏。目的是在保证压缩视频质量的基础上加快编码速度，以便于人们及 时的进行存储、传输和享受高质量的视频节目。 1 3 研究内容 本文主要研究了h 2 6 4 标准及其协议，并对其中的模式选择和运动估计技术 进行重点分析，提出了改进的快速模式选择和运动估计算法。通过与经典算法 比较，改进后的算法显著提高搜索速度，减少了搜索点数，而p s n r 值基本保 持不变。将改进后的算法加入到运动估计优化方案中，利用h 2 6 4 标准测试软件 j m 8 6 模型，在v c 6 0 开发平台上实现，并对优化结果进行了详细分析。 本文研究内容主要分为以下四个方面。 第一，对帧内预测编码多种块模式选择算法进行改进。通过对h 2 6 4 视频编 码中的多模式预测编码技术的研究，利用块模式时间相关性和与前一帧模式相 近的方法来改进帧间宏块编码模式选择算法，减少判断的预测模式类型，从而 提高编码效率。 第二，对运动估计算法进行改进。结合h 2 6 4 标准中的一些拓展技术，对 u m h e x a g o n s 快速运动估计算法进行改进。使之在保证图像质量的情况下，减 2 武汉理工大学硕士学位论文 少块匹配搜索的点数，缩短编码时间，提高编码的效率。 第三，综合上面的两项研究内容，在它们的基础上提出一种新的快速运动 估计算法。通过减少搜索宏块模式的种类、块匹配搜索点数，实现预测图像的 匹配，提高搜索速度。 第四，在h 2 6 4 性能测试软件所推荐采用的标准模型j m 8 6 1 4 ( j o i n tm o d e l ) 平台上进行对比实验，从而分析论证本文所提出的新算法的性能优劣，验证算 法的正确性。 1 4 工作安排 本论文的结构安排同所做的工作相对应，论文各章的安排如下： 第1 章绪论，主要介绍了论文的研究背景、现状、目的及意义，研究主要 内容和论文工作安排。 第2 章主要介绍了h 2 6 4 视频标准编码技术的一些基础知识。对视频压缩编 码的概念、基本技术等作了大概介绍。 第3 章主要研究了帧间模式选择技术。首先，对帧间预测编码模式进行了 研究和算法上的改进；其次，对改进后的算法与原算法进行了比较，并对结果 进行了分析。 第4 章主要研究了典型的u m h e x a g o n s 运动估计技术并对其进行了相应的 改进。主要介绍了运动估计算法的基本原理和u m h e x a g o n s 运动估计算法，并 且在在u m h e x a g o n s 基础上，分别从静止块检测，初始搜索点的选择，提前中 止和搜索模式改进四个方面对该技术进行了研究和算法上的改进，并对其结果 进行分析。综合了第3 章算法设计了一种支持帧间快速模式选择、新的 u m h e x a g o n s 快速运动估计算法，并对该算法进行了分析和论证。 最后，总结了本文的工作并展望了未来的研究方向。 1 5 本章小结 本章主要介绍了本篇论文的研究背景、当前研究情况、研究内容和工作安 排，对该论文题目产生的背景作了大概的介绍，并介绍了本论文的主要内容及 各章节的大概分布，可以使得读者通过阅读本章节从而对全文有个大概的了解。 武汉理工大学硕士学位论文 第2 章视频图像处理原理 2 1 图像压缩基本原理 由于数字化后的电视信号码率太高，必须先对数据进行压缩编码，减少一 定的码率，然后再进行存储和传输【5 j 。压缩编码就是要失真在人眼不能察觉的程 度下，使用尽可能简单而且有效的方法，减少码率。因此，图像处理的重要内 容之一就是图像的编码压缩图像编码。而图像数据的压缩基于以下两点： ( 1 ) 原始图像的信息中存在有很大的冗余度，并且数据之间都是具有相关 性的，比如相邻像素之间色彩的相关性等。 ( 2 ) 由于人眼是图像信息的接收端。因此，可利用人的视觉对于快速变化 的物体不敏感，而对亮度变化更为敏感的特性，从而实现更高的压缩比，而解 压缩后的图像信号在主观评价方面仍有着很满意的效果。 因此发展出两种数据压缩的基本方法：一种对于相同的或相似的数据或数 据特征，只需要使用少量的数据量对原始数据进行描述，从而减少数据量。第 二种方法就是有根据人眼的视觉特性对一些不需要的数据进行简化，以减少总 的数据量。这种压缩只要损失的数据不太影响人眼主观接收的效果就可以。 2 2 图像视频编码标准 制定视频编码标准的国际组织主要有i t u t 与i s o i e c 两个，它们制定的 标准也各不相同，其中i t u - t 制定的标准有h 2 6 1 、h 2 6 3 、h 2 6 4 等，主要应 用于实时视频通信领域；i s o i e c 的标准是m p e g 系列，主要应用于视频存储、 广播电视、因特网或无线网上的流媒体等。同时两个组织也根据需要共同制定 了一些标准，最具代表性的就是最新的h 2 6 4 标准就是m p e g - 4 的第1 0 部分。 2 2 1m p e g 标准 致力于制定运动图像编码的组织运动图像专家组m p e g 6 l ( m o v i n gp i c t u r e e x p e r t sg r o u p ) 于1 9 8 8 年由国际标准化组织i s o i e c 成立。运动图像专家组于 4 武汉理工大学硕士学位论文 1 9 9 2 年正式推出了m p e g 1 标准草案，并在1 9 9 3 年获得正式通过。但是最近几 年，由于多媒体技术、数字电视技术以及多媒体通信等技术的迅猛发展，m p e g 1 已不能满足要求，所以i s o i e c 在1 9 9 4 年又根据需要推出了m p e g 2 标准。该 标准分为系统、视频和音频三大部分。以后又针对不同应用推出了m p e g 4 、 m p e g 7 等多种标准。 m p e g 1 视频的目标是将格式为3 5 2 2 8 8 2 5 或3 5 2 2 4 0 3 0 的电视图像 和伴音进行压缩，达到速率大约为1 5 m b p s 的编码，主要采用d c t 变换技术和 运动补偿技术来对图像进行压缩，压缩比最大可以达到2 0 0 ：1 。 m p e g - 2 标准的目标是将广播级视频图像进行压缩，并且达到传输速率为 3 1 5 m b p s 。它广泛运用于高清电视h d t v 、d v d 和数字电视广播等领域。 m p e g - 4 标准主要是在低比特率下的多媒体通信所支持的协议，采用人工智 能和音像合成技术，以极高的压缩率实现画面精确再现。 2 2 2h 2 6 x 标准 h 2 6 x t 7 】标准是运动图像编码标准，主要包括自己单独制定的h 2 6 1 、h 2 6 3 、 h 2 6 3 + + 标准和与m p e g 组织共同制定的h 2 6 2 和h 2 6 4 标准，并且他们都在各 自的领域发挥着重要的作用。 h 2 6 1 是i t u - t 为在综合业务数字网( i s d n ) 上开展双向声像业务而制定的， 速率为6 4 k b s 的整数倍，它是最早的运动图像压缩标准，详细制定了视频编码 的各个部分，并且只能对c i f 和q c i f 两种格式的图像进行处理。 最早用于低码率视频编码的i t u t 标准是h 2 6 3 ，随后出现的第二版饵2 6 3 + ) 和h 2 6 3 + + 增加了许多选项，增加了其适用性。h 2 6 3 在低于6 4 k b s 的窄带通信 信道下适用，它是在h 2 6 1 基础上发展起来的。h 2 6 3 与h 2 6 1 相比增加了半像 素的运动补偿，和4 种有效的压缩编码模式。 h 2 6 4 是由i s o i e c 与i t u t 两大国际标准组织共同制定的。2 0 0 1 年，两 大组织都意识到h 2 6 l 潜在的优势，于是就联合组建了联合视频组( j v a 3 ，并且 最终形成了h 2 6 4 协议。 联合视频组所制定的协议在i s o i e c 组织中称为a v c ( a d v a n c e dv i d e o c o d i n g ) ，作为m p e g 4 标准的第l o 个选项，在i t u t 中则命名为h 2 6 4 标准。 武汉理工大学硕士学位论文 2 3h 2 6 4 的基本原理 h 2 6 4 标准压缩系统【8 9 】由视频编码层和网络提取层两部分组成。视频编码 层中包括编码器和解码器，主要是实现编解码压缩后的视频数据。网络提取层 则主要为视频编码层提供一个与网络无关的统一接口，封装打包后的视频数据 主要是通过这一层后在网络中传送。 h 2 6 4 的主要目标是改善编码效率和网络适应性。编码效率的改进主要来自 预测部分。另外，不像以前的标准，预测有帧间预n t l 0 】和帧内预测【1 1 】两部分。 在运动估计找不到较好的匹配时，帧内预测依然可以减少残差。h 2 6 4 能在所有 码率下工作。 h 2 6 4 标准没有定义一个编码器，而只是定义了编码后的比特流格式和解码 的方式【8 , 9 1 。但在实际中，一个编码器通常要经过如图2 1 所示的各个功能块。 该编码器框图主要有两个数据通道，一个前向通道和一个重建反馈通道。 、 厂 ! 厂 兰r l i户1 婴 j 。 一d 、p 砸盟卜 l冈：i歹、乜f 习f 图2 1h 2 6 4 编码器框图 从图2 1 编码器框图可以看出，h 2 6 4 依然按照传统的基于块加运动补偿混 合编码方案，但在各个环节中都使用了很多先进的技术，使得h 2 6 4 性能上有很 大的提高。 2 4h 2 6 4 基本技术 h 2 6 4 的基本算法是通过帧间预测和运动补偿【1 刁方法来消除时间冗余，经过 变换编码消除频域冗余。h 2 6 4 采用了帧内预测、帧间预测、整数变化、量化、 运动估计、运动补偿、分块滤波和熵编码等新技术，本节将介绍h 2 6 4 编码器所 采用的一些关键技术。( 其中对于运动估计和运动补偿技术，将在第四章中介绍。) 武汉理工大学硕士学位论文 2 4 1 帧内预测 帧内编码是指只利用视频图像内的空间冗余来编码，采用该编码方法得到 的图像帧称为i 帧【l3 1 。在帧内预测模式中，h 2 6 4 支持i n t r a4 x 4 、i n t r a1 6 x1 6 和ip c m 三种预测模式，主要在4 x 4 子块和1 6 1 6 宏块进行操作。4 4 亮度 子块有9 种预测模式( 如图2 4 所示) ，独立预测每一个4 x 4 子块，适用于运动 复杂区域的图像编码；1 6 1 6 亮度块存在4 种预测模式( 如图2 - 6 所示) ，预测 整个1 6 x1 6 亮度块，适用于平滑区域的图像编码；色度块也有4 种预测模式， 与1 6 1 6 亮度块预测模式相似。所以h 2 6 4 帧内预测一共包括9 种4 x 4 亮度块 的预测、4 种1 6 x1 6 亮度块的预测和4 种色度块的预测。 如图2 2 所示，4 x 4 的亮度块的1 6 个像素点是通过它们相邻的像素点a 小i 预测的，这些相邻的像素点a m 都是经过编解码重建的。图2 3 表示了4 4 亮度块在不同预测模式下的各种预测方向。图2 - 4 所示的是4 x 4 亮度块的9 种 模式的预测方向，每种模式都有相应的计算方法相对应。 ma bcd efg h abc d e f g h l j k1 mn0 p 图2 24 x 4 的亮度块及预测所用到的相邻像素 心钐 刁n 4 8 l 6 图2 - 34 x 4 亮度块帧内预测的方向 7 0 ( 垂直)i ( 水平)2 ( d c ) ma bcdefgh i ：“+ j j鉴 k 。 一l 点。e 1 嘻1 琵 3 ( 下左对角线) ma b cde f g h i 琵 - 一 j _ _ k _ _ 一 l 6 ( 下水平) m b c defgh i 静 j i 壶h i 蠢警盆 _ - 一 x _ _ 一 lma b d e f gh， i ， 一 蟹? 0 _ 咖， 套 - 砒；。一。 4 ( 下右对角线) ma bc defgh i 图 _ _ j _ _ k _ _ 一 l 7 ( 左垂直) ma b c defg h i 黝 _ j _ 一 k 一 l ma bc def gh i ，域 - 一 j i ：、器，囊 _ 一 。2 ，i l ) ：， k _ - 一 繇磊巍g 旒l 5 ( 右垂直) ma bc defg h i 忒 _ j _ _ k _ _ l 8 ( 上水平) ma bc de f o h i 旋幺旃 - _ j _ k _ l 图2 - 44 x 4 亮度块帧内预测示意图 在计算完预测块之后，编码器就可以得到最佳预测模式 内预测模式是十分接近的，如图2 5 所示，已编码的4 x 4 块 。由于 a 、b 相 分 前快c 的正上方和左侧，所以可以得出c 的预测模式和a 、b 的预测 近的，并且c 的最可能的预测模式m o s t p r o b a b l e m o d e 可以从a 、b 中 a b c 图2 5 当前4 x 4 亮度块与相邻块 邻块的帧 别位于当 模式是相 得出。 当前块c 的最佳预测模式b e s t m o d e 由如下公式( 2 1 ) 决定，代价c o s t 最小的 模式为当前块最佳预测模式。 c o s t = 黝d + ，l a m d a ( q p 1 6 x1 6 亮度块的预测块也是取决于相邻的重建像素，4 种 ( 2 - 1 ) 预测方向如图2 - 6 武汉理工大学硕士学位论文 所示，同4 4 块一样，通过寻找代价最小预测模式，从而得到最佳的预测模式。 1 6 1 6 的亮度块的预测对细节较少的区域比较有效。 0 ( v e r t i c a l ) 2 4 2 帧间预测 h 罗5 _ 爷；镄鹗 静，喇凑 v爹一m e a n ( i i + v ) 黧 冀 鬻 戮盘锚魏赢1 磊；瀚 图2 - 61 6 1 6 亮度块帧内预测的方向 帧间预测是利用已编码视频帧场的预测模式【1 4 】，该预测模式的参考块是在 参考帧图像的相同位置时间上平移获得的，即运动预测补偿。与以往的视频标 准主要不同在于：预测块的大小可变范围大，并且采用了1 4 像素搜索。 在h 2 6 4 的运动预测中，一个宏块 m ) 被分为大小不同的子块，形成7 种 不同块尺寸的树状结构，如图2 7 所示。从而可以根据图像的内容更灵活的选择 预测模式，大幅度提高了运动估计的精确程度。并且采用了多帧参考技术，编 解码器可以在更多参考图像中寻找最佳匹配块。多帧参考技术的使用，不仅提 高了编码效率，同时也更好的实现了码流误码恢复，但同时要求编解码器更大 的内存。 1 6 x 1 61 6 x 88 x 1 68 x 8 口日田田 8 x 88 x 44 x 84 x 4 口日田田 图2 7h 2 6 4 中七种不同的宏块划分模式 9 固 一 v 一 武汉理工大学硕士学位论文 2 4 3 整数变换与量化 为了进一步降低算法复杂度和节省传输码率，h 2 6 4 增加了整数变换与量化 技术【1 5 1 ，在整个变换中不存在乘法运算，只有加法和一些移位运算，大大降低 了计算复杂度。根据要编码残差信息的内容，h 2 6 4 采取了三种变换：4 4 亮度 d c 系数的h a d a m a r d 变换；宏块内的2 x 2 色度d c 系数的h a d a m a r d 变换；其 它残差系数的4 4 块的变换。 h 2 6 4 的整数变换公式为： y = ( c x c r ) o e = 11 2l l一1 1 _ 2 11 一l - 2 一l1 21 x 眩x 皓 五2 五3 五：如 五：五， 12 ll 1一l l _ 2 1 l 一1 - 2 12 1一l a b 2 口2 a b 2 a b 2 b 2 4 a b 2 b 2 2 a 2 a b 2 a 2 a b 2 a b 2 b 2 2 a b 2 b 2 4 ( 2 2 ) 其中，x 为输入，c 为变换矩阵，y 为输出，口= ，6 = 厉，。表示相应 位置的系数的乘积。可以把矩阵e 中的系数放入量化中。相应的反变换公式为： x = c ( y ) c r = 2 1 1 1 1 2 1 1 11 2 l 一11 三 a 2a b a bb 2 口2口6 a bb 2 口2a b a bb 2 口2口6 a bb 2 llll 1 1 1 1 22 1111 1 11 一三 ( 2 3 ) h 2 6 4 标准中，共有5 2 个量化步长q s t e p 值，每个q s t e p 对应一个量化参数 q p ，q s t e p 和q p 的对应关系如表2 - 1 所示。q p 每增加6 ，q s t e p 就增加一倍。 当量化参数q p 在0 到3 1 之间时，所得量化步长最小的要比h 2 6 3 的小四倍， 最大的要比h 2 6 3 的大将近6 0 。 1 0 武汉理工大学硕士学位论文 表2 1h 2 6 4 的量化步长对应表 q p o123456789 q s t e p 0 6 2 50 6 8 7 50 8 1 2 50 8 7 5l1 1 2 51 2 51 3 7 51 6 2 51 7 5 q p 1 82 43 64 85 1 q s t e p 51 04 01 6 02 2 4 量化根据方向可以分为前向和后向量化，其中前向量化操作基本定义如下： 乞耐( 卸 ( 2 4 ) 其中y 是矩阵的转换系数，q s t e p 是量化步长，蜀是输出量化系数。 由于前向量化器包含了转化中的放大因子a 2 ，a b 2 或b 2 2 ，所以首先要对输入块 x 进行转换得到没有放大的系数w = c x c 。；然后用公式( 2 5 ) 完成量化和放大 的步骤，公式如下： p f 乞2 ，d “耐( 云( 2 - 5 ) p f 是a 2 ，a b 2 或b 2 2 ，取决于它所在的位置( i ，j ) ，具体数据见表2 2 。 表2 2p f 和像素位置的关系 位置 p f ( o ，0 ) ，( 2 ，0 ) ，( 0 ，2 ) ，( 2 ，2 ) a 2 ( 1 ，1 ) ，( 1 ，3 ) ，( 3 ，1 ) ，( 3 ，3 ) b 2 4 其他位置a b 2 在j m 8 6 参考模型软件中，因子( p f q s t e p ) 的执行是乘以一个乘法因子 q u a n t - c o e f 做右移位，以避免除法操作。 z u = r o u n d ( 譬 ， 其中q u a n t c o e f 2 和船= p f q s t e p ，f i ：j l q b i t s = 1 5 + f l o o r ( q p 6 ) 。 整数运算执行方式如下： 武汉理工大学硕士学位论文 l z l = ( 1 l q u a f c 。e f + f ) q b i t s ( 2 7 ) s i g n ( z , j ) = s 纫( 既) 其中 为右移运算；s i g n o 为符号函数；f 为偏移量，在参考模型软件中， 帧内块f 值为2 q 6 呵3 ，帧间块取值为2 q k 坞6 。 反向量量化基本放大公式如下： 巧= z ：f x q s t e p( 2 - 8 ) 该操作包含预放大因子m f ，其中m f 的取值的大小决定于系数的位置( i ，j ) ，具 体数据见表2 3 。 表2 3l v i f 和像素位置的关系 位置n 伍 ( o ，o ) ，( 2 ，0 ) ，( o ，2 ) ，( 2 ，2 ) a 2 ( 1 ，1 ) ，( 1 ，3 ) ，( 3 ，1 ) ，( 3 ，3 ) b 2 其他位置 a b 进一步加入放大因子6 4 以避免取整时的误差，得到： = 乙x q s t e p x m f x 6 4 嘭是巧放大后的系数，进一步进行核心反变换( c i t w c i ) 。 h 2 6 4 标准中并没有直接执行( 2 _ 8 ) ，而是令 q s t e p xm fx6 4 = d e q u a n t c o e f x2 伽7 ( 刎6 一一一 一 一 于是反量化公式变为： l 巧l _ ( i 乙i d e q 甜a n t c o 矿) ( 1 + 氏) x p r e d m i n c o s t 判为不满意 ( 1 + 屏捌) x p r e d r a i n c o s t ( 1 + 勉) x p r e d m i n c o s t 判为满意( 4 - 5 ) i r a i n c o s t ( 1 + 屏删) x p r e d m i l l c o s t 判为很满意 其中调整因子如式( 4 6 ) 所示： 卜器p r e a i l l l n c o s 一? 叻c 捌 l r 1尾柑=忑bsizeblocktype一耐blocktypprea 8 】 。 lm 】n c o s r 其中数组b s i z e 为当前块尺寸，、( z t h i 。i 为常数组a 判断找到的点是否满 意的方法有两种，分别为a 类和b 类判断。 步骤二，不满意区的块搜索： 以目前最佳点为中心，首先采用不对称十字模版( 见图4 - 7 ( a ) ) 进行搜索，对 找到的当前最佳点进行判断，并且跳到相应的步骤；若为还不满意区，则改用 方形模版( 见图4 7 ( b ) ) 进行搜索，再次对找到的当前最佳点进行判断并跳转；如 果再次是不满意区，改用大六角形模版( 见图4 - 7 ( c ) ) 进行搜索，直至搜索到符合 能够进入步骤三或步骤四的条件为止。 步骤三，满意区的块搜索： 以目前最佳点为中心，使用中六角形模板( 见图4 - 7 ( c ) ) 进行搜索，直到最佳 点出现在模版的中点或超出搜索范围，则停止算法。 步骤四，很满意区的块搜索： 以目前最佳点为中心，用十字形模板( 见图4 - 7 ( c ) ) 进行搜索，直到最佳点出 现在模版的中点。 4 3 运动估计算法的优化 运动估计算法占整个编码过程中运算量的很大以部分，达5 0 以上，因此， 武汉理工大学硕士学位论文 提高编码效率最好的办法是提高运动估计效率。目前的快速搜索算法不是经常 陷入局部最小就是计算量过大不能让人接受，同时提高运动估计的计算速度又 十分重要，所以本文在清华大学推出的经典运动估计算法u m h e x a g o n s 基础上 进行深入研究，并对其进行进一步的改进优化，主要针对一下几部分进行改进 优化： 4 3 1 初始点预测 为了在提高快速运动估计算法的速度和精度的同时，防止陷入局部最小点 而增大误差，所以这里提出一种基于运动矢量的初始点预测方法【3 ，该方法在 判断当