（检测技术与自动化装置专业论文）h264的快速编码块自适应模式选择算法优化.pdf

江苏大学硕士学位论文 摘要 与以前的标准相比，在同等编码质量下，h 2 6 4 可以节省大约5 0 的码率， 编码效率比h 2 6 3 提高一倍左右。然而，高编码压缩率是以很高的计算复杂度为 代价的。在同等编码质量下，h 2 6 4 的计算复杂度约为h 2 6 3 的3 倍，所以在实 际应用中必须对其算法进行优化以降低其计算复杂度。复杂度提升主要是由于引 入了率失真优化策略遍历所有编码模式。虽然这种多候选模式的方法能有效地提 高块的匹配效率，提高图像的质量，降低编码码率，但是对所有模式的判断选择 极大地增加了计算复杂度，增加了编码延时，在很多硬件设备上不能得到有效实 现。因此，对多候选模式的优化选择能使h 2 6 4 在计算复杂度方面得到降低。 本文主要是对基于块模式选择的快速算法进行优化，具体的工作包括： 首先介绍了h 2 6 4 a v c 标准的热点技术及视频编码标准的国内外研究发展 现状，分析了h 2 6 4 a v c 编码器的不足，在快速算法方面对h 2 6 4 编码器进行 了优化。详细分析了编码块模式选择的复杂度，并对基于c b p ( c o d e db l o c k p a t t e r n ) 残差值的各编码模式概率进行了统计分析。可知在各编码块模式中大的 编码块模式占据了相当大的比例。由此利用残差的c b p 、m v d 信息来标识帧内 与帧间图像的相关性，根据判断准则仅计算部分模式的率失真代价值，采取自适 应的判断策略快速滤除部分编码模式，对基本档次的编码器进行了优化，提出一 种基于r d o 的快速编码块模式选择算法。实验结果表明，该算法在平均码率增 加3 9 7 的代价基础上，编码速度平均提高6 0 4 4 ，图像信噪比平均提高 o 0 15 d b 。 接下来根据阈值与判断准则，分析了采用各编码块模式的宏块数，根据前一 己编码帧与相邻已编码块有效选择当前块的编码块模式，减少单一阈值或单一判 断准则带来的误判率。实验结果表明，该算法在有效保证图像质量的前提下，码 率仅提升了0 4 1 ，编码速度却提高了5 0 4 0 。 关键词：h 2 6 4 a v c ，编码块模式，运动矢量，快速模式选择 江苏大学硕士学位论文 a b s t r a c t c o m p a r e dw i t hp r e v i o u ss t a n d a r d s ，a tt h es a m eq u a l i t yo fc o d i n g ，h 2 6 4c a ns a v e a r o u n d5 0 o ft h eb i tr a t e ，c o d i n ge f f i c i e n c yc a nd o u b l e dt h a nh 2 6 3 h o w e v e r , t h e h i g hc o d i n gc o m p r e s s i o nr a t eu s e st h eh i g hc o m p u t a t i o n a lc o m p l e x i t yf o r t h ep r i c e a t t h es a m ec o d i n gq u a l i t y ，i t sc o m p u t a t i o n a lc o m p l e x i t yi sa b o u t3t i m e so fh 2 6 3 ，s o i t sa l g o r i t h m sm u s tb eo p t i m i z e di np r a c t i c a la p p l i c a t i o n st or e d u c ei t sc o m p u t a t i o n a l c o m p l e x i t y t h i sm a i n l yb e c a u s eo ft h ei n t r o d u c t i o no fr a d i od i s t o r t i o no p t i m i z a t i o n s t r a t e g ya n dt r a v e r s ea l lo ft h ec o d i n gm o d e s a l t h o u g ht h em a n yc a n d i d a t em o d e s c a ne f f e c t i v e l yi m p r o v et h eb l o c km a t c h i n ge f f i c i e n c y , i m p r o v ei m a g eq u a l i t y ，l o w e r c o d i n gb i tr a t e ，b u tt h ej u d g e m e n ta n ds e l e c t i o no fa l lm o d e sg r e a t l yi n c r e a s e dt h e c o m p u t a t i o n a lc o m p l e x i t ya n di n c r e a s e dt h ec o d i n gd e l a y , a n ds h o u l d n o tb e i m p l e m e n t e de f f e c t i v e l ya tal o to fh a r d w a r ed e v i c e s s o ，t h eo p t i m i z a t i o ns e l e c t i o n f o rm a n yc a n d i d a t em o d e sc a nr e d u c et h ec a l c u l a t i o nc o m p l e x i t yo fh 2 6 4 。 t h e o p t i m i z a t i o ni nt h i sa r t i c l ei sm a i n l yb a s e do nf a s ta l g o r i t h mo fb l o c km o d e s e l e c t i o n ，t h em a j o rw o r k sa r ea sf o l l o w s f i r s to fa 1 1 i ti n t r o d u c e dt h eh o tt e c h n o l o g yo fh 2 6 4 a v ca n dd e v e l o p m e n t a c t u a l i t ya th o m ea n da b r o a d ，a n da n a l y s e dt h ei n a d e q u a c yo fh 2 6 4 a v ce n c o d e r ，i t h a sb e e no p t i m i z e di nt h ef a s ta l g o r i t h mo ft h eh 2 6 4e n c o d e r w ea n a l y s e dt h e c o m p l e x i t yo fc o d i n gb l o c km o d es e l e c t i o n ，a n ds t a t i s t i c e dt h ep r o b a b i l i t yo fe v e r y c o d i n gm o d ew h i c hb a s e do nc b p r e s i d u a lv a l u e f r o mt h i si tc a no b t a i n n e dt h a tt h e b i gc o d i n gb l o c km o d eo c c u p y i n gac o n s i d e r a b l ep r o p o r t i o n s oi tc a nu s eo ft h ec b p ， m v di n f o r m a t i o no fr e s i d u et oi d e n t i f yr e l e v a n c eo fi n t r aa n di n t e ri m a g e ，o n l y c a l c u l a t i n gr a d i od i s t o r t i o no p t i m i z a t i o nv a l u eo fp a r t i a lm o d e ，a n da d o p t i n ga d a p t i v e j u d g m e n ts t r a t e g yt of i l t e rp a r t i a lc o d i n gm o d e ，o p t i m i z i n ge n c o d e ro fb a s i cg r a d e ， t h e naf a s tc o d i n gb l o c km o d es e l e c t i o na l g o r i t h mb a s e do nr d oi s p r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a tu n d e rt h ec o s tt h a tb i tr a t ei n c r e a s e d3 9 7p e r c e n t ， e n c o d i n gs p e e di n c r e a s e s6 0 4 4p e r c e n ti na v e r a g e ，a n dt h ei m a g ep e a ks i g n a lt on o i s e l i 江苏大学硕士学位论文 r a t i oi m p r o v e s0 015d bi na v e r a g e t h e na n a l y s i n gt h em a c r o b l o c kn u m b e ro fe a c hc o d i n gb l o c km o d ew h i c hb e u s e da c c o r d i n gt ot h r e s h o l da n dj u d g m e n tc r i t e r i o n e f f e c t i v e l ys e l e c t i n gc o d i n gb l o c k m o d eo fc u r r e n tb l o c ka c c o r d i n gt op r e v i o u sc o d e df r a m ea n dc o d e db l o c k ，i tc a n r e d u c et h er a t eo fm i s j u s t i c eb yu s i n g s i n g l et h r e s h o l d o rj u d g m e n tc r i t e r i o n e x p e r i m e n t a lr e s u l t ss h o wt h a t u n d e rt h ep r e m i s eo fa s s u r a n c ei m a g eq u a l i t y e f f e c t i v l y ，t h eb i tr a t eo n l yi n c r e a s e so 41p e r c e n ti na v e r a g e ，e n c o d i n gs p e e d i m p r o v e s5 0 4 0p e r c e n ti na v e r a g e k e yw o r d s ：h 2 6 4 a v c ，c o d e db l o c kp a t t e r n ，m o t i o nv e c t o r , f a s tm o d es e l e c t i o n 独创性l 声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 至日及 日期： 2 矿9 夕年 多月芗日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密囹。 学位论文作者签名：王日爱 狮夕年多月期 江苏大学硕士学位论文 1 1 引言 第一章绪论 近年来，随着数字通信技术和各种网络技术的发展，数字视频技术在通信和 广播领域得到了日益广泛的应用，视频通信和多媒体通信成了当前国内外研究的 热点。与视频相关的应用也越来越广泛，如可视电话、v o d 、视频会议、i p 上 的视频服务、数字图像监控、数字电视等。但是伴随着视频信息的直观性、确切 性、高效性、广泛性等一系列优点而来的是视频信息的大信息量。要使视频得到 有效的应用，必须要解决视频压缩编码问题和解压缩后视频质量的保证问题。进 入新世纪，如何使图像具有更高的压缩比，更好的解码重构图像质量，以及更好 的网络亲和力，是人们对新一代的视频标准提出的伟大挑战。 为此，众多视频编码标准应运而生。迄今为止，i t u t 等国际标准化组织陆 续颁布了近十个视频编码国际标准，大大推动了视频通信和数字电视广播的发 展。尤其是2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布的h 2 6 4 视频压缩标准， 由于其比以往标准更出色的性能，被称为新一代视频编码标准。它不仅显著提高 了压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误码和丢包 的处理。 h 2 6 4 是在i t u t 增强型多媒体通信标准h 2 6 x 基础上提出的，它继承了 h 2 6 3 、m p e g l 、m p e g 2 和m p e g 4 的优点，沿用m c d c t 结构，即运动补偿 加变换编码的混合( h y b r i d ) 编码框架结构，并应用了视频通信的最新理论和技 术成果，对混合编码的诸多环节进行了改进，引入了多模式选择、多参考帧、1 4 像素精度的运动补偿、帧内预测编码、4 4 整数变换、环路滤波以及c a v l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，自适应可变长编码) 、c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，基于内容的自适应二进制算 术编码) 熵编码等新技术，进一步提高了编码算法的压缩效率和图像播放质量。 与之前的视频编码标准相比，新技术在带给h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 令人惊讶的编码性能的同时，我们也可以注意到伴随着高性能的是计算复杂度和 对硬件计算能力、存储能力要求的急剧增加，而目前的参考软件编码器的编码效 江苏大学硕士学位论文 率并不能令人满意。面对h 2 6 4 a v c 对计算能力和存储能力的极高要求，一方 面可以期待硬件技术的飞速发展满足h 2 6 4 a v c 的要求，另一方面必须针对 h 2 6 4 a v c 的新技术，寻找更为高效的编解码算法，提高编解码的效率，这也是 目前研究的热点，并且已经取得了很大的研究成效【1 训。 1 2h 2 6 4 a v c 热点技术的研究现状 h 2 6 4 a v c 标准中的关键技术包括：多种更好的运动估计( 小数像素、多模 式、多参考帧) 、4 4 小尺寸块的整数变换、更精确的帧内预测、熵编码等。其 中，针对帧内和帧间宏块的精确快速的预测模式决策算法、快速的高精度运动估 计算法、高效率的熵编码算法是研究的热点和难点，其研究现状如下： 多模式决策算法：由于多种预测模式的存在，这就要求在编码时对这些模式 进行择优，而择优的方法很多，有必要对其进行研究。择优过程中，h 2 6 4 a v c 将基于t w i e g a n d 提出的率失真优化策略( r a d i od i s t o r t i o no p t i m i z a t i o n ，r d o ) 1 5 作为重要可选模式。对于帧内预测，目前参考代码中用到的是全搜索的方法， 这种方法的计算量比较大，因此可以对决策步骤进行优化，形成一些快速帧内模 式决策方法，所了解到的快速方法有f e n gp a n 等在j v t 会议中提出的基于边缘 方向直方图的方法【6 1 和b o j u nm e n g 等提出的基于分组像素点的方法【7 】等，它们在 不同程度上优化了全搜索方法。对于帧间预测，目前有d w u 等提出的基于均匀 区域的快速帧间预测模式决策【8 1 、p e n gy i n 等提出的基于误差表面单调性的快速 帧f h j 预测模式决策【3 】等。 运动搜索算法：二维运动估计算法中以块匹配算法最为常用。其中全搜索算 法可以提供给定失真准则下的最优解，但计算复杂度太高。许多快速匹配算法可 以提供较快的搜索速度，但预测性能不太好。因此，为了在低计算复杂性视频编 码算法中应用运动补偿来消除视频信号中的时间冗余，必须研究速度快且性能好 的运动估计算法。针对较早的编码标准如h 2 6 3 、m p e g 4 等提出的优化算法有 三步搜索法、对数搜索法、梯度搜索法、四步搜索法、六边形搜索法、钻石搜索 法以及带状搜索法等。新的快速运动估计算法u m h e x a g o n s ( u n s y m m e t r i c a l c r o s sm u l t i h e x a g o ns e a r c h ，非对称十字型多层次六边形格点 搜索算法) 【9 】是一种运算量相对于h 2 6 4 a v c 中原有的快速全搜索算法可节约 2 江苏大学硕士学位论文 9 0 以上的新算法。由于其在高码率大运动图像序列编码时，在保持较好失真性 能的条件下，运算量十分低，已被h 2 6 4 a v c 标准正式采纳。 熵编码算法：h 2 6 4 a v c 标准中采用了自适应可变长编码c a v l c0 0 和基于 内容的自适应二进制算术编码c a b a c 】两种熵编码算法。 除了上述热点技术外，视频数据在网络传输中的差错控制技术【协1 引、变尺寸 整数d c t 变换、可变步长的量化机制、自适应的码率控制以及去块效应的环路 滤波技术也是视频编码中的重要技术。具有更高压缩能力但是运算量巨大的小波 视频压缩、分形视频压缩以及面向存储检索的基于视频对象的压缩技术，正在受 到更多的研究和关注。 1 3 本文研究内容 本课题研究的主要目标是提供一套能够高效提高编码块模式选择速度的理 论方法与算法模型，解决数字视音频编解码标准化的关键问题。本文所研究内容 主要是围绕着视频编码标准h 2 6 4 a v c 中的编码块模式选择算法展开的。 编码块模式选择是视频编码最重要的一个环节，算法的好坏直接影响编码效 率以及解码图像的质量。与以往的视频标准特别是h 2 6 3 或m p e g 4 相比，在同 等的编码质量下，h 2 6 4 可以节省大约5 0 的码率，但是却增加了大约2 倍的编 码复杂度。这主要是由于引入了多宏块遍历模式进行编码块模式选择，来选择最 佳编码块模式。h 2 6 4 引入了帧内1 1 6 、1 8 、1 4 、i p c m 和帧间s k i p 、p 1 6 、p 8 等 多种候选模式。并采用率失真优化取代以往的s a d 值来平衡图像质量和码率， 将率失真代价函数值最小的模式作为最终的分块模式。多宏块遍历模式和率失真 优化的方法虽然能有效地提高块的匹配效率，降低编码码率，大大提高编码速度 和编码质量，但是对所有模式的判断选择极大地增加了计算量和编码复杂度，增 加了编码延时，在很多硬件设备上不能得到有效实现。因此通过改进模式选择的 快速算法来降低编码复杂度显得格外重要。 编码块模式( c b p ) 是视频编码的重要组成部分，与编码块模式选择有着非 常紧密的关系，但是若将c b p 全部应用于编码块模式选择进行编码，则计算量 过大，算法过于复杂。因此，在尽可能小的质量损失前提下，通过利用宏块间的 相关性及部分编码信息引入判断准则，滤除部分候选模式，成为目前h 2 6 4 快速 3 江苏大学硕士学位论文 模式选择算法研究的一个热点。图像序列在空域和时域上具有很强的相关性，当 前块完全可以根据已编码帧和已编码块进行模式选择，减少计算量。本文针对这 些问题，对模式选择策略进行了改进，提出了快速编码块模式选择算法，能够有 效的降低计算复杂度，提高编码效率。 随着视频编码技术研究的逐渐深入，其对人们生活所产生的影响也逐渐增 强。视频编码技术的市场应用前景也越来越乐观，不仅在视听工业、多媒体计算 机等方面有广泛应用，而且在广播电视以及未来的信息高速公路等各个方面都有 着乐观的应用i j 景。尤其是在高清晰度视频以及高质量的无线视频服务将改变人 们未来的生活方式。因此本课题的研究不仅关系到视频编码技术本身的发展，同 时对人们生活质量也有着深远的影响与意义。 课题主要做了以下工作： ( 1 ) 对最新的视频编码国际标准h 2 6 4 视频编码器的原理和实现方法进行 了深入研究，特别是对h 2 6 4 先进技术中帧内编码、整数变换量化过程进行了详 细的研究。并对h 2 6 4 视频编码标准的代价函数和编码块模式部分进行了探讨和 研究，系统地分析了编码块模式选择的复杂度。 ( 2 ) 针对多宏块编码模式的复杂性及多宏块遍历模式r d o c o s t 计算量大的 问题，对h 2 6 4 视频编码标准的c b p 、m v 和编码块模式进行了探讨和研究，分 析了它们之问的关系。利用当前宏块的c b p 值与编码块模式的相关性、m v 与 c b p 的相关性，结合r d o ，进行编码块的快速模式选择。实验结果表明，在有 效控制视频质量和比特率的前提下，新算法可以使编码速度得到有效提高。 ( 3 ) 针对单一选择前一帧或已编码块容易将错误延续的问题，结合阈值与 判断选择准则，根据空时相关性，对块模式进行优化选择。结合阈值提前终止与 判断选择策略，利用先前已编码帧和相邻己编码块快速滤除部分块模式，减少模 式选择。实验结果表明，算法在码率和质量损失小的情况下，使编码速度大大提 高。 1 4 论文内容组织安排 本文以视频编码标准h 2 6 4 a v c 为研究对象，在深入研究其性能、计算复 杂度的基础上，对其参考编码器进行了优化。本文共分六章。 4 江苏大学硕士学位论文 第一章绪论。介绍了国内外视频压缩编码标准研究的现状及本课题的研究 背景，并概括了本论文的主要工作和论文的组织结构。 第二章介绍了h 2 6 4 a v c 视频编码标准。对其主要功能模块诸如帧内预测、 帧间预测、多像素运动估计、整数变换等核心技术进行了详细阐述。 第三章阐述了与编码块模式选择相关的关键技术。对于编码块模式c b p 及 各代价函数进行了详细介绍，确定下一步将要进行工作的基础。 第四章编码块模式概率分析及基于宏块自适应的的快速编码块模式选择算 法探讨。首先详细分析了编码块模式选择的复杂度，实验结果显示，编码块模式 与c b p 之间存在紧密的联系，大的编码块模式占据了相当大的比例，完全可以 根据c b p 进行编码块模式选择，减少计算量和编码复杂度。根据编码块与c b p 和m v d 的关系，采用基于宏块自适应的快速编码块模式选择算法，对于相当大 部分的编码块进行了滤除，对基本档次的编码器进行了优化。有效提高了编码器 的编码效率。 第五章基于阈值与判断准则的自适应编码块模式选择算法。为大块模式的 判断选择设置阈值来决定是否还需要进行小块模式的判断选择。根据前一已编码 帧与相邻已编码块滤除部分编码块，优化块模式选择，有效提高了编码速度，减 少了单一判决准则带来的误判率。 第六章结论及展望。讨论进一步的研究方向和关键技术难点。 1 5 本章小结 本章首先对视频编码的研究背景做了简单介绍，并对目前h 2 6 4 a v c 热点 技术的研究现状进行了简要介绍，从而引出论文的主要研究内容，最后阐述了论 文的组织结构和框架。 5 江苏大学硕士学位论文 第二章h 2 6 4 视频编码标准分析 h 2 6 4 和以往的标准相比，虽然采用的也是d p c m 加变换编码的混合编码模 式，但是却有了明显的改进。它采用“回归基本”的简洁设计，不用众多的选项， 获得比h 2 6 3 + + 好得多的压缩性能；其良好的网络友好性，加强了对各种信道的 适应能力，有利于对误码和丢包的处理，便于实时视频通信；较宽的应用目标范 围，能满足不同速率、不同解析度以及不同传输( 存储) 场合的需求，在高清晰 度电视、卫星电视、存储媒体、无线多媒体应用等方面显示出了巨大的应用潜力； 它的基本系统是开放的，使用无需版权。 h 2 6 4 采用了多种新技术措施，如统一的v l c 符号编码，高精度、多模式 的位移估计，基于4 4 块的整数变换，以及分层的编码语法等。这些新措施尤 其是多块候选模式使得h 2 6 4 算法具有很高的编码效率，在同等的重建图像质量 下，其能够比h 2 6 3 节省约5 0 的码率。h 2 6 4 的码流结构对网络的适应性强， 增加了差错恢复能力，能够很好地适应i p 和无线网络应用。h 2 6 4 的编码和解码 复杂度具有可扩展性，支持编码和解码复杂度的不等分配和扩展。 2 1h 2 6 4 视频编码标准 i t u t 在1 9 9 6 年初步完成h 2 6 3 视频编码标准后，制定了短期和长期两个 目标。短期目标是进一步增加h 2 6 3 的特色，增强低比特率编码能力，产生了 h 2 6 3 的增强版即h 2 6 3 + 和h 2 6 3 + + 。长期目标是制定一种新的视频编码标准， 以更好的质量、更高的压缩比支持低比特率的视频会议等应用，由此产生了 h 2 6 l 草案f j 们。2 0 0 1 年，i s o m p e g 对h 2 6 l 草案进行了评估并认识到h 2 6 l 潜在的优越性，于是由m p e g 和v c e g 的专家组成了联合视频小组j v t ( j o i n t v i d e o t e a m ) ，进一步完善h 2 6 l 模型，共同丌发新的视频编码国际标准h 2 6 4 【l 副。 这个国际标准己于2 0 0 3 年3 同正式被i t u - t 所通过并在国际上正式颁布。 在新的h 2 6 4 a v c 标准中，采用了许多新的技术。为了提高编码效率，包 括改进的运动预测设计在内的技术有：用较小的块做可变大小的运动补偿；1 4 像素精度的运动补偿；图像边界外的运动矢量估算；多参考帧的运动补偿；消除 6 江苏大学硕士学位论文 参考图像顺序和显示图像顺序的相关性；加权预测；改进的“跳转”和“直接” 运动参考；环内去块效应滤波器。除了改进的预测方法外，更采用了其他设计。 包括：小尺寸块的变换；块的分级变换；短字长变换；精确匹配的变换；算术熵 编码；基于上下文的熵编码。为了增强健壮性和不同网络环境下操作的灵活性， 标准还进行了一些关键的设计：n a l 单元；灵活的条带大小；灵活的宏块顺序； 任意的条带顺序；数据分流；编码图像的冗余处理；基于图像转换的s p s i 同步。 这些措施使得h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量下，能够 比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢 复能力，能够很好地适应i p 和无线网络的应用。 h 2 6 4 标准针对不同的应用，给出了三种档次【1 6 - 17 】和1 - 5 2 个不同的等级， 每种档次和等级侧重于不同的应用场合，各自的编码工具也不相同。为适应各种 网络环境和应用场合，h 2 6 4 定义了视频编码层( v c l ) 和网络提取层( n a l ) 。 h 2 6 4 最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下， h 2 6 4 的数据压缩比能比当前d v d 系统中使用的m p e g 一2 高2 - - 一3 倍，比m p e g 4 高1 5 - 2 倍。正因为如此，经过h 2 6 4 压缩的视频数据，在网络传输过程中所 需要的带宽更少，也更加经济。在m p e g - 4 需要6 m b i t s 的传输速率匹配时，h 2 6 4 只需要3 m b i f f s 4 m b i f f s 的传输速率。 h 2 6 4 获得优越性能的代价是计算复杂度的大幅增加。而不断提高的硬件处 理能力和不断优化的软件算法又是h 2 6 4 得以风行的生存基础。如今普通的台式 机，c p u 的主频已经高达几千兆。因此h 2 6 4 所增加的运算复杂度相对于性能 提升效果而言是微不足道的。更何况新的计算方法层出不穷，也相对缓解了h 2 6 4 对处理速度的苛刻需求。 2 2h 2 6 4 编解码器 h 2 6 4 并没有明确地规定编解码器如何实现，只是定义了编码视频比特流的 语法及该比特流的解码方法【l s 】。h 2 6 4 编码器和解码器的功能组成分别如图2 1 和图2 2 所示。 7 江苏大学硕士学位论文 图2 ih 2 6 4 编码器 图2 2h 2 6 4 解码器 由图2 1 和图2 2 可见，除了去块效应滤波器和各功能块的细节，h 2 6 4 的 大部分基本功能模块( 预测、变换、量化、熵编码) 与以前的标准采用相同的原 理。由于视频的内容时刻在变化，有时空间细节很多，有时大面积的平坦。这种 内容的多变性就必须采用相应的自适应的技术措施。由于信道在环境的恶劣下也 是多变的，例如互联网，有时畅通，有时不畅，有时阻塞；又如无线网络，有时 发生严重衰落，有时衰耗很小，这就要求采取相应的自适应方法来对抗这种信道 畸变带来的不良影响。这两方面的多变带来了自适应压缩技术的复杂性。h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善。 2 2 1h 2 6 4 编解码器的结构 1 h 2 6 4 编码器结构 编码器采用变换和预测的混合编码法。在图2 1 中，输入的帧或场f n 以宏块 为单位被编码器处理，并以帧内或帧间方式编码宏块。 在帧内预测编码模式中，其预测值p r e d ( 图中的p ) 是由当前已编码、解 码、重构的条带中得到的，其中参考图像用f n 1 表示。在帧间预测编码模式中， 江苏大学硕士学位论文 为了提高预测精度，预测p r e d 可从过去或未来( 指显示次序上) 已编码、解码、 重建和滤波的帧中选择一帧或两帧通过运动补偿得到。 预测值p r e d 与当前块相减产生一个残差块d n ，经过变换、量化产生一组 量化变换系数x ，再经过重排序和熵编码，与解码所需的一些其它信息( 如预测 模式量化参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络自适 应层) 供传输和存储用。 为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必 须使残差图像经反量化、反变换后得到的d 。n 与预测值p 相加，得到u f n ( 未经 滤波的帧) 。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从 而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出f n 即为重建图像， 可用作参考图像。 2 h 2 6 4 解码器结构 由图2 2 可知，编码器输出的压缩码流经熵解码、重排序得到一组变换系数 x ，再经过反量化、反变换，得到残差d n 。利用从该比特流中解码出的头信息， 解码器就产生一个预测块p r e d ( 与编码器中的原始p r e d 相同) 。该预测块 p r e d 与残差d n 相加产生u f n ，再经过滤波后，就得到重建的f n ，即最后的解 码输出图像。 2 3h 2 6 4 的核心内容 h 2 6 4 a v c 是目前最新的视频编码的国际标准。它是由i s o i e c 运动图像 专家组( m p e g ) 和l t u - t 视频编码专家组( v c e g ) 共同组成的联合视频小组 所完成的。同以往的标准相比，同等的视频质量它只需要h 2 6 3 一半的码流， m p e g 2 的1 4 的码流。因此，这个新标准不仅能带来更加清晰的画面质量，而 且为不同带宽的视频应用提供了一个好的解决方案。多参考帧、多宏块分块模式、 率失真优化( r d o ) 、环路滤波器和基于上下文的自适应算术编码( c a b a c ) 等被 引入h 2 6 4 用于视频编码是其能有如此优异性能的原因。 2 3 1 帧内预测 h 2 6 4 利用相邻宏块的空间相关性进行帧内预测。帧内预测编码的主要目的 9 江苏大学硕士学位论丈 是去除空间冗余度【1 9 】，其基本原理是利用已解码重构的邻近块像素来实现对当前 编码块的预测，对预测块和实际块的残差进行变换、量化、熵编码。 在帧内预测模式中，每个4 4 亮度块有9 种可选预测模式，1 6 x 1 6 亮度块有 4 种可选预测模式【2 们，8 8 色度块类似于1 6 x 1 6 亮度块预测模式，也有4 种预 测模式。独立预测每一个4 4 亮度块，适用于对细节丰富的图像编码；预测整 个1 6 x 1 6 亮度块，适用于对平滑区域图像编码。编码器通常选择预测块和当前块 差值最小的预测模式作为当前块的预测模式。 1 4 x 4 亮度块的预测模式 mabcde fgh labcd jefgh kl j ki lmno p ( a ) 预测像素位置关系( b ) 预测方向 图2 3 4 x 4 亮度预测 0 ( 难宜)1 ( 水，i )2 ( 直流，d c ) 3 ( 对角线矗下) 6 ( 水平向一l - ) 4 ( 埘角线右f )5 ( 币卣向右) 一一 7 ( 垂直向庀)8 ( 水甲向 ：) 图2 4 4 x 4 亮度预测模式 如图2 3 ( a ) 所示，待预测像素a p 利用4 x 4 亮度块的上方和左方已编码 并重构的像素a m 进行帧内预测，由9 种预测模式实现。其中模式2 ( d c 预 测) 根据a - - - m 中已编码像素进行预测，而其余模式只有在所需预测像素全部提 供后才能使用。图2 3 ( b ) 中的箭头指示了每种模式的预测方向。对于模式3 1 0 江苏大学硕士学位论文 8 ，预测像素值由预测像素a m 加权平均得到( 如模式4 ， d = r o u n d ( b 4 + c 2 + d 4 ) ) 。 表2 i 预测模式描述 模式描述 0由a 、b 、c 、d 垂直预测 l由i 、j 、k 、l 水平预测 2由a d 及i l 平均值推出所有像素值 3 由左下4 5 。方向像素内插得出相应像素 4 由右下4 5 。方向像素内插得出相应像素 5 由下右2 6 6 。方向像素内插得出相应像素 6 由厶下2 6 6 。方向像素内插得出相应像素 7 由下左2 6 6 。方向像素内插得出相应像素 8 由右上2 6 6 。方向像素内插得出相应像素 2 1 6 x 1 6 亮度预测模式 一个宏块的全部1 6 1 6 亮度分量可以整体预测，有4 种可选预测模式。如 图2 5 所示，其描述如表2 2 。 0 ( 乖直) 1 ( 水平) 图2 51 6 x 1 6 亮度预测模式 表2 21 6 1 6 预测模式 3 ( 平m f ) 模式描述 0 l 2 3 由上边像素推出相应像素值 由左边像素推出相应像素值 由上边和左边像素平均值推出相应像素值 由左、上像素利用线性平面函数推出相应像素 3 8 x 8 色度块预测模式 帧内编码宏块的每个8 8 色度分量由左、上方已编码色度像素预测得到， 江苏大学硕士学位论文 且两个色度分量通常采用同一种预测模式。其4 种预测模式类似于帧内1 6 x1 6 亮度块预测的4 种预测模式，其中d c 为模式0 ，水平为模式1 ，垂直为模式2 ， 平面为模式3 。 2 3 2 帧间预测 h 2 6 4 帧间预测是利用已编码视频帧场和基于块的运动补偿的预测模型。 h 2 6 4 支持不同的块尺寸( 从1 6 x 1 6 到4 x 4 ) 及支持精细亚像素精度的运动矢量 ( 1 4 像素精度m v ) 。 1 多编码块模式 为了更精确地描述宏块的运动细节，h 2 6 4 视频编码的宏块大小采用树状结 构【2 l 】。如图2 6 所示。每个宏块有4 种划分方式：1 个1 6 1 6 ，2 个1 6 8 ，2 个8 1 6 ， 4 个8 8 。而8 8 模式的每个子宏块还可以进步划分为：1 个8 8 ，2 个8 4 ， 2 个4 8 ，4 个4 4 。 1 6 1 61 6 x 8r 1 6r x r m t y p e 8 x 8 t y p e 口日田田 口日田田 图2 6 各编码块分割 每个分块或子分块都会产生一个独立的m v 。每个m v 都需要被编码和传输， 分块的模式选择也需要编码压缩到比特流中。大的划分尺寸意味着m v 和分块模 式只需少量的比特，但是由于图像细节较多，运动补偿残差值可能比较大，从而 需要较多比特。小块尺寸的运动补偿残差值较小，但需要较多的比特表征运动信 息。所以编码块的模式选择对压缩性能有很大影响。一般，大块尺寸适合手背景 平滑或运动一致区域，而精细分割适合于细节丰富区域。宏块的色度分量( c b 和c ，) 则为相应亮度分量的一半。每个色度块采用和亮度块相同的划分模式， 只是其尺寸减半。即8 8 色度块可划分为1 个8 8 ，2 个8 4 ，2 个4 8 ，4 个4 4 等4 种模式。而4 4 模式又可划分为1 个4 4 ，2 个4 2 ，2 个2 4 ，4 个2 2 等 4 种模式。色度分量的每个m v 和相应亮度分量的m v 相比也要减半。 2 1 4 像素精度运动估计 1 2 江苏大学硕士学位论文 帧间编码宏块中的每个分块或子分块都是从参考图像的某一相同尺寸区域 预测而得。这两个区域之间的偏移量即运动矢量。运动估计就是利用视频图像的 时域相关性，产生相应的运动矢量，尽可能准确的描述对象( 块或宏块) 的时域 运动。因此运动矢量的精度越高，运动估计的残差越小，这样在降低编码码率的 同时提高重建视频质量。从h 2 6 1 到h 2 6 4 a v c ，运动矢量的精度也从整像素提 高到1 1 4 像素。h 2 6 4 a v c 支持亮度分量的1 4 像素和色度分量的1 8 像素的运 动估计，并详细的定义了相应亚像素的插值实现算法，利用6 抽头滤波器产生 1 2 分数像素、线性插值产生1 4 分数像素、4 抽头滤波器产生最高1 8 分数像素 【1 5 】【2 l 】。h 2 6 4 a v c 中使用1 4 像素估计和整像素相比可以节省2 0 的码率。 两个区域的m v 对亮度分量采用1 4 精度，对色度分量采用1 8 精度。亚像 素位置的亮度和色度像素由内插法从邻近已编码像素得到。 半像素点由对应整像素进行6 抽头滤波得出，如图2 7 所示，权重为( 1 3 2 ， 5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。例如，在图2 7 中：b = r o u n d ( ( e 5 f + 2 0 g + 2 0 h 5 i + j ) 3 2 ) 。 口口圆口口 圉圉 口口 口口 圈 l h j i r l 瞄州 i 。【i j 圈图 斟圜 口口 口口 i b a bc h j r - f ef g 月 ， h l j k m 、 i rr j p壁 r j m sn ab k i 8 d ， _ 蛄a j l 8 c l 1 c d 图2 7 亮度半像素内插图2 8 亮度1 4 像素内插图2 9 色度l 8 像素内插 1 4 像素点由邻近像素线性内插而得，如图2 8 所示。例如，在图2 8 中： a = r o u n d ( ( g + b ) 2 ) 相应的，色度的1 8 像素点由整像素线性内插得到，如图2 9 所示。 3 多参考帧预测 与过去标准中的单一参考帧不同，h 2 6 4 a v c 支持多参考帧预测，最多可以 达到1 5 帧参考。其目的是期望在已经编码过的多帧图像帧中进行运动估计，寻 求到与当前编码块( 或宏块) 最为合适的匹配块作为预测。这样可以对快速的周 期性运动、物体存在遮蔽现象和快速的场景相互切换视频流等，有很好效果的运 动预测。多参考帧比使用单独参考帧方法可以节省5 - - 1 0 的传输码率【2 l 】，并且 1 3 三 江苏大学硕士学位论文 有利于码流的错误恢复。但是同时，编码器必须通过参考帧选择过程选取最佳参 考帧进行运动补偿和预测过程，这要遍历当前所有的参考帧，为此，还必须为参 考帧提供内存空问和增加索引值，这也增加了系统的处理时间和存储开支。 以a k i y o ( q c i f ) 视频序列采用多参考帧做i b p b p 编码。图像信噪比和码率的 实验结果见表2 3 。由实验结果可知，多参