论文__H264AVC编码模式决策技术研究.pdf

西安电子科技大学 硕士学位论文 h.264/avc编码模式决策技术研究 姓名：张尧 申请学位级别：硕士 专业：模式识别与智能系统 指导教师：郭宝龙 20090101 摘要 本文从介绍视频编码技术和国际标准的发展开始，对最新的国际视频编码标 准h 2 6 4 a v c 进行详细研究，对其应用前景和编码原理做出总结，并详细阐述其 与以往编码标准不同的新的关键技术。接着，对其中的两项关键技术帧间编码和 帧内编码分别进行具体介绍，并研究了在h 2 6 4 a v c 编码器上通过率失真优化 ( r d o ) 策略实现模式决策的过程，分析这种策略的优缺点，并针对其编码算法 复杂度高，编码时间长的缺点加以改进，提出了编码模式的树状分类判决方案 ( t d s ) 。 首先，在帧内模式下，针对1 6 x 1 6 宏块在纹理特征丰富的区域细分为4 x 4 像 素块并有9 种预测选项进行编码预测，并占用很大的编码时间的问题，提出了先 根据量化系数q p 和图像纹理特征初步确定采用1 6 x 1 6 块或是4 x 4 块，然后对4 x 4 块内部的9 种预测选项进行较为简单的s a t d 运算进行粗选，确定三个可能性最 大的待选模式集，最后通过r d o 策略进行判定的方案。实验结果证明此算法提 高约7 0 的编码速度，并只增加了很少的比特率。 接着，在帧间模式下，针对s k i p 模式的独立性和占用视频流较多的情况， 提出了先进行s k i p 模式的判决方案，根据s k i p 模式的特点提出4 点判决准则， 较快的确定了s k i p 模式的编码预测。接着结合存在帧内模式编码的情况，根据 平均比特率a r 和平均边界误差a b e 的关系，快速确定是否采用帧内编码模式。 然后，在剩余的模式选项中通过对图像纹理特征的分析，提出通过图像直方图的 二阶距进行阈值判决的测量方案，用来对运动补偿的宏块模式f m1 6 x 1 6 ， m， 和子宏块模式 ，进行划分，_16x8m 8 x 1 6 u8 x 8m8 x 4m4 x 8m 4 x 4 最后对已确定的模式集通过r d o 策略计算最优模式。实验结果证明，此算法提 高了约5 0 的编码时间，比特率却只有很少增加。 整个树状预测模式分类决策算法减少了超过一半的编码时间，极大的满足了 系统实时性的要求。 关键词：i e i 2 6 4 a v c率失真优化模式决策量化系数 纹理特征 a b s t r a c t t h i sp a p e rs t a l 如w i t ht h ei n t r o d u c t i o no fv i d e oe n c o d i n gt e c h n o l o g ya n d i n t e r n a t i o n a ls t a n d a r d s ，a n dt h en e w e s th 2 6 4 a v cs t a n d a r dw h i c hi sc a r e f u l l ys t u d i e d i si n c l u d e df o ri t s a p p l i c a t i o n ，e n c o d i n gp r i n c i p l ea n dk e yt e c h n o l o g i e sw h a ta r e d i f f e r e n tf r o mf o r m e rs t a n d a r d s t h e n ，w ed i s c u s st w ok e yt e c h n o l o g i e sw h i c ha r e i n t r a - m o d ee n c o d i n ga n di n t e r - m o d ee n c o d i n gb y 也e i rr d om o d ed e c i s i o nt a c t i c s a n da n a l y s e st h ea d v a n t a g ea n dd i s a d v a n t a g eo ft h et a c t i c s ，t h e nf i n do u tan e wm o d e d e c i s i o nm e t h o df o rt h eh i 曲o p e r a t i o na n dl o n ge n c o d i n gt i m ew h i c hi sc a l l e dt r e e d e c i s i o ns c h e m e ( t d s ) f i r s to fa l l ，f o rt h ei n t r ap r e d i c t i o nm o d e , t h eh 2 6 4 a v ch a s16 x16m a c r ob l o c k o f4m o d ep a t t e r n sa n d4 x 4b l o c ko f9m o d ep a t t e r n sw i 也r d ot a c t i c sw i t hh i g h c o m p l i c a t i o n t h i sp a p e rp r e s e n t sa n e wm e t h o db yu s i n gq u a n t i z a t i o np a r a m e t e r ( q p ) a n dt e x t m ef e a t u r eo fam a c r ob l o c k t h en e wa l g o r i t h mc h o o s e sb l o c ks i z eb yu s i n g q pf i r s t t h e nw ec h o o s eb l o c ks i z eb yt e x t u r ef e a t u r eo fm a c r ob l o c kw h i l eq pc a n n o tu s i n g t h e ni tp r e d i c t st h eo p t i m u mm o d ei n4 x 4b l o c k b yt w os t e p sw h i c hc a l l e d t w ol e v e ls c h e m e ( t l s ) ，a n du s e ss a t di n s t e a do fr d ot oc h o o s et h r e en e a r e s t m o d e sc a n d i d a t e sf o rt h ef i r s ts t e po fc o a i s es e l e c t c o m p a r e dw i t ht h es i m p l es e a r c h ， t h i sa l g o r i t h md e c r e a s e sa b o u t7 0 o fe n c o d i n gt i m ew i ml i t t l ei n c r e a s eo fb i t - r a t e t h e n ，f o rt h ei n t e rp r e d i c t i o nm o d e ，w ef i r s ts e l e c ts k i pm o d eb y4d e c i s i o n n o r m sf o ri t si n d e p e n d e n c ei na l li n t e rm o d e sa n dm u c ho c c u p a t i o ni nv i d e of r a m e si n a d v a n c e t h e nc o m b i n e d 耐t hi n t r ap r e d i c t i o ni ni n t e rm o d e ，w ep r i o rd e t e r m i n ei n t r a m o d eb yc o m p a r i n gt w op a r a m e t e rw h i c ha r ea v e r a g er a t e ( a r ) a n da v e r a g eb o u n d e r r o r ( a b e ) f o ro t h e rm o d e s ，w ec l a s s i f yt h e mt ot w om o d e s e t s w h i c ha r e m a c r o b l o c ka n ds u b - m a c r o b l o c kb yt h es e c o n dm o m e n to ft h eh i s t o g r a mw h i c hi s a n a l y z e df r o mt e x t u r ef e a t u r e c o m p a r e dw i t l lf u l ls e a r c hm o t i o ne s t i m a t i o ni ns i m p l e r d o t a c t i c s ，t h i sm e t h o dd e c r e a s e sa b o u t5 0 e n c o d i n gt i m ew i ml i t t l ei n c r e a s eo f b i t - r a t e t h et d sm e t h o dd e c e a s e sa b o u t5 0 e n c o d i n gt i m e ，s ot h i sa l g o r i t h ms a t i s f i e s t h er e a lt i m es y s t e mi nag r e a td e g r e e k e y w o r d ：h 2 6 4 1 a v cr d om o d ed e c i s i o nq u a n t i z a t i o np a r a m e t e r t e x t u r ef e a t u r e 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：妞 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：嗽钆 导师签名： 日期塑望：厶妥 日期 堡五：星 第一章绪论 第一章绪论 1 1 引言 最近几十年以来，通信技术的发展日新月异，无线通信技术的发展，宽带无 线通信，高速通信网，新一代信息网技术，光通信技术和智能信息处理技术等已 经进入了一个新的高速发展时期。传统的一维音频信号已经不能满足人们日益增 长的物质文化需要，人们越来越希望通过网络获得连续的二维信号和视频信号。 特别是最近十年，第三代移动通信技术正在蓬勃发展，它是将无线通信与国际互 联网等多媒体通信结合的新一代移动通信系统。它能够处理图像、音乐、视频流 等多种媒体形式，提供包括网页浏览、电话会议、电子商务等多种信息服务。因 此，对各种信号的处理技术有了更高的要求。为了适应各种现代通信信息传输网 络的技术要求，除了继续采用传统的熟悉信号处理技术外，在此基础上还应该提 出新的信号处理技术，算法和模型，以满足应用的需要。 作为信号处理技术发展的产物，图像和视频处理技术已经越来越引起国际社 会的关注。标准化是产业化活动的前提，近些年一系列国际图像和视频压缩编码 标准的制定，使得编码技术和产业日趋成熟，极大的促进了图像视频信号处理技 术在日常生活中的应用。这些新的压缩编码标准包括国际电信联盟i t u 制定的 h 2 6 x 系列标准m 】以及国际标准化组织i s o 制定的m p e g x 系列标准【l 。3 1 。这些 视频编码标准都是根据人们在不同领域中对数字音频、视频数据的要求制定的。 最新的视频压缩编码标准，h 2 6 4 a v c 标准【5 】是由i t u 和i s o 联合制定的。 h 2 6 4 a v c 是在总结和吸收以前视频编码标准中一些已经证明行之有效的算法的 基础上，结合视频编码和图像处理领域最新研究成果提出的，在提高编码效率和 增强网络适应性方面有了质的飞跃，它的目标是满足人们对网络视频多媒体信号 所提出的各种要求。 但是，由于h 2 6 4 a v c 标准引进了很多新的关键技术和复杂算法，这些技术 主要是为了提高编码的压缩程度，以尽量少的字节表达尽量多的信息，以编码算 法的复杂来换取编码比特率的下降睁1 3 】。因此，可想而知，编码时间必然会大大 提高，据估计，h 2 6 4 编码时间约为h 2 6 3 标准的1 4 倍【l ，从而限制了h 2 6 4 标 准在实时编码传输系统中的应用。所以，研究快速便捷的改进算法对提高 h 2 6 4 a v c 的实时编码有着重大意义。 h 2 6 4 a v c 编码模式决策技术研究 1 2 数字视频编码技术介绍 1 2 1 视频编码原理及技术介绍 图像( i m a g e ) 1 6 】是自然景物中物体反射的可见光的强度，也可以是其它的 各类电磁波反射后的强度反映( 如x 光图像、红外图像、紫外图像和微波遥感成 像等) 。视频( v i d e o ) 【l7 】实质上是在时间轴上一组图像序列的组合，也常被称为 视频图像、视频序列等。视频中的每幅图像被称为一帧( f l a m e ) 。由于人眼的视 觉暂留特性，当以超过每秒2 5 帧速度连续播放静止图像时，在人脑中就形成了连 续运动的视频效果。 从外界所获取的自然视频场景属于模拟视频信号，通常可以表示为时间与空 间上的连续函数。由于所有信息在计算机内部都是使用数字形式描述的，因而为 便于对采集得到的视频使用计算机进行处理、存储和传输，就必须将所获取的模 拟信号在时间和空间域中转换为数字量，即视频的数字化，其结果便是数字视频 ( d i g i t a lv i d e o ) 1 8 】。模拟视频的x ，y 坐标及幅度值都是连续的，为把它转换成数 字形式，需要在坐标和幅度上分别进行采样操作。数字化坐标值称为采样，包括 空间采样和时间采样；而数字化幅度值则称为量化过程。 对得到的数字视频信号，为了使其能在实时通信网络系统中得以应用，必须 对海量的数据信息进行一定的压缩编码，从而满足网络带宽的要求进行实时传输。 虽然表示图像和视频信息需要占用海量的数据，但是数据并不完全等价于信息。 数据是信息的载体，同样的信息可以由不同长度的数据进行描述。数字视频具有 自身的独特特点，即视频数据具有多种相关性。如果能够去除由相关性所造成的 各种冗余，便能够实现对原始视频信号的有效压缩。一般而言，数字视频信号中 的冗余可以归为如下几类【l7 】： a ：空间冗余。作为视频基本元素的数字图像是对模拟视频信号空间采样得 到，因而构成图像的相邻像素之间具有较强的相关性，即这些相邻像素之间的像 素值通常相差不会太大。各像素的数值可以由其邻近像素的数值预测出来，每个 独立的像素所携带的信息相对较少，这种像素间的冗余就称为空间冗余或几何冗 余。 b ：时间冗余。由于视频信号本质上是一系列连续的图像，为了达到连续的 视觉效果，视频帧与帧之间的采样间隔很小，对于2 5 f f s 的视频信号，其间隔时间 仅为0 0 4 s 。因此相邻两幅图像之间也存在着很强的相关性。对于静止不动的场景， 当前帧和前一帧的图像内容是完全相同的；对于场景中的运动目标，如果知道其 运动规律，也可以很容易地从前一帧图像推算出它在当前帧中的大致位置；这就 第一章绪论 是视频序列中的时间冗余。在编码过程中可以充分利用这种相关性，采用相应的 编码策略。 c ：心理视觉冗余。在大多数情况下，视频编码系统的最终接收者是人类视 觉系统。而人类视觉系统具有非均匀和非线性的特点，所感知的图像亮度不仅仅 与该点的反射光强有关，同时也会受到相邻区域光强的影响。在某些情况下，即 便是在灰度值为常数的区域也能感觉到灰度值的变化( 如马赫带效应) 。此外人 类视觉系统并不是对所有视觉信息都具有相同的敏感度。视频中的部分信息在通 常的感知过程中与另外一些信息相比来说不那么重要，如图像信息在一定幅度内 的微小变化是不能被人眼所感知的。上述这些特性都可认为是心理视觉冗余的， 去除这些信息并不会明显地降低所感受到的图像的质量。 d ：编码冗余。如果对图像的所有信息都使用相同长度的符号进行表示，将 使用较多的比特才能够完全表示图像中的灰度和颜色信息。例如，对于2 n 个灰度 级使用自然码进行编码，平均码字长度为n 。为有效表示图像信息中的像素点， 理想情况是按照像素信息熵的大小为其分配相应的比特数。而在实际情况中，很 难计算得知像素的具体信息熵。在进行图像的采样和量化时一般的方法是对所有 的像素都分配相同的比特数，此时编码所用的码本不能使平均比特数达到或接近 熵值。在这些情况下必然存在熵编码冗余。在随机过程的统计特性基础上，研究 者们提出了一系列熵编码算法，并在实际中得到了广泛应用。 一个典型的视频编码系统由如下各部分组成：视频编码器，视频解码器，信 道编码器，信道解码器。图1 1 【1 7 】给出了视频编解码系统的原理框图，当输入视 频信号送入编码器后，编码器根据当前帧和相邻帧进行编码产生1 组码字，这组 码字再进一步被信道编码器编码后进入通信信道。通过通信信道传输后被依次送 入解码器中的信道解码器和信号解码器，重建原始视频图像。此时所获得的视频 图像可以是与原始输入视频完全一致的( 无损编码) ，也可以是原始输入视频的 近似图像( 有损编码) 。 编码器 解码器 嗣眶亘垂 唾垂画畸 图1 1视频编码系统模型 编码器由信源编码器和信道编码器两部分构成。信源编码器的作用是在保证 传输视频质量的前提下尽可能减少输入视频信号的各类冗余。输入数据首先经过 图像变换以减少像素间冗余。量化过程根据所设定的保真度追则去除数据的高频 信息，用以降低心理视觉冗余，可以用标量量化器或矢量量化器实现。标量量化 h 2 6 4 a v c 编码模式决策技术研究 对数据逐个进行量化，而矢量量化则对一系列数据同时量化。符号编码器对量化 器输出的每个符号定义相应的码字，生成二进制码流。再使用定长编码或者可变 长编码变长编码等方法完成最终的编码任务。信道编码器则采用纠错编码的方法 增强信源编码器输出抗误码能力。解码器则由对应的信道解码器和信源解码器级 联而成，它们以与编码器中相反的排列次序分别进行符号编码、量化和变换的逆 操作。对于无损编码的应用，由于编码器端没有量化过程，因此信源解码器也无 需对量化进行逆操作。图1 2 给出了信源编码器和解码器的原理框图。 信源编码器 信源解码器 图1 2信源编码器和解码器的原理框图 数据压缩编码技术自s h a n n o n 于1 9 4 8 年创立的信息论开始已有6 0 年历史， 其关键技术经过不断发展大致有以下几种： a ：熵编码。s h a n n o n 第一定律( 率失真定律) 【l5 】确定了在编码过程中不损 失任何信息，即在无损编码条件下数据压缩的理论极限是信息的熵，并指出了如 何建立最优数据压缩编码方法。这类保存信息熵的编码方法通称为熵编码 ( e n t r o p yc o d i n g ) ，熵编码结果经解码后可无失真地恢复出原始信息。编码的基 本思想就是用较少的比特数表示出现概率较大的灰度级，而用较多的比特数表示 出现概率小的灰度级，就能达到数据压缩的效果。常用的熵编码算法主要包括哈 夫曼编码( h u f f - m a nc o d i n g ) ，算术编码( a r i t h m e t i cc o d i n g ) 和游程编码( r u n l e n g t h c o d i n g ) 3 类。由于熵编码算法本身不会造成信息的损失，因此仍然属于无损编 码的范畴。 b ：变换编码。图像变换是视频编码系统的核心组成部分，基于变换的编码 方法也是目前图像编码和视频编码方法的主流，如视频编码标准m p e g x 和 h 2 6 x ，静止图像压缩标准j p e g 、j p e g 2 0 0 0 都采用的是基于变换的编码框架。 变换将在空间域内以像素灰度值形式表示的图像信息变换到频域中，以变换系数 的形式加以表示。变换能够有效减少图像空域中像素之间的相关性，从而有效地 消除图像的空间冗余；另一方面变换后图像信号的能量主要集中在低频部分，能 量密度随频率的升高而迅速下降，考虑到人类视觉系统对于高频信号不敏感的特 性，变换后利于针对不同频率的信号进行量化、游程编码和熵编码，从而达到数 据压缩的目的。此外变换后的系数还具有较强的抗干扰能力。对高质量的视频图 第一章绪论 像，预测编码一般要求信道误码率 4 8 ，进行1 6 x 1 6 模式。这样通过q p 可以对像素块大小的 选择。本文也对q p 较小时1 6 x 1 6 块的比例进行了统计如表3 2 所示。 表3 2q p 较小时各种序列中1 6 x 1 6 块比例( ) q p 91 01 11 21 3 1 4 1 51 6 f o o t b a l l0 0 0 50 0 2 50 0 0 30 0 0 10 0 3 50 0 1 50 0 2 50 0 0 5 f o r e m a n1 2 31 8 51 4 62 3 52 6 82 4 62 1 62 8 5 s i l e n t0 4 5o 3 5o 1 80 5 9o 4 20 5 60 8 5 0 7 0 2 通过图像纹理复杂度选取编码块尺寸 h 2 6 4 对宏块大小以及运动补偿块大小进行划分的原则是图像的纹理特征， 对不同纹理特征的宏块，进行不同块大小的预测方案。纹理是图像的灰度统计信 息，空间分布信息，结构信息的综合反映。纹理粗的地方，细节较差，需要较小 宏块预测的几率小：纹理细的地方，细节较多，需要较大宏块的几率小。纹理特 征的提取主要有三种，分别是统计法，结构法，以及频谱法【3 引。 因为粗纹理空间的能量集中在低频部分，而细纹理空间的能量集中在高频部 分。所以利用频谱的信息确定纹理特征很方便。但若直接运用d c t 等变换，运算 h 2 6 4 a v c 编码模式决策技术研究 的复杂度较高，势必影响运行速度，所以本文运用数学工具方差，对n x m 像素块， 方差的表达式为： x z ( x ，- x ) 2 s 2 ：土生生一n 木m 通过对变量的分析，得到简化的计算公式： ( 3 - 4 ) r = za b s ( x “- x ) ( 3 5 ) i e l j e l 对一帧图像而言，直接进行像素块的方差运算，其运算量很大，可以先进行 一次降采样，隔行隔列提取一个像素，这样可以极大的降低运算量，但对图像本 身纹理特征却影响不大。 在对每一个宏块( 1 6 x 1 6 像素块) 进行t 值计算之后，必须确定一个阈值t o ， t 0 决定此宏块是否需要划分成更小的4 x 4 子块。即当t o ，t o ) 时进行1 6 x 1 6 宏 块的帧内预测，当t 【t o ，栩) 时进行4 x 4 像素块的帧内预测。阈值t 0 的确定根 据量化系数q p 的不同，可以通过实验统计的方法得出。 3 4 x 4 亮度块快速选择算法 对已知大小的像素块，如果是4 x 4 像素块，有9 种预测模式需要确定，如果 一一进行r d 代价计算，速度会很慢，而由公式( 3 2 ) 可以看出，r - d 代价与 绝对误差和s a d 有着巨大的关联【1 9 】，所以可以通过对4 x 4 子块的9 种预测选项 通过计算绝对变换误差和s a t d 的值，由于不是精确的r d 计算，存在一定的误 差，可以确定最小的三个模式参考集，再对最小的三个模式进行r d o 优化计算， 得到最优的模式。此算法可称为两级选择算法( t l s ) 。 如图3 5 所示，对所有9 种预测选项，先进行s a t d 计算，s a t d 是绝对变换 误差之和，指对4 x 4 亮度块进行d c t 变换后残差块的值，由于h a d a m a r d 变换只 有加法和移位操作，运算简单，这里可以运用h a d a m a r d 变换来近似表示d c t 变 换。定义s a t d 计算公式为： s a t d = 日( is ( x ，y ) 一c ( x l ，y 1 ) i ) ( 3 6 ) s 指当前编码块，c 指参考编码块，h 指h a d a m a r d 变换。 为了从选出的三个模式选项中确定出最优模式选项，对其进行精确的r - d 代 价计算，求出最小代价的r - d 模式即为最优模式选项。 第三章基于h 2 6 4 a v c 帧内编码模式决策算法 3 7 s a 图3 5 两级算法流程图 t l s 算法在进行s a t d 计算时还是遍历对9 种预测模式进行搜索，但因其计 算简单，运算量会很小，得出候选的三个模式选项后，再进行三次r d 代价计算， 就能得到最优模式。整体上来说，有利于算法复杂度和运算时间的下降。 3 3 4 帧内模式决策算法流程 根据上述讨论，对帧内模式的选择可以分为三步，如图3 6 算法流程图所示： 图3 6 帧内模式决策算法流程图 s t e p l ：对输入的一个1 6 x 1 6 宏块，通过对q p 大小的判断，当q p 1 6 时进行宏块预测，如果输入的1 6 4 8 时编码时间缩短程度 最大，是因为此时只进行1 6 x 1 6 模式的预测。当q p 。若2 ( z ) 丁3 ，佃) 则进行子宏块 m _ 8 8 ，m 一8 4 ，m 一4 8 ， m4 4 ) 模式决策。最后，当2 ( 丁2 ，丁3 ) 时，所有模式的全部r - d 优化计算。 4 3 3 帧内模式的判决 帧内模式的编码策略在上文已提及，这里再加以说明。一般情况下，对于一 个待编码的视频流( 视频片段) ，只在第一帧时进行帧内编码，此帧称为i d r 帧， 即一个特殊的i 帧。i d r 帧的作用在于区分不同视频片段，使解码端能够加以识 别并且正确解码，即当在解码端出现一个i d r 帧时，解码器便发出一个n a l ， 将驱动器参数块( d p b ) 清零，使得解码图像不会因为以前图像的失真而产生更 第四章基于h 2 6 4 a v c 帧间编码模式决策算法 5 3 大的失真，提高解码图像质量。而其他情况下进行i 帧编码则很少，甚至无需进 行i 帧编码，只有在视频流没有达到运动门限的时候，才会进行i 帧编码，简单 地说，即帧间编码达到一定的预测误差时，将会用到帧内编码对这种误差加以纠 正，保证编码视频流的质量。在上述两种情况下，就会用到帧内预测模式，所以 讲帧内预测模式单独进行快捷算法的研究，只在特殊情况下加以利用，是一个最 基本的思路。 综上所述，帧间预测时用到帧内预测，主要完成的功能是去除p 帧编码时的 空间冗余，其次当进行帧间编码的图像运动矢量产生的误差积累到一定程度时， 需要用到帧内编码消除误差，避免图像失真。对于一个宏块是否采用帧内预测模 式，主要关心的问题在于空间纹理以及时间误差，所以在此引入两个参数a r ( 平 均码率) 以及a b e ( 平均边界误差) 来衡量 3 7 1 。 平均码率a r 衡量时间关系，指最优模式下运动补偿残差块的总比特率与当 前块总比特数的比值。计算公式为： ar=rate384(4-6) 其中：3 8 4 指宏块总比特数，r a t e 指残差块比特率。 3 8 4 = ( 1 6 1 6 ) 概+ ( 8 8 ) 咖宰2 ( 4 - 7 ) r a t e = 0 8 5 * 2 ，7 3 ( 4 8 ) 平均边界误差a b e 衡量空间关系，指最优模式下当前块与相邻已编码块之间 的边界平均误差。计算公式为： abe=sbe64(4-9) 其中6 4 指一个宏块中边界比特总数，s b e ( s u mo f b o t m d a r ye r r o r ) 指边界误差 总比特。 6 4 = ( 1 6 + 1 6 ) 概+ ( 8 + 8 ) 棚木2 ( 4 1 0 ) s b e = , ：l o r i g ( x ，y + f ) 一r e c ( 石一l ，y + f ) l + i 蚴( z + f ，y ) - r e c ( x + i ，y - 1 ) l + f ：i 吣c 6 ( c x ，c y + i ) 一r e c c 6 ( c x 一1 ，钞+ 圳+ i d g c 6 ( c x + i ，c y ) - r e c 曲( c x + i ，c y 一1 ) i + f 二i 帆仃( c x ，c y + i ) 一r e c 仃( c x 一1 ，c y + i ) i + i d g 。( c x + i ，c y ) - r e c 。( c x + i ，c y - 1 ) i ( 4 1 1 ) 其中：洲宫，d 厂f 窖曲，0 内一代表当前编码块的像素值，r e c ，r e c o b ，r e c 仃 代表相邻已编码块的重构像素值。( x ，y ) 表示亮度块的左上起始位置，( c x ，e y ) 表示色度块的左上起始位置，如图4 9 所示 h 2 6 4 a v c 编码模式决策技术研究 t 幻；痛硒，劣詈j其i旦巾 f x 、) ， l 雷 1 r 上二， 俐 编 1 。一 们与 害 与一j i i编与： 是：映 块 图4 9 边界误差不惹图 规定当触r = a b e 时，才进行帧内模式 预测。根据相邻宏块存在的情况，可以分类讨论如下： a ) 相邻重构的上宏块，左宏块均不存在：此时如果触净0 则跳过帧内模式预 测；否则- m 3 e = 0 。 b ) 相邻重构的上宏块不存在，左宏块存在：此时计算公式为 a b e = s b e 3 2 ( 4 1 2 ) 船e = j 薯0 1 5 l u n g ( x ，) ，+ i ) 一r e c ( x 一1 ，y * i ) i + f 二l o p 哲c 6 ( c x ，c y + f ) 一r e c 曲( c x 一1 ，c y + f ) l + 二o r i g c r ( c x ，c y + i ) 一r e c 仃( c x 一1 ，c y + i ) l ( 4 1 3 ) c ) 相邻重构的上宏块存在，左宏块不存在：此时计算公式为： 刎班= s b e 3 2 ( 4 1 4 ) s b e = f = 0 1 5 i 【，九g ( 石+ f ，y ) - r e c ( x + f ，y - 1 ) i + l 二l d 憎c 6 ( c x + i ，) 一r e c c 6 ( c x + i ，c y 一1 ) l + i 二l d 憎仃( c x + i ，c y ) 一r e c ，( c x + i ，c y 一1 ) i ( 4 1 5 ) 相邻重构的上宏块，左宏块均存在：此时属于常规情况，利用公式( 4 - 9 ) ， ( 4 - 1 1 ) 进行计算。 第四章基于h 2 6 4 a v c 帧间编码模式决策算法 5 5 4 3 4 帧间模式选择算法流程 根据上述对各种类别的算法研究和分析，可以分为如下几步进行决策，流程 图见图4 1 0 ： 否 图4 1 0 帧间预测算法流程 s t e p l ：对输入的p 帧，进行s k i p 模式判决：选择s k i p 模式进行编码，先 确定其最佳运动矢量和预测参考帧，如其最佳参考帧和最佳运动矢量分别为前一 帧及其运动矢量，再通过对其r d 代价函数的考察是否接近零。如果，满足以上 条件则直接以s k i p 模式进行编码；如果不满足则进行s t e p 2 ； s t e p 2 ：通过公式( 4 6 ) ( 4 - 1 5 ) 计算当前p 宏块的平均码率a r 以及平均 边界误差a b e 的值，并对其值进行比较：如果a r a b e ， 则进行帧间预测方案，转入s t e p 3 ； s t e p 3 ：对于帧间模式，首先计算p 宏块灰度直方图的二阶距, u 2l z ，根据在 一定量化系数q p 下训练出的阈值t 2 ，t 3 进行比较：若2 【z ) i o , 2t z l ，则进行宏 块级别的模式决策，即 m1 6 x 1 6 ，m1 6 x 8 ，m8 x 1 6 ) 。若2 ( z ) uj ，佃) 则进 行子宏块f m8 8 ，m8 x 4 ，m4 x 8 ，m模式决策。最后，当2 【i3 ) 时，4 x 4 2 , 7 所有模式的全部r - d 优化计算。 5 6 h 2 6 4 a v c 编码模式决策技术研究 4 4 算法仿真结果及分析 为了验证提出的帧间预测算法，将该算法应用于h 2 6 4 仿真平台j m l 0 2 上进 行仿真计算，仿真平台配置为： p e t i u m4c p u 3 0 6 g h z ，5 1 2 m b 内存，r a d e o nx 3 0 0s e r i e s 集成显卡。 实验参数的设置如下： p r o f i l e l d c = 10 0 ( f r e x tp r o f i l e s ：l0 0 = h i g h ) l e v e l l d c = 4 0 ( e g 2 0 = l e v e l2 o ) i n t r a p e r i o d = 0 ；f | 6p e r i o do f i - f r a m e sf o = o l l l yf i r s t ) q p i s l i c e = 2 8 撑q u a n t p a r a mf o r is l i c e s ( 0 - 5 1 ) q p p s l i c e = 2 8 撑q u a n t p a r a mf o rps l i c e s ( 0 51 ) s e a r c h r a n g e = 3 2 撑m a xs e a r c hr a n g e n u m b e r r e f e r e n c e f r a m e s = 5 n u m b e r b f r a m e s = 0j f i n u m b e ro fbc o d e df r a m e si n s e r t e d ( 0 = n o tu s e d ) s p p i c t u r e p e r i o d i c i t y = 0 撑s p p i c t u r ep e r i o d i c i t y ( 0 - - - n o tu s e d ) s y m b o l m o d e = 1 ( e n t r o p yc o d i n gm e t h o d ：o = u v l c ，1 = c a b a c ) o u t f i l e m o d e = 0 f i 6o u t p u tf i l em o d e ，( o ：a n n e xb ，1 ：r t p ) r a t e c o n t r o l e n a b l e = 0 ( o = d i s a b l e ) u s e f m e = 3 撑u s ef a s tm o t i o ne s t i m a t i o n ( 3 = e p z sp a t t e r n s ) 其它参数的设置为默认设置。实验结果如下： 选取n e w s ，f o r e m a n ，m o b i l e ，m o t h e rd a u g h t e r ，h i g h w a y 五个q e i f 的y u v 序 列进行编码，实验结果如下表所示。 表4 3 帧间预测算法的q e i f 序列仿真结果 q p = 2 8 m e t h o dp s n rb i tr a t et o t a lt i m e ( d b )( k b 彬s )( s e e ) n e w s _ _ q c i f f s 3 6 9 16 8 5 5 1 0 4 1 7 6 n e w3 6 8 46 9 2 55 0 9 8 7 f o r e m a n _ q c i f f s3 5 7 69 9 9 01 0 6 4 0 9 n e w 3 5 5 91 0 0 0 5 5 1 3 5 4 m o b i l e _ q c i f f s 3 3 6 33 9 2 7 01 4 0 4 2 6 n e w3 3 2 03 9 8 6 56 8 3 5 4 m o t h e r _ d a u g h t e r _ q c i f f s 3 7 6 63 4 7 4 1 0 6 1 8 7 n e w 3 7 1 23 6 4 15 1 6 0 2 h i g h w a y _ q c i f f s3 7 9 86 2 6 69 2 9 4 8 n e w3 7 4 96 3 9 44 4 6 5 5 选取n e w s ，c o n t a i n e r ，h a l l ，f o r e m a n ，m o t h e r _ d a u g h t e r 五个c i f 的y u v 序列进 第四章基于h 2 6 4 a v c 帧间编码模式决策算法 5 7 行编码，实验结果如下表所示。 表4 4 帧间预测算法的c i f 序列仿真结果 q p - - 2 8 m e t h o dp s n rb i tr a t et o t a lt i m e ( d b )( k b i t s )( s e e ) n e w $ c i ff s3 8 3 11 9 1 5 l4 1 4 7 3 5 n e w 3 8 0 4 1 9 4 6 62 0 0 6 5 8 c o n t a i n e r c i f f s3 6 2 51 8 5 5 14 2 8 3 4 3 n e w3 6 0 91 8 8 0 92 0 8 6 9 1 h a l l c i f f s3 7 9 42 1 4 0 83 8 3 1 7 0 n e w3 7 4 62 1 9 2 41 8 4 6 8 4 f o r e m a n e i f f s3 6 9 53 3 4 7 84 3 2 0 1 7 n e w3 6 5 43 3 8 1 52 1 6 0 5 7 m o t h e rd a u g h t e r _ _ e i ff s3 9 1 81 0 1 5 83 7 3 4 2 5 n e w3 9 0 11 0 3 6 51 8 4 4 8 7 由实验结果可见，本算法与原始算法相比，在编码时间上，大致降低了超过 5 0 ，而在峰值信噪比上也有小幅下降，在比特率方面，本算法上升不超过3 。 为了体现本算法的优势所在，本文又将本算法与只进行s k i p 判决的帧间预 测模式算法进行对比，实验选取n e w s ，c o n t a i n e r ，h a l l ，f o r e m a n ，m o t h e r _ d a u g h t e r 五个c i f 的y u v 序列进行对比，实验结果如下表所示。 表4 5 帧间预测算法的e i f 序列仿真结果对比 q p = 2 8 m e t h o dp s n rb i tr a t et o t a lt i m e ( d b )( k b i t s )( s e e ) n e w sc i fs k 口3 8 2 51 9 2 8 53 5 8 6 5 4 n e w3 8 0 41 9 4 6 62 0 0 6 5 8 c o n t a i n e r c i f s k p3 6 2 l1 8 6 8 l3 2 8 2 1 3 n e w3 6 0 91 8 8 0 92 0 8 6 9 1 h a l lc i fs k m3 7 9 12 1 6 9 82 6 4 8 7 8 n e 3 7 4 62 1 9 2 41 8 4 6 8 4 f o r e m a n c i f s k d3 6 9 53 3 6 5 53 1 1 1 0 5 n e w3 6 5 23 3 8 1 52 1 6 0 5 7 m o t h e rd a u g h t e r _ c i fs k 口3 9 1 21 0 2 0 82 5 9 8 5 6 n e w3 9 0 11 0 3 6 51 8 4 4 8 7 可以看出，本算法与只进行s k i p 模式提前决策的算法相比，编码时间上有 了很大提高，而在峰值信噪比上也有所下降，而编码比特率也只上升了2 以内。 说明帧内编码模式的选择和快速编码以及纹理特征的判决都有利于编码速度的提 高，而过多的选择过程也在一定程度上导致误差和码率的上升。 解码后实验效果如下