（信号与信息处理专业论文）h264视频编码码率控制方法研究.pdf

南京邮电大学硕士研究生论文 摘要 摘要 h 2 6 4 a v c 标准是由运动图像专家组m p e g 和国际电信联盟口u 下属的视频编码专 家组v c e g 联合制定的新一代高效视频压缩编码标准。它不仅具有优异的压缩性能，而且 具有良好的网络亲和性。与以往的标准相比，它采用了更多的先进技术，使得在相同码率 下使用h 2 6 4 a v c 标准编码可以获得更好的主客观的图像质量。与以往标准不同的是，为 了获得高效率的编码，在h 2 6 4 a v c 标准中引入了率失真优化( r d o ) 策略来决定合适的 运动估计和宏块编码模式。由于量化参数鲈被同时用于率失真优化和码率控制，从而导 致了码率控制过程中“蛋鸡悖论”( t h ec h i c k e na n d e g g d i l e m m a ) 的产生。因此，以往的许 多经典码率控制算法在h 2 6 4 a v c 标准中并不完全适用。 本文对h 2 6 4 a v c 中的码率控制技术进行了深入的研究。首先对码率控制技术的背景、 意义和分类进行了简要的介绍，对码率控制的技术特点和关键技术研究情况作了简单的描 述，并对码率控制的原理进行了总结。接着对已有的经典码率控制算法以及h 2 6 4 a v c 中 建议使用的j v t - h 0 1 7 算法进行了详细介绍，并针对现有的h 2 6 4 a v c 中码率控制算法的 问题和不足，总结了主要的改进方向，并通过对p 域线性模型的研究，提出了一种基于p 域线性预测模型的h 2 6 4 a v c 码率控制策略，这种策略利用整数变换中零系数所占总系数 比重p 来解决量化参数q 尸同时被用于码率控制和率失真优化的矛盾。算法为了使分配给 每一帧的目标比特更加的合理与准确，引入了一个新的复杂度因子o c t , , ，对编码图像帧 的分配的目标码字根据编码图像的复杂度进行初步的估计，并结合缓冲区的大小对所分配 目标比特进一步调整，从而使分配给每帧的目标比特更加的合理与准确。文中还对头部比 特预测方法作了改进，用运动矢量m v 作为对头部比特预测的重要因子，来调整预测的头 部比特大小，使分配给每帧的头部比特更加的准确。论文对提出的算法与乃毋h 0 1 7 算法 以及其它一些算法性能进行了仿真和比较，通过比较和分析，证明了本文所提的码率控制 算法在保证图像质量的同时，还可以获得更加平稳的输出码率并使实际输出码率更加接近 于目标码率。 关键词：h 2 6 4 a v c 、视频编码、量化参数、码率控制、p 域线性模型 南京邮电大学硕士研究生论文 a b s t r a c t 1 4 2 6 4 av ci san e we f f i c i e n tv i d e oc o m p r e s s i o na n dc o d e cs t a n d a r djo i n t l ys p e c i f i e db y v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) ，a l lo r g a n i z a t i o nu n d e r 玎u ( , i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) ，a n dm p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) t h i sn e ws t a n d a r dh a s o u t s t a n d i n gc o m p r e s s i o np e r f o r m a n c ea n di sn e t w o r kf r i e n d l y c o m p a r e d 、) ，i t l lp r e v i o u sv i d e o c o d e cs t a n d a r d s ，h 2 6 4 av cu s e sm o r ea d v a n c e dt e c h n o l o g i e sa n da c q u i r e sb e t t e rs u b j e c t i v ea n d o b j e c t i v ei m a g eq u a l i t yu n d e rt h es a m ec o d i n gr a t e u n l i k et h ep r e v i o u ss t a n d a r d s ，h 2 6 4 a v c i n t r o d u c e sr d o p t i m i z a t i o ns t r a t e g y t oo b t a i n s u p e r i o rc o d i n ge f f i c i e n c y h o w e v e r ， q u a n t i f i c a t i o np a r a m e t e r s ( 9 p ) a r ea l s ou s e di nr a t ec o n t r o l ，w h i c hi nt u r nc a u s e st h ec h i c k e n a n de g gd i l e m m ao fr a t ec o n t r o lp r o c e d u r e t h e r e f o r e ，al o to ft y p i c a lr a t ec o n t r o la l g o r i t h m s a r en o ta p p l i c a b l ei nh 2 6 4 av c r a t ec o n t r o la l g o r i t h m so fh 2 6 4 av ca r ef u l l ys t u d i e di nt h i st h e s i s f i r s t ，t h et h e s i s o u t l i n e st h et h e o r y , b a c k g r o u n d ，s i g n i f i c a n c eo fr a t ec o n t r o l ，c l a s s i f i e st h ee x i s t i n gr a t ec o n t r o l a l g o r i t h m s ，a n dr e v e a l s t h e i r c h a r a c t e r i s t i c s ，k e y i s s u e sa n dp r i n c i p l e so fr a t ec o n t r o l t e c h n o l o g i e s t h e nc l a s s i c r a t ec o n t r o la l g o r i t h m sa n dj v t - h 0 17u s e di nh 2 6 4 av ca r e p a r t i c u l a r l yd e s c r i b e d f o rt h ep r o b l e m sa n dw e a k n e s so fr a t ec o n t r o la l g o r i t h m si nh 2 6 4 av c , t h i st h e s i sp o i n t e so u tt h ed i r e c t i o n so fp o s s i b l ei m p r o v e m e n t ar a t ec o n t r o ls t r a t e g yu s i n g p d o m a i nl i n e a rp r e d i c t i o ns o l i c em o d e li sp r o p o s e d t h ec h i c k e na n de g g d i l e m m ai ss o l v e d t h r o u g hu t i l i z i n gz e r oc o e f f i c i e n tp e r c e n t a g e ( p ) o fi n t e g e rd c tt r a n s f o r m i no r d e rt o a c c u r a t e l ya l l o c a t et a r g e tb i t s ，an e wc o m p l e x i t yf a c t o rd c t pe s t i m a t i n gt h et a r g e tb i t sb a s e d o ni m a g ec o m p l e x i t yi si n t r o d u c e dt oo p t i m i z et a r g e tb i t so ff r a m e s t a r g e tb i t sa r ef u r t h e r a d j u s t e db yt h ea c t u a lb u f f e rf u l l n e s s m e a n w h i l e ，t h et h e s i si m p r o v e st h eh e a d e rb i t sp r e d i c t i o n m e t h o db yu s i n gm o t i o nv e c t o r 们a si m p o r t a n tf a c t o rt oa d j u s th e a d e rb i t ss i z e c o m p a r i n g 嘶mj v t - h 0 17a n do t h e rr a t ec o n t r o la l g o r i t h m s ，t h ep r o p o s e dr a t ec o n t r o la l g o r i t h mc o u l d a c h i e v es m a l l e rb i tr a t ee s t i m a t i o ne r r o ra n dm o r es t a b l eo u t p u tr a t ew h i l eg u a r a n t e e i n gt h ev i d e o q u a l i t y k e y w o r d ：h 2 6 4 a v c 、v i d e oc o d i n g 、q 尸，r a t ec o n t r o l 、p - d o m a i nl i n e a r i t ym o d e l i i 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：垒：) 盎一日期：塑2 。! 生：f 荜 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名： 、 导师签名： 南京邮电大学硕士研究生论文 第一章绪论 1 1 背景介绍 第一章绪论 多媒体技术和网络通信技术的飞速发展，使人们的生活和学习带来了前所未有的变 化。作为多媒体信息中重要的组成部分，视频信息具有内容丰富，信息容量大，表达能力 强的特点，随着视频压缩标准商用化的进程，出现了越来越多的新兴应用，如在数字电视 广播、数字视频存储、视频点播、会议电视、可视电话，远程医疗等等，但是，在实际的 视频应用场合中，传输带宽和延时往往是有限的，如何在给定的带宽和时延下实时传输数 据，并保证良好和稳定的接受质量成为一个关键的问题，所以人们对压缩视频传输的研究 至今仍方兴未艾。 数字视频压缩编码技术作为一个专门的研究领域，已经有了二十年的历史，从上世纪 八十年代末期开始，一些国际组织开始致力于视频图像编码的标准化工作。国际电话与电 报顾问委员会( c c i t t ，i n t e r n a t i o n a lt e l e p h o n ea n dt e l e g r a p hc o n s u l t a t i v ec o m m i t t e e ，现为 i t u - t ，i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o nt e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) * n 国 际标准委员会运动图像专家组i s om p e o ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 相继制定了一系列 通用的压缩视频编码标准，如i t u - t 发布的h 2 6 x 系列( h - 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ， h 2 6 4 ) 和i s om p e g 制定的m p e g x 标准系歹q j ( m p e g 1 、 m p e g 2 、m p e g 4 ) 。 2 0 0 1 年后期，i t u t 的视频编码专家组( v c e o ) 和运动图像专家组共同成立了一个联 合视频专家组( j v t ) 。2 0 0 3 年3 月，联合视频专家组制定的新一代高效视频压缩编码标准 h 2 6 4 a v c ，该标准为广播、存储设备、视频通信以及无线网络等方面的视频技术提供了 技术支持。与h ，2 6 3 和m p e g 4 相比，在同样的质量下，它的码率能节约一半左右，或者 说在同样的码率下，其信噪比得到明显的提高；而且该标准对网络环境的适应性上得到了 极大的提高。但是与以往标准不同的是，为了获得更高的编码效率，h 2 6 4 a v c 引入了率 失真优化俾d d ) 、多编码模式、高精度预测和多参考帧等新编码技术，使得h 2 6 4 a v c 码 率控制算法不但要考虑缓冲区和图像复杂性等因素，还必须考虑因应用新编码技术所带来 的其它问题，从而使以往经典的码率控制算法不再适用于h 2 6 4 a v c ，由于其码率控制算 法的复杂性、不完善性和h 2 6 4 a v c 应用的广泛性，使得对其的优化和改进成为了视频压 缩领域的一个研究热点。 南京邮电大学硕士研究生论文 第一章绪论 1 2 课题研究的意义 码率控制的目的是为了在给定的目标比特率及缓存容量的条件下，尽可能的提高压缩 视频流的图像质量，并有效地抑制视频序列的质量波动。码率控制是视频压缩编码过程中 的重要环节。通常情况下，视频通信的带宽有限，这时候就要求对编码器输出的码率进行 控制，一方面满足低传输时延的要求，另一方面还要保证缓冲区的数据不能够上溢和下溢， 保证在通信过程中缓冲区数据占有量保持比较恒定。码率控制成为编码器不可缺少的组成 部分。因此，码率控制算法的优劣也成为衡量编码器好坏的重要指标之一。由于码率控制 贯穿于整个的视频编码过程，其有效性不仅影响码流的码率稳定，还将影响到整个视频序 列的图象质量。码率控制有效与否，在很大程度上取决于率失真模型( r - dm o d e l ) 的准确性 及码率控制算法的适应力。同以往的m p e g x 和h 2 6 x 编码标准一样，h 2 6 4 a v c 的率失 真模型及码率控制算法也没有一个统一的模式。这是因为码率控制与具体的应用需求紧密 相关，不同的应用目标对码率控制的准确性、复杂性、实时性、控制灵活性、存储器资源 占用量以及可控范围等方面有着完全不同的限制和要求。 通过以上的分析可以看出，码率控制在视频编码中具有举足轻重的地位，并且针对不 同应用其控制策略具有很强的灵活性和发挥余地。因此，视频编码的码率控制策略具有重 要的研究和应用价值。 1 3 码率控制的分类 作为视频压缩编码器的重要组成部分，码率控制根据信道传输、控制方向、编码过程、 使用模型等形式的不同，它的分类也不尽相同。 根据信道传输带宽的不同，码率控制可以分固定码率控制c b r ( c o n s t a n tb i tc o n t r 0 1 ) 和可变码率控制v b r ( v a r i a b l eb i tc o n t r 0 1 ) 两种。固定码率控制是一种闭环处理，输入为视 频源和目标比特，编码过程中的码率基本保持不变。它主要根据对源图像复杂度估计、解 码缓冲的大小及网络带宽估计动态调整凹，得到符合要求的码率。这种方法实现简单， 但在场景切换时容易产生马赛克，般适用于传输信道恒定的情况。v b r 模式是一种开环 处理，输入为视频源和q p 值。根据实际视频序列中的图像复杂度的不断变化、运动快慢 等等，比特率的输出也会在一定范围内波动，码率不固定，实现比较复杂，一般适用于传 输信道经常波动的情况。目前，提出的基于h 2 6 4 a v c 的码率控制算法大部分都是针对于 c b r 情况。本文的研究也主要针对恒定码率模式下的码率控制。 根据控制的方向不同，码率控制还可以分为前向码率控制和后向码率控制。所谓的后 2 南京邮电大学硕士研究生论文第一章绪论 向码率控制就是依据缓冲区容量和信道的传输速率来调整各编码成分的量化步长和输出 比特率，这种算法实现起来相对简单，能够比较有效的保证缓冲区不发生“上溢 和“下 溢 的情况。但是其在码率输出较低的情况下，容易导致编码后输出图像质量的剧烈波动： 而前向码率控制算法就是在视频图像输入编码器之前对其图像特征进行预先的分析，然后 以此来决定待编码图像的各部分量化步长和输出比特。这种算法相对后向码率控制算法来 说，计算量明显的增大，但是由于其考虑到了待编码图像本身的特征( 例如：图像运动量、 人眼的视觉特性、图像复杂度等) ，因而编码后的图像的主观质量更好。 根据针对编码过程的不同，可以分为基于帧层的码率控制算法和基于宏块层码率控制 算法，两者的区别主要是在帧层运用率失真模型计算出整帧的量化参数，还是在宏块层运 用率失真模型计算当前帧或者宏块的量化参数。基于帧层的码率控制中，也可以在宏块层 对量化参数进行一些适当的调整，使码率的控制更加的有效。 根据采用的率失真模型的不同，码率控制算法又可以分为p 域的码率控制与g 域码率 控制算法，g 域码率控制是使用量化参数作为编码产生比特灭与失真d 之间的联系，而p 域 的码率控制算法是用整数d c t 变换以后零值系数所占全部系数的百分比p 作为编码产生 比特r 与失真d 之间的联系，然后再利用p 与g 之间存在着一个一对一的映射关系，计算 出相应的量化参数。通常情况下，户域的码率控制算法与g 域码率控制算法相比，计算复 杂度较小，适用于实时视频通信的场合。 1 4 码率控制的研究现状 码率控制算法已经研究了多年，一般来说，它主要是通过调整量化参数、跳帧和调整 帧频等方法来完成。其中量化参数与视频编码输出的码率成反比，即量化参数越高，码率 越低，视频的图像质量相对也越低：跳帧则是通过对若干帧图像不编码来降低编码端的输 出码率，这种方法会使解码出的图像序列产生跳跃，图像的连续性不好；而调整帧频是因 为它与码率的输出成正比，这样就可以通过降低帧频来达到降低码率的目的，它的缺点和 跳帧一样容易造成图像的不连续。 目前大多数的码率控制算法主要涉及到到两个部分，目标比特分配和量化参数计算。 目标比特分配是对每一个图像g 丑( g o p ) 、每一帧、每一个基本单元或是每一个m b 分配合 理的比特数，这通常由目标码率、帧频、缓冲区大小和图像复杂度来决定的；量化参数的 计算主要是确定当前帧或当前m b 的量化步长，将开始所分配的目标比特逐层地分配给 g o p 、帧、基本单元( b u ) 和每一个m b 上，通过调整量化参数来实现。 3 南京邮电大学硕士研究生论文第一章绪论 比较精典的方法有m p e g 2 校验模型t m 5 算法【，用于h 2 6 3 的校验模型t m n 8 算 法 2 1 ，m p e g 4 中v m 8 算法【3 1 和v m s 算法【4 】，h 2 6 4 a v c 中的提议i v t - g 012 算法【5 1 和 i v t - h 0 1 7 算法【6 】等，下面依次进行介绍。 m p e g 一2 校验模型t m 5 算法中采用的采用的码率控制方法是在图像复杂度估值的基 础之上对待编码图像的目标比特数进行前向预测，然后根据预测的比特数来对图像的编码 进行控制。其大致可以包括三个步骤：( 1 ) 根据当前帧复杂度估值以及该图像组( g o pg r o u p o f p i c t u r e s ) 中己经使用的比特数来给当前待编码帧预分配个合适的比特数t ；( 2 ) 根据虚拟 缓冲区的占有率来计算各m b 的量化参数q p ；( 3 ) 对得到的量化参数进行修正。该方法与 帧复杂度的估计与编码的帧类型有关，并对三种帧类型分别设有独立的虚拟编码缓存，由 于这种控制方法是以g o p 为单位进行的，计算量大，难以满足实时视频传输的要求。 h 2 6 3 的校验模型t m n 8 算法中采用的码率控制方法主要有两个步骤：( 1 ) 帧层，根据 缓存充盈度为当前帧分配目标比特，决定是否采取跳帧等：( 2 ) m b 层，根据一个经验模型， 所需的比特数由像素的标准方差、量化步长索引和两个模式参数决定，并随着编码的进行 不断进行更新。具体的思路就是通过图像中每个m b 的统计特性，建立图像的量化步长和 输出目标比特数的关系模型，然后根据图像的量化误差模型，用拉格朗日( l a g r a n g e ) 求条 件极值的方法求出在最小误差条件下的量化参数q 尸。由于这种码率控制方法随时对缓存 容量进行调整，可以采用较小容量的缓存器，将编码延时降到最低，对低时延的实时通信 有利。 m p e g - 4 中v m 8 算法提出用流量往返模型分配比特数，并且在m b 层采用二次率失真 函数计算得到量化参数。由于v m 8 码率控制算法建立的基础是相邻帧之间相关程度比较 高，当视频序列中场景切换或变化迅速的现象经常出现时，此时算法性能会显著下降，并 且算法复杂度也很高，不适合实时编码使用。 h 2 6 4 a v c 编码标准采用了李政国先生提出的j v t - g 0 1 2 5 】码率控制方法。该方法利用 线性预测来预测当前m b 的平均绝对误差m a d ，然后再使用m p e g 2 中的二次模型( r - d 预测模型) 来计算量化等级。j v t - g 0 1 2 码率控制方法通过对g o p 层、基本单元层、m b 层 来逐级实现码率控制。通过层层地控制以实现高精度的码率控制方法。该算法没有突破蛋 鸡悖论的的瓶颈，而且预测出的m a d 并不能完全准确地反映当前m b 的编码复杂度，尤其 是对于快速运动或发生场景切换时，前一个基本单元的编码特性与当前基本单元相差甚 远，从而影响整个视频的视觉效果。 j v t - h 0 1 7 6 算法是从j v t - g 0 1 2 算法改进而来，提出结合h r d 控制算法，根据线性预 测理论利用前一编码帧相应位置的m a d 值来预测当前编码帧基本单元的m a d 值，再通过 4 南京邮电大学硕士研究生论文 第一章绪论 二次r - d 模型计算出相应的量化参数，在中高码率环境下有较好的编码效果，同样的它也 没有突破蛋鸡悖论的的瓶颈，对于快速运动或发生场景切换时，会影响到视频的视觉效果。 该模型在预测m a d 时运算开销较大，并且本身的算法复杂度也较高，不适用于实时视频 通信。 文献【7 】提出的基于帧复杂度的h 2 6 4 a v c 码率控制算法是根据编码器的缓存状态和 帧复杂度调整帧级目标比特率。该算法主要是针对目标比特率的分配问题，对复杂度高的 帧分配较多一些比特，复杂度低的帧分配较少一些比特，使得在少许增加计算复杂度的情 况下图像质量最高能提高1 1 d b 左右。文献 8 】提出了利用m a d 比率( 删曲) 来确定分配 给每帧的目标比特数。该算法可以有效的减少删的波动，特别是在场景切换或大运动 量的情况下，并且只需增加少量计算复杂度。文献【9 】通过量化后d c t 系数的零值比率和 码率之间的统计关系建立p 域线性率失真模型，这种线性率失真模型虽已成功用于大多数 典型的基于子块d c t 变换编码系统，如h 2 6 3 、m p e g 2 和m p e g 4 等，但h e 并没有研 究将该模型应用于新一代视频编码标准h 2 6 4 a v c 中。文献 1 0 1 在d c t 系数的基础上提出 平均像素信息比特( a t m ，a v e r a g ep i x e li n f o r m a t i o nb i t ) 的概念，并在的r d 模型中用a p i b 代替m m d ，试图从根本上摆脱蛋鸡悖论的束缚，然而性能改进有限。文献 11 】把夕域线性率 失真模型引入到h 2 6 4 a v c 的码率控制中，但是算法并没有考虑到头比特数的合理估计问 题，因此以上的各种码率控制算法都不是很理想的，还需要有进一步的改进。文献 1 2 1 4 】 提出了基于r - d 模型的多通道码率控制算法。然而这种算法的编码效率太低，需要对同一 视频序列进行多次编码和分析。 1 5 本文的贡献和内容安排 本文以h 2 6 4 a v c 视频压缩编码的码率控制策略为研究对象，对多种经典的码率控制 算法进行了深入的研究，分析了各码率控制算法的优缺点。并分析了现有码率控制算法中 遇到的问题提出主要的改进方向。 本文的主要贡献是：通过对p 域线性模型的研究，提出了一种基于编码复杂度p 域线 性预测模型的h 2 6 4 a v c 码率控制策略，这种策略利用整数变换中零系数所占比重p 来解 决量化参数q p 同时被用于码率控制和率失真优化的矛盾。引入了新的复杂度因子d c t o ， 对编码图像帧的分配的目标码字根据编码图像的复杂度并结合缓冲区的大小对每帧图像 分配目标比特。对头部比特预测方法作了改进，用运动矢量m v 作为对头部比特预测的重 要因子，来调整预测的头部比特大小，使分配给每帧的头部比特更加准确。并与j v t - h 0 1 7 南京邮电大学硕士研究生论文第一章绪论 算法以及文献中的其它算法进行了比较和分析，证明了本文所提算法在保证图像质量的同 时，还可以获得更加平稳的输出码率，并使实际输出码率更加接近于目标码率。 全文共分为六章，具体内容是这样安排的： 第一章为绪论。简要回顾了码率控制算法的发展背景，指出了码率控制算法的研究意 义和分类，系统分析了视频编码中经典的码率控制算法以及现有的h 2 6 4 a v c 码率控制的 研究现状和遇到的问题，点明了本文的研究内容。 第二章为码率控制算法介绍。首先介绍的包括码率控制的基本原理，率失真函数、预 测模型，然后对h 2 6 4 a v c 中建议的码率控制算法j v t - h 0 1 7 进行了详细的论述，最后针 对现有码率控制算法的问题和不足，总结了几个可能改进的方向。 第三章为p 域模型码率控制。本部分给出了p 域预测模型码率控制的框架结构，对p 域线性模型理论进行了详细的说明，并对p 域线性模型的正确性进行了验证，同时也对关 键步骤进行了详细的论述。 第四章为改进的码率控制策略。本部分从以下几个方面对建议中的码率控制算法进行 了改进，首先对头部比特的预测方法进行了改进，同时对d c t 变换后零系数所占比重p 的 特点对帧目标比特分配方法进行了改进，并给出了具体的实现方法及整个算法的实现流程 图。 第五章为实验结果分析。通过对算法的仿真与实现，结合了对标准中的建议算法 j v t - h 0 1 7 以及部分现有码率控制算法的比较和分析，说明了改进方案的特点及有效性。 第六章是对整个论文的研究和实验工作进行了总结，并展望了进一步的研究方向。 6 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 第二章码率控制算法介绍 2 1 视频编码框图结构 传统视频编码框图结构，它的输入编码器的视频信号是没有经过压缩的原始信号，根 据码率控制的对象不同，可以是g o p 信号、帧信号或是m b 信号。视频编码器根据码率控 制模块提供的量化等级对视频帧原始信号进行压缩编码，并将编码后的编码信号输入到缓 冲区以待输出到信道中，同时将编码图像复杂度送到码率控制模块，并结合缓冲区容量信 息在码率控制模块计算出压缩编码所需要的量化等级。这种视频编码框图结构如图2 - 1 所 示： 图2 - 1 传统视频编码框图结构 2 2 率失真函数及参考模型 码率控制问题的实质就是有约束的率失真问题，输出图像质量和编码输出码率是一对 不可调和的矛盾，要使编码输出码率降低，而尽量减小图像质量上的下降，需要有一个良 好的折衷策略，因此要首先找出码率和失真( 足一d ) 之间的关系，这就是率失真函数。率失真 函数可以这样表述：有发送端和接收端的一信源在离散无记忆信道传输信息，信源的平均 失真度为历，允许失真度为d ，在信源和失真度d 固定的情况下，满足历d 时，存在一 信道使得率失真函数r ( d ) 存在最小。典型的尺( d ) 函数是一个下凸函数，并且满足严格递 减。 传统的视频压缩标准是基于块变换编码和运动补偿来减小图像的空间冗余和时间冗 余的，而块变换常采用离散余弦变换，离散余弦变换以后的直流d c 分量通常服从g a u s s i a n 7 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 分布，而交流a c 分量通常服从l a p l a c i a n 分布。很多的文献 1 5 ，1 6 ，1 7 证明，l a p l a c i a n 分 布与g a u s s i a n 分布相比，得到的实际编码产生的率失真曲线更加的接近。因此通常假定的 信源总体上服从l a p l a c i a n 分布。 率失真模型描述了码率、失真以及量化参数三者之间的关系。它的准确性关系到编码 器能否在给定的失真和码率条件下对编码比特做出正确的预测。另外再考虑到模型形式的 简单性，很多学者已经在率失真函数的基础上作了大量的工作，并建立了多种编码比特率 与失真关系的近似模型。以下是常见的率失真近似模型： 2 2 1 一次线性模型 文献 1 8 】中使用的r - d 模型为： r ( 妒) = 刍 ( 2 - 1 ) 其中r ( q p ) 为量化步长为鲈时产生的编码比特数，s 为编码复杂度，可以用s a d 或 者旌e 来计算，c 玉为模型参数。 2 2 2 二次率失真模型 l a p l a c i a n 分布信源的概率分布函数为： p ：要e x p ( 口fx f ) ( 2 2 ) 采用绝对值失真测试，可以计算出率失真函数为： r ( 。) = l 。g 石1 万，其中o d 丢( 2 - 3 ) 通过将率失真函数中r - d 的关系转化为r q 关系就- i p a 把率失真和码率联系起来，用 泰勒级数展开为： 邶) _ ( 去- 1 ) 一互1 历1 - 1 ) 2 + r s ( d ) = 1 一刍矿+ r 3 ( d ) ( 2 - 4 ) 通过失真测度采用绝对误差：d 沁习- lx 一引，使d - q p 满足非线性关系，从而建立 二次率失真模型： r ( 。) 2 虿a + 矿b ( 2 5 ) 其中口和b 是递归模型参数。因为每帧运算的复杂度可以用m a d 表示，所以上式可以 8 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 变为： r ( d ) ：a xm a d , + bx m r a d ( 2 6 ) 、。 o p l0 群 其中q 为当前帧的量化参数，m , 4 d , 代表当前帧使用q 量化得到的残差。 2 2 3 对数模型 文献 1 9 2 2 指出对均值为0 ，方差为盯2 的g a u s s i a n 分布信源，若采用平方误差作为失 真测度，其率失真函数为 即，：阻g 苦0 d 仃2 假设失真d 和量化步长q p 之间服从线性关系，即：d ( q ) = m x q p ，代入上式得 r ( q ) = a + b l o g ( 亩) ( 2 - 8 ) 其中a ，b 分别表示对数模型中的两个参数，上式是从信源服从g a u s s i a n 分布的假设下 推导得出，但是对于以块变换为基础的传统视频压缩编码标准，d c t 变换以后的系数分布 更符合l a p l a c i a n 分布，所以假定的失真与量化步长之间的线性关系通常也不准确，对于b 帧和p 帧图像更加的明显，另外，对于量化参数较大时，该r d 模型与实际r - d 曲线偏差 更为的严重。 2 2 4 指数模型 文献 2 3 2 4 】提出的率失真模型表达式为： 删) = 口+ 参，其中。 c 2 ( 2 - 9 ) 其中a a 壬l ：l 为模型参数，c 为控制参数，主要用于控制r ( d ) 曲线的曲率。指数模型比 对数模型更接近实际的率失真曲线，但是，该模型的预测效果仍然不够理想，尤其对b 帧 和p 帧图像，误差仍然较大。 2 2 5p 域线性模型 文献 9 】认为d c t 系数量化以后零值系数比重是由量化参数q 尸决定的，因此在p 与 9 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 鲈之间存在着严格的一一映射的关系，可以将尺一q 的密切关系转换为r p 之间的关系。 在严格的理论分析和大量的模拟实验基础上，提出了一个基于p 域的线性码率模型： 足( 力= a x ( 1 一p ) ( 2 - 1 0 ) 其中尺为编码产生的比特数，0 是常数与图像的复杂度有关，p 为d c t 变换后零系数 所占百分比。基于j | d 域的码率控制算法，帧级计算目标比特更加的精确，在为m b 计算量 化参数以前，运动估计变换得到所有d c t 系数，然后得到q p - p 匹配表，然后根据上式来 决定鲈，基于p 域的线性模型统计当前帧量化后的d c t 零值，不需要依靠参考帧，在场 景切换频繁时，控制效果依然能到很好的效果。基于上述原因，本文采取的信源模型就是 p 域线性模型，在3 2 节进行详细描述。 2 3h 2 6 4 a v c 中的j v t - h 0 1 7 码率控制算法 现有的h 2 6 4 a v c 中的码率控制算法标准主要是j v t - h 0 1 7 。它继承了j v t - g 0 1 2 中提 出的线性m a d 预测模型来解决蛋鸡悖论，根据流量往返模型来分配每个基本单元的目标 比特数，并在帧层或者基本单元层采用v m 8 里面提出的二次r - d 模型来计算量化参数。 j v t - h 0 1 7 只是在j v t - g 0 1 2 的基础上对每帧的目标比特数进行了限制，因此下面就对 j v t - h 0 1 7 算法进行详细的介绍和分析。 2 3 1g o p 层码率控制 一般情况下，一个视频序列中有许多个g o p 组成，那么在编码之前就应该对每个g o p 分配多少比特数，每个g o p 的剩余未编码帧的总比特数，以及图像的初始量化参数的确定， 这些工作构成了g o p 层的码率控制。 ( 1 ) 为g o p 分配的总比特数 对于第i 个g o p ，分配的比特数由下式来计算 地，o ) = 掣一统( ，) 2 - 1 1 ) 其中e 是帧频，是第z 个g d 尸中的总帧个数，“( 吩，。) 是第f 个g 卯的初始目标码 率，吃( 吩- 1 ) 是指编码完第f 一1 个g 卯后的虚拟缓冲区实际大小。从上式可以看出，对 于后面的g o p 的目标比特的分配和前一个g o p 的实际产生的比特有关。 ( 2 ) 剩余未编码帧的目标比特数分配 1 0 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 如果当前的信道是时变信道，则当前帧_ ，的剩余比特数通过下式来计算 碱) ：霉瓴一+ 垫掣a r g o , , 一d 一勉川) ( 2 _ 1 2 ) 其中7 a n , ，_ ，) 表示第f 个g o p 中的第j 帧的目标比特数，甜( 伟。) 表示编码第j f 时信道的即 时带宽，p r 是帧频，表示g 卯中的总帧数，彳( 惕，产。) 表示上一帧实际产生的总比特数。 如果当前信道恒定时，由于“( ，) 和“( 吩川) 相等，因此，当前帧的目标比特分配可以用下 面的公式计算 乃( 玛。_ ，) - - t , ( n , ，一i ) 一彳( 吩，j 1 ) ( 2 - 1 3 ) ( 3 ) 初始量化参数的确定 对于第一个g o p 的，帧和第一个尸帧初始量化参数鳊是由可用的信道带宽、帧频、 g o p 长度和图像大小共同确定的，通常情况下，当信道带宽较大且图像不大的情况时可以 设定较小的鳊，反之可以使用较大的鳊；在同样的带宽下，如果g 凹长度增加1 5 ，那 么q p o 就相应的减少1 。q p o 可以通过图像中每个像素点的所占的比特来计算，每像素所占 比特可通过下式计算 咖= 瓦面u ( 两n o o ) ( 2 。1 4 ) 其中u ( n o 0 ) 表示目标信道带宽，w i d t h 表示图像的宽度，加动，表示图像的高度，b p p 的单位为像素每比特。 初始量化参数q p o 可以用下面的经验公式来设定 f 4 0b p p l l 鳃= 3 0 z 1 2 l 1 时 然= 缎+ 口+ m a x m i n q p 2 l - 一q 1 p , ) - ，2 ( f 一1 ) ) ，- 2 ( z 一1 ) ( 2 1 8 ) 式中口是第一个b 帧的量化参数和缎的差，其值有下式给出 一3p 只一9 只s - 2 l 一3 _ 一1 2 q 罡一q 号2 三一2 1 q ! 最一q e , _ 2 三一1 ( 2 - 1 9 ) 0 缎一缎- 2 l 1 p 只一q 曰- 2 l + 1 一-一- 2o t h e r w i s e 最终的量化参数鲤由下式进一步调整 鲣= m i n m a x q b _ f ，1 ) ，5 1 ( 2 - 2 0 ) 2 p 帧量化参数的计算 需要先计算出尸帧的目标比特数，然后再通过二次率失真模型计算其量化参数。 ( 1 ) 目标比特分配 要计算当前尸帧的目标比特，要计算出当前g o p 中尸帧的目标缓冲区大小。由于每 个g o p 中第一个尸帧的量化参数为初始的量化参数，因此只要计算其余的p 帧的目标缓 冲区大小。在第i 个g o p 的第一个尸帧编码完成后，目标缓冲级由下式得到 t b l ( n f ，2 ) = 段( 珥。2 ) ( 2 2 1 ) 其中e ( 吩2 ) 是第f 个g o p 的第一个尸帧编码完后实际缓冲区大小。接下来的尸帧的目 标缓冲大小由下式确定 1 2 南京邮电大学硕士研究生论文 第二章码率控制算法介绍 t b l 加地一器+ 高躺器一警 蚴 其中呒( 吩，) 是p 帧图像的平均复杂度权值，碗( 吩。- ，) 表示b 帧的平均复杂度权值，吃 和唬可以由下式计算 吃( = 掣+ 堡掣 确) = 掣+ 鼍掣 ( 2 - 2 3 ) ( 哆，) = 6 ( 强，) 缉 。，) ) = 粤掣 缉和线分别表示尸帧和曰帧的量化参数。 当序列中没有召帧时，p 帧的目标比特数计算式还可以简化为 t b l ( 加) - 鬻 ( 2 _ 2 4 ) 根据目标缓存大小、帧频、可用带宽和实际缓存程度，第f 个g o p 的第歹帧的目标比 特数可以由下式计算 地) = 掣+ 7 ( t h e ( n , ) 一s a n , ) ) ( 2 - 2 5 ) 其中i 值通常在没有b 帧时为0 7 5 ，有b 帧时为0 2 5 。如果实际产生的比特数和目标 比特比较接近，则可以得到下式 甓( 惕，+ 1 ) 一t h e ( n , 。+ 1 ) ( 1 7 ) ( 尾( 吩，) 一t b f f n , ，) ) ( 2 - 2 6 ) 当得到目标比特后，缓冲区的剩余大小由下式计算 户丽丽嚣崭糍两而 如果上一帧的复杂度比较高