一种新的H264AVC码率控制改进算法1.doc

精品论文推荐一种新的 h.264/avc 码率控制改进算法1朱冰莲，廖志成重庆大学通信工程学院，重庆（400044）e-mail: l摘要：针对头信息比特灵活多变、预测困难的问题,提出一种新的基于概率选择的头信息比特预测方法。其次对于 h.264 码率控制算法中所采用的帧层比特平均分配而可能导致失衡 的问题，引入一种新的图像复杂度衡量因子对比特分配进调整。结合新的头信息量估计方法 和新的比特分配调整方法，对原有的 h.264 码率控制算法进行改进，实验证明能达到更好的 效果。关键词：头信息; 码率控制;视频编码; h.264中图分类号：tp37; tp316. 5文献标识码：a1引言在多媒体通信中，压缩编码后的信息流常常需要在带宽不衡定的的网络上传输。为了使 编码后的视频流很好地适用带宽，尤其是适应低带宽信道或时变的无线信道并充分利用有限 网络资源，码率控制成为了视频通信系统中一个必不可少的环节。一方面它需要控制因为信 源比特与当前带宽不一致而可能造成的缓冲上溢或下溢的发生，另一方面它还必须兼顾传输 视频的质量。基于它的这种重要性，码率控制技术一直为视频编码技术研究领域中的一个热 门研究点，其中比较精典的方案有 mpeg-2 的 tm51算法，mpeg-4 的 vm82算法和 h.263 的 tmn83等。h.264/avc 是 jvt 于 2003 年 3 月最终定案的新一代视频编码国际标准，它以其优越的编码效率在视频通信领域如手机视频，高清电视等得到了越来越广泛的应用。相比于以前的 编码标准， 一方面 h.264/avc 在编码模式判别上引入了率失真优化的思想，导致鸡蛋悖论； 另一方面，h.264/avc 引入了更复杂的编码模式，这就使得头信息如帧头信息，宏块模式， 运动信息等的极大地增加。头信息灵活多变因而其比特值也不再像以往标准一样可视为一常 量，这样导致为图像内容分配的目标比特上精确度不高，因而最终使得由率失真模型预测出 的量化参数准确度下降。因此可以说新一代视频标准下的码率控制面临着新的挑战。li zhengguo 等人在 jvt 提案 g012 中针对码率控制中的以上问题提出了一种解决方案4，尽 管该提案最终被 jvt 吸收进 h.264/avc，但头信量的估算的精度问题依然存在，另外它又 引入了新的问题如比特分配，mad 的预测等。本文主要针头信息量预测和比特分配的问题， 提出一种新的头信息量估计方法，并结合对图像内容复杂度的考虑，对当前比特分配策略进 行优化，以改善 h.264/avc 码率控制精度和性能。2码率控制精度的影响因素及分析2.1 h.264 中的头信息比特及预测方法的局限相比起以住的编码标准, h.264/avc 采用了更复杂的编码模式使得头信息量在总 体比特数中占有更大的一部份。jun zhang 等人根据实验统计出头信息编码的比特数在总的 码率中所占的比率可达 30%50% 5。此外头信息比特变化灵活难以数学建模6,7, 尽管有些 文献6通实验找出了头比特与量化参数倒数成线性变化模型，但由于量化参数是一个最终 确定量，因而该模型最终并不能用于头信息量的预测。因此可以说头信息比特预测的精度对1本课题得到重庆市科委应用基础科技项目(no7964)的资助。- 1 -于 h.264/avc 的码率控制的性能影响很大，特别是对于低带宽下的码率控制,这种影响将会变得更明显。在 h.264/avc 中一直采用的是一种用历史平均值去对头信息码率进行预测的方法7。这 种估计方法的基本思想是从编码帧中各种信息具有空间和时间相关性的角度进行考虑的。当 前帧内的一个编码的基本单元，其头信息比特不但和本帧其它基本单元块的头信息有关而且 还和上一已编帧基本单元块的头信息有关，因此它利用下式可以对头比特信息码率进行快速 地估计：h sum + h sum- 8 -fh pred (n) =fnbuf 1(1)式中 hpred f为当前帧 f 第 n 个要编码基本单元的头信息比特的预测值， nbu 为一帧中基本sum单元的总和。 h f 为当前帧 f已编码基本单元的头信息比特之和，h f 1 为上一帧中与当前帧未编码基本单元相对应的的基本单元的头信息比特之和,分别由(2)(3)式确定。h=sum fn 1 h fk =1(k )sum(2)nsumh f 1 = h f 1 (k )(3)k = n 这种预测方法对当前帧和前一帧的所有历史信息仅仅是作简单的平均处理，忽略了不同位置如相邻与非相邻以及不同性质如时间相关与空间相关的强弱影响，因此是一种比较粗糙 的方法，不能很好适应头信息比特灵活变化的特性。对于此问题，文献7也提了一种相对 简单的方法，即认为在时域中位置相邻的基本单元编码块头信息的相关性最强,因此舍弃了 历史平均值的策略而直接用前一帧的相同位置的头信息值预测当前帧当前基本单元块的头 信息。文献7称经过大量的实验，此方法比起历史平均值方法更有效。然而这种方法的局 限性在于一旦帧与帧之间的时间相关性减弱如帧出现突发运动、帧的图像内容变复杂等，此 时这种方法的预测效果就会恶化，所以它对于剧然运动视频序列效果不佳。2.2 帧层比特的平均分配及其影响h.264 的标准算法在根据 gop 的剩余比特数对单个帧进行比特分配时，在同种类型的 p帧之间采用的是一种平均分配方式，即：rt = gopngop(4)上式中 rgop , ngop 分别为 gop 剩余比特数和未编码的帧数。这平均分配方式缺乏对图像内容 复杂度的考虑，可能导致图像内容复杂的帧可能被分配不足的比特，造成“吃不饱”的现象； 反之，可能造成“过饱”的现象。在有限比特的情况下，这种比特的失衡分配势必造成在同样 量化参数的情况下图像质量的损害程度不一而最终使图像之间的平滑度降低。3. 基于基本单元层码率控制改进算法3.1 一种新的基于概率选择的头信息预测方法文献8证实,在时域和空域相邻的图像宏块间其运动矢量也表现为极大的相关性,相邻 两个编码宏块选择相同的宏块模式,运动信息以及编码块样式等的概率相对较高,因此文献7 的方法具有可行性。但如前所述，对于一些具有大量剧烈运动帧。文献7所用的单一时间 相关性或空间相关性并不能得到合理的预测值，如对 football 序列头信息比特的预测。另外， 所谓的时域和空域相邻编码块头信息量的强相关性是一个统计概念，这意味着并非相邻帧或者帧内相邻宏块之间相关一定强而相距一定距离的编码块之间相关性一定很弱。事实上在某些情况下还可以出现完全相反的情形。因此 h.264/avc 提出的使用历史信息的思想亦有其 合理之处。鉴于以上两方面，本文提出基于概率选择的头信息预测方法，其基本思想就是就 在不舍弃历史信息的前提下，以一种概率的模式去判断空间和时间相关性强弱，并根据概率 选择其中一种最适合当前编码块的时间相关性或者空间相关性信息来作为当前头信息量的 预测值。若设当前帧 f 中的基本编码块按光栅扫描顺序编号为 1- nbu ,当前帧中要编码的基本块号 为 n ,那么当前帧当前基本单元选择时间或空间相关性信息作为其头信息预测的概率可用式 (5)(6)描述：w psw (n i)pt (n) = i =1 wps (n) = 1 pt (n)(5) (6)这里 pt (n) ，ps (n) 分别表示时间和空间选择概率，psw (k ) 为一个开关函数，表明根据概率是否可以对当前编码块进行时间相关强的信息作出选择而对于空间相关性弱的信息进行舍弃。它 是一个与选择概率相关的量,可以用式(7)对它进行定义, w 为滑动窗口的大小,滑动窗是一个 形象的说法,它实质上是一个从当前数据开始按照某种顺序如时间往前回溯而得到的一个数 据集合。psw (k ) = 10pt (k ) / ps (k ) 1pt (k ) / ps (k ) 2fh s (n 1)if n = 2(10) fsh f 1 (n)if n = 1对于此模型，本文进行了大量实验，图 1 为采用序列为 suzie 和 football 实验结果。图中的头比特信息误差 er 和积累分布函数 f 分别由公式(11)和(12)给出,式(11)中的 h act 为当前 帧当前基本单元实际用的头比特比特数， h pred 为通过 上述方法所预测的比特数；式(12)中的 p(n) 为误差 n 出现概率。er = h act h pred(11)erf ( er ) = p(n)n = 0(12) h.264 lite rature 7 propose d10.90.8积累分布函数f0.10suzieqcif-20hz50100150200头信息比特预测误差er/bit10.90.9积累分布函数f0.2footballqcif-15hz h.264 lite rature 7 propose d50100150200250300头信息比特预测误差er/bit图 1 头信息比特预测误差比较图由此图 1 可以知道，比起现有标准采用的方法，本文提出的对头信息比特预测的方法能进一步降低预测误差。3.2 基于 hod 和 doh 的改进帧层比特分配方案在现行的 jm 模型中，帧层比特的分配都采用一种平均的分配方案而忽略了图像内容的 复杂度，这样对于图像场景改变量大的视频序列在低带宽下可能造成比特分配不均现像。为 了解决这个问题，本文提出一种基于差分直方图（hod）和直方图差分（doh）联合约束 来作为图像复杂度度量因子的帧层比特分配进行调整的改进方法。hod 与 doh 分别具有 对局部和全局变化敏感的特性9,假设当前为编码的第 n 帧，那么它与前一帧的 hod 与 doh 可描述为：1hod f = hod f (i) (13)1n i a ,a q 1doh f = h f h f 1n 0(14)其中 hod f 为帧 f 与帧 f 1的差分图像直方图， h f 为 f 帧图像的直方图,n 为一帧中像素总个数， a 为差分图像直方图阈值，q 为灰阶级别数。考虑到 hod 与 doh 对图像运动情况感知的不同,可以用联合二者对图像复杂度进行度量,即对大于的第 f 帧的复杂度因子 f 可以定义为： f = hod f + (1 ) doh ff f f1 f 1(15) hod + (1 ) doh 2 k = 2其中 为权重调节因子,测试中取值 0.5。图 2 反映了实验中图像内容复杂度度量因子 与比特数的正增长关系，可见 能够较好地度量图像的内容。对于帧层码率的分配一方面要考虑当前 gop 所剩余的比特数，另一方面也要兼顾当前缓冲的情况，即要保证编码缓冲即不能上溢，也不能下溢。基于本文对图像复杂度的考虑， 本文将此部分的目标比特预测公式调整为：6000suzieqcif-20hz500040003000一帧实际比特数/bit2000100000.5 11.522.533.5图像复杂度度量因子图 2 复杂度因子与编码的比特数正增长关系图rnr f1 0.2 f fnt 1 = ff fact(16) + (1 ) f r f 1fotherwise上式中， 为权重值，实验中取 0.875, r f 1 为上一已编码帧实际所用比特数。由于tf 太act 1高或者太低都不可能达到一种理想的效果，因此为了保证图像最低限度的平滑性，有必要引入一个范围对所分配的比特加以限定10，即：f ft 1 = max(least _ bits, min(t 1 , max _ bits)(17)上式中 least _ bits ,max _ bits 均为常量，本文 中分别取值 为200 和2 bit _ rate / frame _ rate 。另外考虑缓冲以及带宽因素的影响时，又可得到下列的目标比特预测公式：t 2 = u + (b b )ff tc r(18)其中上式中u , fr 分别为带宽和帧率; bt , bc 为目标缓冲和当前缓冲; 为常量,一般取 0.5。最后将以上两方面因素同时考虑进去，那么一帧编码的图像在帧层上应该分配的比特为二者的加权即：ffft = t 1 + (1 ) t 2(19)上式中 控制二者的权重，可取值为 0.5。4. 实验结果及其分析本文算法的测试实验基于 jm10.2 进行，选取了几种标准的视频序列对之测试，h.264/avc 编码器的重要参数设置和视频序列编码的信息如表 1。表 1 h.264 编码器参数配置参数值参数值运动估计精度1/ 4 pix参考帧数5率失真优化ongop 编码结构ippp熵编码方式cabac基本单元个数9在以上参数配置下对本文算法进行测试，并将它与 jm10.2 标准和算法作出比较，表 2给出本文算法测试的部分实验结果。从表 2 中可以看出,改进后的码率控制方法比起 h.264/avc 原有的码率控制算法，本算 法能将比特率降到更低,同时也能在一定程度上使各个序列的亮度分量峰值信噪比得到提 高，并且 psnr 的波动也有所降低。从算法复杂度上来看，本文的头信息预测方法和 h.264 原有的方法在同一个层次上；对于帧层上的比特分配改进算法，复杂程度依赖于帧的大小， 帧越大复杂度越高，反之则越低。本文在 qcif 和 cif 两种类型的常用的序列上测试发现，改进后增加的时间大约占总编码时间大约1% 3%。另外实验也表明，在低带宽下，本文算达到的效果更明显，这是因为一方面在低带宽下，头比特信息占总的比特量比较大的一部 分，因而本文提出的基于概率选择的这种头比特预测方法能发挥更大的效果。另一方面，由 于在低带宽下用于编码的比特显得更为紧张，因此在比特分配上将图像内容复杂度考虑进去 可以将有限的比特利用得更合理。表 2 本文改进后算法与 jm10.2 原算法性能比较测试序列目标 控制码率 方案/kbps实际码 率/kbpspsnr- y /dbpsnr 标准差suzieqcif-20hh.26432.1634.762.2832z本文32.0835.052.09foremanqcif-2h.26448.1633.511.35480hz本文48.0933.921.21footballqcif-1h.264127.8531.083.891280hz本文127.8331.423.635结语码率控制算法是影响视频编码器性能好坏的关键因素之一。本文针对 h.264/avc 标准 算法中的头比特预测问题和帧层码率均匀分配可能引起的问题进行分析并提出了一种新头 信息比特预测方案以及一种新的图像复杂度的度量因子对码率在一定程度上实现按需要配。 实验数据表明，改进后码率控制方案可使码率控制性能得到进一步提升。参考文献1h.sun, kwok.w, chien.m, ju.c.h.j. mpeg coding performance improvement by jointly optimizing coding mode decisions and rate control. ieee trans. circuits and systems for video technology, 1997,7(3):449-4582h.j.l,t.chiang,y.q.zhang. scalable rate control for mpeg-4 video. ieee trans. circuits and systems for video technology, 2000,10(6): 878-8943r.c.j, shawmin.lei. rate control in dct video coding for low-delay ommunications. ieee trans. circuits and systems for video technology,1999,9(1): 172-1854z.g.li,f.pan,k.p.lim,g.feng,x.lin, s.rahardja. adaptive basic unit layer rate control for jvt.jvt-g012, 7th meeting: pattaya ii ,thailand, 7-14 march, 20035zhang j, yi x, ling n, shang w. context adaptive lagrange multiplier (calm) for motion estimation injm. jvt-s028,19th meeting. geneva, switzerland, 31 march7 april,20066liu.y , li.z.g ,soh.y.c. a novel rate control scheme for low delay video communication of h.264/avc standard. ieee trans. circuits and systems for video technology, 2007,17(1): 68-78.7袁武，林守勋，牛振东，罗海勇，张勇东. h.264/avc码率控制优化算法. 计算机学报，2008,31(2):329-3398c.j,j.kuo. fast motion vector estimation using multiresolution spatio temporal correlations. ieee trans.circuit s and systems for video technology, 1997, 7(3): 477 -4889j.lee, b.w.d. temporally adaptive motion interpolation exploiting temporal masking in visual perception.ieee trans. image processing, 1994, 3(5): 523-52610s.zhou,j.t.li,j.h.fei,y.d.z. improvement on rate-distortion performance of h.264 rate control in low bit rate. ieee trans. circuits and systems for video technology, 2007,17(8): 996-1006.