高效视频编码hevc采用率失真优化技术

高效视频编码hevc采用率失真优化技术

0hevc率失真优化技术随着视频采集和显示技术的发展，高分辨率视频已成为当前的发展趋势。然而,高清视频存储与传输需要更大的储存空间和带宽。为了给实际应用有效地存储和传送大量视频数据,2010年国际电信联盟视频编码专家组和国际电工委员会运动图像专家组成立了视频编码联合专家组研究下一代高效视频编码(HEVC)标准,它的主要目的是解决传统H.264/AVC标准不能解决的高分辨率和并行处理问题,并且压缩效率提升了一倍以上在编码过程中,HEVC采用率失真优化技术为编码器确定最佳的编码参数。然而,率失真优化过程中采用的拉格朗日乘子仅仅考虑量化参数却忽略了图像的特征。文献[2-3]已经提出了一些改进方法,Li等人提出一种融合视觉感知特性的HEVC率失真优化方法,该方法考虑了人类视觉系统对输入视频图像的感知特性并定义了视觉敏感度因子,根据视觉敏感度因子对当前编码树单元(CTU)率失真优化过程中的拉格朗日乘子进行调整,视觉敏感度低的区域相应的拉格朗日乘子大,视觉敏感度高的区域相应的拉格朗日乘子小。实验结果表明,本文算法在相同的SSIM分值下,最高能节省9.0%的码率。1常率失真优化问题视频编码器的主要任务是在比特率受限的情况下以最小的失真传输图像序列,或在相同失真的情况下以尽可能小的码率传输视频序列。不管哪种情况,最基本的问题是如何在编码比特率和图像失真之间达到一个恰当的折中,这就是常说的率失真优化(RDO)问题式中,D表示失真,用来描述重建视频的质量,R式中,J表示率失真代价值,λ是控制码率与失真平衡的拉格朗日乘子。在帧间预测编码中,帧间编码有合并(Merge)与运动估计(ME)过程式中,J在预测编码完成之后,为编码块选择最优的划分深度,即式中,D2景观区域的敏感变化研究结果表明,人类视觉系统对视频场景中的空域活动性区域、时域运动性区域、纹理区域非常敏感,同时图像的亮度变化对人眼感知也有一定的影响式中,KL2.1不同的原理下嘴唇视觉敏感度的比较亮度在一定程度上影响视觉感知,特别是在亮度较高或较低的情况下,人眼的视觉敏感度相对较低,而在一定的亮度范围内,人眼的视觉敏感度相对较高。背景亮度敏感阈值曲线示意图若将人眼视觉敏感度相对较高的亮度范围(即75式中,L2.2区域视觉敏感度对于视频图像,活动性越小的区域失真越容易被人眼察觉,即活动性小的区域视觉敏感度高,活动性大的区域视觉敏感度低,研究结果表明,用梯度计算更能反映当前CTU的活动性式中,I式中,act2.3ctu的运动强度对于一个视频序列,人眼更加关注于视频序列中的运动区域。运动区域的运动强度可用运动矢量或块差值进行描述,由于运动矢量只有在当前CTU编码之后才能获取,而当前CTU的块差值可以在编码前获取,因此可以采用块差值描述当前CTU的运动强度。运动强度在一定程度上反映了人眼对运动区域的关注度,关注度越大的区域容忍的失真就越小,相应的视觉敏感度越大。差值法的计算公式为式中,I式中,H表示CTU的高度,W表示CTU的宽度,N表示当前编码帧中CTU的个数,F2.4sse的表现根据空间遮掩效应,纹理越复杂的区域能够隐藏越多的失真,而平坦区域相对纹理复杂区域隐藏失真的能力较弱。相同量的SSE发生在视频序列中纹理复杂的区域和纹理平坦的区域会产生明显不同的主观感受,视觉敏感度高的区域所引起的失真要明显大于视觉敏感度低的区域。一幅图像的纹理复杂度可用方差来进行描述,即式中,I(x,y)表示当前编码单元(x,y)位置的亮度值,avg和sq分别表示当前CTU的亮度像素平均值、亮度像素平方值,va式中,va2.5率失真代价函数的修正在编码过程中,由于I帧会作为后续编码帧的参考帧,如果I帧图像编码失真较大,会影响后续编码帧的质量。另外,I帧是帧内编码,编码出来的质量较好。因此在编码过程中,I帧不做处理,采用HM10.0编码方法,基于此,考虑人眼感知的自适应拉格朗日乘子缩放因子被提出,定义为式中,type表示当前编码帧的类型,I＿Slice表示I帧,a和b为调节参数,经过探索性实验表明,a取1.2、b取0.3时编码率失真性能最优。综上,考虑了人类视觉感知特性的率失真代价函数被修正为式中,K如果当前编码的CTU视觉失真敏感度高,则会对拉格朗日乘子进行缩小。相反,如果当前编码的CTU视觉失真敏感度低,则对拉格朗日乘子进行放大。为了确定率失真优化中的拉格朗日乘子,H.264/AVC参考软件在高码率的情况下得出了码率与失真的模型式中,β是一个常量取值0.85式中,ΔQP表示量化参数的变化量。3率失真性能对比为了测试本文算法的性能,将算法在HEVC参考软件HM10.0上进行实现以验证其有效性;实验的主要编码参数采用标准测试环境下的低延时(LP)编码以及随机访问(RA)编码式中,m和n分别表示原始图像和失真图像,μ为了验证每个因子的作用,选取了部分测试序列在低延时编码测试环境下编码,BDBR结果如表1所示,“-”表示在相同的SSIM或相同的PSNR条件下节省的码率。率失真曲线如图2所示。表1中,KF表示时域运动性权重因子,KA表示空域活动性权重因子、KL表示亮度权重因子、KT表示纹理权重因子、Pro表示4个权重因子综合作用,除了Pro这一列,其余列表示相应的权重因子单独作用时的率失真性能。从表1中可以看出,针对不同的序列,采用不同因子作用时得到的最终率失真性能存在较大差异,这是由于序列纹理复杂度,亮度变化、空域活动性以及时域运动性的不一致性所导致的。从表1中也可以看出,仅考虑纹理权重因子编码率失真性能相对其他因子较好,但人眼对视频图像感知因素,不能仅仅只考虑一方面的因素,要综合考虑这4个因素。图2给出了BasketballDrill序列在4个因子单独作用和综合作用下的率失真曲线,从图2中可以看出,每个因子单独作用时对BasketballDrill序列的率失真性能均有影响,均能提升其率失真性能,但这些因子单独作用时率失真性能均劣于综合作用时的率失真性能。为了验证本文算法的有效性,本文与文献[7]的算法进行对比,实验结果如表2和表3所示,ΔBDBR表示本文算法和文献[7]的算法相比率失真性能增益,“+”表示本文算法率失真性能优于文献[7]算法。从表2和表3中可以看出,对于相同的SSIM,本文算法在RA,LP的编码配置下,平均率失真性能分别增加3.1%,4.9%。而文献[7]的算法在RA,LP的编码配置下,平均率失真性能只增加2.6%,2.7%,虽然文献[7]的个别序列率失真性能优于本文算法的率失真性能,但是大部分序列本文算法的率失真性能明显优于文献[7],例如ParkScene序列在随机访问配置下,用SSIM评价时,文献[7]算法的率失真性能只有2.1%,而本文算法率失真性能就有4.6%。Kimono序列由于运动相对剧烈,本文算法利用块差值法计算运动强度会导致整帧各个区域运动强度区别不大,同时整帧纹理复杂,在本文算法编码时各个区域同等对待,主观质量的率失真性能较一般。RaceHorses序列由于拍摄相机跟随着拍摄对象运动,导致整帧运动较剧烈,同时纹理比较复杂,导致其率失真性能提升不大。而BasketballDrill序列是在篮球馆拍摄而成,地板和篮球框架等区域基本处于静止状态,运动对象的运动强度相对其他区域有明显的差别,另外,其纹理相对简单,亮度变化均衡,因此率失真性能最好。从表2和表3中也可以看出在相同的SSIM下,最多有9.0%的码率节省。对于相同的PSNR,本文算法在RA编码配置下,平均率失真减少0.9%,与文献[7]相比率失真性能略差。但在LP编码配置下,本文算法平均率失真增加1.0%,而文献[7]的平均率失真性能减少了0.6%。图3给出了BasketballDrill序列第7帧图像及其相应的局部放大图,从图3(e)(f)两个局部放大图可以看出,线框标出的男子,其胸部的字母经过本文算法编码后失真小于HM10.0编码失真,在保证视觉质量的前提下,节省了大量的码率,验证了本文算法的有效性。4率失真优化中拉格朗日乘子的变化在HEVC上提出了一种融合视觉感知特性的率失真优化策略。利用人类的视觉系统对视频图像纹理、亮度、空域活动性以及时域运动性感知特性,对视频编码器中的率失真优化策略进行改进。该方法在以下两个方面有所改进,首先新策略能够对不同视觉感知特性的图像区域采取自适应调整率失真优化中的拉格朗日乘子;其次根据拉格朗日乘子与量化参数之间存在的关系,推导出拉格朗日乘子的变化在一定程度上引起量