视频质量的客观评价方法

视频质量的客观评价方法

0视频质量评价模型目前，大多数视频压缩方法采用压缩方法来消除视觉冗余信息，但压缩后将牺牲信号源的信息。由于编码压缩后的视频流或视频段的质量直接反映了压缩方法或压缩设备的性能，因此视频质量评价是一个非常重要的问题。海外主要研究vqeg（视频评估集团）、ibm和韩国sk电信集团在视频质量评估方面进行了相关研究。vqeg负责测试提出的视频质量客观评价模型。一个典型的模型是sunristvq模型。模型在3d模式下执行原始视频和错误视频，并计算两者之间的差值，期间的差异序列包括时间间隔、时空和色彩空间。计算视频质量评估的价值，并将差异序列放在时间间隔内。在色彩空间中，模型使用差异感知模型和资源提取模型的组合，例如编码产生的块效应特征。ntia模型更注重宇宙范围的细节，预测人们看不到的失真。vqeg已经评估了10种质量评价模型，但尚未确定标准的视频质量评价模型。国内的大学和北京大学在这项研究中取得了一些成果。然而，总体而言，目前的视频质量评价方法并不成熟，存在许多未知问题。视频质量评价从方法上可以分为主观评价方法和客观评价方法.前者凭感知者主观感受评价对象的质量;后者依据模型给出的量化指标衡量视频图像质量.本文将视频质量客观评价方法作为论述重点,并将其归结为基于HVS(humanvisualsystem)生理特征和基于结构失真的两大类方法,对视频质量评价过程中用到的多种方法进行了总结和评论,并通过实验进行了效果验证.最后总结和预测了视频质量评价技术发展的几个方向.1主观质量评价视频质量主观评价凭感知者主观感受评价视频对象的质量,包括视觉信息的录入系统,即人眼成像系统;视频信息处理系统,即人脑对视觉信息的加工.成像系统与信息处理系统2部分互相结合,对视频评价的结果产生显著的影响,目前尚没有合适的数学模型对其进行精确的刻画.主观质量评价一般采用连续双激励质量度量法(doublestimuluscontinuousqualityscale,DSCQS),对任一观测者连续给出原始视频图像和处理过的失真图像,由观测者根据主观感知给出分值.ITU-T(InternationalTelecommunicationUnion-Telecom-munication)已经发布相关标准BT-510,就主观质量评价过程中的测试序列、人员、距离以及环境做了详细规定,并综合考虑了影响视觉感知的分辨率、白平衡等因素.中国国标GB7401—87中对有线电视广播系统图像质量评价进行了规定,给出了电视图像主观质量的5级打分标准,并对伴音图像的质量评价进行了规定.主观质量评价方法需针对多个视频对象进行多次重复实验,耗时多、费用高,难以操作.目前,有学者就主观质量评价体系的组成环节进行改进研究.Richardson通过在主观评价过程中引入测试者反馈信息来加快主观质量评价过程.在主观质量评价过程中,给每个测试者连续的视频剪辑和一个输入控制设备,通过一个显示滑块实现与视频播放的交互.该方法不必中断视频剪辑,节省了测试时间及成本.就测试人员而言,主观质量评价原则上要求由不具有先验经验的非评价专家对待测对象打分,但观测者看到相同图像以后,实际上已经对同一个图像及相关的失真图像都建立了部分的先验信息.相对于主观质量评价,客观质量评价具有操作简单、成本低、易于实现特点,它已经成为视频图像质量评价研究的重点,这也是本文综述的重点.在实际视频通信中,更倾向于主观评价方法与客观评价方法的结合,如利用主观评价结果对客观质量评价模型结果进行校正.2结构失真的输出值目前,视频质量客观评价一般是通过模拟HVS的生理特征建立视觉感知模型,并将模型的输出值作为质量的评价或失真的度量,研究集中在如何提高模型输出与主观评价结果的相关性.Wang自2002年起提出,并在此基础上发展了一种基于结构失真的视频质量客观评价方法,该方法对静态图像质量评价取得了较好的效果,颇具潜力.2.1s-mse分析在视频编解码过程中,目前一般采用峰值信噪比(peaksignalnoiseratio,PSNR)或均方差(meansquareerror,MSE)衡量视频序列的失真度,即ΡSΝR=10lg(2552ΜSE)(1)ΜSE=1Ν2Ν∑i=1(xi-ˆxi)2(2)PSNR=10lg(2552MSE)(1)MSE=1N2∑i=1N(xi−xˆi)2(2)其中,xi和ˆxixˆi分别为原始图像与重建图像中对应的像素值,N2为N×N图像中的总像素数.PSNR和MSE忽略了图像内容对人眼的影响,不能完整地反映出图像的质量.分析式(1)和(2)可以看出,相对同一个原始信号a(i,j),相同PSNR或MSE的2个失真信号ˆa1(i,j)aˆ1(i,j)和ˆa2(i,j)aˆ2(i,j)可能是不同的.式(2)中,若|a(i,j)-a1(ˆi,j)|=|a(i,j)-a2(ˆi,j)||a(i,j)−a1(iˆ,j)|=|a(i,j)−a2(iˆ,j)|,则ˆa1(i,j)=ˆa2(i,j)aˆ1(i,j)=aˆ2(i,j),或ˆa1(i,j)+ˆa2(i,j)=2a(i,j).aˆ1(i,j)+aˆ2(i,j)=2a(i,j).MSE相同,但ˆa1(i,j)aˆ1(i,j)和ˆa2(i,j)aˆ2(i,j)并不一定相同,在人眼看来也可能会相差甚远.图1中,2个失真信号信号1和信号2分别与原始信号进行MSE计算的结果是相同的;但在人眼看来,信号1要比信号2更接近原始信号.2.2基于hvs生理特征的质量客观评价1)HVS生理特征基于MSE和PSNR的问题,视频质量评价过程中需要结合HVS生理特征来提高主、客观质量评价方法的相关性.HVS主要的生理特征如下:a.HVS能进行色彩空间变换.视网膜中的L型、M型和S型圆锥视神经细胞将映射到视网膜上的图像分解成3个视频流,并对应着不同波长的光,可以理解为RGB三色分量.b≢人眼光学系统将视觉激励聚集在视网膜上时对图像进行了模糊化,这可以通过一个点扩散函数(pointspreadfunction,PSF)予以描述.c.视网膜上的感光细胞分布不均衡,在视网膜凹点处密度大,致使人眼观看事物是以不同的分辨率进行的.Lee等提出将视网膜成像看作生物凹陷过滤过程,并设计小凹评价模型进行质量评价.d.人眼具有感光自适应性.视网膜通过对视觉激励的对比度而不是光强的绝对值进行处理,使人眼具有从暗到亮的快速自动调节功能,Weber定理就反映了这一点.e.对比度灵敏度函数(contrastsensitivefunction,CSF).人眼与对比度的敏感度与激励的颜色、空间和时间频率有关.CSF一般定义为对比度门限的倒数.f.人眼具有多通道特性.视觉皮层神经元相当于一组有方向的带通滤波器,它对中心值附近一定区域的空间频率和方向作出响应.g.人眼视觉具有掩蔽效应.当掩蔽信号和原始信号有相同的频率内容和方向时,掩蔽效应最强.h.整合效应.人脑可以将独立的多通道视觉机制聚合起来,具体的机理尚不清楚.2)客观评价方法基于HVS生理特征的客观评价方法可以用基于感知误差的统一模型来描述,客观评价过程的框图如图2所示.图2中,预处理环节处理数据排列、色彩空间转化、PSF滤波和D?A显示操作;CSF环节中一般采用线性滤波逼近CSF的频率响应或通过调整多通道分解的权值模拟CSF的响应;多通道分解将视觉激励分解成不同的空域和时域子带,常采用小波变换或DCT进行操作;误差掩蔽环节中采用增益控制并通过对每个通道内的误差信号与空域视觉门限比较来衡量掩蔽效应;误差整合环节联合不同通道中的误差对视频质量损失给出一个确切数值,一般采用Minkowski原则对不同通道的视频失真进行非线性合并,即E=(∑l∑k|el,k|β)1?βE=(∑l∑k|el,k|β)1?β,其中,el,k为第l个通道的第k个系数,β为一个常数值.目前已有多种基于HVS生理特征的质量客观评价方法:Tan等建立了感知模拟器模拟人眼时域的平滑效应和掩蔽效应,分析了人眼的不对称评价方式,即相对图像质量从差到好变化,人眼更易于发现从好到差的图像质量的变化;块效应检测联合掩蔽模型进行质量评价能给出质量客观评价值,它也可用于衡量视频块效应的严重程度;文献通过对CSF增加时间维分量使原始视频产生了2个对应不同时域属性的视频流,这2个视频流模拟HVS对静止态和稳定运动态的视频质量处理机制,通过提取运动信息对MPQM(motionpicturequalitymetric)进行了扩展;Winkle对色彩变换后的通道应用质量评价矩阵,利用IIR滤波器产生2个视频流,同时空域上分解成5个子带和4个方向,各通道按CSF值进行加权;马苗等利用灰色系统理论中的灰色关联分析(greyrelationalanalysis,GRA)的整体比较机制和小波变换的多尺度分辨率匹配于HVS的多信道模型,通过小波域系数之间的灰色关联度,利用小波系数的关联进行图像质量评价,但该方法的评判结果只具有相对意义;Yu等将Winkle的感知矩阵推广到可感知块损失的矩阵模型,模型参数可以通过最小化视频的预测质量与VQEG主观测试结果的差得到.HVS是一个高度复杂和非线性的系统,当前对其的认知仍然有限.文献[13,14,15,16,17,18,19]中的方法都基于一定的假设前提,但存在如下问题:1)基于HVS生理特征的方法一般都认为原始图像质量是完美的且Weber定律和PSF模型始终成立.2)一般假定HVS的多通道响应可以通过线性离散集合来模拟.3)一般假定通道分解是无损或无损于视觉的,变换后仍保持了质量评价的绝大部分信息.4)一般认为通道分解剔除了图像间的关联,通道变换的作用可以通过掩蔽模型来模拟.5)HVS的评价值可以通过测试误差的非线性组合来模拟,但目前大多采用线性加权组合.自然图像相当复杂,仅利用一些简单有限的通道组合提供质量评价无疑是存在差距的.还有其他一些基于HVS某一特征进行视频质量评价的方法:Inazumi等提出了一种考虑视频质量随时间变化时的评价方法,该方法基于人脑短时的记忆存贮效应,整个视频的质量通过各个帧的质量加权来评价,视频质量的时变因素作为加权函数考虑.最佳加权函数利用遗传算法最小化评价误差?获?取,该方法对单帧质量评价时采用主元分析(principalcomponentanalysis,PCA)提取失真特征和纹理特征,并利用多回归分析得到单帧质量评价模型,能较好地反映时变的特征;但是其计算量相当大,对HVS生理特征的利用较少.Ong等利用边缘损失、块效应程度和振铃噪声3个参量进行质量评价,但它仅利用了视频流的时域特征且主要针对低码率的视频流.Wang等提出了3层噪声加权模型:将图像结构分为噪声层、纹理层和目标层,每一层采用MSE和PSNR来度量图像质量,但是在每一层都使用了考虑人眼视觉感知的加权函数,最后通过3层的测量值加权确定最后的质量.文献利用人工智能的方法,如通过建立模糊推理模型解决质量评价问题,模型输入量为视觉掩蔽误差、模糊失真和对比度失真3个量,输出量为视频质量评测值;推理规则通过神经网络训练学习得到,但该方法运算复杂,只能用于离线评估.目前尚未确立一个标准的视频质量客观评价模型,各种评价方案仍在争论之中.但是,在视频质量评价中引入HVS这一点已经被多数学者所接受.由于还没有建立起精确、统一的数学模型,在一定程度上影响了视频质量评价的准确性.2.3结构失真的客观评价方法是基于视频质量损失1视频质量客观评价方法HVS是复杂的非线性系统,感知误差模型方法涉及的模型大都基于线性系统,这些模型的激励简单且存在多种限制.感知误差模型方法进行视频质量的客观评价建立在很多假设之上,第2.2节提到了基于这些假设所带来的问题.自然图像信号具有特定的结构,像素点之间带有很强的从属关系,这些从属关系包含了视觉场景中大量重要的结构信息.由此,Wang提出了一种新的视频质量客观评价方法:基于结构失真的图像和视频质量评价方法——结构相似(structuralsimilarity,SSIM)法.SSIM法的依据是HVS高度适合于提取视觉场景中的结构信息,使测量结构信息的改变与感知图像质量的变化非常接近,因此,如果结构相似则可认为前后图像质量变化不大,即质量损失不大.SSIM法提供了与感知图像失真非常接近的一种客观评价方法,通过与感知误差模型方法的比较可以更清楚地理解这种方法:a.感知误差模型方法通过量化感知误差来评估视频图像质量,而基于结构失真的方法是通过感知结构信息的改变来考虑图像的失真.当对比度改变时,尽管感知误差模型方法评价出的2幅图像质量分数相同,但在人眼看来此2幅图像差别悬殊,SSIM法能较好地反映这种情况;b.感知误差模型方法是一种自下而上的方法,先模拟HVS各个组成部分的功能,然后将其组合来实现整个HVS.SSIM法试图从整体上直接模拟HVS提取视觉对象结构的这种视觉功能;c.SSIM法在某种程度上绕开了自然图像内容的复杂性及多通道去相关问题,它没有从神经和生理学的角度通过整合误差来评估图像质量,而是直接评价2种信号的结构相似性.2核心函数和支持SSIM法实质上是观察图像信息的一种具体方式.假设源图像用图像空间中的向量来表示,则图像的任何失真可表示为在源图像向量上添加失真向量,当失真图像向量的长度和源图像向量的长度相等时,可将它们定义在图像空间中以MSE的值为半径的球面上.但球面上的图像却可能具有非常不同的视觉质量,表明失真向量的长度即MSE并不足以作为有用的图像质量评价参数,这些向量的方向有更重要的意义.如光照对于物体的结构来说是独立的,光照的主要改变来源于亮度和对比度,因此可以考虑将亮度和对比度从图像的结构信息中分离出来.SSIM法基本框图如图3所示,信号X和Y分别是原始图像信号和失真图像信号.SSIM法的核心函数定义为S(x,y)=f(l(x,y),c(x,y),s(x,y))(3)S(x,y)=f(l(x,y),c(x,y),s(x,y))(3)其中,S(x,y)为失真信号与原始信号之间相似性的测量函数,用来度量失真度;f(·)是整合函数;l(x,y)是亮度比较函数,c(x,y)是对比度比较函数,s(x,y)是结构比较函数,3个函数相对独立,满足对称性、边界性和最大值唯一性.l(x,y)=2μxμy+C1μ2x+μ2y+C1,C1=(Κ1L)2(4)c(x,y)=2σxσy+C2σ2x+σ2y+C2,C2=(Κ2L)2(5)s(x,y)=2σxy+C3σxσy+C3(6)l(x,y)=2μxμy+C1μ2x+μ2y+C1,C1=(K1L)2(4)c(x,y)=2σxσy+C2σ2x+σ2y+C2,C2=(K2L)2(5)s(x,y)=2σxy+C3σxσy+C3(6)其中,σxy=1Ν-1Ν∑i=1(xi-μx)(yi-μy)σxy=1N−1∑i=1N(xi−μx)(yi−μy);L为像素值的动态变化;K1,K2≪1;μx和μy是亮度均值作为亮度估计;σx和σy是标准方差作为对比度估计,σx=(1Ν-1Ν∑i=1(xi-μx)2)1?2‚μx=ˉx=1ΝΝ∑i=1xiσx=(1N−1∑i=1N(xi−μx)2)1?2‚μx=x¯=1N∑i=1Nxi.结合式(4)～(6),定义SSIM指标为ssim(x,y)=[l(x,y)]α⋅[c(x,y)]β⋅[s(x,y)]γ(7)ssim(x,y)=[l(x,y)]α⋅[c(x,y)]β⋅[s(x,y)]γ(7)其中,α,β,γ>0,这3个参量对亮度、对比度和结构信息进行权值调整.3局部质量评价图4所示为原始的未失真的Lena图像;图5所示为JPEG压缩的图像,具有明显的马赛克效应,其与原始图像相比差别明显.利用SSIM法进行仿真实验:μx,σx和σxy在局部8×8的窗口中进行计算;然后按像素在整幅图像中进行移动.整幅图像的质量的评价利用结构相似性均值(meanstructuralsimilarity,MSSIM)来表示,ΜSSΙΜ(X,Y)=1ΜΜ∑j=1SSΙΜ(xj,yj)MSSIM(X,Y)=1M∑j=1MSSIM(xj,yj),其中,xj和yj是的j个局部窗口的图像内容,M是一幅图像中局部窗口的数量.视频片段的质量可以通过各帧MSSIM的平均值得到.为简化计算,取α=β=γ=1,C1=C2=C3=0,得到平均结构相似值为0.98786,质量评价图如图6所示,颜色越黑代表质量越差,失真越严重.但是,图6并没有准确地反映出JPEG压缩对源图像造成的质量影响.经分析认为,当C1=C2=C3=0时,式(5)会因为σ2x2x+σ2y接近于0而产生不准确的结果.取C1=C2=2C3=25,得到图像质量评价值为0.59183(相同的2幅图像质量评价值为1),从实验结果看,其数值比较接近于主观质量.其质量评价图如图7所示,较好地反映了JPEG压缩后图像各位置的失真.SSIM法中每移动一步,局部统计特性和SSIM指标都要在局部窗口中进行计算,导致了质量评价图中块效应的出现.为了解决该问题,W