一种基于视觉感知的图像质量评价方法

1、第4期1999年4月电子学报ACTAELECTRONICASINICAVol.27No.4Apr.1999一种基于视觉感知的图像质量评价方法魏政刚袁杰辉蔡元龙(西安交通大学图像所,西安710049)X【提要】图像质量的好坏是评价图像压缩算法优劣的重要依据.传统的图像质量客观评价方法不能反映出图像在视觉感知上的失真,而主观评价方法如平均主观分数(MOS)带有很强的不确定性.建立在人眼视觉模型(HVS)基础上的感知均方误差(PMSE)做为主客观联系的桥梁,能有效地反映出人对图像失真在视觉上的感知.类似于均方误差(MSE)的定义,我们采用二范数测度的失真测量来定义PMSE,并用Weber2Fechn

2、er衰减、调制传递函数(MTF)过程和B样条小波进行模拟.我们对感知误差信号进行误差分割,对不同类型的误差进行不同的处理.最后去相关,加权和,得到一客观值,用于图像质量的客观评价.实验表明PMSE和MOS具有很强的相关性.关键词:图像质量评价,视觉感知,图像压缩,B2样条,小波APictureQualityEvaluationMethodBasedonHumanPerceptionWeiZhenggang,YuanJiehui,CaiYuanlong(ImageProcessingCenter,XianJiaotongUniversity,Xian710049)Abstract:Picture

3、qualityevaluationmethodscouldbeutilizedtoassessimagealgorithmsperformance.Thetraditionalobjectivemethodscannotnecessarilyrepresenttheperceptionoferror,andsubjectivemethodssuchasMeanOpinionScore(MOS),extremelydependsonobserversexperiencesandmotivations.PerceptualMeanSquareError(PMSE)isdefinedonthebas

4、isofHumanVisualSystem(HVS)andthenamodelisdevelopedtoexplainthisdefinition.ThreecomponentssuchasAmplitudeNonlinearity,ModulationTransferFunction(MTF),OrientationandScaleSelectivitycontributetotheoutputper2ceptualerror.Inthem,B2SplineshiftableandMultiscaleWaveletTransformisusedtomatcheyesOrientationan

5、dScalabili2ty.AnerrorsegmentationprocessdecomposesperceptualerrortofoursortsoferrorswhicharethencalculatedbyMeanSquareMeasurement.PMSEisthustheweightedsumofseveralprincipalcomponentsafterthePrincipalComponentAnaly2sis.Themodelistestedonimagesfinally,andtheresultsshowthatPMSEcorrelateswellwithMOS.Key

6、words:Picturequalityevaluation,Visualperception,Imagecompression,B2Spline,Wavelet一、引言图像压缩可以看作是在码率、图像质量视觉感知失真和算法复杂度之间的一种折衷,图像压缩算法的设计,主要依赖于上述三个因素.而图像质量视觉感知失真一直是研究工作的薄弱环节.传统的图像质量评价方法可分为客观和主观两类,客观的如MSE,峰值信噪比(PSNR),主观的有MOS等.他们被大量应用于图像质量评价中.基于对随机误差进行统计平均的客观图像质量评价方法,没有考虑到人的视觉感知特性.而主观图像质量评价方法又往往受到观察者本身的知识背景

7、、情绪以及疲劳程度等因素的影响,所得到的结果往往是值得怀疑的.因此在图像压缩算法的设计中,寻找基于人的视觉感知的图像质量评价方法显得极为必要.本文从人眼视觉模型出发,建立起一个较为通用的图像质量评价模型,试图克服传统图像质量评价法的缺点,从而定量地表示出图像主观质量的好坏.二、感知均方误差定义及其相应模型类似于MSE和PSRN的定义思路,我们认为可以按如下方式定义感知均方误差PMSE(PerceptualMSE),采用二范数测度失真测量:d(x1x2)=x1-x22=(x1-x2)2PMSE=22Ef(m,n)其中:p是视觉感知函数;f是原始图像;f是恢复图像.工程中一般将图像看为平稳遍历的二

8、维随机过程,认为集平均等于空域中的平均,有:(m,n)2/f(m,n)2PMSE=pf(m,n)-f如上式所示,PMSE与MSE的差别在于前者加入了感知函数p.我们在这里用p来表示视觉感知特性对图像质量测度的影响.通过定义PMSE,我们得到一个简洁的表达式用以客观准确地描述图像质量测度.X1997年7月收到,1998年4月修改定稿.国家自然科学基金(69472020)资助课题© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.80电子学报1999年视觉感知函数p是定义在人眼视觉模型基础上的测

9、度函数.由于HVS的复杂性,目前并没有得出关于此函数的清晰的解析表达式.较为成熟的HVS理论框架1如下:为计算方便起见,视觉感知函数p转化为以下三个呈级联关系的函数:222F1(e)(幅度非线性):F2(e)(二维视觉敏感度):F3(e)(视觉检测).如下式所示:222p=F(F1(e),F2(e),F3(e)(m,n)其中.e=f(m,n)-f图1的HVS模型认为幅度非线性衰减、视觉敏感度带通和视觉检测之间是简单的级联关系.这种看法并不完全地符合人眼视觉感知特性,实验表明以上三个过程实际上往往交织在一起,它们之间存在着反馈和控制,以及在不同尺度上存在着不同的处理模型.考虑到这些因素,根据图1

10、的HVS模型,建立了如图2所示的基于视觉感知的图像质量评价模型.其中,f是原始图像;f是恢复图像;SPE(SegmentPerceptualError)表示误差分割;Cov表示协方差;MRA(MultipleRegres2sionAnalysis)表示多变量回归分析.下面分别加以论述.图1人眼视觉模型由图1可见,HVS模拟了视觉感知的三大特性:幅度非线性衰减,视觉敏感度带通,视觉检测,它们是与图像质量相关的主要特性.因此p实际上就是定义在二维随机域上幅度非线性衰减,二维视觉敏感度带通和视觉检测的泛函数.考虑到视觉心理生理学实验的影响,p的表达式中应该加入心理生理学函数一项,它负责调节计算p时的

11、某些阈值和参数.图2PMSE模型图3MTF传递函数11Weber2Fechner定律视觉感知亮度指数特点早在60年代初就为人们所认识.近三十年来神经生物学等领域的一些重大发现2,3表明人眼视觉的非线性特性实际上可以用下式来表示:nnnR/Rmax=L/(L+),017FnF110实验中我们发现传统的Weber2Fechnet定律所建立的模型更为简洁有效,它能令人满意地近似人眼的视觉感知亮度非线性特性:(m,n)1/212w(m,n)=k上式实际上是一个归一化过程,它使不同的物理亮度在初级视皮层所对应的视觉感知亮度线性化.经过上式的处理,物理亮度映射为视觉感知亮度,从而得出视觉亮度误差w:(m,

12、n)=kf(m,n)-f(m,n)1/212w=F1f(m,n),f21MTF过程S.Daly在文献1中认为视敏度是相对于空间频率的函Al=0181(1+017)/l)-012我们用调制传递函数MTF来描述二维视觉敏感度的带通特性.如图3所示,人眼在25c/d之间最为敏感.描述MTF过程的函数有很多,在PMSE模型中借鉴了Algazi等人所提到的函数4:m=w3s(w)S(w)=115e-w/2-e-2w22数.并给出了如下的公式:s(,l,i,d,e)=PminS1(22,l,i),S1(,l,i)rarer22=2,w=(2f/60),f=u+v31方向选择性和多尺度特性人眼的感知具有方向性和多尺度的特点,大量的视觉心理生理学实验也证明了这个结论.HVS模型和小波理论的成熟推动了方向选择性的建模工作,其中,Freeman和Adelson推导了分析图像方向结构的算法5.可是他们的算法只能够沿特定的方向分解图像.我们采用B样条小波构造方向可调的多尺度滤波器,将传统的图像沿水平和垂直方向的分解推广到向任意方向的分解.首先介绍一个重要的定理.定理1n-1其中P代表视敏度的绝对峰值.ra=01856d0114,re=1/(1+ke)+(1+ob)/2r=(1-ob)/2)cos(422S1(,l,i2)=(312