一种针对图像模糊的无参考质量评价指标

1、一种针对图像模糊的无参考质量评价指标No-referencequalityindexforimageblurXIEXiao-fu1,2,ZHOUJin1,WUQin-zhang1(1. InstituteofOpticsandElectronics,ChineseAcademyofSciences,ChengduSichuan610209,China;2. GraduateUniversityofChineseAcademyofSciences,Beijing100049,China)Withtheanalysisofimageblurbasedontheimagingmodel,ametho

2、dwasproposedforconstructingreferenceimages,andatthesametimetheStructuralSimilarity(SSIM)indexwasintroducedintono-referenceimagequalityassessment.Anovelno-refernceimagequalityassessmentindexcalledNo-ReferenceStructuralSharpness(NRSS)wasthenproposedforqualityevaluationofblurredimages.Thismethodconstru

3、ctedareferenceimagebyalow-passfilter,andassessedtheimagequalitybycomputingtheSSIMbetweentheoriginalimageandthereferenceone,thusconsideringthemathematicalmodelofimagingsystemaswellastheadvantagesofSSIM.Theexperimentalresultsshowthatthenewindexiswellinaccordancewithqualityassessmentresultsofbothsubjec

4、tiveevaluationandfull-referencemethods.Withtheanalysisofimageblurbasedontheimagingmodel,amethodwasproposedforconstructingreferenceimages,andatthesametimetheStructuralSimilarity(SSIM)indexwasintroducedintono-referenceimagequalityassessment.Anovelno-referenceimagequalityassessmentindexcalledNo-Referen

5、ceStructuralSharpness(NRSS)wasthenproposedforqualityevaluationofblurredimages.Thismethodconstructedareferenceimagebyalow-passfilter,andassessedtheimagequalitybycomputingtheSSIMbetweentheoriginalimageandthereferenceone,thusconsideringthemathematicalmodelofimagingsystemaswellastheadvantagesofSSIM.Thee

6、xperimentalresultsshowthatthenewindexiswellinaccordancewithqualityassessmentresultsofbothsubjectiveevaluationandfull-referencemethods.ImageQualityAssessment(IQA);imagingmodel;StructuralSimilarity(SSIM);No-ReferenceStructuralSharpness(NRSS);energyfunctionofgradient0引言由于人是图像的最终宿主,主观图像质量评价能够给出最正确的质量评价结

7、果。但是主观质量评价方法不便于操作、耗时而且昂贵1,因此客观图像质量评价方法的研究显得越来越重要。客观图像质量评价方法可以分为三类:全参考、部分参考和无参考。前两类方法需要原始图像或者原始图像某些特征的集合作为参考来与失真图像比较,但是在很多应用场合,原始图像是无法获取的,所以研究无参考的图像质量评价方法至关重要。近年来,客观图像质量评价方法的研究取得很多进展。均方误差(MeanSquareError,MSE)和峰值信噪比(PeakSignaltoNoiseRatio,PSNR)由于其计算简单,物理意义清晰等优点成为应用最广泛的客观图像质量评价指标。文献1中指出,由于像MS序口PSNF类基于点

8、误差累积的方法没有充分考虑人眼视觉特性,所以与人的主观判断结果差异较大。针对以上分析,文献1中提出基于结构相似度(StructuralSimilarity,SSIM)的图像质量评价方法,并通过大量实验数据表明,该方法与主观评价方法相关性很高。随着对SSIM研究的深入,基于SSIM的图像质量评价体系出现了很多改进方法，例如GSSIM2和MDESSIM3殍，使得SSIM方法成为主观图像质量评价方法中一个重要的研究领域。此外文献4中提出用奇异值分解的方法来进行图像质量评价,而文献5中提出通过方向投影(DirectionalProjection,DP)来评价图像质量,实验结果表明这些方法都是可行的,但

9、这些全部都是全参考或者是部分参考的方法。由于没有任何关于原始图像的信息可以利用,故构造无参考的图像质量评价方法比另外两类方法要难得多,而且无参考的图像质量评价方法只能针对某一种具体的失真类型来进行。近年来无参考的图像质量评价方法研究也取得了较多的成果,但是这些方法彼此相互独立,还没有形成一个完善的研究体系。而且,目前无参考的图像质量评价方法都存在下面几个缺点中的某一个或几个:1) 需要进行某种变换,如快速傅里叶变换(FastFourierTransform,FFT),离散小波变换(DiscreteWaveletTransform,DWT)等，增加算法的时间复杂度6-7;2) 需要进行训练,而很

10、多时候训练样本的覆盖程度决定了算法的性能7-8,10-11;3)算法输出结果范围没有限制,即结果不是有界的9,12。本文作者充分研究以上算法,并结合成像系统的数学模型,提出一种无参考结构清晰度(No-ReferenceStructuralSharpness,NRSS)的针对图像模糊的无参考图像质量评价方法。实验结果表明,对于模糊图像,该算法在无参考图像的情况下可以取得优于有参考图像的SSIM方法的结果,且计算简单,克服了以上提到的三个缺点。1 图像模糊的原因在成像系统中,成像面上获得的图像可以认为是原始图像场景与成像系统的点扩散函数的卷积,其数学表达式如下I(x',y')=I0

11、(x,y)h(x',y')(1)已经证明,在非相干成像条件下对于一般圆形孔径的成像系统,若不考虑像差的影响,点扩散函数13为:h(x,y)=(2J1(z1)z1)2(2)其中J1(x)是第一类型的一阶贝塞尔函数，z1=兀D)Xfr,D为物镜入瞳直径,f为物镜焦距,人为窄带非相干光源的中心波长,r是距平面光轴的径向距离:r=x2+y2。由于贝塞尔函数比较复杂,同时综合考虑像差等因素的影响有学者提出了圆盘模型和高斯模型13,其中高斯模型在实际应用中取得了较好的效果:h(x,y)=12兀a2exp(-x2+y22a2)(3)其中a为点扩散函数分布的标准偏差的扩散参量,它与模糊圆半径成

12、正比:a=CR。?？4期？丁恍？:一种针对图像模糊的无参考质量评价指标?1扑愫？应用？?30卷高斯模型的傅里叶变换即为系统的光学传递函数,数学表达式为:H(w,v)=exp(-12p2a2)(4)其中，p=w2+v2。由此可见,光学成像系统相当于一个低通滤波器,且其截止频率与系统的离焦程度(图像的模糊程度)相关,即:系统离焦量越大,则截止频率越低,图像越模糊。以上仅仅是对成像系统离焦模糊的原因进行了分析,在可能引起图像模糊的其他应用中,例如图像压缩、图像平滑滤波等,图像的模糊也都是因为高频分量的丢失造成边缘或者细节不清晰。综上所述,清晰图像比被模糊的图像有更丰富的细节信息,即高频分量,所以可以

13、通过衡量图像包含高频信息的多少来评价图像的清晰程度。2 结构相似度人眼视觉系统(HumanVisualSystem,HVS)的研究结果表明观察者更关注视野中目标的结构信息,观察者对一幅图像清晰度好坏的判断多取决于对图像中轮廓和边缘的判断。基于以上的考虑，文献1提出了SSIM的全参考图像质量评价方法。对于图像块x和y,SSIM包含三个部分:亮度比较、对比度比较和结构信息比较,分别定义如下:l(x,y)=2ixLy+C12x+2y+C1(5)c(x,y)=2°x°y+C2°2x+°2y+C2(6)s(x,y产(Txy+C3(Txy+C3(7)SSIM(x,y

14、)=l(x,y)民c(x,y)Bs(x,y)T(8)文献1的方法是对原始图像和待评价图像进行分块,计算所有对应块的结构相似度,最后全图的结构相似度定义为:MSSIM=lNNi=1SSIM(xi,yi)(9)文献2,16中指出，SSIM虽然取得了与主观评价比较一致的评价结果,但是这种方法对于高斯模糊图像的评价不够理想。针对SSIM存在的问题,提出了基于梯度信息的结构相似度,定义如下:GSSIM(x,y尸l(x,y)acg(x,y)Bsg(x,y)T(10)其中:Cg(x,y)和Sg(x,y)指x和y的梯度图像的对比度比较和结构信息比较。由于GSSIM方法先对图像进行梯度信息提取更接近人眼视觉特性

15、,故对模糊图像的评价取得了比SSIM更优的结果。3 模糊图像的无参考质量评价方法前文已经指出,清晰的图像比模糊图像含有更丰富的细节信息,即高频分量,故可以通过衡量图像包含高频信息的多少来评价图像清晰度。在当前的大多数自动调焦系统中,也都是通过计算图像高频分量的多少(例如梯度平方和、能量熵函数)来进行调焦判断。但是调焦函数的输出范围是无界的,不能用于评价图像清晰度。结合光学系统成像模型,我们提出了一种评价高频分量多少的方法一一NRSS对原始图像(由于没有参考图像,原始图像本身即为待评价图像)进行低通滤波得到一幅参考图像,计算参考图像与待评价图像的结构相似度。显然,清晰图像由于包含大量高频信息,故

16、经过低通滤波器之后损失成分多,得到的结构相似度就小,模糊图像刚好相反。这种方法很好地结合了成像系统的数学模型和SSIM评价方法的优点，实验证明该方法评价结果符合人类主观评价结果。NRSS勺具体运算步骤如下。1)为待评价图像构造参考图像。定义待评价图像为I,则参考图像Ir定义如下:Ir=LPF(I)。实验表明,基于圆盘模型的均值滤波器和高斯模型的平滑滤波器都可以取得较好的效果,为了更好地与成像系统匹配,建议采用7X7大小且°2=6的高斯平滑滤波器。在需要实时处理的工程应用中7X7均值滤波器并不会使评价效果下降很大。2)提取图像I和Ir的梯度信息。由于人类判断判断图像是否清晰的标准主要来自于图像的边缘和轮廓,所以可以通过提取图像梯度信息来提取图像的边缘信息。梯度信息的提取采用Sobel算子,该模板分别提取水平和竖直方向的边缘信息,也刚好符合人眼关注这两个方向轮廓信息的特性。定义I和Ir的梯度图像分别为G和Gro3)找出梯度图像G中梯度信息最丰富的N个图像块。将图像G划分为8X8的小块，块间的步长为4,即相邻块有50犍叠，这是