基于rl的图像去模糊新算法

基于rl的图像去模糊新算法

1非盲去卷积方法图像复原是数据处理领域的中心问题。由于数字图像在形成、传输、存储、记录和显示过程中不可避免地存在不同程度的变形和失真，从而导致图像质量恶化。因此，要获得高品质的图像，有必要恢复带有退化的数字图像。退化图像复原的效果好坏也直接影响图像的高层处理。造成图像退化的原因很多,如传感器噪声、成像设备聚焦不佳、曝光过程中成像系统与场景之间的相对移动以及大气湍流等。最典型的退化现象就是模糊,本文主要讨论模糊图像的复原问题,即去模糊。图像模糊过程可以表示为清晰图像和点扩散函数(PointSpreadFunction,PSF)的卷积加上噪声。常用的估计PSF的有效算法包括Fergus基于贝叶斯推断的方法、Ben-Ezra构建的辅助相机系统方法、Yuan使用另外一幅图像辅助PSF估计及Rasker等人、Levin等方法。根据PSF是否已知,去卷积分为为盲去卷积和非盲去卷积。非盲去卷积方法是在PSF已知的情况下,由模糊图像求得清晰图像的近似。由于噪声的存在,模糊过程高频信息的丢失,去模糊问题也是欠约束的。经典算法有维纳滤波、卡尔曼滤波、Richardson-Lucy(RL)算法等。这些方法在图像复原的过程中会出现振铃效应、噪声放大等问题。Yuan等提出了基于残留去卷积算法和双边RL算法的去模糊方法,能够去除模糊并保持图像细节信息。Levin等提出使用稀疏性梯度先验假设的算法,能够保留图像细节信息并抑制振铃效应。另外一些方法使用了其他的图像先验假设约束求解过程,如拉普拉斯先验、超拉普拉斯先验等。这些算法都假定已知的PSF是精确、没有误差的,但事实并非如此,Shan等指出,PSF中很小的误差或者图像中噪声的存在,将会导致恢复的图像中存在伪像。因此需要进一步研究更鲁棒的去卷积算法,减小PSF误差和图像噪声对去模糊结果的影响。盲去卷积方法由于PSF未知,这类问题变得更加复杂。解决这类问题可以分为两步:先估计PSF,再使用非盲去卷积算法去模糊。也可以把这两个过程同时进行,交替估计PSF和清晰图像,交替优化,直到得到满意的结果。Fergus等使用图像梯度尾重分布先验,在变分贝叶斯框架下估计模糊核;Shan等人基于图形和PSF的稀疏性先验,使用交替最小方法同时得到估计的PSF和去模糊图像;Levin等分析并量化评估了已有的盲去卷积算法,并指出最大后验概率算法在图像去模糊应用中的局限性;Xu等提出了两步PSF估计算法,并提出了快速的基于正则化约束的交替最小化方法去卷积,另外一类方法使用多幅图像辅助去模糊;Yuan等使用模糊图像、噪声图像对去模糊;Chen等使用同一场景的两幅模糊图像去模糊;Rav-Acha等使用了两幅分别在水平、垂直方向模糊的图像去模糊,由于两幅图像保留了更多的细节信息并且能够相互补充,得到了更好的结果;另外,还有基于硬件辅助的的去模糊方法。目前,RL算法是应用最广泛的图像复原算法之一,它假定图像噪声符合泊松分布,采用最大似然法估计清晰图像,是一种基于贝叶斯分析的迭代复原算法。但是RL算法也存在一些问题,造成图像复原的效果不是很理想。第一是振铃效应,当迭代次数增加时,能恢复更多的图像细节,但是平滑区域的振铃效应也会增多,影响图像恢复的质量;第二是噪声放大问题,当模糊图像中存在噪声时,在每一次迭代中噪声都会被放大,这也严重影响图像复原的质量。Yuan等提出了残留去卷积算法,并引入了增益图抑制振铃效应,得到了较好的结果,但需要两幅图像作为输入。本文将使用一幅图像作为输入,并在RL算法中引入增益图,以解决RL算法的振铃效应问题并抑制噪声的进一步放大。文中详细讨论了引入的增益图的不同参数选择对去模糊结果的影响,并选择合理的参数得到了最佳的结果。2去模糊的图像近似图像模糊的数学模型可以表示为:其中,B表示成像设备获得的模糊图像,I表示希望得到的清晰图像,K表示PSF,N表示加性噪声,文中假定其为高斯白噪声,⊗表示卷积过程,去模糊的任务就是利用获取的模糊图像B得到清晰图像I的近似。这里初步介绍与本文算法相关的RL算法和Yuan等人提出的使用模糊/噪声图像对的图像去模糊算法。2.1rl算法的迭代式对于泊松噪声分布,图像I的似然概率可以表达为:BP=Poisson((I⊗K)(x))为泊松过程。图像I的最大似然解是通过最小化下面的能量函数得到:其中上式求导并且假设归一化的模糊核K(∫K(x)dx=1),得到RL算法的迭代式:其中K*为K的伴随矩阵,即K*(i,j)=K(-j,-i),t为迭代次数。RL算法有两个重要特性:非负性和能量保持性质。非负性保证估计值都是正值;同时迭代过程中保持全部能量,这保证了RL算法的优越性。同时,RL算法也是比较有效的,每次迭代仅仅需要两个卷积和两个乘法操作。但是,正如前文提到的,RL算法存在两个重要缺陷:振铃效应和噪声放大。这两个问题的存在影响了去模糊的结果,使其在实际应用中存在局限性。关于RL算法更详细的讨论参见文献[16-17]。2.2残留去卷积、引入增益图消除振铃效应Yuan提出了使用一幅模糊图像和一幅噪声图像作为输入的去模糊方法,分析了振铃效应产生的原因,提出了残留去卷积算法。该算法不是直接在模糊图像B上去卷积,而是在残留模糊图像DB=DI⊗K上去卷积得到DI,最后恢复的图像为I=ND+DI,其中ND为输入的噪声图像去噪后的图像。残留去卷积迭代公式如下:残留去卷积减少了振铃效应,但没有完全消除振铃效应,因此本文提出了使用增益图进一步消除振铃效应。引入增益图的迭代公式如下:DIn+1=IGain·{(K*DB(DIn++1)1⊗K)·(DIn+1)-1}(7)其中IGain=(1-λ)+λ×låue02eÑNDlue02e。Yuan的方法引入的增益图能减少图像边缘的对比度,有效地抑制了振铃效应的传播。但是,该方法需要使用两幅图像作为输入,这在实际应用中具有局限性,同时,如果输入的模糊图像中也含有比较大的噪声时,会影响去模糊的结果。3输出增益图针对RL算法振铃效应问题,本文提出了一种基于RL的图像去模糊新算法,在迭代过程中引入了Yuan的增益图(GainMap),很好地抑制了平坦区域的振铃效应和图像噪声的进一步放大,并保持了图像的细节信息。详细讨论了引入的增益图的不同参数选择对去模糊结果的影响,通过选取合理的参数得到最佳的结果。3.1引入的增益图的影响通过实验发现,振铃效应主要分布在平坦区域,因为对于具有纹理的区域,人的视觉能容忍较小的振铃效应,较大的振铃效应主要是由高对比度边界引起的,且振铃效应的幅度与图像的梯度成正比。本文基于Yuan引入的增益图的启发,在RL算法中引入增益图,实现了对振铃效应和噪声的抑制。修改迭代公式(5),引入增益图,得到如下改进的迭代公式:式中ItGain(≤1)抑制了复原图像的对比度,因此抑制了振铃效应。由于RL是基于比率的算法,在每一次迭代中振铃效应都被放大倍。改进的算法在迭代的每一步乘以一个小于1的因子,能够抑制振铃效应的传播。同时,乘以一个小于1的因子不会减小图像信号的幅度,而只是会减小图像信号的对比度,因为每一次迭代过程中图像信号的幅度会被放大倍。同时,每次迭代中乘以一个小于1的增益图,也能够抑制图像噪声的进一步放大。因此对于含有噪声比较大的图像,也有较好的复原效果。由于希望抑制平坦区域振铃效应的对比度,而避免抑制尖锐的边缘,因此,增益图应该在平坦区域比较大,而在其他区域比较小,因而,使用每一次迭代过程中的图像梯度定义增益图。在文中,增益图定义如下:与Yuan相比,本文定义的增益图增加了参数α控制复原结果的平滑性,使新算法更具有灵活性。λ控制增益图对结果的影响程度,其取值范围为,因此ItGain的取值范围也为,当λ=0时,该算法就变成了传统的RL算法。α、λ更详细的分析见3.2节。由ItGain的定义式(9)可知,当在图像平坦区域时,几乎为0,因此,因此,在引入增益图的迭代式(8)能够在平坦的区域抑制振铃效应,而在其他区域,能突出显著特征。引入的ItGain能够自适应地在不同的图像区域对振铃效应有不同的抑制效果。这也正是所希望的,实验结果证明了引入ItGain的有效性。图1展示了引入的增益图的抑制振铃效应的有效性。通过对比RL算法和本文算法处理一维信号的结果,可以看出,RL算法在迭代时都会传播振铃效应,特别是信号跃变的地方振铃效应突出,而本文的算法在每次迭代中都降低了振铃效应的幅度,并且避免了振铃效应的传播。图中蓝色表示RL算法处理的结果,红色表示本文算法处理的结果。3.2实验2不同约束λ的选择:λ控制了增益图ItGain对每一步迭代结果的影响程度,当λ=0时,ItGain对结果无影响,新算法退化为传统的RL算法;当λ越接近于1时,ItGain对结果的影响越大,对振铃效应和噪声抑制越明显,但也会影响图像细节的恢复。因此,λ平衡了对振铃效应的抑制程度和对图像细节的恢复效果。在本文所有实验中,选取λ=0.2,和Yuan的选择一样。α的选择:α控制了对结果的平滑程度。当α>2时,得到的结果过平滑,包含很少的细节,这不是所希望的,因此,限制α的取值范围为(0,2]。下面讨论α的常用选择。当α=2时,即为Tikhonov约束,该约束计算简单、有效、计算速度比较快,但正如文献中指出,该约束会导致结果过平滑,丢失过多图像细节。文献中使用了该约束。当α=1时,即为TotalVariation(TV)约束,也称为Laplacian约束,TV约束比Tikhonov约束计算复杂些,但更能反映图像的特性,保持更多的图像细节。文献使用了TV约束。当0.5≤α≤0.8时,该约束刻画了图像梯度尾重分布,正如文献指出,该约束符合自然图像梯度分布,但计算复杂,时间复杂度高,需要使用共轭梯度或者迭代再加权最小二乘法等方法求解。文献使用了该约束,同时提出交替优化和查找表的求解方法,加快算法的速度。当α=0.8时,也称为HyperLaplacian约束;文献使用了Hyper-Laplacian约束,得到了很好的去模糊效果,能够保持尖锐的边缘细节信息,减少噪声,抑制振铃效应。综上所述,为了能够更好地描述图像的实际梯度分布,文中实验统一选择了α=0.8。通过调整不同的α值发现,α=0.8确实能比别的α值得到更好的效果。4原实验结果的改进实验参数选择:文中均选择λ=0.2,α=0.8,通过上文对比分析可知,这组参数值可以得到比较好的结果。实验环境:IntelCore2双核,2.66GHz,2GB内存,Windows7操作系统,Matlab7.10。实验使用了人工合成的模糊、噪声图像及实际场景图像,说明了新算法的有效性。峰值信噪比PSNR(Peak-Signal-to-NoiseRatio)和差方和SSDerror(SumofSquaredDifferenceserror)是两种经常用于评价图像复原质量的指标。本文首先使用这两个指标量化评估提出算法对复原结果的改进。表1为使用不同方差的高斯模糊合成的图像,使用RL算法、本文的算法、Levin的方法复原结果的PSNR和SSD值,σ表示向原图中加入的高斯模糊的方差。从数据中可以看出,本文算法比RL算法有较大改进,与Levin方法结果接近,但Levin方法计算时间更长。图2分别为RL算法、Levin和本文方法处理的结果。图2(a)为清晰图像;图2(b)的人工模糊图像是向(a)添加了均值为0、方差为5的高斯模糊形成的;图2(c)和(d)分别显示了使用传统的RL算法和本文算法去模糊的效果。注意图2(c)的平坦区域会出现明显的振铃效应,而使用本文算法后,振铃效应有显著减少;图2(d)、(e)为使用Levin的结果,该方法丢失了部分图像细节,且需要更长的计算时间。图3进一步展示了本文算法抑制振铃效应的有效性,同时也显示了对于含有噪声的模糊图像,本文算法也能得到较好的结果。图3(a)为清晰图像;图3(b)为模糊图像,向(a)添加了模糊长度为10、模糊角度为45°的运动模糊,并加入方差为0.001的高斯噪声形成的;图3(c)和(d)分别显示了使用传统的RL算法和本文提出算法去模糊的效果。注意到图3(d)中平坦区域的振铃明显减少,图3(e)为使用Levin的结果,该方法得到的结果过平滑,会丢失部分图像细节。Fergus等人提出了有效的PSF估计方法,并使用传统的RL算法去卷积,得到的结果如图4(b),其平坦区域存在振铃效应;同时,由于原模糊图像中含有噪声,对去模糊的结果有较大的影响。使用本文方法得到结果如图4(c),对比图4(b)和(c),发现使用本文算法得到了更好的结果,其更平滑且保留了细节信息。这说明了本文算法对抑制振铃效应以及对含有噪声图像处理的有效性。5模糊图像去模糊实验改进建议针对传统RL算法的振铃效应和噪声放大的缺点,提出了改进的去模糊算法。本文算法使用了增益图,有效地抑制了振铃效应,保留了