边缘区域约束引导的运动模糊图像复原算法

边缘区域约束引导的运动模糊图像复原算法

如果你用相机拍摄物体，物体运动、相机振动和物体失焦将导致图像模糊，降低图像的视

觉质量。•个好的去除模糊算法可以恢复这些模糊图像中失去的高频细节，并恢复原始清

晰图像。

过去几十年中人们己提出大量去模糊算法.早期工作中,Kundur等总结了利用图像频域信息

估计模糊核及去模糊的算法,这些算法易受噪声影响，目.恢复的图像存在大量振铃.近年来，

针对去模糊问题的不适定性，大量算法引入各种先验来约束目标图像的解空间.这些算法按

先验约束形式的不同分为两大类:加入图像统计先验[5,6,7,8,9,10,11,12,13];利用多幅

图像或者硬件设备获取先验.

Huang等提出引入自然图像小波系数的统计先验约束图像的解空间.Roth等提出一种

F0E(fieldsofexpei,ts)框架来学习自然图像先验.Levin和Fergus等最早将这些先验引

入到去模糊中.其中，Levin利用自然图像梯度服从Laplacian分布的先验估计模糊

核;Fergus等进一步利用此分布对目标图像建立概率模型,然后最大化后验概率估计模糊

核.Shan等将图像噪声、图像梯度以及模糊核等的先验分布应用到文献的模型中，有效地抑

制了振铃现象.此外，图像梯度Hyper-Laplacian先验、content-aware先验、图像稀疏先

验以及多种图像噪声先验均被用来约束目标图像.对于这类算法,虽然更多统计先验的加入

会使结果有所提高，但嵬法却更复杂，问题的求解更困难.

Rav-Acha等利用连续2帧模构图像之间的约束来估计模糊核;Nayar等、Tai等利用从一个

摄像机的视频序列估计到的模糊核来恢复另一个摄像机的模糊图像;Yuan等利用一幅噪声

图像来估计另外一幅模糊图像的模糊核.另外,Levin等通过在普通相机镜头中插入一张卜

片来区分不同的失焦程度,进而估计出模糊核;Joshi等利用摄像机附带的运动传感器来记

录运动信息并以此来约束模糊核:上述算法虽然模糊核估计精度高、恢复效果好，但却需要

同时拍摄多幅图像或者安装额外设备,限制了其使用范围.

对于单帕图像去模糊，2类算法中只有第一类合适.但Levin等有出，此类算法在同时求解目

标图像与模糊核时会陷入局部最优,得不到理想的结果.然而通过观察发现,模糊图像通常

都存在模糊阶跃边缘，这些边缘为模糊核提供了大量约束条件，可利用它们准确估计出模糊

核.

基于以上分析，本文提出一种利用边缘区域估计模糊核然后反卷积恢复运动模糊图像的算

法.该算法自动选取模糊图像的边缘区域,然后利用边缘区域与模糊核之间的区域约束关系

用RANSAC算法直接估计出模糊核,最后反卷积得到清晰图像.

1模糊核估计算法

图像模糊一般被看作清晰图像卷积模糊核得到模糊图像的过程,其模型为

B=I*K+N(1)

其中,B为模糊图像，I为清晰图像,K为模糊核,N为图像噪声,*表示卷积运算.

若没有其他约束条件，则有多组｛I,K｝满足式(1),这是一个不适定问题.一般的解决郛法是

在模型中引入I和K的先验,然后最大化后验概率P(LK|B)求解,即

maxI,KP(I,K|B)8P(B|I,K)P(I)P(K)(2)

定义能量函数E(I,K)=Tog(P(I,K|B)),则式(2)转化为最小化能量函数

minI,KE(I,K)=f(N)+Xly(I)+X2Y(K)(3)

其中，f(N),y(I),Y(K)分别为噪声N、清晰图像I与模糊核K的能量项；人l,人2为权重

系数.

利用式(3)恢复清晰图像I时,模糊核K将至关重要.若K未知，则E(I,K)•般为非凸函数，

解可能为局部最优解而非真实解.即使解能达到全局最优,但由于…般都采用图像梯度

Laplacian先验,导致式(3)会选择梯度小的目标图像而非边缘密度大的真实图像.

如果能得到准确的K,那么通过选取合适的噪声模型与图像先验模驾，如N服从高斯分布,I

的梯度服从Laplacian分布,则E(I,K)为I的凸函数,最小化式(3)能得到I唯一的全局极

值解.

以上2种情况可以从图1中看出，当模糊核未知时,用Shan等的去模糊算法得到的如图1b

所示的结果中存在大量振铃;而模糊核已知时,Shan等恢复的如图1e所示的结果中振铃要

少很多.

考虑到模糊核在去模糊中的重要性,本文提出了一种准确估计模糊核的算法.首先提取模糊

边缘区域的模糊核约束条件，然后求解此约束条件估计出准确的模糊核.

目前已有一些与本文相关的工作:Jia利用模糊边缘区域透明度与模糊核之间的关系估计模

糊核，它需要手动选取边区域;Xu等利用锐化后的模糊图像估计模糊核，它容易受到边^

锐化结果的影响;Joshi等通过提取模糊图像的边缘来估计模糊核，它受边缘定位精度的影

响.

与之相比,本文算法自动选取边缘:区域,不需要人工交互;利用边缘区域的信息,不需要精确

定位边缘，因而对噪声不敏感;此外,采用RANSAC算法求解,去除了一些不满足约束条件的

区域,使模糊核的估计更鲁棒.

2模糊核储备

本节定义了模糊核的边缘区域约束，然后给出边缘区域约束的参数估计算法以及基于约束

的模糊核求解算法.

2.1模糊阶跃边缘区域的约束

与许多去模糊算法的假设一致,本文假设清晰图像通常都存在阶跃边缘区域,而这些区域在

模糊之后会得到模糊阶跃边缘区域.基于此,对于只由运动方向和速度决定的运动模糊核，

下面给出它在模糊阶跃边缘区域中满足的约束条件.

如图2所示,设清晰阶跃边缘区域I由被直线阶跃边缘分开的、灰度值分别为u1和“2

的区域构成.运动模糊核K的运动方向为0,运动速度为1,其向量表示为(lx,ly).由1*K

生成的模糊区域R的边缘梯度值为VR=(Rx,Ry),则关系

|Rxlx+Ryly|=|ul-u2|(4)

成立.该关系称为模糊核的边缘区域约束,详细证明见附录A.

对于某些模糊区域R,如果它对应的清晰区域I不是阶跃边缘区域,则式(4)不成立,这些区

域为外点区域.

2.2模糊核的区域划分

从图像提取出模糊边缘区域之后，每个区域R都对应一个区域约束,但其中的参数

Rx,Ry,Hl和H2未知.下面用单高斯和混合高斯模型来求解这些参数，求解示意图如图3

所示.

首先将区域R划分为边缘部分RE与非边缘部分R-E,其区域mask的值Rmask分别为1和

0,如图3c所示;然后分别从RE中估计Rx和Ry,从R-E中估计H1和u2.

理想情况下,RE的梯度为常数但受噪声等的影响,它们近似服从高斯分布,如图3c,3e所

示,因此分别取RE水平梯度和垂直梯度的均值作为Rx,Ry的取值.与RE类似,在理想情况

下,R-E中的灰度值只取和u22个值,但实际中它近似服从2个成分的混合高斯分布,

如图3f所示,因此取2个高斯成分的均值作为u1和u2的取值.

区域划分.利用RE梯度值大、R-E梯度值小的性质，选取R中用度值小的点作为R-E.利

用R-E得到u1与u2,然后选取RE使其与uI,u2相差较大.Rmask的取值为

求解mask求T1和T2的取值越大,则边缘部分RE的范围越小.实验中,T1和T2的值固

定,T1取为4.T2取为10,不同T1,T2的值对结果的影响见第4节.

对每一个模糊边缘区域R,均存在一个区域约束式(4).从图像提取到M个模糊区域之后，则

可得如下关于模糊核K的约束方程组为

{|Rlxlx+Rlyly|=|n11-u12||R2xlx+R2yly|=|u21-u22h|RMxlx+RMyly|=|uMi­

llM21(5)

其中,Rix,Riy,nil和Ui2表示第i个区域的约束方程参数.

2.3ransac算法求解

式(5)可通过最小化目标函数

求解.但此算法存在一些问题.如图4所示,从图4b中提取的一些边缘区域为外点区域,如

图4c所示；

图4c中第1列为模糊区域，第2列为对应的清晰区域,可以看出，清晰区域不存在阶跃边

缘,这就导致式(4)不成立,从而使得利用这些区域的约束方程纽估计模糊核会出现偏差.

为了去除这些外点区域的影响,本文采用对外点鲁棒的RANSAC算法求解.具体求解步骤如

下：

Stepl.初始解给定.对M个区域中的任意2个区域,如果它们的阶跃边缘方向大于一定的

角度，则利用它们得到一个非奇异的方程组

{|Rxilx+Ryily|=|uli-u2i||Rxjlx+Ryjly|=|ulj-u2j|(6)

求解该方程组则可得2组初始解•.

Step2.内点区域确定.分别对Slepl得到的2组解计算其他卜2个区域满足约束的程度

eRi=||RxilxiRyily||Rliu2i||,

把eRi值最小的前几个区域以及原来的2个区域一起作为内点区域.

Step3.重新估计.最小化内点区域的目标函数,得到解(lx,ly),即

minix,lySi||Rxilx+Ryily|-|口1i-u2i||,

其中Ri为内点区域.

Step4.计算代价.计算新解(lx,ly)下内点区域的代价.

Step5.遍历所有区域对，然后选取代价最小的解作为模糊核.

在图4d中，第1行是从图4b中随机选择的模糊区域对应的清晰区域,其中的虚框区域为

外点区域;第2行是RANSAC算法选择的区域,可以看出，它有效地去除了外点区域.

3模糊图像的估计

本文解决由相机抖动产生的全局一致运动模糊，算法流程如图5所示.首先从模糊图像中提

取阶跃边缘区域,然后利用这些区域的区域约束估计模糊核，最后反卷积得到清晰图像.

3.1图像内边缘质中n/'p值的计算时市

模糊图像的阶跃边缘区域可以通过人工交互提取,但这会导致算法的通用性差.本文采用自

动提取区域的算法,从模糊图像预测出可能的清晰图像，然后选择清晰图像的阶跃边缘区域.

首先对模糊图像用shockfilter得到边缘锐化的图像I,然后选取图像I中梯度大且梯度

方向一致的区域.定义区域R是否存在边缘的度量为

其中VI表示图像I的梯度.

当区域R中存在阶跃边缘时，则SR的值较大;而当区域R是纹理区域或者平滑区域时，SR的

值较小.从图6c可以看此模糊图像边缘的SR较大,所以算法选取SR大的区域作为候选

区域.

但是，如果提取的各个区域的阶跃边缘方向相同，则式(6)奇异,因此提取的区域需包含各个

方向.选取区域时，算法首先遍历图像的各个区域,确定其边缘方向，然后分别在每个方向中

选取SR最大的前几个区域作为最终提取的区域.

图6b给出了提取的边缘区域.图6d所示第1行中的一些模糊区域所对应的清晰区域见

第2行,可以看出清晰区域存在阶跃边缘,第3行所示为这些区域对应的mask,表明利用这

些区域可以得到合理的区域约束.

所有实验中选取8个边缘方向,每个方向取SR最大的前5个区域.选取区域的大小与模糊

核的大小有关，模糊核越大，则区域越大，第4节将给出区域大小对模糊结果的影响.

3.2产生振铃的噪声模型

从区域中估计出模糊核之后,现有的大量去卷积算法可以去模糊，本文采用能有效抑制振铃

的Shan等的算法.

Shan等指出传统算法产生振铃的主要原因在于没有对图像噪声建立合理的模型，为此他们

提出了•种新的噪声模型；同时还引入了图像局部先验来去除立滑区域的振铃.这两部分工

作使得该算法在模糊核估计准确时能有效地抑制振铃.

但是,Shan等的算法在模糊核估计不准确时结果会存在大量振冷.因此，本文采用基丁•边缘

区域约束的算法直接估计出准确的模糊核，再利用Shan等的算法恢复出清晰图像,结果的

振铃会少很多.

4实验与结果分析

本文实验包括两部分：1)本文算法去模糊结果，并与其他第法进行比较;2)模糊核估计中各

种参数选择对结果的影响.

4.1跨境模糊对比实验

本文从视觉效果和数值评价两方面与Fergus,Shan以及Xu的算法进行了比较.图7〜9所

示为4种算法去模糊后图像的视觉比较结果.这些兜法均使用作者提供的程序,并对其中的

参数进行调整以达到最优效果,Fergus算法采用图7〜9中的框来确定模糊核.

设原始清晰图像为I,恢复后的图像为I*,图像的大小为mXn,则2幅图像的均方差(mean

squareerror,MSE)为

MSE=lmn£i=lmEj=ln[I(i,j)-I*(i,j)]2.

设图像的最大可能灰度值为luax,一般取为255,则峰值信躁比(peaksignaltonoise

ratio,PSNR)的定义为

PSNR=101g(Imax2MSE).

1)视觉效果.图7所示为一组去除小模糊的对比实验结果.其口,Fergus算法振铃明显，主

要原因是模糊核估计不准确，同时其使用Richardson-Lucy(RL；算法带来了大量振铃;Shan

算法噪声较多，可从图7d所示放大的图像部分看到,这是由于去模糊求解时陷入了局部极

值;Xu算法有效地去除了模糊:但对另外一些图像(如图8c)的效果不好;而本文算法振铃

很少,噪声也不明显,这是因为估计的模糊核比较准确，同时采月的Shan算法有效地抑制了

振铃.

图8所示为去除小模糊的另外一组对比煲验结果.此模糊图像存在大量阶跃边缘,非常有利

于估计模糊核，因此本文算法适合去除该图像的模糊，实验结果也验证了这一点.Fergus算

法存在大量模糊，这是由于模糊核的估计不准确造成的,Xu算法存在较明显的重影,而Shan

算法噪声较多，只有本文第法恢复出了既没有重影又噪声小的图像，模糊图像中无法辨认的

“湾”字在采用本文算法去模糊后也得以辨认.

图9所示为一组较大模糊时的对比实验结果.其中，本文算法和Shan算法的结果明显好于

Fergus算法与Xu算法;但Shan算法的耳朵和眼睛部分存在大量块状现象,而本文结果比它

平滑,没有块状现象.

以上3组实验验证了本文算法的有效性，更多实验结果如图10所示.由这些实验结果可以

看出,本文算法特别适合于去除包含大量阶跃边缘的图像的模糊，比如汽车牌照等.

2)数值评价.为了进行定量评价,表1给出了4种算法对图7〜93幅图像去模糊结果的

PSNR.可以看出，本文算法的PSNR比其他3种算法大,进一步说明了本文算法的有效性.

4.2ransac仿真实验

下面给出模糊核估计中参数T1,T2以及区域大小而结果的影响.

1)参数T1和T2.T1,T2主要影响区域的边缘部分和非边缘部分的划分,它们的取值越大,

则边缘部分的范围越小，而非边缘部分的范围越大，反之亦然.因此它们取值太大或太小都

将使得Rmask求解出现儡差，从而导致区域约束参数估计错误.但是，在一定范围内，区域约

束参数受T1,T2的影响不大.

本文实验中测试了{T1,T2}的5组值：{2,10},{4,10},{6,10},{4,6}和{4,14}.在这5组值

下，分别估计区域参数X£{Rx,Ry,ul,u2)»得到5组参数估计值Xi(i=l,…,5).设X的均

值为E(X),E(X)=15£i=15Xi;方差为V(X),V(X)=15Li=15(Xi-E(X))2.则区域参数X受

T1,T2的影响可用

Q(X)=V(X)E(X)

度量.若量受Tl,T2的影响而变化大,则Q(X)值大.

图11所示为一组实验结果，其中图11a所示为模糊图像及提取的边缘区域，图11b所示

为这些区域的约束参数Rx,Ry：皿和口2的Q值.从图11b可以看出，大多数区域的Q值

都很小，只有少数几个区域的Q值较大,说明大多数区域的区域约束参数受Tl,T2的影响不

大.那些Q值大的区域可能是外点区域,本文采用RANSAC算法可以去除这些区域.因

此,T1,T2在•定范围内的取值对模糊核估计的影响不大,所有实验中T1为4,T2为10.

2)区域大小.区域大小对去模糊结果有直接的影响，如果区域太小，则区域中没有非边缘部

分,导致无法从非边缘部分得到U1和口2;否则，区域可能包含多个边缘，其对应的清晰区

域不是阶跃边缘区域,从而