6-第6章-图像恢复

第五章

图像恢复

所谓图像恢复，就是使退化了的图像去除退化因素，并以最大保真度恢复成原来图像的一种技术。

图像恢复与图像增强的研究内容有一定的交叉性。一般认为，图像增强是一种改进图像视觉效果的技术；而图像恢复是一种对退化（或品质下降）了的图像去除退化因素，并进而复原或重建被退化了的图像的技术。

根据以上定义，通过去模糊函数去除图像模糊应属于一种图像恢复技术。6.1图像的退化模型

6.1.1常见退化现象的物理模型1、造成图像退化的因素造成图像退化的原因是多方面的。

下面是一些具体的退化因素的例子：透镜象差/色差聚焦不准（失焦，限制了图象锐度）模糊（限制频谱宽度）噪声（是一个统计过程）抖动（机械、电子）

非线性退化空间模糊退化平移退化叠加随机噪声退化图6.1常见的4种退化现象的物理模型示意图

6.1.1常见退化现象的物理模型2、常见的4种退化现象的物理模型成像模糊恢复后结果运动成像模糊恢复后结果3、图像退化举例16.1.1常见退化现象的物理模型光脉冲退化的光脉冲6.1.1常见退化现象的物理模型3、图像退化举例26.1.1常见退化现象的物理模型3、图像退化举例3原始图像模糊图像抖动模糊图像6.1.1常见退化现象的物理模型3、图像退化举例4

设f(x,y)是一幅原图像，图像的退化过程可以理解为一个作用于原图像f(x,y)的系统H，或理解为施加于原图像f(x,y)上的一个运算H；同时数字图像也常会因受一些随机误差，也即噪声n(x,y)而退化。由此可得退化模型:并可以表示为：

（6.1）

6.1.2图像退化模型的表示6.2逆滤波图像恢复

图像恢复按是否对图像恢复施加约束条件分为：

无约束恢复方法；

有约束恢复方法。

逆滤波图像恢复方法是一种典型的无约束最小二乘方恢复方法；维纳滤波是一种典型的有约束图像恢复方法。

接下来先介绍逆滤波图像恢复方法，然后介绍维纳滤波图像恢复方法。为了分析噪声的统计特征，以及噪声与图像的相关情况，需要引入最小二乘方恢复。由式（6.1）有：6.2.1无约束最小二乘方恢复（6.2）

当叠加噪声n无法知道时，显然可从g–Hf

获得n。

由于g是已知的退化图像，所以如果取为f的估计，就可使在最小均方误差的意义下代替Hf，并通过求退化后的实际图像g与退化图像的估值

的模(或范数)平方，也即从而可把图像的恢复问题看作是对求下式的最小值：

如果在求最小值的过程中，不施加任何约束，称这种复原为无约束复原，或称为非约束复原。（6.2）（6.4）6.2.1无约束最小二乘方恢复（6.3）由于有：∴

（6.8）6.2.1无约束的最小二乘方恢复根据极值条件

（6.8）给式（6.8）两端同乘以得则有（6.10）

当图像矩阵的尺寸满足N=M，且和满秩非奇异（即可逆）时，则有

式（6.11）说明：当已知H时，便可由g

求出

的估值。（6.11）

如果对式（6.11）两边取傅里叶变换，可以证明有：

式对式（6.7）的结果求傅立叶反变换，就可得到恢复后的图像：（6.11）6.2.2

逆滤波图像恢复方法u=0,1,…,M-1；v=0,1,…,N-1）（6.12）u=0,1,…,M-1；v=0,1,…,N-1）（6.13）

【例】设有退化函数对原图像进行退化和逆滤波图像恢复的结果如图6.3所示。6.2.2

逆滤波图像恢复方法

【例】逆滤波（Inversefilter）图像复原matlab编程。clc;clearall;closeall;img0=imread('d:\0_matlab图像课编程\lena.jpg');subplot(1,3,1);imshow(img0);title('原图像');%显示原图像%1.频率域方法生成退化图像f=im2double(img0);FTS_img=fftshift(fft2(f));%傅里叶变换-平移频谱图为中心对称%执行退化：退化函数H(u,v)=exp(-0.0025*((u-M/2).^2+(v-N/2).^2).^(5/6))[M,N]=size(img0);foru=1:Mforv=1:NH(u,v)=exp(-0.025*((u-M/2).^2+(v-N/2).^2).^(5/6));endendG_FTS_img=FTS_img.*H;%G=F*Hdegraded_I=ifftshift(G_FTS_img);%反移频谱中心degraded_img0=real(ifft2(degraded_I));

%傅里叶逆变换，并取变换结果的实部degraded_img=uint8(abs(degraded_img0)*256);%生成的退化图像subplot(1,3,2);imshow(degraded_img);title(‘生成的退化图像’);

%2.对退化图像进行逆滤波Filter_R=80;%设置逆滤波半径ifFilter_R>M/2

F_Id_img=G_FTS_img./(H+eps);%全滤波F=G/Helse%对滤波半径范围内进行滤波

fori=1:M

forj=1:N

ifsqrt((i-M/2).^2+(j-N/2).^2)<Filter_R

F_Id_img(i,j)=G_FTS_img(i,j)./(H(i,j)+eps);

end

end

endendInverse_f_I=ifftshift(F_Id_img);%反移频谱中心Inverse_f_img0=ifft2(Inverse_f_I);%傅里叶反变换Inverse_f_img=uint8(abs(Inverse_f_img0)*255);subplot(1,3,3);imshow(Inverse_f_img);title('滤波半径为80的逆滤波复原图像');6.2.2

逆滤波图像恢复方法【例】逆滤波（Inversefilter）图像复原matlab编程。6.2.3无约束图像恢复的病态性（6.12）6.2.3无约束图像恢复的病态性6.3维纳滤波图像恢复6.3.1

有约束最小二乘方恢复

为了克服图像恢复过程中的病态性，常常会在图像的恢复过程施加某种约束，于是就引入了有约束的最小二乘方恢复方法。6.3.1

有约束最小二乘方恢复1、有约束的最小二乘方恢复方法

有约束的最小二乘方恢复方法需要知道噪声的模平方，有学者已经证明，

能用噪声的均值

和方差表示为：（6.16）

也就是说，只要知道噪声的均值和方差，就可实现有约束的最小二乘方图像恢复方法。1、有约束的最小二乘方恢复方法

下面先讨论有约束恢复的一般表示形式。

设对原图像施加某一线性运算，求在约束条件下，使

为最小的原图像f

的最佳估计

。

这一问题实际上是求极值问题，常采用拉格朗日乘数法来实现。也就说，要寻找一个，使得构造的辅助函数（准则函数）（6.17）（6.18）为最小。6.3.1

有约束最小二乘方恢复

寻找一个，使得构造的辅助函数（准则函数）（6.18）为最小，也即令（6.19）其中：是拉格朗日乘子，是约束项，如果找到

为最小的原图像f的最佳估值

时，就为0。设，并带入式（6.19）可得（6.21）（6.19）所以有6.3.1

有约束最小二乘方恢复（6.21）6.3.1

有约束最小二乘方恢复1、有约束的最小二乘方恢复方法6.3.2

维纳滤波图像恢复方法

维纳滤波的总体思路是寻找图像

的一种估计，使得

和之间的均方误差最小。6.3.2

维纳滤波图像恢复方法设和分别表示原图像和噪声的自相关矩阵，对图像取线性运算

如果用E{}一般地表示自相关矩阵，则有（6.22）（6.23）（6.24）6.3.2

维纳滤波图像恢复方法

将式（6.22）代入式（6.21）可得

如果式（6.25）可使

的模最小，也即使噪声和信号的比对复原图像的影响最小。

式（6.25）即是最小均方误差滤波恢复方法的表示式。（6.22）（6.25）6.3.2

维纳滤波图像恢复方法

有学者已经证明，当式（6.25）中r=1时，即可得下式的（标准）维纳滤波器公式:（6.26）其中：为噪声的功率谱，为图像的功率谱。

由式(6.26)可知，当没有噪声时，

，维纳滤波器就可简化成逆滤波器；当有噪声时，维纳滤波器也可用信噪功率比作为修正函数对逆滤波器进行修正，可在均方误差最小的意义上提供最佳恢复。6.3.2

维纳滤波图像恢复方法

通常将噪声假设为白噪声，则噪声的功率谱

为常数，也即认为（6.27）由于通常难以估计，一种近似的解决方法是用一个系数K

来代替，，这样（6.26）就可用下式来近似（6.28）其中，K

是根据信噪比的某些先验知识来预先设定的一个常数。

【例】设有退化函数对原图像进行退化和逆滤波图像恢复的结果如图6.4所示。6.3.2

维纳滤波图像恢复方法

【例】维纳滤波（WienerFiltering）图像复原matlab程序。clc;clearall;closeall;img0=imread('d:\0_matlab图像课编程\lena.jpg');subplot(1,4,1);imshow(img0);title('原图像');%1.频率域方法生成退化图像f=double(img0);FTS_img=fftshift(fft2(f));%傅里叶变换-平移频谱图为中心对称%执行退化：退化函数H(u,v)=exp(-0.005*((u-M/2).^2+(v-N/2).^2).^(5/6))[M,N]=size(img0);foru=1:Mforv=1:NH(u,v)=exp(-0.005*((u-M/2).^2+(v-N/2).^2).^(5/6));endendG=FTS_img.*H;%G=F?HG_I=ifftshift(G);

%反移频谱中心G_img=real(ifft2(G_I));

%傅里叶反变换，并取变换结果的实部degraded_img=uint8(G_img);

%生成的退化图像subplot(1,4,2);imshow(degraded_img);title(‘退化图像’);

%2.对退化图像叠加高斯噪声f1=imnoise(uint8(G_img),'gaussian',0,0.001)subplot(1,4,3);imshow(uint8(f1));title('模糊退化且添加高斯噪声的图像');%3.对退化图像进行维纳滤波F1=fftshift(fft2(f1));%对退化图像进行傅里叶变换，移频谱中心对称K=0.1;foru=1:Mforv=1:NH(u,v)=exp(-0.005*(((u-M/2)^2+(v-N/2)^2)^(5/6)));H0(u,v)=(abs(H(u,v)))^2;H1(u,v)=H0(u,v)/(H(u,v)*(H0(u,v)+K));endendF2=F1.*H1;%matlab中的点乘，也即卷积乘法

f2=ifft2(ifftshift(F2));%反移频谱中心-傅里叶反变换f2_img=uint8(f2);%转换成0-255图像数据subplot(1,4,4);imshow(f2_img);title('维纳滤波复原图');6.2.2

逆滤波图像恢复方法

【例】维纳滤波（WienerFiltering）图像复原matlab程序6.4匀速直线运动模糊的恢复

匀速直线运动模糊

6.4匀速直线运动模糊的恢复在图像的运动分析中，比较简单的情况就是对由于相机镜头和对象之间在曝光瞬间的相对运动而造成的图像模糊的恢复。这种情况或者发生在相机处于静止状态而目标在场景中运动，或者发生在相机移动而目标处于静止状态这两种情况。

其中，最简单的相机和目标的相对运动，即可以看成是匀速直线运动而造成的模糊图像的恢复问题。

6.4匀速直线运动模糊的恢复基于式(6.31)和(6.32)，就可推出匀速直线运动模糊的恢复模型{自学}6.5图像噪声与被噪声污染图像的恢复

图像噪声去除是图像处理技术中，图像增强与图像恢复的交叉研究问题，一般认为是一种图像预处理技术。

为了在有噪声的情况下恢复图像，就需要了解噪声的统计性质，以及噪声与图像之间的相关性质。

数字图像常会因受一些随机误差而退化，这种退化通常称为噪声（noise）。图像噪声通常是一种空间上不相联系的离散和孤立的像素的变化现象。图像噪声也是一种图像退化因素。对图像来说，噪声是一种外部干扰。但噪声本身也是一种信号（携带了噪声源的信息）。6.5.1图像噪声6.5.1图像噪声图像噪声是一个随机量，所以噪声一般用其概率特征来描述。1.常用图像噪声的概率密度函数

对相关概念的理解：1、概率分布函数的几何意义概率分布函数是对一个概率事件的描述，反映了事件的全貌；用于统计有多少情况可以发生。

2、概率密度函数的几何意义

概率密度函数可以理解为每个事件出现的机会大小，反应的是每一种情况有多大的机会发生。6.5.1图像噪声对相关概念的理解：3、概率分布函数与概率密度函数区别与联系?

解答：一元函数下：概率分布函数是概率密度函数的变上限积分,就是原函数；概率密度函数是概率分布函数的一阶导函数。

多元函数下：联合分布函数是联合密度函数的重积分，联合密度函数是联合分布函数关于每个变量的偏导。6.5.1图像噪声

（1）高斯噪声高斯噪声是一种源于电子电路噪声和由低照明度或高温带来的传感器噪声。高斯噪声也称为正态噪声，其概率密度函数为：（6.59）其中，高斯随机变量z表示灰度值；μ表示z的平均值或期望值；σ表示z的标准差，而标准差的平方σ2称为z的方差。6.5.1图像噪声—常用图像噪声的概率密度函数

注意：高斯随机变量Z的值不一定要和原图像的范围一致，例如可以是0-10。

高斯噪声是白噪声的一个特例（幅度符合高斯分布）。

白噪声：当图像面上不同点的噪声互不相关时，称为白噪声。

白噪声的特点：频率均匀覆盖整个频谱，功率谱为常量，也即其强度不随频率的增加而衰减。

高斯噪声的形成：电子噪声、弱光照/温度条件下的传感器噪声

（1）高斯噪声（续1）6.5.1图像噪声—常用图像噪声的概率密度函数

（2）瑞利噪声瑞利噪声的概率密度函数为：

概率密度的均值和方差分别为：

（6.60）

（6.61）

（6.62）

瑞利噪声的形成：深度成像、超声波图像。

6.5.1图像噪声—常用图像噪声的概率密度函数

（3）均匀分布噪声均匀分布噪声的概率密度函数为：概率密度的期望值和方差分别为：

（6.63）

（6.64）

（6.65）

6.5.1图像噪声—常用图像噪声的概率密度函数

（4）脉冲噪声（椒盐噪声）噪声脉冲可以是正的或负的，一般假设为a和b。都是“饱和”值的双极性脉冲噪声也称椒盐噪声。(双极)脉冲噪声的概率密度为：（6.66）

含义:

脉冲噪声在Pa或Pb均不可能为零，且在脉冲可能是正的，也可能是负值的情况下，称为双极脉冲噪声。

椒盐噪声的形成：快速瞬变、误切换。6.5.1图像噪声—常用图像噪声的概率密度函数

（4）脉冲噪声（椒盐噪声）(续1)如果b>a，灰度b的值在图像中将显示一个亮点，而灰度a的值在图像中将显示一个暗点。如果Pa或Pb均不可能为零时，脉冲噪声值就类似于随机分布在图像上的胡椒和盐粉微粒，所以双极脉冲噪声也称为椒盐噪声.式（6.66）表示的脉冲噪声如果Pa或Pb为零，则脉冲噪声称为单极脉冲噪声。（6.42）6.5.1图像噪声—常用图像噪声的概率密度函数

（4）脉冲噪声（椒盐噪声）(续1)通常情况下脉冲噪声总是数字化为允许的最大值或最小值，所以负脉冲以黑点(胡椒点)出现在图像中，正脉冲以白点（盐点）出现在图像中。

6.5.1图像噪声—常用图像噪声的概率密度函数

（4）脉冲噪声（椒盐噪声）(续2)

（5）其他噪声周期噪声：图像采集过程中的电子或电磁干扰指数和Gamma分布：激光成像6.5.1图像噪声—常用图像噪声的概率密度函数

图像中噪声的概率密度函数举例1：

加高斯噪声图像加瑞利噪声图像

加gamma噪声图像

叠加噪声后图像的直方图原图对应的直方图6.5.1图像噪声按噪声信号与图像信号的相关性可以把噪声分为两类：加性噪声和乘性噪声。2.图像噪声的分类

6.5.1图像噪声—图像噪声的分类

（1）加性噪声

加性噪声是指叠加在图像上的噪声，也即它们与信号的关系是相加的，它与图像信号的有无及灰度值大小无关，即使信号为零，它也会存在。这种在图像通过信道传输时，独立于图像信号的噪声称为加性噪声（additivenoise）；含有这类噪声的图像一般表示为（6.67）

其中，噪声

和输入图像

是相互独立的变量。6.5.1图像噪声—图像噪声的分类

（2）乘性噪声

乘性噪声是指对有用信号有调幅作用的噪声，也即它们与信号的关系是相乘的，该类噪声的幅值与图像本身的灰度值有关；但当有用信号为零时，该噪声的干扰影响就不存在了，也即信号在它在，信号不在它也就不在了。这种噪声称为乘性噪声（multiplicativenoise），含有这类噪声的图像一般表示为（6.68）

比如，电视光栅退化和胶片材料的退化都是乘性噪声。6.5.1图像噪声—图像噪声的分类

（2）乘性噪声

由于乘性噪声的处理是比较复杂的，所以通常总是假定信号或图像和噪声是互相独立的，也即一般都假设噪声是加性噪声。

在红外图像的成像过程中，由于红外波的相互干涉作用，往往存在有散斑噪声，也即这种噪声在图像上呈斑点分布状。由于散斑噪声既包含乘性噪声的成分，也包含加性噪声的成分，所以含有这类噪声的图像一般表示为（6.69）

6.5.1图像噪声

下面以叠加加性噪声为例进行说明。

若假设输入图像f(x,y)的灰度级取值范围为[0，L-1]，则产生加性零均值高斯噪声的具体步骤为：3.给图像叠加噪声的方法①取图像灰度值的标准差＞0。②对每一水平相邻的像素（x，y）、（x，y+1）产生一对位于[0，1]范围的独立的随机数，。③计算（6.70）④计算

和

⑤置

⑥跳转到③，直到扫描完所有像素为止。

（6.71）（6.72）6.5.1图像噪声【例】给原图像叠加噪声密度为0.05的椒盐噪声的实例。3.给图像叠加噪声的方法6.5.1图像噪声

【例】

给图像叠加生成椒盐噪声的matlab程序。3.给图像叠加噪声的方法6.5.1图像噪声

◆典型的Matlab叠加噪声函数

（1）Matlab中用椒盐噪声污染图像f的函数及编程

函数：

imnoise(f,'salt&pepper',d)

其中，d是噪声密度（即包括噪声值的图像区域的百分比），含义是大约有d×numel（f）个像素受到影响，也即有d×100%的像素受到污染。一般的默认噪声密度为0.01—0.05。

Matlab用椒盐噪声污染图像的编程实现

clc;clearall;closeall;img0=imread('d:\0_matlab图像课编程\lena.jpg');f=im2double(img0);imgnoise=(rand(size(f)));%生成随机数组d=0.05;%需要的椒盐噪声密度result_f=f;[h,w]=size(f);fori=1:h

forj=1:w

if(imgnoise(i,j)>(1-d/2))

result_f(i,j)=1;

else

if(imgnoise(i,j)<d/2)

result_f(i,j)=0;

else

continue;

end

end

endendsubplot(1,2,1);imshow(img0);title('原图像');%显示原图像subplot(1,2,2);imshow(result_f);title(‘加0.05椒盐噪声图像’);

6.5.1图像噪声

◆典型的Matlab叠加噪声函数

（2）Matlab中给图像叠加加性零均值高斯噪声的函数imnoise(img0,'gaussian',0.02)；

给图像加噪声密度为0.02的高斯噪声imnoise(img0,'speckle',0.02)；

给图像加噪声密度为0.02的斑点噪声6.5.1图像噪声4.图像的信噪比

设

是含有噪声的图像,是没有被噪声污染的图像，则图像的信噪比（signal-to-noiseratio，SNR）的定义为：

SNR=

设信噪比的对数表示形式如式（6.50）所示，单位为分贝。

（6.73）

（6.74）

设f(x,y)是一幅原图像，经过退化过程H(x,y)后，形成的退化图像为g(x,y)。当一幅图像中存在的唯一退化因素是噪声n(x,y)，并且噪声与图像不相关时，则在空间域中的退化图像就可以表示为：

在图像中仅存在噪声这唯一的一种退化因素的情况下，图像的恢复和图像的增强就几乎完全没有区别了，也就是说在4.4节中介绍的图像噪声消除方法同样可用于本节的图像恢复。

（6.75）6.5.2被噪声污染图像的恢复1.谐波均值滤波设g(x,y)为退化图像，为恢复后的图像；Sxy表示中心在(x，y)点，尺寸为m×n的矩形子图像窗口的坐标。则对图像进行谐波均值滤波的谐波均值滤波器可表示为：（6.76）

谐波均值滤波器善于处理象高斯噪声那样的一类噪声，且对“盐”噪声处理效果很好，但不适用于对“胡椒”噪声的处理。

6.5.2被噪声污染图像的恢复2.逆谐波均值滤波

对图像进行逆谐波均值滤波的逆谐波均值滤波器可表示为：

（6.77）其中，称为滤波器的阶数。

逆谐波均值滤波器适合于减少和消除椒盐噪声。

当为正数时，该滤波器用于消除“胡椒”噪声；当为负数时，该滤波器用于消除“盐”噪声。但它不能同时消除“胡椒”噪声和“盐”噪声。当=-1时，逆谐波均值滤波器就退变成谐波均值滤波器。

6.5.2被噪声污染图像的恢复3.中点滤波

对图像进行中点滤波是指在中点滤波器涉及的范围内计算最大值和最小值之间的中点，中点滤波器定义为：（6.78）这种滤波器结合了顺序统计和求平均的优点，对于高斯和均匀随机分布类噪声有最好的效果。

6.5.2被噪声污染图像的恢复4.自适应中值滤波

自适应滤波是一种基于由矩形窗口定义的区域内图像的统计特性的一种滤波技术。最典型的自适应滤波器是自适应中值滤波器。

与4.3.3节中讨论的中值滤波相比，自适应中值滤波可以处理具有更大概率的冲激噪声，并且在平滑非冲激噪声时可以保存细节，这是传统中值滤波器所无法做到的。

6.5.2被噪声污染图像的恢复6.6几何失真的校正

图像的几何畸变在广义上属于一种图像退化现象，需要通过几何变换来修正图像中像素之间的空间联系，也即通过几何校正来消除类似于上述所列的各种失真。

几种典型的几何失真:（a）原图像（b）透视失真（c）枕形失真（d）桶形失真

对图像的几何失真校正一般分为两步：

首先是对图像进行坐标变换，也即对图像平面上的像素坐标位置进行校正或重新排列，以恢复其原空间关系。

其次是进行灰度级插值，也即对空间变换后的图像的像素赋予相应的灰度值,以恢复其原空间位置上的灰度值。

设原图像f