《数字图像处理第4版》课件-第5章图像的复原

5图像的复原数字图像处理第4版第五章图像的复原5图像的复原数字图像处理第4版5.1图像复原的基本概念5.2图像退化模型5.3图像复原的方法5.4运动模糊图像的复原5.5图像的几何校正5图像复原数字图像处理第4版图像复原是图像处理的另一重要内容，它的主要目的是改善给定的图像质量并尽可能恢复原图像。图像在形成、传输和记录过程中，受多种因素的影响，图像的质量都会有所下降，典型表现有图像模糊、失真、有噪声等。这一质量下降的过程称为图像的退化。图像复原或称图像恢复的目的就是尽可能恢复被退化图像的本来面目。5.1图像复原的基本概念数字图像处理第4版图像退化的原因：1）传感器噪声2）摄像机未聚焦3）物体与摄像设备的相对移动4）随机大气湍流5）光学系统的像差6）成像光源或射线的散射7）摄影胶片的非线性和几何畸变图像复原：1）基于对退化类型、机制和过程的了解，使用反过程复原图像2）复原结果依赖于对退化过程先验知识的准确掌握3）复原准则包括最小均方误差、加权均方、最大熵准则等5.1图像复原的基本概念数字图像处理第4版图像复原vs图像增强：图像复原：需要退化的先验知识，建立退化模型，采用反退化处理方法（如滤波），明确质量标准，恢复原图像图像增强：不考虑退化机制，不建立模型，增强视觉效果，适应人眼视觉系统，无需客观评价标准图像复原方法：根据不同退化模型和质量评价标准，推导多种复原方法例如，未聚焦照片的复原可使用一阶贝塞尔函数的反滤波5.1图像复原的基本概念数字图像处理第4版恢复后的图像效果非常好，即使是细小的细节和纹理都被这种简单的滤波方式有效地修复了a)被正弦噪声干扰的图像b)滤波效果图用巴特沃思带阻滤波器复原受正弦噪声干扰的图像a)受大气湍流的严重影响的图像b)用维纳滤波器恢复出来的图像

维纳滤波器应用由于受剧烈的大气湍流的严重影响，获得的图像已经模糊不清，通过维纳滤波器恢复出来的图像相当清晰，非常接近原始图像5.2图像退化模型数字图像处理第4版图像退化模型：原图像

f(x,y)：通过一个系统

H及加入一个外来加性噪声

n(x,y)而退化成一幅图像

g(x,y)。图像的退化过程的数学表达式：H[·]可理解为综合所有退化因素的函数或算子。在不考虑加性噪声n(x,y)时，图像退化的过程也可以看作是一个变换：5.2图像退化模型数字图像处理第4版图像复原：成像系统的冲激响应

h(x,y)：H系统本身所具有的某些特性构成了通过系统的输入信号与输出信号的某种联系，这种联系从数学上可以用算子或响应函数

h(x,y)来描述。恢复系统的冲激响应

p(x,y)：根据退化模型及原图像的某些知识，根据退化模型及原图像的某些知识，设计一个恢复系统

p(x,y)，以退化图像

g(x,y)作为输入，输出的恢复图像

，按某种准则最接近原图像

f(x,y)。十图像退化及复原的过程5.2图像退化模型数字图像处理第4版线性系统：空间不变系统：α、β分别是空间位置的位移量。上式表示图像中的任一点通过该系统的响应只取决于在该点的输入值，而与该点的位置无关。在图像复原处理中，非线性和空间变化的系统模型虽然更具普遍性和准确性，但它却给处理工作带来巨大的困难，它常常没有解或很难用计算机来处理。实际的成像系统在一定条件下往往可以近似地视为线性和空间不变的系统，因此在图像复原处理中，往往用线性和空间不变性的系统模型加以近似。5.2图像退化模型数字图像处理第4版单位冲击函数：δ(t)的卷积取样公式：推广到二维空间域：连续的退化模型：当H为线性和空间不变的系统时，有5.2.1（2）

退化模型H的冲击响应点扩散函数（PSF）与位置(x,y)无关离散的退化模型：将求

f(x,y)的过程转换为求解

F(u,v)的过程：空间域：频率域：

N

(u,v)为n(x,y)的傅里叶变换5.3图像复原的方法数字图像处理第4版基本原理：在不考虑噪声的情况下：如果已知退化图像的傅立叶变换和“滤波”传递函数，就可以求得原始图像的傅立叶变换，经傅立叶反变换就可以求得原始图像。G

(u,v)除以H

(u,v)起到了反向滤波的作用。在考虑噪声的情况下：5.3.1反向滤波法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版离散退化模型下的反向滤波法：离散的退化模型矩阵表示形式：目标函数：找到一个，最小化函数J：若M=N，则有再经傅里叶变换就能求出5.3.1反向滤波法（逆滤波复原法）f

为M×N维5.3图像复原的方法数字图像处理第4版离散退化模型下的反向滤波法存在的问题：1）若以H

(u,v)在以(u,v)平面上的某些区域等于0或变得非常小，那么复原就会出现病态性质，即在H

(u,v)的零点附近。2）若还存在噪声，则后果更加严重H

(u,v)的幅度随着离以(u,v)平面原点的距离的增加而迅速下降，但N

(u,v)幅度的变化是比较平缓的，在远离

(u,v)平面的原点时，

的值就会变得很大，甚至可能出现

噪声占优势，掩盖了真实信号F

(u,v)，造成复原出来的图像面目全非。5.3.1反向滤波法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版存在的问题的解决方法：解决该病态问题的唯一方法是避开

H

(u,v)的零点及小数值的H

(u,v)，具体做法有：1）计算

时，在H

(u,v)的零点上不做计算，或直接对

H

(u,v)进行修改，即仔细设置

H

(u,v)=0的频谱点附近的值2）在原点的有限的邻域内进行，以避免小数值的H

(u,v)，即选择一个低通滤波器。反向滤波复原：5.3.1反向滤波法（逆滤波复原法）应将H

(u,v)的零点排除在此邻域之外为避免振铃影响，还可以选择平滑的低通滤波器如巴特沃思（Butterworth）滤波器等代替5.3图像复原的方法数字图像处理第4版一般原理：若知道原始图像的某种线性变换

具有某种性质或满足某个关系

：在的约束下，使最小。优化函数：优化可得：其中

。对于不同的原始图像知识，可获得不同的Q，求得的解具有不同的形式。下面介绍基于不同的Q的两种方法。5.3.2约束还原法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版维纳滤波：频域中信噪比：是信号功率水平与噪声功率水平的度量。低噪声的图像有较高的SNR。以统计形式给出均方误差，则空域图像的信噪比：5.3.2约束还原法（逆滤波复原法）

5.3图像复原的方法数字图像处理第4版维纳滤波表达式：频域中信噪比：当γ=1时，称为维纳滤波器，而在γ≠1时，称为参数维纳滤波器。5.3.2约束还原法（逆滤波复原法）

克服退化函数为“0”的问题。噪声为“0”，转化为逆滤波

5.3图像复原的方法数字图像处理第4版维纳滤波简化形式：当图像中的噪声为白噪声时，噪声功率谱为常数。未退化图像的功率谱很少已知，故常用以下模型近似该滤波器：K：加到滤波器中的特定常数。为了得到更好的复原效果，有时通过交互手段设置K

值5.3.2约束还原法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版最大平滑复原：参数维纳滤波器得到的结果在图像统计平均意义下是最佳的，但对某一具体图像来说不一定是最佳。下面我们介绍一种准则函数，由此导出的复原对每一幅具体图像确定一个最优的评判标准。反向滤波法中，由于

H

(u,v)的病态性质，导致在其零点附近数值变化起伏过大，使图像产生了多余的噪声和边缘，造成恢复图像严重失真。我们可通过合理地选择

Q

并对

进行优化，从而将图像的不平滑性降至最低，对于电视一类图像，灰度变化是平滑少跳变的，因此可把最大平滑作为选择

Q的准则。5.3.2约束还原法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版最大平滑复原：拉普拉斯算子：表征图像相邻各像素之间的灰度平滑性，突出边缘的作用，反映了图像灰度变化的剧烈程度。二阶导数越小，表示灰度跳变幅度及斜率越小，图像的平滑性就越大。可反应整幅图像的总体平滑性，因而可将其作为图像恢复时的约束条件。5.3.2约束还原法（逆滤波复原法）5.3图像复原的方法数字图像处理第4版最大平滑复原：对于数字图像来说，拉普拉斯算子可写成如下差分形式：可看作f(x,y)和p(x,y)卷积的结果，对p(x,y)进行周期延拓得到pe

(x,y)当M=N时：此公式即为约束最小平方滤波器，采用这种滤波器来进行图像复原的方法又称为最大平滑复原法。5.3.2约束还原法（逆滤波复原法）5.4运动模糊图像的复原数字图像处理第4版摄像机和景物之间的相对运动，往往造成获取的图像的模糊。很多变速的非直线的运动在一定条件下可以看成是均匀的直线运动的合成结果，因此由均匀直线运动所造成的模糊图像的复原问题更具有一般和普遍的意义。设图像

f(x,y)作平面匀速直线运动，令

x0(t)和

y0(t)分别为

x和

y方向运动的随时间变化的分量。对于照相机拍照，胶片上任一点上总曝光量是由快门打开的时间T内所有曝光的积分而得，设快门的开、关是瞬时发生的且光学成像过程是完善的，则有：5.4.1模糊模型经傅里叶变换：其中对进行反变换得到

f(x,y)5.4运动模糊图像的复原数字图像处理第4版如果模糊图像是由景物在

x

方向上作均匀直线运动造成的，则模糊后图像任意点的值为：由于图像在

x方向上的定义域为

0≤x≤L，多数情况下

a≤L，因而可近似地认为：L=Ka，K为整数。复原结果：离散形式：5.4.2水平匀速直线运动引起模糊的复原5.5图像的几何校正数字图像处理第4版几何畸变：图像在获取过程中，由于成像系统本身具有非线性、拍摄角度等因素的影响，会使获得的图像产生几何失真。例如：用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异(a)

等距平行线在图像中表现为不平行、不等距(b)建筑物图像中呈现为“近大远小”透视成像模型引起的几何失真5.5图像的几何校正数字图像处理第4版几何畸变：用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变几何校正：以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何校正。(a)正常网格图像(b)桶形失真(c)枕形失真(d)苦菜花图像(f)枕形失真图像(e)桶形失真图像透镜成像引起的桶形失真与枕形失真5.5图像的几何校正数字图像处理第4版几何畸变的形成：光学畸变光学透镜在成像时，由于透镜的曲率半径不同，放大率在中心和边缘处的放大率不一致，导致图像发生变形；此外，由加工和装配工艺所限，透镜外形、安装位置与角度都可能发生一定偏差，使得光线在图像上会聚的位置发生偏差，这些因素都会导致图像发生光学畸变。此类光学畸变主要包括径向畸变与切向畸变，常用以下非线性模型来进行描述：其中(x,y)表示理想的、未发生畸变的像点图像坐标，(x′,y′)表示发生畸变后实际像点的图像坐标，δx与δy几何畸变量。5.5.1几何畸变的形成与描述5.5图像的几何校正数字图像处理第4版几何畸变的形成：光学畸变1）径向畸变径向畸变是以图像畸变中心为原点，沿着半径的方向产生的成像位置偏差，导致景物的像发生形变。径向畸变量通常可描述为：其中，

，k1，k2，k3…为径向畸变系数。5.5.1几何畸变的形成与描述径向畸变是由于透镜径向曲率不一致引起的，导致图像中心与边缘的成像位置差异。此畸变影响图像视觉效果和后续处理任务，如检测、识别、跟踪等。透镜边缘放大率减小表现为桶形畸变，增大则为枕形畸变。5.5图像的几何校正数字图像处理第4版几何畸变的形成：光学畸变1）切向畸变切向畸变是由于装配工艺所限，相机的透镜与相机传感器平面，也即成像平面，不平行而产生的光学畸变，表现为实际成像点在切线方向上出现的位置偏差。切向畸变量通常可描述为：其中，

，k1，k2，k3…为径向畸变系数。相比于径向畸变，切向畸变对于成像效果影响较小，但是对于精密的视觉测量系统，在图像几何校正时也必须要考虑成像过程的切向畸变。5.5.1几何畸变的形成与描述5.5图像的几何校正数字图像处理第4版几何畸变的形成：光学畸变小孔相机成像模型C-X-Y-Z为相机模型坐标系，C为相机的光心，Z为光轴正方向。成像平面用I表示，其与光心的距离为f,光轴与成像平面的交点o,则o-u-v构成了图像平面坐标系。空间上一个物点P=(X,Y,Z)T在图像平面内成像。依照小孔相机成像模型，连接光心C与物点P形成一条视线，改视线与图像平面I的交点即为像点所在的位置

p=(x,y)T。5.5.1几何畸变的形成与描述YXZfvupPCoI小孔相机成像模型5.5图像的几何校正数字图像处理第4版几何畸变的形成：光学畸变小孔相机成像模型像点与物点坐标位置关系：Z分量为物点与相机的距离，也称为物点的深度。像与物点的深度信息成反比关系，那么物体距离相机越远，其像的尺寸越小；同时，依照以上成像模型，可以证明三维空间中的一组平行线投影在图像平面后不能再保持平行关系，因此成像后图像中的景物发生了几何变形。以上由于小孔相机成像模型造成的几何畸变，成为透视投影畸变5.5.1几何畸变的形成与描述5.5图像的几何校正数字图像处理第4版几何畸变的描述：x–y：基准图像的坐标系x′–y′：需要校正的图像的坐标系设两个图像坐标系统之间的关系用解析式表示为：设f(x,y)是一幅无失真原始图像或称为基准图像，g(x′,y′)是f(x,y)发生几何畸变的结果，失真过程可表达为5.5.1几何畸变的形成与描述f(x,y)g(x′,y′)失真原始图像及其畸变结果

5.5图像的几何校正数字图像处理第4版以一幅图像为基准，去校正另一幅发生几何失真的图像，就叫做图像的几何畸变复原或者几何校正。由成像系统引起的几何失真有两种校正方式：1）预畸变法：通过设计成像系统模块，产生与图像畸变时的非线性偏转相反的偏转效果，以抵消预计的畸变。2）后验校正法：采用多项式曲线拟合畸变图像与无失真的原始图像的坐标映射关系，获得几何校正函数，再将几何校正函数作用于畸变图像得到校正后的图像。5.5.2图像的几何校正

实际空间畸变空间变形校正理想图像观测图像已校正图像空间几何畸变及校正的概念模型5.5图像的几何校正数字图像处理第4版几何变换实际成像过程中，h1(x,y)和h2(x,y)往往是未知的。因此，常用手段是采用后验校正法获得两函数的近似表达。若采用多项式来近似h1(x,y)和h2(x,y)，可获得畸变图像与基准图像之间的位置坐标映射关系如下：若图像的几何畸变较轻微，或畸变校正精度要求不高，则可令n=1，简化为线性模型，拟合线性畸变：其中，a0、a1、a2、b0、b1、b2为6个待定系数。5.5.2图像的几何校正5.5图像的几何校正数字图像处理第4版几何变换至少需要基准图像的3个像点与畸变图像的3个像点位置及其对应关系，可唯一求解出上述6个待定系数。假设基准图像3个像点(x1,y1)、(x2,y2)、(x3,y3)与畸变图像3个像点(x1′,y1′)、(x2′,y2′)、(x3′,y3′)已知且一一对应。解联立方程组，可唯一得到6个系数a0、a1、a2、b0、b1、b2。5.5.2图像的几何校正5.5图像的几何校正数字图像处理第4版几何变换为了获得更加精确的畸变函数，可使用以下二次型模型进行函数拟合：表达式共有12个待定系数，因此至少需要6组已知的对应点对，可唯一求解二次型的待定系数：记作向量矩阵形式：5.5.2图像的几何校正5.5图像的几何校正数字图像处理第4版几何变换输入：待校正（畸变）图像g(x’,y’) 输出：校正后图像f(x,y) 方法：直接法和间接法直接法根据畸变模型：已知校正前、校正后图像若干对应点坐标，求解模型未知系数aij′，bij′.从畸变图像出发，根据以上模型依次计算每个像素的校正坐标，同时把像素灰度值赋予对应像素，生成一幅校正图像。问题：校正后图像的像素分布不规则，出现像素疏密不均等现象。最后需对不规则图像通过灰度内插生成规则的栅格图像。5.5.2图像的几何校正g(x′,y′)f(x,y)几何校正直接法

5.5图像的几何校正数字图像处理第4版几何变换间接法假设校正后图像像素在基准坐标系统为等距网格的交叉点，则从网格交叉点的坐标（x,y）出发，根据畸变模型：已知校正前、网格点上若干对应点坐标，求解模型未知系数aij

、bij推算出各网格点在畸变图像上的坐标(x’,y’)，将其灰度值赋予对应点问题：坐标(x’,y’)不为整数，不会位于畸变图像像素中心。网格点被赋予的灰度值需由周围像素灰度值内插求出，据此获得校正图像。灰度值内插较容易，因此间接法是图像几何校正的常用方法。5.5.2图像的几何校正g(x′,y′)f(x,y)几何校正间接法5.5图像的几何校正数字图像处理第4版灰度插值常用方法主要有：最近邻插值、双线性插值、三次内插法。最近邻插值（NearestNeighbor）5.5.2图像的几何校正---畸变像素的中心点---校正图像网格交叉点位置(x,y)---由校正图像网格交叉点位置(x,y)计算得到的畸变图像上的位置(u,v)---与(u,v)最近的像素，将其灰度值赋值给

(x,y)畸变图像g(x′,y′)最近邻插值法示意图(u,v)

(x,y)在待求点的四邻像素中，将距离这点最近的相邻像素灰度赋给该待求点。该方法最简单，效果尚佳，但校正后的图像有明显锯齿状，即存在灰度不连续性。5.5图像的几何校正数字图像处理第4版灰度插值常用方法主要有：最近邻插值、双线性插值、三次内插法。双线性插值5.5.2图像的几何校正双线性插值法是利用待求点四个邻像素的灰度在两个方向上作线性内插。待求像素灰度值

f(i+