图像复原数字图像处理清华刘直芳.ppt

第5章 图像复原,5.1 概述和分类,图像退化:图像采集过程中的失真、传输中信息丢失、噪声统称为图像退化。,图像复原又称为图像恢复,图像增强与图像增强相似都要得到在某种意义上改进的图像，或者说，希望要改进输入图像的视觉质量。 不同之处图像增强技术是将退化的图像按照需求进行处理，更偏向于人的主观判断，而图像复原则认为图像是在某种情况下退化或恶化了(图像品质下降了)，先根据先验知识建立降质模型，再针对降质过程恢复或重建原来的图像。 图像恢复技术是根据退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需要的信息，沿着使图像降质的逆过程恢复图形本来面貌。,复原过程：设计一个滤波器，使其能从降质图像gx,y中计算得到真实图像的估计值 ，使其预先规定的误差准则，最大程度地接近真实图像fx,y。 广义上讲，图像复原是一个求逆问题，逆问题经常存在非唯一解，甚至无解。为了得到逆问题的有用解，需要有先验知识以及对解附加约束条件。 图5-1,5.2 图像的退化模型,为了给出图像退化的数学模型，首先应清楚图像降质的原因，及成像的数学过程。,5.2.1 图像降质因素,由于镜头聚焦不好引起的模糊,（1）成像系统的像差、畸变、带宽等造成的图像失真,由于镜头聚焦不好引起的模糊,图像的几何失真,（2）由于成像器件拍摄姿态和扫描非线性引起的图像几何失真,由于运动产生的模糊,（3）成像传感器与被拍摄景物间的相对运动造成的运动模糊,（4）由于光学系统或成像传感器本身特性不均匀引起的图像灰度失真,灰度失真,图像偏黄,维纳滤波器应用 a) 受大气湍流的严重影响的图像 b) 用维纳滤波器恢复出来的图像,（5）由于场景能量传输通道中介质特性如大气湍流效应、大气成分变化引起的图像辐射失真,用巴特沃思带阻滤波器复原受正弦噪声干扰的图像 a) 被正弦噪声干扰的图像 b) 滤波效果图,（6）图像在成像、数字化采集和处理过程中引入的噪声等,噪声 产生图像降质的一个复杂的因素是随机噪声问题。我们在考虑有噪声情况下的图形复原问题，就必须知道噪声的统计特性以及噪声和图像的相关情况，这是非常复杂的。 在实际中，往往假设噪声是白噪声，即它的频谱密度为常数并且与图像不相关。在这种理想情况下，只要在噪声带宽比图像带宽大得多的情况下，此假设是可行和方便的模型。同时，应注意不同的复原技术需要不同的有关噪声的先验知识。,5.2.2 常见具体退化模型,确定性,线性,摄影时曝光和感光密度的非线性,非线性,光学成像系统，由于孔径衍射产生的退化,目标旋转运动造成的模糊退化,模糊退化,随机噪声迭加，随机性的退化,fx,y: 原始图像 gx,y: 降质图像 nx,y: 加性噪声 降质模型可表示为 gx,y = Hfx,y + nx,y H : 系统或操作，即为设计的滤波器。,线性： Hk1f1 + k2f2 = k1Hf1 + k2Hf2 可加性：令 k1 = k2 = 1，则 Hf1 + f2 = Hf1 + Hf2 齐次性：令 f2 = 0，则 Hk1f1 = k1Hf1 位置（空间）不变性： Hfx-a, y-b = gx-a, y-b,假设nx,y:=0，H多具有的性质,图像任意位置的响应只与在该位置的输入值有关，而与位置本身无关。,退化模型的计算,假设对2个函数f(x)和h(x)进行均匀采样，其结果放到尺寸为A和B地2个数组。,对f(x)，x的取值范围是0,1,2A-1；对h(x)，x的取值范围是0,1,2,.B-1。利用卷积计算g(x)。为了避免卷积的各个周期重叠，取MA+B-1，并将函数用0扩展补齐,fe(x)和he(x)表示扩展函数，卷积为,ge(x)=fe(m) he(x-m) x=0,1,M-1,矩阵表示,g=Hf,g和f是M维列矢量： fT = f0, f1, , fM-1 gT = g0, g1, , gM-1 ,H称为MM循环矩阵,H=,g=Hf+n (1),考虑噪声,如果直接对式(1)进行计算求解f，计算量达，如M=N=512 ,则H的尺寸为262144262144，可以通过对角化H来简化,当k=0,1M-1时，循环矩阵H(设为MM)的特征矢量和特征值分别为,循环矩阵对角化,将H的M个特征矢量组成1个MM的矩阵W,W = w(0) w(1) w(2) w(M-2) w(M-1),H = WDW-1 D = W-1HW,其中：D(k,k) = (k)，WW-1 =W-1W=I,5.3 图像的代数复原法,图像复原的主要目的是当给定退化的图像g以及H和n的某种假设，估计出原始图像f 代数复原方法的中心点是寻找一个估计的f，它使事先确定的某种优度准则为最小,代数复原算法是由Andrews 和 Hunt 等人提出的，它是基于离散退化系统模型的复原方法。 离散退化系统模型 g=Hf+n 代数复原算法分为无约束和有约束两种,5.3.1 无约束复原方法,由退化模型 g=Hf+n 可知，其噪声项为： n= g-Hf 在n=0 或并不知道n的情况下，可以采用最小二乘法来解决复原问题。 令e(f) 为估计量f和降质图像g 间的差值，则 g=Hf=Hf+ e(f) 或 e(f) =g-Hf 等式两边取范数平方得,| e(f) |2 = |g Hf|2 T(f),T(f) = | e(f) |2 = (g Hf)T(g Hf),或,实际上是求T(f)的极小值问题，除了要求T(f)为最小外，不受任何其它条件约束，因此称为无约束复原.,dT(f )/df = 0 = -2HT(g Hf),即,f = (HTH)-1 HTg,M=N时，则有,f = H-1(HT)-1 HTg = H-1 g,(5-20),5.3.1 无约束复原方法,(5-21),5.3.2 约束复原方法,考虑退化模型 g=Hf+n，H为系统矩阵，包含了图像传感器中光学和电子学的影响。如果抛开噪声，得 g=Hf。则： f=H-1g 因此，只要求出H-1 ，即可得到f。但是实际中常常存在以下问题： 模糊图像g中的扰动。H-1g+=f+,其中，而常不可避免。 噪声的随机性使模糊图像g有无限可能，而使f存在病态。 H-1不存在。 因此，在最小二乘法复原处理中，常常需要附加某种约束条件，从而在一组可能的结果中选择一种，这就是有约束条件的复原方法。,5.3.2 约束复原方法,如令Q为f的线性算子，最小二乘复原问题可看成是使形式为|Qf|2函数，服从约束条件|g Hf|2 = |n|2 的最小问题，这种带有附件条件的极值问题可用拉格朗日乘数法处理。,处理过程,寻找一个f，使下述准则函数为最小,T(f, ) = |Qf|2 + |g Hf|2 - |n|2,拉格朗日系数,dT(f )/df = 0,f = (HTH + QTQ)1 HTg,=1/,假定退化图象遵从以下模型,不考虑噪声,写成,5.4 图像的频域复原法,基本原理,5.4.1 逆滤波,逆滤波法复原的基本原理： H(u,v)可以理解为成像系统的“滤波”传递函数，在频域中系统的传递函数与原图像信号相乘实现“正向滤波”，这里,G(u,v)除以H(u,v)起到了“反向滤波”的作用，这意味着，如果已知退化图像的傅立叶变换和“滤波”传递函数，则可以求得原始图像的傅立叶变换，经反傅立叶变换就可求得原始图像f(x，y) 。,难点,从上式可以看出，在进行复原处理时可能会发生下列情况：,H(u,v)=0或H(u,v)非常小，在这种情况下，即使无噪声，也无法精确恢复f(x,y) 在有噪声存在时，在H(u,v)的邻域内，H(u,v)的值可能比N(u,v)的值小的多，由上式得到的噪声项可能会非常大，不能使f(x,y)正确恢复,一般说，逆滤波不能正确估计H(u,v)的零点 实际中，不用1/H(u,v)，而用另外一个关于u,v的函数M(u,v),处理框图为：,f(x,y),H(u,v),+,M(u,v),G(u,v),N(u,v),F(u,v),M(u,v)=,1/H(u,v) u2+v2w20,1 u2+v2 w20,解决办法,例子,原始图像,散焦模糊,利用原始图像的一个邻域光谱面恢复,利用大的邻域进行恢复,5.4.2 最小二乘方滤波,最小二乘滤波也就是维纳滤波，它是使原始图像f(x,y)及其恢复图像f(x,y)之间的均方误差最小的复原方法,具体的数学公式推导过程忽略，直接给出公式,Sf(u,v):为 fx,y的功率普，Sh(u,v)为 nx,y的功率普,讨论一下上式的几种情况,（1）如果=1，方括号中的项就是维纳滤波器 （2）如果是变量，就称为参数维纳滤波器 （3）当没有噪声时，Sn(u,v)=0，维纳滤波器就退化为理想的逆滤波器 （4）当Sn(u,v)和Sf(u,v)未知时，用常数K可代替,逆滤波和维纳滤波恢复比较,1,10,100,SNR,退化图像 傅立叶功率普 逆滤波恢复 维纳滤波恢复 光谱图,原始图像,逆滤波恢复,模糊和增加噪声,约束的最小二乘滤波,5.5 交互式恢复,前面讨论都是自动解析的恢复方法，在具体恢复工作中，常常需要人机结合，由人来控制恢复过程，以达到一些特殊的效果,实际中，有时图像会被1种2-D的正弦干扰模式(也叫相关噪声)覆盖。令n(x,y)代表幅度为A，频率分量为(u0,v0)的正弦干扰模式，即：,n(x,y)=Asin(u0x+v0y),傅立叶变换为：,N(u,v)=-jA(u-u0/(2),v-v0/v(2)- (u+u0/ (2),v+v0/ (2) ,假设这里的退化仅由噪声造成，所以有：,G(u,v)=F(u,v)+N(u,v),利用带阻滤波器可以去掉正弦干扰的影响,正弦干扰,傅立叶光谱,恢复图像,n(x,y) = A sin(u0x+v0y),带阻滤波器,带阻滤波器 阻止一定频率范围 （允许其它频率范围）,例子,周期干扰退化图像,傅立叶谱,干涉模式,处理后图像,5.5.2 几何畸变校正空间复原技术,在图像的获取或显示过程中，产生几何失真，如成像系统有一定的几何非线性，因此会造成如图所示的枕形失真或桶形失真，另外，由于地球表面呈球形，摄取的平面图像也将会有较大的几何失真。对这些图像必须加以校正，以免影响分析精度,原始图像,枕形失真,桶形失真,校正方法有两种： 预畸变法：采用与畸变相反的非线性扫描偏转法，用来抵消预计的图像畸变。 后验校正法：用多项式曲线在水平和垂直方向取拟合每一畸变的网线，然后求反变化得到校正函数。用这个校正函数即可校正畸变的图像。,校正过程,实际空 间畸变,理想图像,观测图像,空间变 形校正,已校正图像,* * * * * * * *,* * * * * * * *,+,+,观测图像和校正图像之间对应点,校正步骤： 空间变换：对图像平面上的像素进行重新排序以恢复原空间关系； 灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。,设原图为f(x,y)，受到几何形变得影响变成g(x,y)，这里(x,y)表示失真图像的坐标,x=s(x,y) y=t(x,y),线性失真,s(x,y)=k1x+k2y+k3 t(x,y)=k4x+k5y+k6,非线性失真,s(x,y)=k1+k2x+k3y+k4x2+k5xy+k6y2 t