图像复原第二次课.ppt

图像的无约束恢复,第1页,在这一节我们要利用线性代数的方法，根据退化模型 ，在假定具备关于g、 H和n的某些知识的情况下，寻求估计原图像f的某些方法。这种方法应在预先选定的最佳准则下，具有最优的性质。,由退化模型g=Hf+n，其中f,g为堆叠向量。如果关于n我们一无所知，那么我们寻找f的一个估计值 ，使 在最小二乘意义上近似于g。在无约束条件下，就是n无条件的小。这一问题等效地看为求准则函数： 为最小,（注：若a(x),b(x) 为m维列向量，X为n维列向量，那么： 注： ） 那么： 若H已知，则可根据上式求出 。,可以证明，对 两边分别取傅立叶变换，可以得出： 这就是逆滤波法。所以逆滤波法是无约束最小二乘法的频域解。 对 取傅立叶反变换，就可求出恢复后的图像。,（根据图像退化模型： 两边取傅立叶变换,有 由此可得： 在噪声未知和不可分离的情况下，可近似取 ),对 ，若H(u,v)在uv平面上取零或很小，就会带来计算上的困难。 另一方面，噪声还会带来更严重的问题。,若H(u,v)在uv平面上取零或很小，N(u,v)/H(u,v)就会使恢复结果与原图像有较大的差距。实际中，H(u,v)随u，v与原点距离的增加而迅速减小，而噪声N(u,v)却一般变化缓慢。在这种情况下，恢复只能在与原点较近（接近频域中心）的范围内进行。即H(u,v)具有低通滤波的性质：,换句话说，一般情况下，逆滤波器并不正好是1/H(u,v)，而是u和v的某个函数，可记为P(u,v)。P(u,v)常称为恢复转移函数。,使用逆滤波法时的注意事项： （1）在 H(u,v)=0 的点不做计算，即 （2）当H(u,v)非常小时，N(u,v)/H(u,v) 对复原结果起主导作用，而多数实际应用系统中，|H(u,v)|离开原点衰减很快，故复原应局限于离原点不太远的有限区域进行。 （3）为避免振铃影响，一种改进的方法是取恢复的反向滤波器P(u,v)为: 其中k和d均为小于1的常数，且d选得较小为好。,5.3 图像的无约束恢复-反向滤波法,H1(u,v)表示理想低通滤波器,缺点是会出现振铃效应。,5.3 图像的无约束恢复-反向滤波法,图5.3.1 不同滤波半径下反向滤波的结果比较,（a）直接由反向滤波恢复的图像； （b）、（c）、（d）分别为半径30、50、70的二阶Butterworth滤波器（代替理想低通滤波器）作用后的结果。,可以看到，逆滤波的结果还是不能令人满意。,3.有约束恢复方法,恢复问题的病态性与奇异性 由退化模型 可知，影响图像恢复的因素包括噪声干扰n，成像系统的传递函数H,后者包含了图像传感器中光学和电子学的影响。先抛开噪声，要恢复原图像f，需要对矩阵H求逆，即： 数学上要求这个逆阵存在并且唯一。如果H1不存在，但还存在和f十分近似的解，这称为恢复问题的奇异性。,事实上，由于在模糊图像上存在非常小的扰动时，在恢复结果的图像中，都会产生不可忽视的强扰动。用公式表示为： 为任意小的扰动，。无论是成像系统还是数字化器，对采集到的图像产生一些扰动，几乎是不可避免的。这就是恢复问题的病态性。至于噪声，由于其随机性，造成模糊图像g有无限的可能情况，也导致了恢复问题的病态性。,为克服恢复问题的病态性质，常常需要在恢复过程中对运算施加某种约束，从而在一族可能结果中选择一种，这就是有约束的恢复。 有约束的最小二乘方复原 能量约束恢复 平滑约束恢复 均方误差最小滤波（维纳滤波）,约束复原方法,处理过程,拉各朗日系数,=1/,维纳滤波复原法,图像恢复准则：f(x,y)和 的之间的均方误差e2达到最小，即 寻找点扩散函数hw(x,y)，使得,最小二乘方滤波,由Andrews和Hunt推导满足这一要求的传递函数为：,Sf(u,v):为 fx,y的功率普，Sh(u,v)为 nx,y的功率普,讨论一下上式的几种情况,（1）如果s=1，方括号中的项就是维纳滤波器 （2）如果s是变量，就称为参数维纳滤波器 （3）当没有噪声时，Sn(u,v)=0，维纳滤波器就退化为理想的逆滤波器 （4）当Sn(u,v)和Sf(u,v)未知时，用常数K可代替,因此必须调节s以满足,f = (HTH + sQTQ)1 HTg,结果分析 （1） =1时，该滤波器称为标准维纳滤波器，但不能说可以利用上式在约束条件下得到最佳估计； =变量时，称为变参数维纳滤波器。 （2）无噪声时，即 ，即变为逆滤波器，即 因此，反向滤波器可看作是维纳滤波器的一种特殊情况。 （3）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在 项，会对噪声的放大具有自动抑制作用，同时也不会在H(u,v)为0时出现被0除的情形。,5.4 图像的有约束最小二乘恢复,（4)在实际应用中， 和 经常是未知的，但可用一常数k来表示噪声和信号的功率谱密度比，则：,5.4 图像的有约束最小二乘恢复,该式可以使退化图像得到一定程度的恢复，但不一定是最佳恢复。实际应用中，k可通过已知的信噪比来获得。,维纳滤波复原法,采用维纳滤波器的复原过程步骤如下： (1)计算图像g（x,y）的二维离散傅立叶变换得到G(u,v)。 (2)计算点扩散函数hw(x,y)的二维离散傅立叶变换。同逆滤波一样，为了避免混叠效应引起的误差，应将尺寸延拓。 (3)估算图像的功率谱密度Pf和噪声的谱密度Pn。 (4) 计算图像的估计值 。 (5)计算 的逆付氏变换，得到恢复后的图像 。,5.4 图像的有约束最小二乘恢复,（a）被高斯噪声污染的图像； （b）逆滤波恢复图像；（c）维纳滤波恢复的图像； （d）（f）为相应的由噪声方差比（a）小1个数量级的降质图像得到的结果； （g）（i）为相应的噪声方差小5个数量级的图像得到的结果。,图5.4.1 维纳滤波法和反向滤波法恢复图像的效果比较,由于反向滤波器的病态性质，会导致在H(u,v)的零值附近恢复滤波器 的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的Q，并对 进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即使,称为Laplacian算子。,在离散情况下， 可用下面的差分运算来实现,约束最小平方滤波法,5.4 图像的有约束最小二乘恢复,上述运算可用f(m,n)与下面的模板（掩模矩阵）进行卷积来求解。,在离散卷积的过程中，为避免交叠误差，可将p(m,n)延拓为pe(m,n)再卷积。,若f(m,n)的大小为 ,则延拓后的M、N应为:,5.4 图像的有约束最小二乘恢复,可以写成分块循环矩阵：,C中的任一元素Cj是由pe(m,n)的第j行组成的 循环矩阵，即,5.4 图像的有约束最小二乘恢复,令Q=C,则有约束恢复的结果就变为:,同样可用W矩阵使C对角化，即:,式中P(u,v)是pe(m,n)的傅立叶变换。则恢复结果变为：,（5.4.23）,（5.4.26）,5.4 图像的有约束最小二乘恢复,上式中的各元素可写成如下形式（设M=N）：,该滤波器就称为约束最小平方滤波器 。,（5.4.26）,约束最小平方滤波法与维纳滤波法比较 它与维纳滤波法相同的是，两者都属于约束恢复，频域的恢复公式类似，但也有本质区别。用约束最小平方滤波器恢复图像时，不需要知道图像和噪声的自相关矩阵Rf 和Rn 。,。,约束最小平方滤波法的恢复效果如下图5.4.2所示，将其与维纳滤波恢复法的结果相比较，可以看出，带有平滑约束的恢复法能得到更加符合人眼视觉效果的平滑图像，并且在噪声较大的情况下比维纳滤波法的效果明显要好。,5.4 图像的有约束最小二乘恢复,（a）、（b）和（c）是分别由图5.4.1中（a）、（d）和（g）得到的约束最小平方滤波结果，与维纳滤波法恢复结果（d,e,f）比较。,5.5 几何畸变图形的恢复,（c）,（b）,（a）,几何失真举例,（d）,图5.5.1 几何失真举例 （a）原图像；（b）比例变换（缩小）；（c）旋转；（d）扭曲。,5.5 图像的几何校正,例： 从太空中宇航器拍摄的地球上的等距平行线，图像会变为歪斜或不等距；用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。 以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。,几何校正就是一种几何变换，是图像的几何畸变的反运算，与几何变换类似，几何校正是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。 图像几何校正的两个步骤 (1)空间变换：对图像平面上的像素进行重新排列以 恢复原空间关系 (2)灰度插值：对空间变换后的像素赋予相应的灰度 值以恢复原位置的灰度值,5.5 图像的几何校正,几何畸变的描述,几何基准图像的坐标系统用(x, y)来表示 需要校正的图像的坐标系统用(x, y)表示,设两个图像坐标系统之间的关系用解析式表示,通常h1(x,y)和h2(x,y)用多项式来表示：,通常用线性畸变来近似较小的几何畸变 更精确一些可以用二次型来近似 若基准图像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则,5.5.2 几何校正,5.5.2 几何校正,几何变换 通常用已知的多对对应点来确定系数a, b 线性畸变 可由基准图找出三个点(x1, y1), (x2, y2), (x3, y3)与畸变图像上三 个点(x1, y1), (x2, y2), (x3, y3)一一对应。,5.5.2 几何校正,将对应点代入，有： 解联立方程组，得出6个系数。,二次畸变,有12个未知量，需要6对已知对应点,5.5.2 几何校正,5.5.2 几何校正,代入上式 记作矩阵形式 同样有 解方程组，得到ai，bi 12个系数。,f(x,y),g(x, y),5.5.2 几何校正,内插法确定像素的灰度值 几何变换是由输出图像像素坐标反算出输入图像坐标，但该坐标并非整数，需要进行灰度再采样。 例：,最近邻插值 双线性插值 Nearest Neighbor Bilinear,再采样是通过灰度插值来完成的,5.5.2 几何校正,(i-1,j-1),(i-1,j+2),(i+2,j-1),(i+2,j+2),(x,y),u,v,3三次内插法 该方法利用三