宋怀波第12讲：图像复原

1、第五章第五章 图像复原图像复原2/67目目 录录5.1 图像复原技术概述图像复原技术概述5.2 图像退化模型图像退化模型5.3 图像复原方法图像复原方法 5.4 运动模糊图像的复原运动模糊图像的复原 5.5 图像的几何校正图像的几何校正3/67 图像复原方法的分类：图像复原方法的分类：图像复原大致可以分为图像复原大致可以分为两种方法两种方法：一种方法适用于一种方法适用于缺乏图像先验知识缺乏图像先验知识的情况，此时可对退化过的情况，此时可对退化过程建立模型进行描述，进而寻找一种去除或消弱其影响的过程建立模型进行描述，进而寻找一种去除或消弱其影响的过程，是一种程，是一种估计方法估计方法；另一种方法

2、是针对原始图像另一种方法是针对原始图像有足够的先验知识有足够的先验知识的情况，对原的情况，对原始图像建立一个数学模型并根据它对退化图像进行始图像建立一个数学模型并根据它对退化图像进行拟合，拟合，能能够获得更好的复原效果。够获得更好的复原效果。第一种方法不需要先验知识第一种方法不需要先验知识，但其缺点是速度较慢，效果差，但其缺点是速度较慢，效果差第二种方法只要有正确的模型第二种方法只要有正确的模型，就可在相对较短的时间内得，就可在相对较短的时间内得到较好的效果，缺点是建立准确的模型通常是十分困难的。到较好的效果，缺点是建立准确的模型通常是十分困难的。4/67基本思路高质量图像高质量图像退化了的图

3、像退化了的图像复原的图像复原的图像图像退图像退化化图像复图像复原原因果关系因果关系研究退化模型研究退化模型5/67p图像复原的本质是根据图像复原的本质是根据图像退化原因图像退化原因，建立相应的数，建立相应的数学模型，从被污染或畸变的图像信号中提取所需的信学模型，从被污染或畸变的图像信号中提取所需的信息，沿着使图像降质的逆过程恢复图像本来面貌。息，沿着使图像降质的逆过程恢复图像本来面貌。p 广义上讲，图像复原是一个广义上讲，图像复原是一个求逆过程求逆过程，逆问题经常，逆问题经常存在非唯一解，甚至无解。存在非唯一解，甚至无解。 6/675.2 5.2 图像退化模型图像退化模型降质过程可看作对原图像

4、降质过程可看作对原图像f (x,y)作线性运算作线性运算。 g(x,y) H f (x,y)+n(x,y) 降质后降质后 降质模型降质模型 噪声噪声Hf (x,y)n(x,y)g(x,y)7/67 以后讨论中对降质模型以后讨论中对降质模型H H作以下假设：作以下假设： H H是线性的是线性的 H H是空间（或移位）不变的是空间（或移位）不变的 对任一个对任一个f f( (x,yx,y) )和任一个常数和任一个常数 和和 都有：都有： H f(x-,y-) = g(x-,y-) 就是说图像上任一点的运算结果只取决于该点的输入值，就是说图像上任一点的运算结果只取决于该点的输入值，而与坐标位置无关。

5、而与坐标位置无关。1122122,Hk fx yk fx yk Hfx yk Hfx y5.2 5.2 图像退化模型图像退化模型8/675.2 5.2 图像退化模型图像退化模型 使用线性位移不变系统的原因使用线性位移不变系统的原因p很多退化都可以用线性位移不变模型来近似，可以借助数很多退化都可以用线性位移不变模型来近似，可以借助数学工具求解图像复原问题学工具求解图像复原问题p当退化不太严重时，一般有较好的复原结果当退化不太严重时，一般有较好的复原结果p尽管实际非线性和位移可变的情况能更加准确而普遍地反尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但求解困难。映图像复原

6、问题的本质，但求解困难。9/67f(i, j)：原始图像原始图像g(i,j)：降质图像：降质图像H()： 成像系统的作用，则成像系统的作用，则：由于由于 函数的筛选性质函数的筛选性质（一幅图像可以看作是由一系列冲激一幅图像可以看作是由一系列冲激函数组成的函数组成的）5.2 图像退化模型( , )g x y小亮点小亮点成像系统成像系统H10/675.2 图像退化模型一个放大的亮脉冲以及退化的冲激一个放大的亮脉冲以及退化的冲激11/67噪声模型 图像中的噪声项图像中的噪声项(x, y)有多种不同模型：有多种不同模型： 高斯（高斯（Gaussian）噪声噪声 瑞利（瑞利（Rayleigh）噪声噪声

7、伽马（伽马（爱尔兰）噪声爱尔兰）噪声 指数（指数（Exponential）噪声噪声 均匀（均匀（Uniform）噪声噪声 脉冲（椒盐）噪声脉冲（椒盐）噪声GaussianRayleighErlangExponentialUniformImpulse12/67噪声举例噪声举例高斯瑞利爱尔兰13/67噪声举例噪声举例指数均匀噪声椒盐14/67 退化模型退化模型： 逆过程：复原图像：逆过程：复原图像：( , )( , )*( , )( , )g x yh x yf x yn x y( , )( , )*( , ) ( , )* ( , )( , )*( , )( , )( , ) ( , )( ,

8、)( , )1( , )( , )( , )( , )( , )( , )IIIIf x yg x yh x yh x yf x yn x yh x yF u vH u v F u vN u v H u vN u vH u vF u vF u vH u vH u v设：当H(u,v)为0或很小时， ，原点附近： 图像完全被噪声淹没，造成噪声放大 ( , )F u v( , )( , )N u vF u,vH u v（）5.3.1 反向滤波法病态15/67 解决方法解决方法去除原点、去除原点、 设置原点值。原点、邻域均不计算设置原点值。原点、邻域均不计算 f (x,y)H(u,v) n(x,y)

9、 g(x,y)M(u,v)( , )f x y恢复转移函数( , )( , ),11/( , )kH u vdM u vk dH u v其中其它 5.3.1 反向滤波法16/672022年7月1日22时48分逆滤波的实验结果逆滤波的实验结果 (a)模糊图像 (b) k=0.1 (c) k=0.01k=0.1时图像不够清晰，轮廓也不够鲜明时图像不够清晰，轮廓也不够鲜明k=0.01时虽然轮廓清晰，但引入较大噪声，且振铃效应时虽然轮廓清晰，但引入较大噪声，且振铃效应比较明显。比较明显。17/672022年7月1日22时48分逆滤波方法对含有噪声的实拍图像的恢复效果结论：结论： 对含有噪声的图像，由于

10、逆滤波算法对噪声有明显对含有噪声的图像，由于逆滤波算法对噪声有明显的放大作用，恢原后图像以噪声为主，淹没了原始图的放大作用，恢原后图像以噪声为主，淹没了原始图像信号，由此可见，像信号，由此可见，逆滤波算法不适合用来恢复含有逆滤波算法不适合用来恢复含有噪声的图像。噪声的图像。18/67 通常功率谱的低频部分以信号为主，而高频部分则主要被噪声通常功率谱的低频部分以信号为主，而高频部分则主要被噪声所占据。所占据。 逆滤波会增强高频部分的噪声，为克服以上缺点，提出了用逆滤波会增强高频部分的噪声，为克服以上缺点，提出了用最最小均方误差方法小均方误差方法（维纳滤波）进行图像恢复。（维纳滤波）进行图像恢复。

11、 维纳滤波器的复原效果良好，计算量较低，并且抗噪性能优良，维纳滤波器的复原效果良好，计算量较低，并且抗噪性能优良，因而在图像复原领域得到了广泛的应用，并不断得到改进，许因而在图像复原领域得到了广泛的应用，并不断得到改进，许多高效的复原算法都是以此为基础形成的。多高效的复原算法都是以此为基础形成的。 维纳滤波维纳滤波5.3.2 约束还原法约束还原法19/67 Wiener滤波恢复是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像 与恢复后的图像 之间的均方误差 达到最小的准则，来实现图像恢复的。即： 22min ,eEf x yf x yAndrew和Hunt推导出满足这一要求的转移函

12、数为： 22( , )1( , )( , )( , )( , )( , )( , )nfH u vF u vG u vSu vH u vH u vrSu v,fx y,fx y2e20/67维纳滤波实现运动模糊图像恢复的实验结果维纳滤波实现运动模糊图像恢复的实验结果 (c) K = 0.01 (d) K = 0.1 在在K取不同参数时维纳滤波的恢复结果取不同参数时维纳滤波的恢复结果 (a) 实际拍摄的运动模糊图像 (b) K = 0.00121/67 在在K取不同参数时对复原图像的二值化结果取不同参数时对复原图像的二值化结果 (a) K =0.001 (b) K = 0.01边缘提取的结果 (

13、c) K = 0.1 (d) K =0.01时恢复图像的边缘检测结果22/672022年7月1日22时48分(a) (a) 运动模糊和加性噪声图像运动模糊和加性噪声图像 (b) (b) 逆滤波复原逆滤波复原 (c) (c) 维纳滤波复原维纳滤波复原(d), (e), (f) (d), (e), (f) 顺序同上，但其中的噪声幅值降低一个数量级顺序同上，但其中的噪声幅值降低一个数量级(g), (h), (i) (g), (h), (i) 顺序同上，但其中的噪声幅值降低五个数量级顺序同上，但其中的噪声幅值降低五个数量级23/672022年7月1日22时48分5.4 运动模糊图像复原的基本原理运动模

14、糊图像复原的基本原理运动模糊的基本原理运动模糊的基本原理 运动模糊图像的退化模型运动模糊图像的退化模型运动模糊图像的点扩散函数运动模糊图像的点扩散函数匀速直线运动模糊点扩散函数的参数确定匀速直线运动模糊点扩散函数的参数确定运动模糊点扩散函数的离散化运动模糊点扩散函数的离散化24/672022年7月1日22时48分 在获取景物图像时，如果在相机在获取景物图像时，如果在相机曝光期间曝光期间景物和摄像机之景物和摄像机之间存在相对运动，拍得的照片都可能存在模糊的现象，这种由间存在相对运动，拍得的照片都可能存在模糊的现象，这种由于于相对运动相对运动造成图像模糊现象就是造成图像模糊现象就是运动模糊运动模糊

15、。5.4.1 运动模糊的基本原理运动模糊的基本原理由于高速运动产生的运动模糊图像由于高速运动产生的运动模糊图像25/672022年7月1日22时48分运动模糊图像的形成过程。运动模糊图像的形成过程。运动模糊图像成像原理运动模糊图像成像原理26/672022年7月1日22时48分解决运动模糊的方法一般有两种解决运动模糊的方法一般有两种: :减少曝光时间减少曝光时间。但相机的曝光时间并不可能无限制地。但相机的曝光时间并不可能无限制地减小，随着曝光时间减小，图像信噪比减小，图像的质减小，随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以这种方法用途极其有限量也较低，所以这种方法用途极其有限;

16、;举例：举例：高帧频相机，每秒几百万帧，价格高帧频相机，每秒几百万帧，价格8 8万美元起。万美元起。主要用在需要进行高速或超高速的摄影上，例如，高速主要用在需要进行高速或超高速的摄影上，例如，高速铁路等。铁路等。建立运动图像的复原模型建立运动图像的复原模型，通过数学模型来解决图像，通过数学模型来解决图像的复原问题。这种方法具有普遍性，因而也是研究解决的复原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主要手段。运动模糊的主要手段。 27/672022年7月1日22时48分 由匀速直线运动造成图像模糊的复原问题更具有一般性和普由匀速直线运动造成图像模糊的复原问题更具有一般性和普遍意义。变速

17、的、非直线运动在某些条件下可以被分解为遍意义。变速的、非直线运动在某些条件下可以被分解为分分段匀速直线运动段匀速直线运动。 在曝光量适当和聚焦正确的情况下，假设快门开启和关闭瞬在曝光量适当和聚焦正确的情况下，假设快门开启和关闭瞬时完成，则曝光量时完成，则曝光量 可以表达为对实际景物图像可以表达为对实际景物图像 的一的一个积分：个积分： 如果景物是静止的，即如果景物是静止的，即 ，那么上述积分只是，那么上述积分只是 与时间的乘积，曝光时间的变化只影响成像的反差。与时间的乘积，曝光时间的变化只影响成像的反差。 , dg x tw x t( , )w x t( , )g x t ,w x tf x

18、f x5.4.2 运动模糊图像的退化模型运动模糊图像的退化模型28/672022年7月1日22时48分5.4 5.4 运动模糊图像的复原运动模糊图像的复原 退化的原因为已知退化的原因为已知 对退化过程有先验知识，如希望能确定对退化过程有先验知识，如希望能确定PSF和噪声特性和噪声特性 即确定：即确定： h(x,y)与与n(x,y) g(x,y)=H f (x,y)+n(x,y)29/672022年7月1日22时48分5226,expH u vc uv1根据导致模糊的物理过程（先验知识）根据导致模糊的物理过程（先验知识）1）大气湍流造成的传递函数大气湍流造成的传递函数 PSFPSF模糊模型c：与

19、湍流性质有关的常数：与湍流性质有关的常数30/672022年7月1日22时48分2 2）光学系统散焦退化函数光学系统散焦退化函数 离焦模糊离焦模糊是由于成像区域中存在是由于成像区域中存在不同深度不同深度的对象造成的图像的对象造成的图像退化，退化，几何光学的分析表明，光学系统散焦造成的图像退化几何光学的分析表明，光学系统散焦造成的图像退化相应的点扩散函数是一个相应的点扩散函数是一个均匀分布的圆形光斑均匀分布的圆形光斑，其表达式为，其表达式为: : 其中其中R R为散焦斑半径。如果退化图像的信噪比较高时，则可由为散焦斑半径。如果退化图像的信噪比较高时，则可由 的傅立叶变换在频域图上产生的圆形轨迹来

20、确定的傅立叶变换在频域图上产生的圆形轨迹来确定R R。22221 ,0 xyRRh x y其它,h x y31/672022年7月1日22时48分 000( , ),dTg x yf x x t y y tt模糊后图像任意点的值模糊后图像任意点的值 ：sin ( , ) cossinllwH u vlww uv 由于运动造成的点的位移长度与水平方向成 角特点：图像的频谱在垂直于该方向上存在暗直线，可估出特点：图像的频谱在垂直于该方向上存在暗直线，可估出 的大小，的大小，运动方向运动方向 也可由图像的频谱估计出来也可由图像的频谱估计出来l已知：设相机不动，对象运动，运动分量已知：设相机不动，对象

21、运动，运动分量x,y分别为分别为x0(t)，y0(t)相机快相机快门速度是理想的，快门开启时间（曝光时间）门速度是理想的，快门开启时间（曝光时间）T T。 3）匀速直线运动模糊下的匀速直线运动模糊下的PSFPSF 相机与景物之间相对运动造成图像降质，相机与景物之间相对运动造成图像降质， H(u,v) 运动模糊：运动模糊：32/672022年7月1日22时48分2由图像中的点或线估计（后验知识）由图像中的点或线估计（后验知识）1 1）原始景物中有一清晰的点或点光源。由所成的像）原始景物中有一清晰的点或点光源。由所成的像得到退化系统的得到退化系统的PSFPSF2 2）原始景物中确定一条线，成像，由

22、直线产生模糊，）原始景物中确定一条线，成像，由直线产生模糊，根据模糊可以测定在于边缘垂直方向上的根据模糊可以测定在于边缘垂直方向上的PSFPSF断面曲断面曲线，得出一维线，得出一维PSFPSF，如果，如果PSFPSF对称，旋转一维对称，旋转一维PSFPSF得到得到二维二维PSFPSF33/672022年7月1日22时48分（a a）模糊图像）模糊图像 （b b）恢复后的图像）恢复后的图像 去除由匀速运动引起的模糊34/672022年7月1日22时48分a) 原始图像 b) 模糊图像 c) 复原图像运动模糊图像的恢复处理水平匀速直线运动引起模糊的复原35/672022年7月1日22时48分5.5

23、 5.5 图像的几何校正图像的几何校正5.5.1 5.5.1 几何畸变的描述几何畸变的描述5.5.2 5.5.2 几何校正几何校正36/672022年7月1日22时48分1 1 引言引言LennaLenna及变形图像及变形图像37/672022年7月1日22时48分5.5 5.5 图像的几何校正图像的几何校正 几何畸变校正几何畸变校正 以一副图像为基准，去校正另一种方式摄入的图像，以校以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的正其几何畸变，就叫做图像的几何畸变复原几何畸变复原或者或者几何畸变几何畸变校正校正。38/672022年7月1日22时48分 几何校正几

24、何校正是图像几何畸变的反运算，是由输出图像像是图像几何畸变的反运算，是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。输出像素灰度值。 图像几何校正的两个步骤图像几何校正的两个步骤 (1)(1)空间变换：空间变换：对图像平面上的像素进行重新排列以对图像平面上的像素进行重新排列以 恢复原空间关系恢复原空间关系 (2)(2)灰度插值：灰度插值：对空间变换后的像素赋予相应的灰度对空间变换后的像素赋予相应的灰度 值以恢复原位置的灰度值值以恢复原位置的灰度值5.5 5.5 图像的几何校正图像的几何校正39/672022年7月1日22

25、时48分5.5.1 几何畸变的描述几何畸变的描述 f (x, y) g(x, y) 几何基准图像的坐标系统用几何基准图像的坐标系统用(x, y)来表示来表示需要校正的图像的坐标系统用需要校正的图像的坐标系统用(x, y)表示表示设两个图像坐标系统之间的关系用解析式表示设两个图像坐标系统之间的关系用解析式表示11001100NNijijijNNijijijxa x yyb x y通常通常h h1 1( (x x, ,y y) )和和h h2 2( (x x, ,y y) )用多项式来表示：用多项式来表示：12( , )( , )xh x yyh x y40/672022年7月1日22时48分 通

26、常用线性畸变来近似较小的几何畸变通常用线性畸变来近似较小的几何畸变 更精确一些可以用二次型来近似更精确一些可以用二次型来近似 若基准图像为若基准图像为f(x,y)，畸变图像为，畸变图像为g(x,y)，对于景物，对于景物上的同一个点，假定其灰度不变，则上的同一个点，假定其灰度不变，则012012xaa xa yybb xb y2201234522012345xaa xa ya xa xya yybb xb yb xb xyb y( , )( ,)f x yg x y5.5.2 几何校正几何校正41/672022年7月1日22时48分5.5.2 几何校正几何校正 几何变换几何变换 通常用已知的多对

27、对应点来确定系数通常用已知的多对对应点来确定系数a, b 线性畸变线性畸变 可由基准图找出三个点可由基准图找出三个点(x1, y1), (x2, y2), (x3, y3)与畸变图像与畸变图像上三上三 个点个点(x1, y1), (x2, y2), (x3, y3)一一对应。一一对应。012012xaa xa yybb xb y42/672022年7月1日22时48分5.5.2 几何校正几何校正将对应点代入，有：将对应点代入，有： 解联立方程组，得出解联立方程组，得出6 6个系数。个系数。111022213332111022213332x1xyx1xyx1xyy1xyy1xyy1xyaaabb

28、b 43/672022年7月1日22时48分二次畸变二次畸变2201234522012345xaa xa ya xa xya yybb xb yb xb xyb y有有1212个未知量，需要个未知量，需要6 6对已知对应点对已知对应点112233445566112233445566( ,)(,)(,)(,)(,)(,)( ,)(,)(,)(,)(,)(,)x yxyxyxyxyxyx yxyxyxyxyxy5.5.2 几何校正几何校正44/672022年7月1日22时48分5.5.2 几何校正几何校正代入上式代入上式记作矩阵形式记作矩阵形式同样有同样有解方程组，得到解方程组，得到ai，bi 1

29、2个系数。个系数。 xAa221011111122222222222265666666111xaxyxx yyxaxyxx yyxaxyxx yy yAb45/672022年7月1日22时48分f(x,y)g(x, y)5.5.2 几何校正 内插法确定像素的灰度值内插法确定像素的灰度值 几何变换是由输出图像像素坐标反算出输入图像坐标，但几何变换是由输出图像像素坐标反算出输入图像坐标，但该坐标并非整数，需要进行灰度该坐标并非整数，需要进行灰度再采样再采样。 例：例：46/672022年7月1日22时48分最近邻插值 双线性插值Nearest Neighbor Bilinear 再采样是通过灰度插

30、值来完成的再采样是通过灰度插值来完成的5.5.2 几何校正47/672022年7月1日22时48分1 1最近邻元法最近邻元法在待求像素的四邻点中，将距离这点最近的邻点灰度赋给待求在待求像素的四邻点中，将距离这点最近的邻点灰度赋给待求像素。该方法最简单，但校正后的图像有明显锯齿状，即存在像素。该方法最简单，但校正后的图像有明显锯齿状，即存在灰度不连续性。灰度不连续性。2 2双线性内插法双线性内插法双线性内插法是利用待求像素四个邻点的灰度在二方向上作双线性内插法是利用待求像素四个邻点的灰度在二方向上作线性内插线性内插, , 计算比最近邻点法复杂些，计算量大。具有低通滤计算比最近邻点法复杂些，计算量

31、大。具有低通滤波性质，使高频分量受损，图像轮廓有一定模糊。波性质，使高频分量受损，图像轮廓有一定模糊。 3 3三次内插法三次内插法 该算法计算量最大，但内插效果最好，精度最高。该算法计算量最大，但内插效果最好，精度最高。 48/672022年7月1日22时48分双线性内插法双线性内插法(0,0)f(0,0)(x,0)(0,y)(0,1)(x,1)(1,1)(1,0)f(1,0)(x,y)f(x,y)灰度双线性插值示意图yxf(0,1)f(1,1)49/672022年7月1日22时48分用最近邻插值和双线性插值的方法分别将老虎放大用最近邻插值和双线性插值的方法分别将老虎放大1.51.5倍。倍。采

32、用最近邻采用最近邻插值放大插值放大1.51.5倍倍采用双线性插采用双线性插值放大值放大1.51.5倍倍50/672022年7月1日22时48分 几何运算几何运算 几何运算可以改变图像中物体之间的空间关系。几何运算可以改变图像中物体之间的空间关系。这种运算可以看成是图像内的各物体在图像内移动这种运算可以看成是图像内的各物体在图像内移动的过程。例如，物体的转动、扭曲、倾斜、拉伸等的过程。例如，物体的转动、扭曲、倾斜、拉伸等等，都是几何运算的结果。等，都是几何运算的结果。51/672022年7月1日22时48分图像的平移图像的平移图像的平移非常简单，所用到的是中学学图像的平移非常简单，所用到的是中学

33、学过的直角坐标系的平移变换公式：过的直角坐标系的平移变换公式： yyyxxx52/672022年7月1日22时48分图像的平移图像的平移注意：注意：平移后的景物与原图像相同，但平移后的景物与原图像相同，但“画布画布”一一定是扩大了。否则就会丢失信息。定是扩大了。否则就会丢失信息。2, 1yx下移1 1行，右移2 2列53/672022年7月1日22时48分图像的镜像图像的镜像镜像分为水平镜像和垂直镜像镜像分为水平镜像和垂直镜像 水平镜像计算公式为：水平镜像计算公式为： )(水平镜像yyxx1 2 3123123-3 -2 -1发生问题：发生问题：矩阵下标不能为负矩阵下标不能为负平移：平移：xxyyy 4y 54/672022年7月1日22时48分0,0 xy 水平镜像水平镜像55/672022年7月1日22时48分图像的镜像图像的镜像同理：垂直镜像计算公式为：同理：垂直镜像计算公式为：)(垂直镜像yyxx1 2 31 2 31 2 3-3 -2 -14x 56/672022年7月1日22时48分0,0 xy 垂直镜像垂直镜像57/672022年7月1日22时48分0,0 xy 旋转旋转( , )cos( )sin( )( , )sin( )cos( )a x yxyb x yxy(