数字图像恢复

1、第7章 图像恢复 1计算机科学系计算机科学系第2页第7章 图像恢复 n图像恢复图像恢复: Image Restoration 也称图像复原，图像处理中的一大类技术也称图像复原，图像处理中的一大类技术 n图像恢复图像恢复vs.图像增强图像增强 相同之处：相同之处： 改进输入图像的视觉质量改进输入图像的视觉质量 不同之处：不同之处： 图像增强借助人的视觉系统特性，以取得较好的视觉结果（图像增强借助人的视觉系统特性，以取得较好的视觉结果（不考虑退化原因）不考虑退化原因） 图像恢复根据相应的退化模型和知识重建或恢复原始的图像图像恢复根据相应的退化模型和知识重建或恢复原始的图像（考虑退化原因）（考虑退化

2、原因）第3页第7章 图像恢复 n图像恢复方法分类图像恢复方法分类技术：无约束和有约束技术：无约束和有约束 策略：自动和交互策略：自动和交互处理所在域：频域和空域处理所在域：频域和空域 从广义的角度上来看：从广义的角度上来看：几何失真（退化几何失真（退化 ）校正（恢复）校正（恢复 ） 投影（退化投影（退化 ）重建（恢复）重建（恢复 ）第4页第7章 图像恢复 7.1 退化及噪声退化及噪声 7.2 退化模型退化模型7.3 无约束恢复无约束恢复 7.4 有约束恢复有约束恢复 7.5 几何变换几何变换第5页第7章 图像恢复 7.1.1 图像退化示例图像退化示例7.1.2 噪声及来源噪声及来源7.1.3

3、噪声概率密度函数噪声概率密度函数第6页第7章 图像恢复 图像退化：图像退化： 图像退化指由场景得到的图像没能完全地反映场景的真图像退化指由场景得到的图像没能完全地反映场景的真实内容，产生了失真等问题实内容，产生了失真等问题原因原因： 透镜像差透镜像差/色差：光学系统本身色差：光学系统本身 聚焦不准（失焦，限制了图像锐度）聚焦不准（失焦，限制了图像锐度） 模糊（限制频谱宽度）：图像采集过程中产生模糊（限制频谱宽度）：图像采集过程中产生 噪声（是一个统计过程）噪声（是一个统计过程） 抖动（机械、电子）抖动（机械、电子）第7页第7章 图像恢复 实例实例7.1：四种类型的退化：四种类型的退化(a)(a

4、)规则图案变形，胶片冲洗时易发生规则图案变形，胶片冲洗时易发生(b)(b)边缘模糊，边缘模糊， 光学系统中的孔径衍生产生退化光学系统中的孔径衍生产生退化(c)(c)运动模糊，或在拍摄过程中相机发生振动运动模糊，或在拍摄过程中相机发生振动(d)(d)随机噪声的叠加随机噪声的叠加第8页第7章 图像恢复 n噪声噪声(Noise) 最常见的退化因素之一最常见的退化因素之一 图像中不希望有的部分，图像中不需要的部分图像中不希望有的部分，图像中不需要的部分 如：如：（1）无线电中的静电干扰，道路上的喧闹声）无线电中的静电干扰，道路上的喧闹声（2）电视上的雪花）电视上的雪花 对信号来说，噪声是一种外部干扰。

5、但噪声本身也是一种对信号来说，噪声是一种外部干扰。但噪声本身也是一种信号（携带了噪声源的信息）信号（携带了噪声源的信息）第9页第7章 图像恢复 n常见噪声常见噪声 热噪声：与物体的绝对温度有关。也称：热噪声：与物体的绝对温度有关。也称： 白噪声白噪声 （频率覆盖整个频谱）（频率覆盖整个频谱） 高斯噪声（幅度符合高斯分布）高斯噪声（幅度符合高斯分布） 闪烁噪声：电流运动产生。闪烁噪声：电流运动产生。 具有反比于频率（具有反比于频率（1/f）的频谱）的频谱 也称粉色噪声（在对数频率间隔内有相同的能量）也称粉色噪声（在对数频率间隔内有相同的能量） 发射噪声：高斯分布（电子运动的随机性）发射噪声：高斯

6、分布（电子运动的随机性）第10页第7章 图像恢复 噪声灰度随机变量用概率密度函数（噪声灰度随机变量用概率密度函数（PDF）来刻画）来刻画1、高斯噪声、高斯噪声-Gaussian222)(e21)(zzp电子设备或传感电子设备或传感器产生的噪声器产生的噪声第11页第7章 图像恢复 2、均匀噪声、均匀噪声-Uniform othersif0)/(1)(bzaabzp2/ )(ba 12/)(22ab随机数发生器随机数发生器第12页第7章 图像恢复 3、脉冲（椒盐）噪声、脉冲（椒盐）噪声Impulse( Salt& Pepper) 噪声脉冲可以是正的或负的噪声脉冲可以是正的或负的 一般假设一

7、般假设a和和b都是都是“饱和饱和”值：灰度的最大和最小值值：灰度的最大和最小值 双极性脉冲噪声，也称椒盐噪声双极性脉冲噪声，也称椒盐噪声 错误交换、尖峰噪声等错误交换、尖峰噪声等 othersifif0)(bzPazPzpba第13页第7章 图像恢复 n实例实例7.2: 噪音噪音第14页第7章 图像恢复 nMatLab函数函数 噪声函数：噪声函数：J=imnoise( I, type); I为原始图像为原始图像 type为噪声类型，有高斯噪声为噪声类型，有高斯噪声gaussian 、椒盐噪声、椒盐噪声 salt & pepper和乘性噪声和乘性噪声speckle 例：例： I=imre

8、ad(lena.tif); J=imnoise(I,salt & pepper); K=imnoise(I,speckle); L=imnoise(I,gaussian); subplot(2,2,1),imshow(I); subplot(2,2,2),imshow(L); subplot(2,2,3),imshow(J); subplot(2,2,4),imshow(K);第15页第7章 图像恢复 7.1 退化及噪声退化及噪声 7.2 退化模型退化模型7.3 无约束恢复无约束恢复 7.4 有约束恢复有约束恢复 7.5 几何变换几何变换第16页第7章 图像恢复 7.2.1 退化模型退

9、化模型 7.2.2 退化模型的计算退化模型的计算 7.2.3 无约束和有约束恢复无约束和有约束恢复 第17页第7章 图像恢复 n退化模型退化模型H：退化过程：退化过程n(x, y)：加性噪声（统计特性已知）：加性噪声（统计特性已知）恢复图像恢复图像：在给定：在给定g (x, y)和代表退化的和代表退化的H的基础上得到的基础上得到对对f (x, y)的某个近似的某个近似 x, yH()x, yf()n()x, yg),(),( ),(yxnyxfHyxg第18页第7章 图像恢复 n退化系统退化系统H的性质的性质(1) 线性：线性： (2) 相加性（相加性（k1 = k2 = 1 ）：）： (3)

10、 一致性（一致性（f2(x, y) = 0 ）：）： (4) 位置（空间）不变性：位置（空间）不变性： ),( ),( ),(),( 22112211yxfHkyxfHkyxfkyxfkH),( ),( ),(),( 2121yxfHyxfHyxfyxfH),( ),( 1111yxfHkyxfkH),(),( byaxgbyaxfH第19页第7章 图像恢复 n1-D退化过程退化过程 f (x)和和h(x)卷积：采样成卷积：采样成 2个数组，尺寸分别为个数组，尺寸分别为A和和B为避免卷积周期重叠：为避免卷积周期重叠： M A + B 110eee1 , , 1 , 0)()()(MmMxmxh

11、mfxg1010)()(eMxAAxxfxf1010)()(eMxBBxxhxh第20页第7章 图像恢复 n用矩阵形式表示用矩阵形式表示根据周期性根据周期性 he(x) = he(x+M) )1()1()0( )0()2()1()2()0()1()1()1()0()1()1()0(HfgeeeeeeeeeeeeeeeMfffhMhMhMhhhMhhhMggg)0()2() 1()2()0() 1 () 1 () 1()0(eeeeeeeeehMhMhhhhhhhH轮换矩阵轮换矩阵第21页第7章 图像恢复 n推广到推广到2-D 扩扩 展展n不考虑噪声不考虑噪声 1101010),(),(eNyB

12、MxAByAxyxfyxf或或和和 1101010),(),(eNyDMxCDyCxyxhyxh或或和和1 , , 1 , 01 , , 1 , 0),(),( ),(1010eee NyMxnymxhnmfyxgMmNn第22页第7章 图像恢复 n考虑噪声考虑噪声矩阵形式：矩阵形式：可以证明在频率域中有：可以证明在频率域中有：1 , , 1 , 01 , , 1 , 0),(),(),( ),(e1010eee NyMxyxnnymxhnmfyxgMmNn1 , , 1 , 01 , , 1 , 0),(),(),(),( NyMxvuNvuFvuHvuGnHfg第23页第7章 图像恢复 )

13、()(T2T2fHgfHgfHgnnn由退化模型得由退化模型得最小均方误差准则最小均方误差准则n无约束（设无约束（设MN，H1存在）存在）n有约束有约束（Q为线性操作符，为线性操作符，s = 1/l，l为拉格朗日乘数）为拉格朗日乘数）Hfgn2)(fHgfLgHgHHHgHHHf1T1T1T1T)()(222nfHgfQ)f(lLgHQQHHfT1 TT s第24页第7章 图像恢复 7.1 退化及噪声退化及噪声 7.2 退化模型退化模型7.3 无约束恢复无约束恢复 7.4 有约束恢复有约束恢复 7.5 几何变换几何变换第25页第7章 图像恢复 7.3.1 逆滤波逆滤波 7.3.2 消除匀速直线

14、运动模糊消除匀速直线运动模糊 第26页第7章 图像恢复 n设设M = N n逆滤波逆滤波（Inverse Filter）：用用H (u, v)去除去除G (u, v) （ 滤波函数滤波函数H (u, v)与与F (u, v)相乘：退化）相乘：退化）v)F(u,v)H(u,G(u,v) 1 , , 1 , 0,),(),(),(),(11 MyxvuHvuGvuFyxfFF1 , , 1 , 0,),(),(),( MvuvuHvuGvuF第27页第7章 图像恢复 n问题：问题： （1）H (u, v)在在UV 平面上取零或很小，平面上取零或很小，G (u, v) / H (u, v)就会使恢复

15、结果与预期的结果有很大差距就会使恢复结果与预期的结果有很大差距 （2）噪声带来更严重的问题）噪声带来更严重的问题 H (u, v)常随常随u，v与原点距离的增加而迅速减小，而噪声与原点距离的增加而迅速减小，而噪声N (u, v)却一般变化缓慢。在这种情况下，恢复只能在与原点较却一般变化缓慢。在这种情况下，恢复只能在与原点较近（接近频域中心）的范围内进行近（接近频域中心）的范围内进行1 , , 1 , 0,),(),(),(),(),(),(),(),(MvuvuHvuNvuFvuFvuNvuFvuHvuG第28页第7章 图像恢复 记记M (u, v)为恢复转移函数，并不正好是为恢复转移函数，并

16、不正好是1 / H (u, v)图像退化和恢复模型图像退化和恢复模型 除去除去H(u, v)为零的点为零的点 减少振铃效应减少振铃效应k和和d 均为小于均为小于1的常数的常数 fM()(x, yn()x, yH()u, vf ()x, yg()x, yu, v20222022 1 ),(1),(wvuwvuvuHvuM如如其它如),(1),( ),(vuHdvuHkvuM第29页第7章 图像恢复 n模糊点源以获得转移函数模糊点源以获得转移函数 将点源图象看做单位脉冲函数（将点源图象看做单位脉冲函数（F (x, y) = 1）的近似）的近似 则有则有G(u, v) = H(u, v) F(u,

17、v) H(u, v)n实例实例7.3：图像退化和恢复：图像退化和恢复 退化图退化图 滤波器滤波器 除去零点除去零点 减少振铃减少振铃第30页第7章 图像恢复 n匀速直线运动匀速直线运动),(),(de),( d dd )e(),(- dd)e,( ),(0)()(j20)(j200)(j200vuFvuHtvuFtyxtyytxxfyxyxgvuGTtvytuxTvyuxvyux Tttyytxxfyxg000d )(),(),(T: 采集时间长度采集时间长度x方向运动分量方向运动分量 y方向运动分量方向运动分量 第31页第7章 图像恢复 n水平方向匀速直线运动水平方向匀速直线运动x0(t)

18、= ct / T ，y0(t) = 0 当当u为整数时，为整数时，H在在u = n/c处为零处为零 当当 f (x, y)在区间在区间0 x L之外为零或已知时之外为零或已知时ucTTctuucucTtvuHj0j2e )sin(d e),(LxftTctxfxgxcxT0)d(d )(0 第32页第7章 图像恢复 n实例实例7.4：消除匀速直线运动造成的模糊：消除匀速直线运动造成的模糊（a）模糊图模糊图 （b）取移动距离为取移动距离为32（c）取移动距离为取移动距离为24 （d）取移动距离为取移动距离为40第33页第7章 图像恢复 7.1 退化及噪声退化及噪声 7.2 退化模型退化模型7.3

19、 无约束恢复无约束恢复 7.4 有约束恢复有约束恢复 7.5 几何变换几何变换第34页第7章 图像恢复 7.4.1 维纳滤波维纳滤波 7.4.2 有约束最小二乘方恢复有约束最小二乘方恢复第35页第7章 图像恢复 n维纳（维纳（Wiener）滤波器）滤波器 逆滤波没有清楚说明如何处理噪声逆滤波没有清楚说明如何处理噪声 一种最小均方误差滤波器：综合考虑退化函数和噪声统计一种最小均方误差滤波器：综合考虑退化函数和噪声统计特征特征 目标：找一个原始图像目标：找一个原始图像 f 的估计值的估计值 ，使它们间的均方差，使它们间的均方差最小。误差度量：最小。误差度量：估计估计 的傅立叶变换为：的傅立叶变换为

20、： f)(22ffEe),(),(/ ),(),(),(),(1),(22vuGvuSvuSvuHvuHvuHvuFff第36页第7章 图像恢复 n维纳滤波器维纳滤波器其中：其中： 如果噪声为如果噪声为0就成为逆滤波就成为逆滤波往往未退化图像的功率谱难以知道，用下式近似表示：往往未退化图像的功率谱难以知道，用下式近似表示：),(),(/ ),(),(),(),(1),(22vuGvuSvuSvuHvuHvuHvuFf),(),(),(),(1),(22vuGKvuHvuHvuHvuF换换为为退退化化函函数数的的傅傅立立叶叶变变),(vuH为为未未退退化化图图像像的的功功率率谱谱为为噪噪声声的的

21、功功率率谱谱22),(),(),(),(vuFvuSvuNvuSf 第37页第7章 图像恢复 n实例实例7.5:逆滤逆滤波与维纳波的波与维纳波的比较比较(a)高斯噪音高斯噪音(均值为均值为0，方差为方差为650)(d)噪声幅度方差噪声幅度方差减少减少1个数量级个数量级(g)噪声幅度方差噪声幅度方差减少减少5个数量级个数量级(b) (e) (h)逆滤波逆滤波(c) (f) (i)维纳滤波维纳滤波第38页第7章 图像恢复 n恢复准则恢复准则 维纳滤波采用的准则是基于图像和噪声各自的相关矩阵；维纳滤波采用的准则是基于图像和噪声各自的相关矩阵；常数常数 K 难估计难估计 最小二乘方采用噪声均值和方差最

22、小二乘方采用噪声均值和方差n最小准则函数最小准则函数C，定义为：，定义为： 约束为：约束为： f (x, y)在在(x, y)处的二阶微分处的二阶微分210102),(MxNyyxfC)1,() 1,(), 1(), 1(),(4),(22222yxfyxfyxfyxfyxfyfxfyxf22fHgn第39页第7章 图像恢复 n频域的估计频域的估计 P(u, v)是是 p(x, y)的傅立叶变换的傅立叶变换010141010),(yxp),(),(),(),(),(22*vuGvuPvuHvuHvuF第40页第7章 图像恢复 n实例实例7.6：维纳波与有约束最小：维纳波与有约束最小二乘方二乘方

23、滤波的比较滤波的比较维纳波维纳波有约束有约束最小最小二二乘方乘方滤波滤波第41页第7章 图像恢复 7.1 退化及噪声退化及噪声 7.2 退化模型退化模型7.3 无约束恢复无约束恢复 7.4 有约束恢复有约束恢复 7.5 几何变换几何变换第42页第7章 图像恢复 n几何变换几何变换 修改图像中像素间的空间关系修改图像中像素间的空间关系 包括两个基本操作包括两个基本操作（1）空间变换：重新安排像素位置）空间变换：重新安排像素位置（2）灰度插值：对变换后图像中的像素赋灰度值）灰度插值：对变换后图像中的像素赋灰度值n空间变换空间变换 假设图像假设图像f，像素点坐标为（，像素点坐标为（x，y），失真图像

24、），失真图像g，像素点，像素点坐标为（坐标为（x ，y） x = r(x, y) y = s(x, y)第43页第7章 图像恢复 如何确定对应关系约束对应点（像素）方法如何确定对应关系约束对应点（像素）方法 在输入图（失真图）和输出图（校正图）上找一些其位置确切在输入图（失真图）和输出图（校正图）上找一些其位置确切知道的像素，然后利用这些点建立两幅图间其它像素空间位置的对知道的像素，然后利用这些点建立两幅图间其它像素空间位置的对应关系应关系 双线性方程双线性方程8765432187654321),(),(cxycycxcycxycycxcxcxycycxcyxscxycycxcyxr 即即通过通过4 4个点的坐标建立个点的坐标建立8 8个方程求得个方程求得8 8个系数个系数第44页第7章 图像恢复 n问题问题 用整数处的像素值来计算在非整数处的像素值用整数处的像素值来计算在非整数处的像素值(x, y)总是整数，但总是整数，但(x, y )值可能不是整数值可能不是整数n灰度插值灰度插值 最近邻域，也常称为零阶插值最近邻域，也常称为零阶插值将离将离(x, y )点最近点最近的像素的灰度值的像素的灰度值作为作为(x, y )点的点的灰度值赋给原图灰度值赋给原图(x, y)处像素处像素空间变换灰度赋值x, yx, yg最近邻()()()x, yx, y()f第45页第7章 图像