第五章 图像恢复

1、第五章第五章 图像恢复图像恢复 引言引言5.1 5.1 退化模型退化模型5.2 5.2 点扩散函数的确定点扩散函数的确定5.3 5.3 无约束恢复无约束恢复5.4 5.4 有约束恢复有约束恢复5.5 5.5 几何畸变校正几何畸变校正引言引言恢复实例恢复实例1恢复实例恢复实例2 退化：退化：图像在形成、记录、传输等过程中，由于受到光学成像系统的相差、衍射、非线性、噪声等多种因素影响，而造成图像质量的下降。 图像恢复：图像恢复：使退化了的图像，以最大的保真度，恢复成原来的图像。 图像恢复的基本过程图像恢复的基本过程图像恢复的基本概念图像恢复的基本概念找出退化因素建立退化模型根据退化模型反推得到恢复

2、图像图像恢复与图像增强的区别图像恢复与图像增强的区别图像恢复是要尽可能恢复图像的本来面目，而图像增强则是改善图像视觉效果以适应人的心理、生理需要，并不考虑是否与原图像相符。图像恢复需首先根据退化过程建立退化模型，然后根据退化模型来恢复图像。图像恢复是针对图像整体，而图像增强仅针对图像局部。5.1 5.1 退化模型退化模型yxnyxgHyxf,退化图像退化图像退化因素退化因素原图像原图像噪声噪声yxf,yxg,yxn, H+ 连续退化模型连续退化模型 假设退化系统是线性、移不变系统，其退化因素用点扩散函数表示为：yxhyxHyxh,;,那么经过简单的推导可以得到退化图像可表示为： yxnyxhy

3、xgyxnddyxhgyxf,yxf,yxg,yxn,yxh,+ 离散退化模型离散退化模型（未完转下页）对图像和点扩散函数进行均匀采样就可以得到离散退化模型。DCnmhBAnmg,假设则卷积后的大小为：1, 1,DBNCAMNM11, 01010,NnBorMmABnandAmnmgnmge所以首先需对离散函数进行延拓：11, 01010,NnDorMmCDnandCmnmhnmhe（接上页）11, 01010,NnBorMmABnandAmnmfnmfe由此得到离散退化模型为： nmnjnimhjignmfeeMiNjee,1010其中：11, 01010,NnBorMmABnandAmnm

4、nnmne进一步可用矩阵表示为：nHgf（未完转下页）（接上页）其中： 1, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 01, 11 , 10 , 11, 01 , 00 , 0NMnnnNnnnNMgggNgggNMfffNfffeeeeeeeeeeeeeeeeeengfMMMMMMMMHHHHHHHHHHHHHHHH0321301221011210H MMeeeeeeeeeiihNihNihihihihihNihihH0 ,2,1,2 ,0 ,1 ,1 ,1,0 ,由连续退化模型容易推导出退化模型在频域中可以表示为，（大写字母对

5、应前面相应函数的傅立叶变换函数）：vuNvuHvuGvuF,vuF,vuG,vuN,vuH,+ 频域退化模型频域退化模型5.2 5.2 点扩散函数的确定点扩散函数的确定p图像恢复过程中一般都要用到退化函数（点扩散函数），如何确定它？p退化函数可从物理知识和图像观测中得到。p退化函数有关的先验知识：a)h(m,n)是确定性且非负的；b)h(m,n)具有有限的支持域；c)退化过程并不损失图像能量，1,mnnmh 几种常见的退化函数模型几种常见的退化函数模型(a)(a)运动模糊：运动模糊：目标物体与成像系统相对匀速直线运动，退化函数表示为，（V为运动速度，T为图像采集时间）：)()()(sin),(

6、TvVTuViyxyxyxeTvVTuVTvVTuVTvuHothersTVyandTVxTVVyxhyxyx, 000,1,22 dttyytxxgyxfT000,),(b)(b)散焦退化：散焦退化：几何光学的分析表明光学系统散焦造成图像退化对应的点扩散函数是一个均匀分布的圆形光斑：othersdyxdyxh, 0,1),(2222。径，为散焦点扩展函数的直为一阶贝塞尔函数，2211)/()(),(vudJddJvuH(c)(c)高斯退化函数：高斯退化函数：许多光学测量系统和成像系统常见的退化函数，多种因素使其趋于高斯型。22exp),(yxkyxh参数为与退化因素有关的正，为归一化常数，K

7、kvuKvuH,exp,226522exp,vuvuH大气踹流，近高斯模型 退化函数的识别退化函数的识别p从一副图像中提取包含简单结构（比如：点源、直线、边界等）的一小部分图像；p构建该部分图像的清晰图像；p由构建图像和观察图像可以求得退化函数；p假定系统具有移不变性，则该退化函数可作为整幅图像的退化函数。原景物中含有点源的情况原景物中含有点源的情况如果确知在原景物中存在一个点源，那么当噪声干扰忽略不计时，该点源的影像便是点扩散函数。 yxhddyxhddyxhgyxf,原景物中含有直线源的情况原景物中含有直线源的情况(1)(1)该直线（方向角）的傅立叶变换 H(u,v) 就等于原退化系统频谱

8、在（u，v）平面上过零点且正交方向处（+90）的频谱值。),(yxfuv+90),()(yxfHFvu, 一维FFT原景物中含有直线源的情况原景物中含有直线源的情况(2)(2)(a)如果H(u,v)是圆对称的： 只需要一条直线就够了，(b)如果H(u,v)不是圆对称的：需要多条直线，并在频谱域做直角坐标到极坐标的转换。uv22vuruv原景物中含有边界线的情况原景物中含有边界线的情况如果在原景物中不含有明显的点或线，但却含有明显的边界线，即含有一些亮度突变的阶跃，成像系统对这些边界线的响应称之为界线扩展函数。uv+90)( vu,H),(yxfp 水平边界，H(0,v)=j2vHe(v)；p

9、垂直边界，H(0,u)=j2uHe(u)；p 任意方向，先做坐标旋转到水平或直角方向，按上式处理后再反旋转回去。5.3 5.3 无约束恢复无约束恢复图像恢复：图像恢复：假定已知输出图像 f 、系统响应 H 和噪声 n 的情况下，依据退化模型估计原图像 g 。最优准则：最优准则：这种估计应在某种预先选定的准则下，具有最优的性质。最优判断准则最优判断准则 输出图像 f 和原图像 g 的最大绝对误差 max| f g | 最小； 输出图像 f 和原图像 g 的平均绝对误差 mean| f g | 最小； 输出图像 f 和原图像 g 的互相关为最大； 输出图像 f 和原图像 g 的均方误差最小。（无约

10、束恢复常用准则） 无约束恢复无约束恢复 图像的最佳估计。就能得到输入像的情况下，根据输出图由上，在已知为满秩非奇异矩阵时注：在：最佳估计最小的情况下，可得出的模方值则在图像噪声的一个估计，为原图像令fHHfHfHHHggHHfHgHfHggHfgHfggHfgngHfngnggTTTTTT1122220222min 逆滤波逆滤波(1)(1)vuPvuFvuHvuFvuGvuNvuHvuGvuF,p 在频率中，先由退化图像频谱和退化函数频谱反推出原图像频谱，然后在做反傅立叶变换得到原图像。vuHvuFIDFTvuGIDFTnmg,恢复滤波器p存在一个问题，即在H函数的0点附近变化剧烈，受噪声影响

11、大，所以再用反向滤波器时应注意：a)在H函数的0点附近不作计算；b)当H非常小时，噪声对恢复起主导作用，所以恢复应局限在离原点不远的有限区域进行，这样会出现振铃效应；c)为了避免振铃，可如下考虑 逆滤波逆滤波(2)(2)0, 10,/1,vuHvuHvuHvuP2022202211, 0, 1,wvuwvuvuHvuHvuHvuPothersvuHdvuHkvuP,1,5.4 5.4 有约束恢复有约束恢复为克服无约束恢复中的存在的病态问题，常需要在恢复过程中对运算施加某种约束，从而诞生了有约束恢复。fHQQHHggHfHgQQggJngHfgQgJgggQngHfQTTTTT122222022

12、, 0, , 于是可以解得：根据微分运算化简可得令辅助函数：利用拉格朗日定理构造。的最佳估计像为最小的原图下，使约束条件，求在施加一线性运算问题转化为，对原图像 几种约束方式几种约束方式(1)(1)能量约束能量约束最小。原图像能量此解的物理意义是，复。，得到取gfHIHHgIQTT1(2)(2)平滑约束（平滑约束（认为原图像是最光滑的，其各点的二阶导数最小）111181111),(nmCfHCCHHgTTT1min gC(3)(3)均方误差最小（均方误差最小（维纳滤波，把图像和噪声当成随机过程处理，使噪声与信号的比值对复原图像影响最小）fHRRHHggRRgQRRQTngTngng112/12

13、/12/12/1min, 有约束的逆滤波法有约束的逆滤波法),(),(),(),(1),(22vuFvuHvuHvuHvuG),(),(),(),(),(1),(222vuFvuCvuHvuHvuHvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgn（1）能量约束：）能量约束：（2）平滑约束：）平滑约束：（3）维纳滤波：）维纳滤波：传递函数 维纳滤波维纳滤波),(),(),(),(vuGvuHvuFvuG),(),(/ ),(),(),(),(1),(22vuFvuSvuSvuHvuHvuHvuGgnHw(u, v),(),(/ ),(),(

14、2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn),(),(/ ),(),(2vuHvuSvuSvuHwgn(a) 无噪声 Sn(u,v)=0(b) 有噪声 Sn(u,v) 0如何确定？),(/ ),(vuSvuSgn方法一：方法一：令其为常数，等同于能量约束滤波。方法二：方法二： Sn(u, v) 用 f 中大片平坦区域计算， Sg(u, v) 用先验知识。 等功率谱滤波法等功率谱滤波法 yxnddyxhgyxf,基本思想：基本思想：使恢复图像的功率谱与原图像功率谱相同。初步推导：初步推导：退化公式：vuSvuHvuSvuSngf,2对上式求相关，

15、并求相关的傅里叶变换：基本假设：基本假设：图像与噪声为均匀随机场，噪声均值为0且与图像不相关。vuMvuFvuG,假设传递函数为 ，则恢复图像频谱为：vuM,于是恢复图像的功率谱为：222,vuMvuSvuMvuHvuSvuSngg（未完转下页）在 的情况下：vuSvuSgg,2/12,/,1,vuSvuSvuHvuMgn（接上页）),(),(/ ),(),(1(),(212vuFvuSvuSvuHvuGgn滤波器公式：滤波器公式：几点说明：几点说明： 分母中存在Sn(u, v)/Sg(u, v)项，在H(u, v) 0处不呈现病态； 维纳滤波在H(u, v) 0处是强迫响应为零，因此它的频响

16、曲线会呈现较大的剧变，在恢复图像中会引入一些假像（旁瓣和细微结构）；而等功率谱滤波的突变性弱，恢复图像看起来更舒服。5.5 5.5 几何畸变的消除几何畸变的消除 几何畸变的产生几何畸变的产生：p摄像系统和景物成斜视角；p光学成像系统或电子扫描系统的限制（枕形畸变和桶形畸变）。 几何畸变校正的方法和步骤几何畸变校正的方法和步骤1.1.坐标变换坐标变换: : 在畸变和正常图像之间建立坐标关系，几何变换法和控制网格法。2.灰级内插：灰级内插：当坐标点不在网格上时，需利用网格上的已知灰级值推算，即插值。几何变换法几何变换法 ( (三维成像几何学三维成像几何学) )变换矩阵H可以是下面各种矩阵的组合!i

17、iiiiwzyxv1000zyxovioHvv 1000100000000sddP成像1010100010001000zyxT1010000000000321sssS平移比例10000cossin00sincos00001R旋转(x轴)输入输出坐标关系控制网格法控制网格法 (1)根据标准图像和畸变图像之间对应网格点（控制网格点）建立区域坐标关系，将畸变图像映射到标准图像。一般采用多项式拟合法：jiiyxbyyxaxijjij控制网格法控制网格法 (2 单线性变换)共有六个未知数；三个顶点，六个坐标，六个方程；可求出六个未知数（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x1,

18、y1)(x2, y1)(x1, y2)ybxbbyyaxaax011000011000控制网格法控制网格法 (3 双线性变换)共有八个未知数；四个顶点，八个坐标，八个方程；可求出八个未知数（唯一解）。(x1, y1)(x2, y1)(x1, y2)(x2, y2)(x1, y1)(x2, y1)(x1, y2)(x2, y2)xybybxbbyxyayaxaax1101100011011000灰级内插灰级内插(1)x= f1 ( x, y ), y= f2 ( x, y ), x, y = 0, 1, 2, , N-1，f 坐标变换函数；若x, y为整数， 则 x, y 一般不为整数 (不在网格上)。 ( x, y ) 处的灰度值 g( x, y )可通过 用( x, y )周围网格上的灰度值内插得到。待恢复图像（ x, y ）畸变图