数字图像处理 第五章图像复原与重建

1、第五章 图像复原与重建主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复(选选)n频域恢复频域恢复(选选)n几何校正几何校正背景知识产生原因产生原因光学光学系统系统中的中的衍射衍射传感传感器非器非线性线性畸变畸变光学光学系统系统的像的像差差摄影摄影胶片胶片的非的非线性线性大气大气流的流的扰动扰动效应效应图像图像运动运动造成造成的模的模糊糊几何几何畸变畸变背景知识n几何畸变几何畸变背景知识n运动模糊运动模糊背景知识n图像复原是试图利用退化过是试图利用退化过程的先验知识去除已退化的程的先验知识去除已退化的图像的退化因素，尽可能恢图像的退化因素，尽可能恢复图

2、像本来面目的技术。复图像本来面目的技术。n思路：即找出退化的原因思路：即找出退化的原因,分分析引起退化的环境因素析引起退化的环境因素,建立建立相应的数学模型相应的数学模型,并沿着使图并沿着使图像降质的逆过程恢复图像。像降质的逆过程恢复图像。n过程过程:找退化原因找退化原因建立退化模型建立退化模型反向推演反向推演恢复图像恢复图像。背景知识n与图像增强技术比较：与图像增强技术比较：同：改善图像质量同：改善图像质量异：图像增强技术不考虑图像退化原因，通异：图像增强技术不考虑图像退化原因，通过基本探索性各种技术过程增强图像，一般过基本探索性各种技术过程增强图像，一般要借助人的视觉系统的特性，以取得看起

3、来要借助人的视觉系统的特性，以取得看起来好的视觉结果；好的视觉结果； 图像复原则认为图像是在某种情况下退化图像复原则认为图像是在某种情况下退化或恶化，需要根据相应的退化模型和知识重或恶化，需要根据相应的退化模型和知识重建，恢复原始的图像。通常会涉及到设立一建，恢复原始的图像。通常会涉及到设立一个最佳的准则个最佳的准则,它将会产生期望的最佳估计。它将会产生期望的最佳估计。 退化图像处理：先复原再增强退化图像处理：先复原再增强粗放型严谨型主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正图像退化/复原过程的模型2( )(

4、 )juxF uf x edx退化函数退化函数 H复原滤波复原滤波 退化退化 复原复原图像复原的关键在于建立图像退化模型图像复原的关键在于建立图像退化模型, , 反映图像退化原因反映图像退化原因通常将成像系统作为线性位移不变系统，点扩散函数用通常将成像系统作为线性位移不变系统，点扩散函数用h h（x x，y y）表示，获取退化图像为）表示，获取退化图像为g g（x x，y y），建立系统），建立系统退化模型如下：退化模型如下：yxnyxhyxfyxg,),(*),(,无噪声退化模型有噪声退化模型),(*),(,yxhyxfyxg离散图像退化模型n对图像和点扩散函数均匀采样，得到离散的退对图像和

5、点扩散函数均匀采样，得到离散的退化模型：化模型：向量矩阵形式为向量矩阵形式为yxnymxhnmfyxgeeeMmNne,),(),(,1010nHfg其中，其中，H为为MNMN的矩阵。的矩阵。主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正图像复原过程n图像复原过程相当于设计一个滤波器，使图像复原过程相当于设计一个滤波器，使其能从退化图像中复原出真实图像的估值其能从退化图像中复原出真实图像的估值，这种估值根据预定的最佳准则，具有最，这种估值根据预定的最佳准则，具有最优的性质。优的性质。n代数恢复法讨论均方误差最小意

6、义下，图代数恢复法讨论均方误差最小意义下，图像的最佳估计像的最佳估计无约束复原n准则函数准则函数退化模型的噪声项为退化模型的噪声项为使噪声范数尽可能小，即使使噪声范数尽可能小，即使 最小最小定义准则函数为关于定义准则函数为关于f的估计最小的问题的估计最小的问题求极值可得求极值可得n频率域则表现为两者乘积。频率域则表现为两者乘积。 频率域去卷积公式频率域去卷积公式ngHf2( ) |J fgHf( , )( , )( , )G u vF u vH u v22|ngHf1111()fH HH gH HH gH g约束最小二乘复原n当当H为奇异的，会导致无约束复原问题的病态为奇异的，会导致无约束复原

7、问题的病态性，因此需要在恢复过程中施加某种约束，即性，因此需要在恢复过程中施加某种约束，即约束复原。约束复原。n约束最小二乘复原问题是使形式为约束最小二乘复原问题是使形式为 的函数的函数，在约束条件，在约束条件 时最小时最小n准则函数准则函数n求极小值得求极小值得 为常数系数（拉格朗日系数），为常数系数（拉格朗日系数），为为1/ 指定不同指定不同Q，得到不同复原图像，得到不同复原图像222( ) |J fQfgHfn1()fH HQ QH g2Qf22| =gHfn约束最小二乘复原n能量约束能量约束 Q=I I表示单位矩阵表示单位矩阵 解得最佳复原解为解得最佳复原解为 物理意义为在约束条件下复

8、原图像能量物理意义为在约束条件下复原图像能量 最小最小2|f1()fH HIH gn平滑约束平滑约束 Q描述图像平滑程度，对应一个二阶平描述图像平滑程度，对应一个二阶平 滑算子，如拉普拉斯算子，则滑算子，如拉普拉斯算子，则 约束条件为应用各点二阶导数的平方约束条件为应用各点二阶导数的平方和最小，和最小， 其值越小其值越小f f越平滑。越平滑。 最佳复原解为最佳复原解为约束最小二乘复原1( )fH HC CH g010141010QC2Cf约束最小二乘复原n均方误差最小约束均方误差最小约束（维纳滤波）（维纳滤波） 将将f和和n视为随机变量，令视为随机变量，令 Rf，Rn分别为信号和噪声的协方差矩

9、阵。分别为信号和噪声的协方差矩阵。 使使 最小，解得最佳复原为最小，解得最佳复原为1/21/2fnQRRQf-11fn()fH HR RH g主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正逆滤波n对于线性位移不变系统，进行傅里叶变换后表对于线性位移不变系统，进行傅里叶变换后表现为频率域图像现为频率域图像n无噪声理想情况下无噪声理想情况下( , )( , )( , )( , )G u vF u v H u vN u v( , )( , )( , )( , )( , )/( , )G u vF u v H u vF

10、u vG u vH u v则1/H(u，v)称为逆滤波器称为逆滤波器逆滤波做傅里叶反变换得复原图像( , ):F u v原始图像的傅立叶变换估计( , )+ ( , )( , )( , )G u vN u vF u vH u v( , )( , )( , )N u vF u vH u v12 ()( , )( , )( , )( , )jux vyf x yf x yN u v Hu vedudv退化图像中噪声问题：在H(u,v)为零或很小，N(u,v)/H(u,v)会变得很大，会对逆滤波恢复的图像产生很大的影响，使估计图像与原图像差别很大逆滤波n解决途径解决途径人为设置人为设置H-1(u,v

11、) ，使其，使其H(u,v)避免出现避免出现0及及数值较小的值数值较小的值uH(u,v)uHI(u,v)uH-1(u,v)（a）图像退化响应 （b）逆滤波器响应 （c）改进的逆滤波器响应逆滤波限制滤波的频率信息使其接近原点限制滤波的频率信息使其接近原点,使其具有使其具有低通滤波性质低通滤波性质0022010u +v-1H (uv) DDH (uv)DDDD，为截止频率，逆滤波对左图进行逆滤波(a) 用全滤波的结果(b) D0为40时截止H的结果(c) D0为80时的结果(d) D0为85时的结果22 5/6(/2)(/2) :( , )k u Mv NH u ve退化函数去除匀速直线运动造成的

12、模糊n获取图像过程中，由于景物和摄像机之间获取图像过程中，由于景物和摄像机之间的相对运动造成的图像模糊的相对运动造成的图像模糊去除匀速直线运动造成的模糊去除匀速直线运动造成的模糊n退化模型估计：退化模型估计：设设f(x,y)进行平面运动，进行平面运动， x0(t)和和y0(t)分别是在分别是在x和和y方向上随时间变化的运动参数方向上随时间变化的运动参数, g(x,y)为为模糊图像，模糊图像，t为运动时间，为运动时间， T为快门打开到关为快门打开到关闭的总曝光时间，模糊图像表示为闭的总曝光时间，模糊图像表示为00( , )( ),( )Tog x yf xx tyy t dt去除匀速直线运动造成

13、的模糊其傅里叶变换为其傅里叶变换为00002 ()0002 ()0002 ( )( )02 ( )( )0( , )( ),( )( ),( )( , )( , )( , )( , )Tjux vyTjux vyTjuxtvytTjuxtvytG u vf xx tyy t dt edxdyf xx tyy t edxdy dtF u v edtF u v H u vH u vedt 退化函数去除匀速直线运动造成的模糊00002( )2/000( )/ ,( )0( , )(/),( , )sin()( , )(), (), 0, aTTTjuxtjuat Tj uamkk-1k=0 x ta

14、t T y tg x yfxat Ty dtTH u vedtedtua euaf x yAmgxmaygxkayx yLT,A=f(x+ka)/k水平方向匀速运动 若为位移量， 为总运动时间,mx/aL= kax是的整数部分，是 的取值范围垂直方向匀速运动的图像复原方法类似维纳滤波n维纳滤波是从退化函数和噪声统计特征入手，假设图像维纳滤波是从退化函数和噪声统计特征入手，假设图像信号近似看成平稳随机过程的前提下，按照恢复图像与信号近似看成平稳随机过程的前提下，按照恢复图像与原图像的均方差最小原则来恢复图像原图像的均方差最小原则来恢复图像. 即即n恢复问题归结与找到合适的点扩散函数，其其与图像卷

15、恢复问题归结与找到合适的点扩散函数，其其与图像卷积后能满足上式积后能满足上式,再计算图像估计再计算图像估计2( ( , )( , ) =minEf x yf x y*2( , )( , )( , )|( , )|( , )/( , )fHu vF u vG u vH u vP u vP u v*22( , )( , )( , )( , ) |( , )|( , ) |( , )|fH u vHu vH u vP u vN u vP u vF u v退化函数, 的复共轭噪声的功率谱, 未退化图像的功率谱Pn 0,逆滤波维纳滤波逆滤波和维纳滤波的比较(a) 全滤波的逆滤波结果(b) 半径受限的逆滤

16、波结果(c) 维纳滤波的结果 (交互选择K)维纳滤波的结果非常接近原始图像,比逆滤波要好主要内容n背景知识背景知识n图像退化图像退化/复原过程的模型复原过程的模型n代数恢复代数恢复n频域恢复频域恢复n几何校正几何校正几何失真n图像在获取和显示过程中，由于成像系统本身的非线性、图像在获取和显示过程中，由于成像系统本身的非线性、图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像几何形状的失真。图像几何形状的失真。几何失真n 常见几何失真常见几何失真 原图像原图像 透视失真透视失真 枕形失真枕形失真 桶形失真桶形失真几何校正n几何校正：将存在几何失真

17、的图像校正成几何校正：将存在几何失真的图像校正成无几何失真的图像无几何失真的图像n在对图像定量分析前，进行此处理，以免在对图像定量分析前，进行此处理，以免影响分析精度影响分析精度几何校正n几何校正基本方法是先建立数学模型，再几何校正基本方法是先建立数学模型，再利用已知条件确定模型参数，最后根据模利用已知条件确定模型参数，最后根据模型对图像进行校正型对图像进行校正n通常由两个基本操作组成通常由两个基本操作组成:空间坐标变换空间坐标变换修改像素空间坐标，对图像平面上像素坐标位置进行校正或重新安排，以恢复其原有的空间关系灰度内插灰度内插对空间变换后图像中像素赋予相应灰度值，以恢复原空间位置上的灰度值

18、空间坐标变换（数学模型）12,( , ),( ,).:( , )( , )fx ygx yxh x yyh x y假假设设一一幅幅图图像像像像素素点点坐坐标标为为经经过过几几何何变变换换失失真真产产生生一一幅幅图图像像像像素素点点坐坐标标为为该该变变换换可可表表示示为为12( , )( , ),( ,)( , ).h x yh x yg x yf x y如如果果和和在在解解析析分分析析中中已已知知 理理论论上上可可以以用用相相反反的的变变换换从从失失真真图图像像复复原原未未知知变变换换函函数数情情况况下下常常用用的的方方法法是是用用 连连接接点点 表表达达像像素素的的空空间间重重定定位位空间坐

19、标变换方法一n已知已知h1(x，y)和和h2(x，y)条件条件下的校正下的校正直接法直接法，由退化图像的像素坐标，由退化图像的像素坐标(x,y)计计算出原图像对应像素的校正坐标值算出原图像对应像素的校正坐标值(x,y)，保，保持其灰度值不变。持其灰度值不变。校正后图像像素分布不规则，出现挤压、疏密不均现象，还需进行灰度内插生成栅格图像间接法间接法，由假设的校正图像整数坐标，由假设的校正图像整数坐标(x,y)计计算对应退化图像的非整数坐标算对应退化图像的非整数坐标(x,y)，由，由其周围像素灰度内插得到其灰度值。其周围像素灰度内插得到其灰度值。常用方法， 较容易实现常见图像几何变换n平移平移xy

20、xxtxyyty常见图像几何变换n旋转旋转cossinsincosxxyyxy常见几何变换n缩放缩放xyxcxydy常见图像几何变换n水平镜像：水平镜像：n垂直镜像：垂直镜像：xxyy xxyy 空间坐标变换方法二n未知未知h1(x，y)和和h2(x，y)条件条件下的校正下的校正 用基准图像和几何畸变图像上的连接点来确用基准图像和几何畸变图像上的连接点来确定坐标变换函数定坐标变换函数h1(x，y)和和h2(x，y) 连接点是像素的子集连接点是像素的子集,它们在输入它们在输入(失真的失真的)和和输出输出(校正的校正的)图像中的位置是精确已知的图像中的位置是精确已知的. 基准图像基准图像f 几何畸

21、变图像几何畸变图像g空间坐标变换（数学模型）n根据两图像中的连接点，建立函数关系，进根据两图像中的连接点，建立函数关系，进行坐标变换，通常函数关系用二元多项式近行坐标变换，通常函数关系用二元多项式近似似0000nn iijijijnn iijijijijijxa x yyb x ynab为多项式次数，和 为系数空间坐标变换连接点总共有6个连接点,可解出6个系数,得到几何失真模型.通常需要足够多的连接点以产生覆盖整个图像的四边形集.一元多项式的线性变换一元多项式的线性变换001001001001nxaa xa yybb xb y=1时空间坐标变换n二元多项式的线性变换二元多项式的线性变换像素灰度

22、内插.( ,)xyg x y无无论论用用直直接接法法还还是是间间接接法法进进行行空空间间坐坐标标变变换换，都都可可能能产产生生非非整整数数的的和和坐坐标标，这这样样会会得得到到空空的的灰灰度度值值. .所所以以有有必必要要基基于于整整数数坐坐标标的的灰灰度度值值去去推推断断那那些些位位置置的的灰灰度度值值. .常常用用方方法法：最最近近邻邻元元法法双双线线性性内内插插法法三三次次内内插插法法像素灰度内插最近邻元法：选择距离最近的邻像素灰度最近邻元法：选择距离最近的邻像素灰度（x，y）像素值用最近邻（x，y）灰度插补像素灰度内插n最近邻元法优点：最近邻元法优点：简单快速简单快速灰度保真度好灰度保

23、真度好n缺点：缺点：误差大误差大灰度不连续性造成灰度不连续性造成 视觉特性差视觉特性差 锯齿现象锯齿现象像素灰度内插n双线性内插法双线性内插法: 用用4个最近邻点做两个方向内插个最近邻点做两个方向内插(1) (1, )(1,1)f xyf xy( ,)(1)(1) ( , )(1)( ,1)f x yf x yf x y （x+1，y）（x，y）像素灰度内插显示具有25个连接点的图像几何失真后的连接点用最近邻点内插失真的图像复原结果使用双线性内插的失真图像复原图像利用最近邻点内插法利用最近邻点内插法, ,几何校几何校正的效果可以接受的正的效果可以接受的. .但在灰但在灰度级赋值上有明显错误度级赋值上有明显错误, ,特别特别时沿着灰和黑色区域的边界时沿着灰和黑色区域的边界处处. . 双线性内插法对此有明双线性内插法对此有明显改善显改善. .abcdef像素灰度内插n双线性内插法特点：双线性内插法特点：计算邻近各点的灰度特征，灰度过渡平滑，计算邻近各点的灰度特征，灰度过渡平滑，效果较好，但计算量大效果较好，但计算量大具有低通滤波性质，图像轮廓产生模糊具有低通滤波性质，图像轮廓产生模糊像素灰度内插n三次内插法三次内插法 三次多项式近似表示三次多项式近似表示 最佳插值函