第一讲图像复原

第一讲图像复原第1页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第2页，课件共98页，创作于2023年2月进化与退化第3页，课件共98页，创作于2023年2月图像退化因素 图像退化指由场景得到的图像没能完全地反映场景的真实内容，产生了失真等问题透镜象差/色差,聚焦不准等

噪声（是一个统计过程）照相机/摄像机与目标的相对移动，如抖动（机械、电子）第4页，课件共98页，创作于2023年2月图像退化模型

H：退化过程

n(x,y)：加性噪声（统计特性已知）退化过程描述：

第5页，课件共98页，创作于2023年2月假设退化函数H为线性、位置不变性过程，则图像退化过程可在空间域表示为：

h(x,y)是退化函数的空间描述空间域上的卷积等同于频域上的乘积，则频域的等价描述为：退化参数：h(x,y)和n(x,y)图像恢复：对原始图像作出尽可能好的估计。已知退化图像，要作这种估计，须知道退化参数的有关知识。第6页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第7页，课件共98页，创作于2023年2月图像获取过程的噪声如，使用CCD摄像机获取图像，光照水平和传感器温度是生成图像中产生大量噪声的主要因素图像传输过程的噪声如，通过无线电网络传输的图像可能会因为光或其他大气因素的干扰被污染

图像噪声的来源第8页，课件共98页，创作于2023年2月噪声的空间和频率特性噪声与图像的相关性相关——乘性噪声不相关——加性噪声白噪声图像平面上不同点的噪声是不相关的，其谱密度为常数。一般假设图像上的噪声是白噪声。实用上，只要噪声带宽远大于图像带宽，就可把它当作白噪声。第9页，课件共98页，创作于2023年2月一些重要噪声的概率密度函数高斯噪声瑞利噪声伽马（爱尔兰）噪声指数分布噪声均匀分布噪声脉冲噪声（椒盐噪声）第10页，课件共98页，创作于2023年2月噪声概率密度函数1、高斯噪声高斯函数的曲线如左图所示。当z服从高斯分布时，其值有70%落在范围内，且有95%落在范围。

第11页，课件共98页，创作于2023年2月瑞利噪声瑞利噪声的概率密度函数：概率密度的均值和方差：第12页，课件共98页，创作于2023年2月伽马（爱尔兰）噪声伽马噪声PDF：其中，a>0，b为正整数且“！”表示阶乘。其密度的均值和方差为：第13页，课件共98页，创作于2023年2月指数分布噪声指数噪声的PDF：其中，a>0。概率密度函数的期望值和方差：注意，指数分布的概率密度函数是当b=1时爱尔兰概率分布的特殊情况。第14页，课件共98页，创作于2023年2月均匀分布噪声均匀分布噪声的概率密度：概率密度函数的期望值和方差是：第15页，课件共98页，创作于2023年2月脉冲（椒盐噪声）噪声脉冲噪声的PDF是：如果b>a，灰度值b在图像中将显示为一个亮点，相反，a的值将显示为一个暗点。若或为零，则脉冲噪声称为单级脉冲。如果和均不可能为零，尤其是他们近似相等时，脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒。第16页，课件共98页，创作于2023年2月样本噪声图像和它们的直方图第17页，课件共98页，创作于2023年2月各种噪声的产生高斯噪声：电子噪声、弱光照/温度条件下的传感器噪声瑞利分布：深度成像、超声波图像指数和Gamma分布：激光成像椒盐噪声：快速瞬变、误切换第18页，课件共98页，创作于2023年2月周期噪声产生原因：图像采集过程中的电子或电磁干扰消除方法：频率域滤波Butterworth带阻滤波器第19页，课件共98页，创作于2023年2月周期噪声参数的估计一般可以通过图像的频谱进行估计特殊情况下可以直接从图像中噪声分量的周期性进行推断（简单情形）自动分析在下列情形可行：噪声信号非常明确、对噪声频率成分的位置有一定的先验知识第20页，课件共98页，创作于2023年2月一般噪声参数的估计可以根据所采用的传感器类型进行噪声分布的部分推断；通常通过特定的成像安排进行估计当只有已采集到的图像时，一般通过图像中的平滑区域进行PDF参数的估计第21页，课件共98页，创作于2023年2月噪声的确定不同的恢复方法需要关于噪声的不同的数字特征。

eg:

维纳滤波要知道噪声的谱密度。约束最小平方滤波要知道噪声的方差。第22页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第23页，课件共98页，创作于2023年2月当在图像中唯一存在的退化是噪声时，则退化方程为：噪声项是未知的，从g(x,y)或G(u,v)中减去它们不是一个现实的选择。第24页，课件共98页，创作于2023年2月5.3.1均值滤波器算术均值滤波器几何均值滤波器谐波均值滤波器逆谐波均值滤波器第25页，课件共98页，创作于2023年2月算术均值滤波器这个操作可以用系数为1/mn的卷积模板来实现。几何均值滤波器几何均值滤波器所达到的平滑度可以与算术均值滤波器相比，但在滤波过程中丢失更少的图像细节。第26页，课件共98页，创作于2023年2月谐波均值滤波器谐波均值滤波器对于“盐”噪声效果比较好，但是不适用于“胡椒”噪声。它善于处理像高斯噪声那样的其他噪声。逆谐波均值滤波器当Q是正数时，用于消除“胡椒”噪声；当Q是负数时，用于消除“盐”噪声。但不能同时消除这两种噪声。Q的选择很重要！第27页，课件共98页，创作于2023年2月5.3.2顺序统计滤波器中值滤波器最大值和最小值滤波器中点滤波器修正后的阿尔法均值滤波器第28页，课件共98页，创作于2023年2月中值滤波器用该像素相邻像素的灰度中值来代替该像素的值。适用于单级或双级脉冲噪声。最大值滤波器这种滤波器在发现图像中的最亮点时非常有用。最小值滤波器这种滤波器在发现图像中的最暗点时非常有用。第29页，课件共98页，创作于2023年2月中点滤波器这种滤波器结合了顺序统计和求均匀，对于高斯和均匀随机分布噪声有最好的效果。修正后的阿尔法均值滤波器第30页，课件共98页，创作于2023年2月修正后的阿尔法均值滤波器假设在邻域内去掉g(s,t)最高灰度值的d/2和最低灰度值的d/2。由这些剩余后的像素点的平均值形成的滤波器当d=0时，退变为算术均值滤波器；当d=mn-1时，退变为中值滤波器；当d为其他值时，修正后的阿尔法均值滤波器在包括多种噪声的情况下非常适用。第31页，课件共98页，创作于2023年2月5.3.3自适应滤波器自适应滤波器考虑了图像中的像素点与其他像素点的特征的差异性，其行为变化基于由m×n矩形窗口定义的区域内图像的统计特征。自适应滤波器要优于迄今为止讨论过的所有滤波器的性能。但自适应滤波器的复杂度提高了。两种简单的自适应滤波器自适应、局部噪声消除滤波器自适应中值滤波器第32页，课件共98页，创作于2023年2月自适应、局部噪声消除滤波器均值和方差是自适应滤波器的基础唯一需要知道或估计的量就是全部噪声的方差σn2

。其他参数需要从中各个坐标处的像素计算出来，在该位置滤波器窗口已被中心化。第33页，课件共98页，创作于2023年2月自适应中值滤波器自适应中值滤波器可以处理具有更大概率的冲激噪声。它的另一个优点是平滑非冲激噪声时可以保留细节。工作在两层（参考书上）主要目的除去“椒盐”噪声平滑其他非冲激噪声并减少诸如物体边界细化或粗化等失真。第34页，课件共98页，创作于2023年2月带阻滤波器理想带阻滤波器n阶巴特沃思带阻滤波器的表达式：5.3.4频域滤波消减周期噪声第35页，课件共98页，创作于2023年2月高斯带阻滤波器表达式：三个滤波器的透视图。带阻滤波器的主要应用之一是，在频率域噪声分量的一般位置近似已知的应用中消除噪声。第36页，课件共98页，创作于2023年2月Butterworth带阻滤波器第37页，课件共98页，创作于2023年2月带通滤波器带通滤波器执行与带阻滤波器想反的操作。通常不在在一幅图像上直接执行带通滤波器，这通常会消除太多图像细节。带通滤波器可以获取噪声模式，从而帮助屏蔽噪声模式。获取的噪声模式第38页，课件共98页，创作于2023年2月陷波滤波器陷波滤波器阻止（或通过）事先定义的中心频率邻域内的频率。第39页，课件共98页，创作于2023年2月理想陷波带阻滤波器n阶的巴特沃思陷波带阻滤波器高斯陷波带阻滤波器问题：当u0=v0=0时，以上三个滤波器都是什么滤波器？第40页，课件共98页，创作于2023年2月陷波滤波器最佳陷波滤波器存在多种干扰——最佳陷波滤波器第一步屏蔽干扰的主要因素，第二步从被干扰的图像中减去一个可变的加权部分。（具体内容见书）小波分析方法更好！第41页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第42页，课件共98页，创作于2023年2月退化H的性质

(1)线性： (2)相加性（k1=k2=1）： (3)一致性（f2(x,y)=0）： (4)位置（空间）不变性：第43页，课件共98页，创作于2023年2月点扩展函数的确定（一）运用先验知识:

大气湍流光学系统散焦照相机与景物相对运动根据导致模糊的物理过程（先验知识）来确定h(x,y)或H(u,v)。第44页，课件共98页，创作于2023年2月（1）长时间曝光下大气湍流造成的传递函数k是与湍流性质有关的常数。第45页，课件共98页，创作于2023年2月第46页，课件共98页，创作于2023年2月（2）光学散焦d是散焦点扩展函数的直径,J1(•)是第一类贝塞尔函数。第47页，课件共98页，创作于2023年2月第48页，课件共98页，创作于2023年2月（3）照相机与景物相对运动设T为快门时间，x0(t)，y0(t)是位移的x分量和y分量第49页，课件共98页，创作于2023年2月第50页，课件共98页，创作于2023年2月（二）运用后验判断的方法

从退化图像本身来估计h(x,y)

。（1）若有把握断定原始景物某部位有一个清晰的点，于是那个点再退回图像的模糊图像就是h(x,y)。（2）原景物含有明显的直线，从这些线条的退化图像得出h(x,y)。（3）有明显的界限可以证明：界线的退化图像的导数＝平行与该界线的线源的退化图像。第51页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第52页，课件共98页，创作于2023年2月5.5图像复原的滤波方法5.5.1逆滤波5.5.2维纳滤波5.5.3等功率谱滤波5.5.4约束最小二乘方滤波第53页，课件共98页，创作于2023年2月逆滤波假定退化图像遵从以下模型在不考虑噪声的情况下则第54页，课件共98页，创作于2023年2月逆滤波第55页，课件共98页，创作于2023年2月实际应用时的缺点无噪声情况若在频谱平面对图像信号有决定影响的点或区域上，H(u,v)的值为零，那么G(u,v)的值也为零，故不能确定这些频率处的F(u,v)值，也就难以恢复原始图像f(x,y)。有噪声情况G(u,v)=F(u,v)H(u,v)+N(u,v)仍采用逆滤波器P(u,v)=1/H(u,v)H(u,v)=0,没有定义。H(u,v)=0附近，H(u,v)较小，N(u,v)/H(u,v)会非常大，结果与F(u,v)大不相同，就不再象f(x,y)第56页，课件共98页，创作于2023年2月①

在H(u,v）=0及其附近，人为地仔细设置H-1(u,v)的值，使N(u,v)*H-1(u,v)不会对F（u，v）产生太大影响。下图给出了H(u,v)、H--1(u,v)同改进的滤波特性HI(u,v)的一维波形，从中可看出与正常的滤波的差别。②使H-1(u,v)具有低通滤波性质改进的方法第57页，课件共98页，创作于2023年2月逆滤波情况下的图像退化与复原 记M(u,v)为复原传递函数，并不正好是1/H(u,v)图像退化和复原模型除去H(u,v)为零的点

减少振铃效应k和d均为小于1的常数第58页，课件共98页，创作于2023年2月模糊点源以获得转移函数将点源图像看做单位脉冲函数（F[

(x,y)]=1）的近似 则有 G(u,v)=H(u,v)F(u,v)

H(u,v)

图像退化和恢复示例退化图滤波器除去零点减少振铃第59页，课件共98页，创作于2023年2月匀速直线运动

消除匀速直线运动模糊

T:采集时间长度x方向运动分量y方向运动分量第60页，课件共98页，创作于2023年2月水平方向匀速直线运动

x0(t)=ct/T

，y0(t)

=0 当n为整数时，H在u=n/c处为零 当f(x,y)在区间0≤x≤L之外为零或已知时

第61页，课件共98页，创作于2023年2月第62页，课件共98页，创作于2023年2月5.5图像复原的滤波方法5.5.1逆滤波5.5.2维纳滤波5.5.3等功率谱滤波5.5.4约束最小二乘方滤波第63页，课件共98页，创作于2023年2月维纳滤波第64页，课件共98页，创作于2023年2月可推出第65页，课件共98页，创作于2023年2月第66页，课件共98页，创作于2023年2月第67页，课件共98页，创作于2023年2月第68页，课件共98页，创作于2023年2月5.5图像复原的滤波方法5.5.1逆滤波5.5.2维纳滤波5.5.3等功率谱滤波5.5.4约束最小二乘方滤波第69页，课件共98页，创作于2023年2月等功率谱滤波方法：（1）退化模型第70页，课件共98页，创作于2023年2月等功率谱滤波第71页，课件共98页，创作于2023年2月第72页，课件共98页，创作于2023年2月几何均值滤波器α=1，逆滤波；α=0，参数维纳滤波；γ=1，标准维纳滤波；α=1/2，普通逆滤波器和维纳滤波器的几何平均。α=1/2，γ=1，等功率谱均衡滤波器。第73页，课件共98页，创作于2023年2月5.5图像复原的滤波方法5.5.1逆滤波5.5.2维纳滤波5.5.3等功率谱滤波5.5.4约束最小二乘方滤波第74页，课件共98页，创作于2023年2月约束最小二乘方滤波仅要求噪声方差和均值的知识。滤波器特点对于处理的每一幅图像都能产生最优结果滤波器算法的选择往往由结果图像的感知视觉质量决定。最优准则约束条件第75页，课件共98页，创作于2023年2月这个最佳化问题的频域解决方法第76页，课件共98页，创作于2023年2月维纳滤波约束最小二乘方滤波第77页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第78页，课件共98页，创作于2023年2月图像恢复的非线性方法两种有代表性的非线性方法：（一）最大后验法：考虑了图像记录过程所具有的非线性并且把图像各点的集合平均看作是非平稳的随机过程。（二）最大熵法：考虑图像形成时的非线性，并且能保证图像函数有非负值。第79页，课件共98页，创作于2023年2月最大后验法若把图像记录的非线性考虑进去，图像退化模型为第80页，课件共98页，创作于2023年2月最大后验法第81页，课件共98页，创作于2023年2月最大熵方法假设图像函数具有非负值，定义一幅图像的总能量为图像的熵为噪声熵为最大熵复原就是在满足上式和图像退化模型的约束条件下使得复原后图像的图像熵和噪声熵最大。B为最小的噪声负值，以使上式中的对数有意义（令0ln0=0））

第82页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第83页，课件共98页，创作于2023年2月图像复原的盲反卷积方法图像复原可以看作为一个反卷积的过程。图像和退化系统先验知识非常有限甚至没盲反卷积方法盲反卷积的求解过程是相当困难的，具有病态性具体问题具体对待两大类方法从退化图像中估计点扩散函数，然后采用合适的复原方法进行图像复原。（较容易实现）在复原过程中同时估计点扩散函数和未降质图像（复杂）

第84页，课件共98页，创作于2023年2月迭代盲反卷积算法（IBD）主要思想：利用真实图像和PSF的某些先验知识，在随机选取真实图像的初始估计后，采用某种变换将图像在时域和频率域之间反复地变换，直到执行一定的迭代次数或算法最终收敛。基于FFT变换的IBD算法结构第85页，课件共98页，创作于2023年2月图像复原与考古第86页，课件共98页，创作于2023年2月第5讲图像复原5.1图像退化/复原过程的模型5.2噪声模型5.3噪声存在下的图像复原5.4估计退化函数5.5图像复原的滤波方法5.6图像复原的非线性方法5.7图像复原的盲反卷积方法5.8几何校正第87页，课件共98页，创作于2023年2月几何失真几何失真原因图像在获取过程中，由于成像系统本身具有非线性、拍摄角度等因素的影响，会使获得的图像产生几何失真。几何失真系统失真是有规律的、能预测的；非系统失真则是随机的。几何校正的必要性当对图像作定量分析时，就要对失真的图像先进行精确的几何校正，以免影响定量分析的精度。第88页，课件共98页，创作于2023年2月几何校正方法基本方法：先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。图像空间坐标变换确定各像素的灰度值（灰度内插）。第89页，课件共98页，创作于2023年2月设图像f(x,y)是经过几何失真产生图像g(x´,y´)表示，则变换可以表示为：空间坐标变换通常h1(x，y)和h2(x，y)可用多项式来近似

第90页，课件共98页，创作于2023年2月当n=2时，畸变关系式为当n=1时，畸变关系为线性变换，问题：求解上式需要已知几个像素点？问题：求解上式需要已知几个像素点？第91页，课件共98页，创作于2023年2月像素灰度内插方法作用：处理空间变