退化模型噪声模型

退化模型噪声模型图像退化与复原(imagedegradation/restoration)图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏图像复原就是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理第2页,共133页，2024年2月25日，星期天图像退化与复原(imagedegradation/restoration)典型的图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，得到质量改善的图像图像复原过程如下：找退化原因→建立退化模型→反向推演→恢复图像可见，图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度，体现在建立的退化模型是否合适第3页,共133页，2024年2月25日，星期天图像复原和图像增强(imageenhancement)的区别：图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果图像复原需知道图像退化的机制和过程等先验知识，并据此找出一种相应的逆处理方法，从而得到复原的图像二者的目的都是为了改善图像的质量第4页,共133页，2024年2月25日，星期天图像退化/复原过程的模型

(imagedegradation/restorationprocessmodel)退化模型：退化过程可以被模型化为一个退化函数和一个加性噪声项退化函数：即图像质量退化的原因，非常复杂，为了处理简单，一般考虑用线性系统近似噪声：同样为了简单处理，采用几类典型数学模型概括第5页,共133页，2024年2月25日，星期天图像退化/复原过程的模型空间域退化模型（线性系统+噪声）频率域退化模型（线性系统+噪声）第6页,共133页，2024年2月25日，星期天噪声模型(noisemodel)数字图像的噪声主要来源于图像的获取（包括数字化过程）和传输过程噪声的产生地点和强度都是不确定的，因此需要采用概率分布来描述，即我们把噪声当作随机变量来处理假设噪声独立于空间坐标，且与图像本身无关联第7页,共133页，2024年2月25日，星期天噪声模型高斯噪声：也称为正态噪声，数学上非常容易处理，因此在噪声没有明显表征的情况下，常采用高斯分布近似处理噪声：均值，或期望值：是标准差：是方差第8页,共133页，2024年2月25日，星期天噪声模型瑞利噪声注意：瑞利密度距原点的位移以及密度图形向右变形，使用与描述近似偏移的直方图第9页,共133页，2024年2月25日，星期天噪声模型伽玛（爱尔兰）噪声第10页,共133页，2024年2月25日，星期天噪声模型指数分布噪声第11页,共133页，2024年2月25日，星期天噪声模型均匀分布噪声第12页,共133页，2024年2月25日，星期天噪声模型脉冲噪声（椒盐噪声）设b>a，则灰度值b在图像中是一个亮点，a则是一个暗点，若Pa和Pb中有一个为0，则称为单极脉冲，视觉上，双击脉冲噪声类似于餐桌上的胡椒和盐粉，因此也称为椒盐噪声，其中，亮点对应于“盐粉”，而暗点对应于“胡椒”b和a通常是饱和值，即它们是图像中可表示的最大值和最小值，因此一般为255和0第13页,共133页，2024年2月25日，星期天噪声模型第14页,共133页，2024年2月25日，星期天测试图，只有三种不同的灰度级，因此它的直方图只有三条线条噪声模型第15页,共133页，2024年2月25日，星期天噪声模型第16页,共133页，2024年2月25日，星期天噪声模型第17页,共133页，2024年2月25日，星期天前面几种噪声模型在视觉上很难区分，但在直方图上差异非常明显椒盐噪声是上述唯一会引起视觉区分识别的噪声，其直方图也很特别噪声模型第18页,共133页，2024年2月25日，星期天周期噪声：是在图像获取中从电力或者机电干扰中产生的，是一种空间依赖型的噪声，例如特定频率干扰的一张图像噪声模型第19页,共133页，2024年2月25日，星期天噪声模型噪声的估计从传感器的规格说明中获取通过傅立叶频谱检测使用一张标准图像检测成像系统的噪声参数，例如黑色背景下的一个白色方块图利用图像本身的信息？——截取图像区域中较为平台的一个子区域，作为标准测试图像，检测噪声直方图形状第20页,共133页，2024年2月25日，星期天噪声模型第21页,共133页，2024年2月25日，星期天只存在噪声的空间滤波复原——去噪复原当图像中唯一存在的退化是噪声时，问题就变成了去处噪声的复原问题空间域退化模型（线性系统+噪声）频率域退化模型（线性系统+噪声）第22页,共133页，2024年2月25日，星期天只存在噪声的空间滤波复原——去噪复原直接减去噪声并不现实，因为噪声是随机的，我们并不确切地知道噪声在和处，强度是多少如果是周期噪声，有可能在频率域将周期噪声和图像本身分离开，从而减去噪声的频率分量，实现图像的去噪复原第23页,共133页，2024年2月25日，星期天只存在噪声的空间滤波复原——去噪复原当仅有加性噪声时，可考虑空间滤波方法，利用图像的相似性，使用像素周边信息对降低噪声的影响，甚至去除噪声均值滤波统计排序滤波自适应局部噪声消除滤波器自适应中值滤波器第24页,共133页，2024年2月25日，星期天均值滤波器(meanfilter)——

算术均值滤波器（Arithmetricmeanfilter）令Sxy表示中心在(x,y)点，尺寸为mxn的矩形子图像窗口，设复原图像为，被干扰的结果图像为g如之前描述，算术均值滤波减少噪声的同时也模糊了图像本身的信息第25页,共133页，2024年2月25日，星期天均值滤波器——几何均值滤波器(Geometricmeanfilter)表达式如下：几何均值滤波所达到的平滑度与算术均值滤波的平滑度相当，但是在滤波过程中更少丢失图像细节第26页,共133页，2024年2月25日，星期天均值滤波器——谐波均值滤波器(Harmonticmeanfilter)表达式如下：谐波均值滤波对于“盐”的噪声效果更好，但不适用于“胡椒”噪声，并且善于处理高斯噪声等其他噪声第27页,共133页，2024年2月25日，星期天均值滤波器——逆谐波均值滤波器(Contraharmonticmeanfilter)表达式如下：Q称为滤波器的阶数，逆谐波均值滤波器使用于椒盐噪声：当Q>0，可用于消除“胡椒”噪声当Q<0，可用于消除“盐”噪声不能同时消除椒和盐噪声，Q=0时，退化为算术均值滤波，Q=-1时退化为谐波均值滤波第28页,共133页，2024年2月25日，星期天均值滤波器效果第29页,共133页，2024年2月25日，星期天均值滤波器效果第30页,共133页，2024年2月25日，星期天错误选择逆谐波滤波参数Q的情况第31页,共133页，2024年2月25日，星期天统计排序滤波器——中值滤波器(medianfilter)使用像素相邻像素的灰度值中值替代当前向素值对于多种随机噪声有良好的去噪能力，引起的模糊更少，尤其对脉冲噪声非常有效第32页,共133页，2024年2月25日，星期天统计排序滤波器——最大值和最小值滤波器(maxandminfilter)从中值滤波可想到，选定的值可以不用排在所有相邻像素值排序的正中间如使用最大值滤波，可方便发现图像中的亮点可以消除“胡椒”噪声如使用最小值滤波，可发现图像中的最暗点消除“盐”的噪声第33页,共133页，2024年2月25日，星期天统计排序滤波器——中点滤波器(mid-pointfilter)计算窗口范围内最大值和最小值之和的一半，具体由下式给出：结合了统计排序和求平均操作，使得其对于高斯和均匀分布有较好的效果第34页,共133页，2024年2月25日，星期天统计排序滤波器——修正阿尔法均值滤波器(Alpha-trimmedmeanfilter)设在Sxy域邻域内去掉g(s,t)最高灰度值的d/2,和最低灰度值的d/2，gr(s,t)表示剩余的mn-d个像素d可取0到mn-1之间的任意数：d=0时，退化为算术均值滤波器，d=mn-1，退化成为中值滤波器适合包括多种噪声的图像处理，如高斯和椒盐噪声的混合情况第35页,共133页，2024年2月25日，星期天统计排序滤波器效果第36页,共133页，2024年2月25日，星期天统计排序滤波器效果第37页,共133页，2024年2月25日，星期天统计排序滤波器效果第38页,共133页，2024年2月25日，星期天自适应滤波器(self-adaptivefilter)前面讨论的滤波器并不考虑每个像素点的局部特点，而是每个像素点采用相同的处理。显然我们可以统计每个像素点周边的情况，然后采取不同的对策处理相应的响应。自适应滤波优于前面所讲述的各种均值滤波。它们的行为变化基于由mxn矩形窗口，Sxy定义的区域内图像的统计特性第39页,共133页，2024年2月25日，星期天自适应局部噪声消除滤波器滤波器作用于局部区域Sxy,，滤波器在中心化区域中任何点（x，y）上的滤波器响应基于以下4个量——噪声图像在点(x,y)上的值——干扰f(x,y)以形成g(x,y)的噪声方差——在Sxy上像素点的局部均值——在Sxy上像素点的局部方差第40页,共133页，2024年2月25日，星期天自适应局部噪声消除滤波器预期性能：如果为零，则滤波器应该简单地返回的值。在下零噪声的情况等同于如果局部方差与是高相关的，则滤波器返回一个的近似值，一个典型的高局部方差是与边缘相关，并且这些边缘应该保留如果两个方差相等，则希望滤波器返回区域Sxy上像素的算术均值，局部面积与全部图像有相同特性的条件下，且局部噪声简单地用球平均来降低第41页,共133页，2024年2月25日，星期天自适应局部噪声消除滤波器为了获得，上述假定的自适应条件可以写成如下式子：第42页,共133页，2024年2月25日，星期天自适应局部噪声消除滤波效果第43页,共133页，2024年2月25日，星期天自适应中值滤波传统中值滤波器，只要脉冲噪声的空间密度不大，性能就会非常好，经验表明，对于Pa、Pb小于0.2的椒盐噪声，中值滤波效果甚佳如果需要处理更大噪声密度的图像，则需要对其进行改进第44页,共133页，2024年2月25日，星期天自适应中值滤波自适应中值滤波可以处理大概率的脉冲噪声，并且在平滑非脉冲噪声时可以保存细节，其实行的关键是有选择替换和自动伸缩窗口大小第45页,共133页，2024年2月25日，星期天自适应中值滤波设Sxy是处理的窗口，(x,y)是窗口的中心zmin——Sxy中灰度级的最小值zmax——Sxy中灰度级的最大值zmed——Sxy中灰度级的中值zxy——在坐标(x,y)上的灰度级Smax——Sxy允许的最大尺寸第46页,共133页，2024年2月25日，星期天自适应中值滤波A层：A1=zmed-zminA2=zmed-zmax如果A1>0且A2<0，则转B层否则增大窗口尺寸如果窗口尺寸<=Smax，则重复A层否则输出zmedB层：B1=zxy-zminB2=zxy-zmax如果B1>0且B2<0，则输出zxy否则输出zmed第47页,共133页，2024年2月25日，星期天自适应中值滤波自适应中值滤波的关键在于：除去“椒盐”噪声，平滑其他非椒盐噪声，并减少物体边界细化或者粗化等失真A层的目的是决定zmed是否是脉冲，如果zmed不是脉冲，则转入B层，判断zxy是否是脉冲，若是，则用zmed替代，否则，就不处理，直接输出zxy如果在A层得到了一个zmed是脉冲，则扩大窗口，寻找新的中值zmed随着脉冲噪声密度的增大，需要更大的窗口来找到非脉冲值来复原图像第48页,共133页，2024年2月25日，星期天自适应中值滤波效果第49页,共133页，2024年2月25日，星期天频率域滤波削减周期噪声前面讲述了周期噪声由于具有特定频率特点，因此有可能在频率域中被分离开，而这可以被用来消除这种类型的噪声带阻滤波器带通滤波器陷波滤波器最佳陷波滤波器第50页,共133页，2024年2月25日，星期天带阻滤波器(band-rejectfilter)带阻滤波器消除或衰减了傅里叶变换原点处的频段理想带阻滤波器的表达式为：第51页,共133页，2024年2月25日，星期天带阻滤波器带阻滤波器消除或衰减了傅里叶变换原点处的频段n阶巴特沃斯带阻滤波器的表达式为：高斯带阻滤波器的表达式为：第52页,共133页，2024年2月25日，星期天带阻滤波器第53页,共133页，2024年2月25日，星期天带阻滤波器消除周期噪声第54页,共133页，2024年2月25日，星期天带通滤波器(band-passfilter)带通滤波器执行与带阻滤波器相反的操作表达式与带阻滤波器相关联：使用带通滤波器提取噪声模式第55页,共133页，2024年2月25日，星期天陷波滤波器(trapfilter)陷波滤波器阻止或者通过事先定义的中心频率邻域内的频率傅里叶变换时对称的，因此陷波滤波器是以对称形式出现的第56页,共133页，2024年2月25日，星期天陷波滤波器第57页,共133页，2024年2月25日，星期天陷波滤波器或其他半径为D0，中心在(u0,v0)且在(-u0,-v0)对称的理想陷波带阻滤波器的传递函数为：第58页,共133页，2024年2月25日，星期天陷波滤波器阶数为n的巴特沃斯陷波带阻滤波器传递函数为：高斯陷波带阻滤波器传递函数为：第59页,共133页，2024年2月25日，星期天陷波滤波器对应的带通滤波器为：第60页,共133页，2024年2月25日，星期天陷波滤波器第61页,共133页，2024年2月25日，星期天最佳陷波滤波器(optimaltrapfilter)复杂干扰，周期性图像退化的例子，下图是“水手6号”拍摄的火星地形的数字图像，噪声干扰模式相当精细，从频谱观察，很难把噪声从图像中区分开第62页,共133页，2024年2月25日，星期天最佳陷波滤波器解决方案：1：创建陷波带通滤波器H(u,v)，对图像的傅立叶频谱G(u,v)进行剔除，留下认为是噪声的频谱（通常需要通过观察，交互式地创建）频率域：空间域：第63页,共133页，2024年2月25日，星期天最佳陷波滤波器解决方案：获取到噪声后，只需从图像中减去噪声即可恢复原图像：2：由于陷波带通滤波器是由观察后交互式构建得到的，因此仅仅是一个干扰模式的近似值，需要通过算法进一步对这个模式进行调整，即：第64页,共133页，2024年2月25日，星期天最佳陷波滤波器使用权值函数对图像复原的过程进行控制，问题是如何得到调制(权值)函数一种方法就是选取调制函数，使得复原出的图像在每一个像素的指定邻域上的方差最小第65页,共133页，2024年2月25日，星期天最佳陷波滤波器设上某像素(x,y)大小为的邻域，该邻域方差：平均值第66页,共133页，2024年2月25日，星期天最佳陷波滤波器简化：设在整个邻域中保持不变，即：代入得：第67页,共133页，2024年2月25日，星期天最佳陷波滤波器要方差最小，即偏导数为0达到极值解得：由于假定在邻域中是常数，因此可以对这个邻域中的点都使用相同的第68页,共133页，2024年2月25日，星期天最佳陷波滤波器第69页,共133页，2024年2月25日，星期天最佳陷波滤波器第70页,共133页，2024年2月25日，星期天分数傅里叶变换域滤波示意图第71页,共133页，2024年2月25日，星期天观察法估计退化函数(degeneratefunction)如果只有退化后的图像，而没有原图像的相关信息，则需要估计退化函数为了简单化，首先考虑退化图像中不含噪声影响的情况图像观察估计法利用图像中可能存在的包含简单结构的子图像，使用目标和背景的样品灰度级，构建不退化的图像第72页,共133页，2024年2月25日，星期天观察法估计退化函数设是构建的不退化的子图像，是观察到的子图像，则可以它们的傅立叶变换估计退化函数的傅立叶变换第73页,共133页，2024年2月25日，星期天试验法估计退化函数如果可以使用与获得退化图像的设备相似的装置，理论上可以得到一个准确的退化模型利用相同的装置，拍摄一个脉冲（亮点），则得到的退化响应，一个线性移不变系统可完全由其冲击响应来描述，并且脉冲图像的傅立叶变换是常数，则退化函数的傅立叶变换为：第74页,共133页，2024年2月25日，星期天第75页,共133页，2024年2月25日，星期天分析构建退化数学模型前面的观察法和试验法均只能针对特定图像处理，而根据退化原因构建数学模型则有可能解决一类图像的复原问题例如Hufnagel和Stanley[1964]提出的退化模型是基于大气湍流模型第76页,共133页，2024年2月25日，星期天分析构建退化数学模型第77页,共133页，2024年2月25日，星期天由匀速直线运动引起的图像模糊在拍摄过程中，快门打开的时间决定了对胶片的曝光时间曝光时间过少，会使得图像偏暗曝光时间过多，则会使得图像过亮，而如果物体快速运动时，还会出现运动模糊第78页,共133页，2024年2月25日，星期天由匀速直线运动引起的图像模糊胶片上的总曝光量是在快门打开到关闭这段时间的积分，因为物体与相机的相对运动而造成图像模糊第79页,共133页，2024年2月25日，星期天由匀速直线运动引起的图像模糊的恢复图像f(x,y)在平面上相对运动，x0(t)，y0(t)是运动分量t是运动时间T是快门打开到关闭的时间退化图像g(x,y)是T时间内的积分：第80页,共133页，2024年2月25日，星期天运动退化模型其中对前面的模型进行傅立叶变换第81页,共133页，2024年2月25日，星期天运动退化模型第82页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复水平均匀直线运动：a是总位移量，T总运动时间第83页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复简单均匀直线运动：a是总位移量，T总运动时间当

时,H(u,v)=0,无法采用逆滤波恢复图像第84页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复做变量替换：代入得：两边取导数，有：第85页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复设是的整数部份令第86页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复第87页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复设第88页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复第89页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复第90页,共133页，2024年2月25日，星期天由均匀直线运动引起图像模糊的恢复a=1/8第91页,共133页，2024年2月25日，星期天逆滤波恢复法(inversefilteringrestoringmethod)对于线性移不变系统而言对上式两边进行傅立叶变换得H(u,v)称为系统的传递函数。从频率域角度看，它使图像退化，因而反映了成像系统的性能第92页,共133页，2024年2月25日，星期天逆滤波恢复法通常在无噪声的理想情况下，上式可简化为则进行反傅立叶变换可得到f(x,y)。以上就是逆滤波复原的基本原理。1/H(u,v)称为逆滤波器第93页,共133页，2024年2月25日，星期天逆滤波恢复法逆滤波恢复的基本步骤：对退化图像g(x,y)作二维离散傅立叶变换，得到G(u,v)计算系统点扩散函数h(x,y)的二维傅立叶变换，得到H(u,v)逆滤波计算F(u,v)=G(u,v)/H(u,v)计算F(u,v)的逆傅立叶变换，得f(x,y)第94页,共133页，2024年2月25日，星期天加性噪声逆滤波恢复法实际获取的影像一般有噪声，因而求出的结果一般来说只是F(u,v)的估计值再作傅立叶逆变换得第95页,共133页，2024年2月25日，星期天加性噪声逆滤波恢复法若噪声为零，则采用逆滤波恢复法能完全再现原图像若噪声存在，而且H(u,v）很小或为零时，则噪声被放大这意味着退化图像中存在的小噪声干扰在H(u,v)较小时，会对逆滤波恢复的图像产生很大的影响，有可能使恢复的图像和f(x,y)相差很大，甚至面目全非第96页,共133页，2024年2月25日，星期天加性噪声逆滤波恢复法为此改进的方法有：在H(u,v)=0及其附近，人为设置H(u,v)的值，使N(u,v)/H(u,v)不会对F(u,v)产生太大影响使1/H(u,v)具有低通滤波性质第97页,共133页，2024年2月25日，星期天加性噪声逆滤波恢复法第98页,共133页，2024年2月25日，星期天加性噪声逆滤波恢复法第99页,共133页，2024年2月25日，星期天Wiener滤波第100页,共133页，2024年2月25日，星期天Wiener滤波功率谱特征：图像的功率谱具有低通性，噪声的功率谱为常数或变化平缓图像信号近似看作平稳随机过程图像恢复准则：f(x,y)和的之间的均方误差e2达到最小，即第101页,共133页，2024年2月25日，星期天Wiener滤波线性滤波：寻找点扩散函数hw(x,y)，使得第102页,共133页，2024年2月25日，星期天Wiener滤波Andrews和Hunt推导出满足要求的转移函数其中H*(u,v)是H(u,v)的复共轭第103页,共133页，2024年2月25日，星期天Wiener滤波抑制噪声放大,如果H(u,v)=0,则H*(u,v)=0,且分母不为0，使得滤波器的增益为0在信噪比高的频域，即Sn(u,v)

<<

Sf(u,v)在信噪比高的频域，|H(u,v)|

<<

Sn(u,v)

/Sf(u,v),HW(u,v)=0第104页,共133页，2024年2月25日，星期天Wiener滤波(a)原图(b)傅立叶谱(c)逆滤波(d)Wiener滤波(e)傅立叶谱第105页,共133页，2024年2月25日，星期天Wiener滤波当处理白噪声时，|N(u,v)|2是一个常数，这简化了处理过程，但未退化图像的功率谱很难估计出来，因此常使用如下近似公式：第106页,共133页，2024年2月25日，星期天Wiener滤波第107页,共133页，2024年2月25日，星期天Wiener滤波第108页,共133页，2024年2月25日，星期天代数复原方法第109页,共133页，2024年2月25日，星期天离散退化模型(discretedegeneratemodel)连续情况下退化的图像为原图像与点扩散函数的卷积对f，h均匀采样，并进行周期延拓（周期大小为M×N），然后对上式进行离散化，得：第110页,共133页，2024年2月25日，星期天离散退化模型x，y的取值范围是0－M和0－N考察x＝0，y＝0，有：（0，0）（M－1，N－1）......第111页,共133页，2024年2月25日，星期天离散退化模型前面的式子可以视为矩阵与矢量的乘法运算其中g，f是将图像中的每个像素，进行重排后形成的一个大型向量，维度大小为MN，h则是对应系数行组成的矩阵，大小是MN×MNgfhn＝＋第112页,共133页，2024年2月25日，星期天离散退化模型h的矩阵表示：第113页,共133页，2024年2月25日，星期天代数复原方法(algebraicrestoringmethod)对

进行变形，得到：为使得在最小二乘意义下，找一个f，使得Hf与g足够接近要求

足够小第114页,共133页，2024年2月25日，星期天代数复原方法如果H是方阵且可逆第115页,共133页，2024年2月25日，星期天第116页,共133页，2024年2月25日，星期天几何校正(geometrycorrection)第117页,共133页，2024年2月25日，星期天几何校正图像在生成过程中，由于系统本身具有非线性或者拍摄角度不同，较容易产生几何失真现象发生几何失真的原因是像素的位置、坐标发生了改变，有的地方扭曲，变得密集，有的地方宽松，变得方便第118页,共133页，2024年2月25日，星期天几何校正第119页,共133页，2024年2月25日，星期天几何校正当对图像做定量分析时，就要对失真图像进行精确的几何校正，即将存在几何失真的图像校正为五几何失真的图像步骤为：1）完成图像空间坐标的变换2）确定校正空间各像素的灰度值第120页,共133页，2024年2月25日，星期天空间坐标变换(spacecoordinateconversion)有两幅图像，一幅为没有畸变的基准图像（由没有畸变或畸变小的摄像系统获得），另一幅为发生畸变的图像，是被校正图像设两幅图像坐标系统之间几何畸变关系能够用解析式来描述：第121页,共133页，2024年2月