图像分析与识别-课件-4

北京航空航天大学仪器科学与光电工程学院SchoolofInstrumentationScience&OptoelectronicsEngineering图像分析与识别ImageAnalysisandRecognition1图像分析与识别第四章图像预处理第四章图像预处理2预处理是指在处于最低抽象层次的图像上所进行的操作，这时处理的输入和输出都是亮度图像。这些图标图像是与传感器抓取到的原始数据同类的，通常是用图像函数值的矩阵表示的亮度图像。3预处理不会增加图像的信息量，预处理一般都会降低图像的信息量。预处理的目的是改善图像数据，抑制不需要的变形或者增强某些对于后续处理重要的图像特征。4图像预处理方法按照在计算像素新的亮度值时所使用的像素邻域的大小分为4类：（1）像素亮度变换；（2）几何变换；（3）使用待处理像素一个局部邻域；（4）需要有关整个图像知识的图像复原。

5图像预处理方法按照处理目的可区分为：（1）图像增强；（2）像素亮度变换；（3）图像复原。6第一节像素亮度变换7一、概述像素亮度变换可以改变像素的亮度，变换只取决于各像素自身的性质；有两类像素亮度变换：亮度校正和灰度级变换。8亮度校正在改变像素的亮度时要考虑该像素原来的亮度和其在图像中的位置；灰度级变换在修改像素的亮度时无需考虑其在图像中的位置。9二、与位置相关的亮度校正理想情况下，图像获取和数字化设备的灵敏度不应该与图像的位置有关，但是这种假设在很多实际情况下是不对的。光线离光轴越远透镜对它消弱得越多，且传感器的光敏元件并不具有完全相同的灵敏度。不均匀的物体照明也是退化的一个起因。10如果退化具有系统性，就可以通过亮度校正加以抑制。一个乘性的错误系数e(i,j)描述相对于理想的等同传递函数的变化。假定g(i,j)是没有退化的图像，f(i,j)是含有退化的图像。则f(i,j)=e(i,j)g(i,j)。11如果抓取到已知亮度的一幅参考图像，最简单的情况是具有不变的亮度c，则可获得错误系数e(i,j)，退化结果是图像fc(i,j)。那么系统性的亮度错误可用下式抑制：12这种方法只有当图像退化过程是稳定的时候才能使用。我们要想抑制这种错误，应该不时地校正该设备，即找到错误系数e(i,j)。这种方法隐含地假设了变换的线性性，在实际中并不是正确的，原因在于亮度值是局限于一定区间的。13三、灰度级变换灰度级变换不依赖于像素在图像中的位置。一个变换T，将原来在范围[p0,pk]内的亮度p变换为一个新范围[q0,qk]内的亮度q，q=T(p)。14p1p2abc反转变换；分段线性增强；亮度阈值化。15对比度增强的灰度级变换函数16对数的灰度级变换对数的灰度级变换：是一种常用的技术，它模拟了人的眼睛对于光线强度的对数敏感性。17用于图像增强的基本灰度变换函数18图像反转变换19对数变换傅立叶频谱的对数变换，c=120幂次变换21线性楔形灰度图像对线性楔形灰度图像的监视器响应伽马校正楔形图像监视器输出22原始图像C=1,=0.6C=1,=0.4(最佳)C=1,=0.323原始图像C=1,=3.0C=1,=4.0(最佳)C=1,=5.024对比度拉伸对比度拉伸变换函数低对比度图像对比度拉伸结果阈值化结果25对比度拉伸函数原始图像对比度拉伸结果26灰度切割加亮[A,B]范围的灰度级，所有其它灰度减小为一个恒定灰度级；加亮[A,B]范围的灰度级，保持所有其它灰度级不变；原始图像；使用(a)变换结果。27数字图像的灰度级别是很有限的，因此灰度级变换用硬件和软件实现都很容易。一般仅需要256字节的存储空间，将这个存储空间称为查找表。原始的亮度作为查找的索引，表的内容是新的亮度。28同样的原理也适用于彩色显示。彩色信号由红、绿、蓝3个分量组成，三个查找表提供了所有可能的色量变换。这些表在个人计算机中的术语是调色板。

29等量地调整红绿蓝分量（不改变图像色调）对平淡彩色图像的校正对亮的彩色图像的校正对暗的彩色图像的校正30使对比度增强的灰度级变换一般可以利用直方图均衡化技术自动地找到。目的是创建一幅在整个亮度范围内具有相同分布的亮度图像。直方图均衡化31输入的直方图用H(r)表示，输入的灰度级范围是[r0,rk]。我们的目的是找到一个单调的像素亮度变换s=T(r)使得输出的直方图G(s)在整个输出亮度范围[s0,sk]内是均匀的。32单调递增的灰度级变换函数33rsH(r)G(s)直方图均衡化s=T(r)34方法的推导之一一幅图像的灰度级可以视为随机变量。随机变量的一个最重要的基本描述是其概率密度函数（PDF）。令Pr(r)和Ps(s)分别代表r和s的概率密度函数。35因此，变换变量s的概率密度函数由输入图像的灰度级PDF和所选择的变换函数决定。图像处理中一个尤为重要的变换函数，即单值单调递增的灰度级变换函数的定义为：36其中w是积分变量，上式的右部为随机变量s的累积分布函数(CDF)。因为概率密度函数永远为正，并且函数积分是一个函数曲线下的面积，所以它遵循该函数是单值单调增加的条件。37可见上式给出的Ps(s)形式为均匀概率密度函数。38因此可以证明给出的变换函数会得到一随机变量s，其特征为一均匀概率密度函数。注意T(r)取决于Pr(r)，但是Ps(s)的结果始终是均匀的，与Pr(r)的形式无关。39对于离散值，我们处理其概率与和，而不是概率密度函数与积分。一幅图像中灰度级rk出现的概率近似为：n是图像中像素的总和，nk是灰度级为rk的像素个数，L为灰度级总数。40变换函数的离散形式为：因此，通过上式，将输入图像中灰度级为rk的各像素映射到输出图像中灰度级为sk的对应像素得到。41上式给出的变换称做直方图均衡化。与连续形式不同，一般不能证明离散变换能产生均匀概率密度函数的离散值，即产生均匀直方图。42不论怎样，可以很容易地看出，上式的应用有展开输入图像直方图的一般趋势，以至于直方图均衡化过的图像灰度级能跨越更大的范围。图像直方图均衡化可以完全自动的实现。43直方图可看作是离散的概率密度函数。变换T的单调性意味着：

公式中的求和可以解释为离散分布函数。假设图像有N行和N列，那么均衡化的直方图G(s)就对应着均衡的概率密度函数f，其函数值是一个常数：

方法的推导之二44用以上公式的值替换第一个公式的左边，对于“理想的”连续概率密度而言，就可以得到精确的均衡化直方图，由此可得：

45这样就得出了如下的像素亮度变换T：以上公式中的积分被称为累积的直方图。在数字图像中用求和来近似，因此结果直方图并不是理想地等同的。46在离散情况下，对以上公式的连续像素亮度变换的近似为：

直方图均衡化，不改变灰度级出现的次数（因为那样会改变图像的信息结构），所改变的是出现次数所对应的灰度级。47对于有G个灰度级（一般是256）大小为M×N的图像，创建一个长为G的数组H，并初始化为0；形成图像直方图：扫描每个像素，增加相应的H成员，当像素p具有亮度gp时，做算法：直方图均衡化48形成累积的直方图Hc:49设置这一步骤构造了一个是M×N倍数的与单调增加的Hc中的值对应的查找表，有助于提高实现的效率。50重新扫描图像，得到一个具有灰度级gq的输出图像，设置。（这种表述假定原始图像和目标图像的亮度范围都是[0,G-1]，如果不是这种情况，需做调整。）51直方图均衡化例子-15253直方图均衡化例子-2灰度级变换函数54直方图均衡化计算举例555657直方图匹配（规定化）如前所述，直方图均衡化能自动地确定变换函数，该函数能够寻求产生有均匀直方图的输出图像。但是，有一些应用用均匀直方图的基本增强并不是最好的方法。尤其是，我们有时可以指定希望处理的图像所具有的直方图形状。58方法的推导这种用于产生处理后有特殊直方图的图像的方法，称为直方图匹配或直方图规定化处理。令Pr(r)代表输入图像灰度级的连续概率密度函数，Pz(z)代表希望输出图像灰度级所具有的规定的连续概率密度函数。59令s为一随机变量，其中w为积分变量，且有：令z为一随机变量，其中t为积分变量，且有：由，因此z必须满足条件：60变换函数T(r)可由得到，其中pr(r)由输入图像估值。变换函数G(z)因pz(z)已知而可由得到。应用以下步骤可由输入图像得到一个有规定概率密度函数的图像。61算法：连续情况下的直方图均衡化由求得变换函数T(r)；由求得变换函数G(z)；求得反变换函数G-1；对输入图像所有像素应用得到输出图像。62算法：离散情况下的直方图均衡化求出已知图像的直方图；利用下式对每一灰度级rk预计算映射灰度级sk；63利用下式从给定的Pz(z)得到变换函数G;利用下式定义的迭代方案对每一个sk值预计算值；64对于原始图像的每个像素，若像素值为rk，将该值映射到其对应的灰度级sk，然后映射灰度级sk到最终灰度级zk。6566直方图均衡化的例子火星卫星图像直方图67直方图灰度级变换函数直方图均衡化结果68规定的直方图(1):灰度级变换函数G(z)(2):灰度级变换函数69直方图匹配后的图像直方图70伪彩色伪彩色：是另一类灰度级变换。将输入的单色图像的个别亮度编码为某种色彩。由于人的眼睛对于色彩变化比亮度变化敏感得多，所以在伪彩色图像中可以观察到更多的细节。7172有缺陷焊接的X光图像焊接的伪彩色图像73木星的伪彩色图像靠近木星局部的伪彩色图像74第二节几何变换75几何变换的目的几何变换可以消除图像获取时所出现的几何变形。如果我们需要匹配同一物体的两幅不同的图像，也需要用到几何变换。76几何变换包括的两个步骤空间变换：对图像平面上的像素进行重新排列以恢复原空间关系；灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。77一、空间变换设原图像为f(x,y)，受到几何形变的影响变成g(x',y')，这里(x',y')表示失真图像的坐标，它已不是原坐标(x,y)了。上述变化在一般情况下可表示为：其中s(x,y)和t(x,y)代表产生几何失真图像的两个空间变换函数。78最简单的情况是线性失真：对一般的非线性二次失真：如果知道s(x,y)和t(x,y)的解析表达，就可以通过反变换来恢复图像。79在实际中通常不知道解析表达，为此需要在恢复过程的输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点（称为约束对应点），然后利用这些点根据失真模型计算出失真函数中的各个系数，从而建立两幅图像间其它像素空间位置的对应关系。80下图中给出了一个在失真图上的四边形区域和在校正图上与其对应的四边形区域。这两个四边形的顶点可作为对应点。设在四边形区域内的几何失真过程可用一对双线性等式表示（是一般非线性二次失真的一种特例）。81两个四边形区域共有4组（8个）已知对应点，所以上面两式中的8个系数可以全部求得。82二、灰度插值的两种方案下图中左边是理想的原始不失真图，右边是实际采集的失真图。几何校正就是要把失真图恢复成原始图。原始的不失真图实际采集的失真图83由图可见，由于失真，原图中整数坐标点(x,y)映射到失真图中的非整数坐标点(x',y')，而该点的灰度值是没有定义的。前面讨论的空间变换可将应在原图(x,y)处的(x',y')点变换回原图(x,y)处。现在要做的是估计点(x',y')的灰度值以赋给原图(x,y)处的像素。84前向映射和后向映射的定义灰度插值在实现时可以有两种方案：前向映射：把实际采集的失真图像的像素灰度赋给原始的不失真图像的像素。例如，如果一个失真图像的像素映射到不失真图的四个像素之间（非整数点），则将失真图像素的灰度根据插值算法分配给不失真的那4个像素。85实际采集的失真图原始的不失真图86后向映射：把灰度从原始的不失真图像中映射到实际采集的失真图像上。例如，如果一个不失真图像的像素映射到失真图的四个像素之间（非整数点），则先根据灰度插值算法计算出该位置的灰度，再将其映射到不失真图像的对应像素。87实际采集的失真图原始的不失真图88前向映射和后向映射的比较由于在前向映射中，有一定数量的失真图像的像素有可能会映射到不失真图像之外，所以有些计算方面的浪费；另外，不失真图像中的许多像素的最后灰度是由许多失真图像像素的贡献之后决定的，这也较多的寻址。89相对来说，后向映射效率比较高。不失真图像是逐个像素得到的，每个像素的灰度值是由进一步的插值确定的，所以后向映射实际中用得更广泛。90三、灰度插值的计算对灰度插值的计算方法有多种。最近邻插值；双线性插值；三次线性插值。911、最近邻插值最近邻插值就是将离(x',y')点最近的像素的灰度值作为(x',y')点的灰度值赋给原图(x,y)处的像素。计算量小，但不够精确。原始的不失真图实际采集的失真图922、双线性插值为了提高精度，可采用双线性插值。它利用点(x',y')的四个最近邻像素的灰度值来计算(x',y')点处的灰度值。设(x‘,y’)点的四个最近邻像素为A、B、C、D。其坐标分别为(i,j),(i+1,j),(i,j+1),(i+1,j+1)。其灰度值分别为g(A)、g(B)、g(C)、g(D)。9394将双线性插值的思路推广，只利用(x',y')点的任意3个不共线的近邻像素的灰度值就可计算(x',y')点处的灰度值。953、三次线性插值如果需要更高的精度，还可以采用三次线性插值方法。它利用点(x',y')的16个最近邻像素的灰度值，根据下面的方法计算点(x',y')处的灰度值。设点(x',y')的16个最近邻像素为：A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P，则计算点(x',y')的插值公式为：96其中Wx为横坐标插值的加权值，Wy为纵坐标插值的加权值，分别计算如下：97如果g(•)的横坐标值与x'的差值dx小于1（即B,C,F,G,J,K,N,O），则：如果g(•)的横坐标值与x'的差值dx大于1（即A,D,E,H,I,L,M,P），则：98如果g(•)的纵坐标值与y'的差值dy小于1（即E,F,G,H,I,J,K,L），则：如果g(•)的纵坐标值与y'的差值dy大于1（即A,B,C,D,M,N,O,P），则：99复杂的几何变换可以通过将图像分解为更小的矩形子图像来近似。对于每个子图像可以用对应的像素对来估计一个简单的几何变换。这样几何变换就可以在每个子图像中分别修复了。100第三节局部预处理101本节所关注的预处理方法是使用输入图像中一个像素的小邻域来产生输出图像中新的亮度数值的方法。这样的预处理操作在使用信号处理的术语时被称作滤波。根据处理的目的，可以将局部预处理方法分为两组。102图像空间滤波的实现33的空间滤波掩模103平滑：目的在于抑制噪声或其它小的波动，这等同于在傅立叶变换域抑制高频噪声。不幸的是平滑也会模糊所有的含有图像重要信息的明显边缘。平滑104梯度算子：基于图像函数的局部导数。导数在图像函数快速变化的位置处较大，梯度算子的作用是在图像中显现这些位置。梯度算子在傅立叶变换域有抑制低频部分的效应。噪声在本质上通常是高频的，如果在图像中使用梯度算子，也会同时抬高噪声水平。梯度算子105显然，平滑和梯度算子具有相互抵触的目标。另一种局部预处理的分类方法是基于变换的性质，区分为线性和非线性变换。局部预处理方法一般不使用有关图像的先验知识。106一、图像平滑图像平滑是一类局部预处理方法，主要用于抑制图像噪声，它利用了图像数据的冗余性。新值的计算是基于某个邻域中亮度数值的平均。107平滑有造成图像中明显边缘模糊的问题，因此我们将集中考虑能够保持边缘的平滑方法。它们是基于如下的一般思想，仅使用邻域中与被处理的点有相似性质的那些点做平均。108局部图像平滑可以有效地消除冲击噪声或表现为窄带的退化。当退化是大的斑点或粗带时就无效了。解决复杂的退化方法可以使用图像复原技术。109假设在每个像素处的噪声数值ν是独立分布的随机变量，具有0均值和标准差σ。我们可以通过几次抓取同一静态场景的方法获得一幅图像。平滑的结果是在这些具有噪声数值ν1,ν2,…,νn的图像g1,g2,…,gn中求相同的n个点的平均值：平均110这里的第二项描述的是噪声的影响，它仍是一个随机变量，具有0均值和标准差；标准差降到；因此，如果可以获得n幅同样场景的图像，平滑就可以在没有模糊图像的基础上用下式完成：

111星系图像高斯噪声污染图像8幅图像平均结果16幅图像平均结果64幅图像平均结果128幅图像平均结果112原始的星系图像与受高斯噪声污染的8幅、16幅、64幅、128幅平均图像之间的差异。与(a)相应的直方图。113在很多情况下，只有一幅带有噪声的图像，这时平均要用一个局部邻域来实现。如果噪声比图像中感兴趣的最小物体还小，这样做的结果是可以接受的，但是边缘模糊是一个严重的缺点。114平均是离散卷积的一个特例。对于3×3的邻域，卷积掩模h为：115为了更好地近似具有高斯概率分布的噪声性质，有时要增加在卷积掩模h中心的像素或者它的4-邻接点处的重要性。116用于平均的更大的卷积掩模可以参照高斯公式产生，并且掩模系数要标准化为单位和。117原始图像叠加随机高斯噪声的图像

3×3算术平均118在限制数据有效性下的平均方法试图仅使用满足某种标准的那些像素做平均来避免模糊，它的目的是避免涉及属于其它特征的像素。在限制数据有效性下的平均119第一种方法：仅对原始图像中亮度在一个事先指定的非法数据范围内的像素做平均，这个非法范围对应于噪声的灰度间隔或者其它图像错误。考虑图像中的点(m,n)，在邻域中的卷积掩模根据如下的非线性公式计算：120其中(i,j)为指定掩模元素。因此，只有具有非法灰度级的像素值才被其邻域的平均所取代，而且只有有效的数据才对邻域的平均有贡献。121原始的污损图像污损消除的结果122

第二种方法：只在当计算出的像素亮度变化在某个允许的范围内时才作平均。这种方法可以修复由背景亮度缓慢变化引起的大面积错误，而又不影响图像的其它部分。123第三种方法：使用边缘的强度（即梯度的幅值）作为一个标准。首先在整个图像中计算出某种梯度算子的幅值，在输入图像中只有梯度幅值小于预先定义的阈值的像素才用于平均。这种方法有效地排除了在边缘处作平均，因此抑制了模糊，但设置阈值是困难的。124在每个像素处的卷积掩模根据反梯度来计算。它的思想是区域内部的亮度变化一般比相邻区域间的要小。设像素位置(m,n)对应于奇数大小的卷积掩模的中心像素，则点(i,j)处相对于(m,n)的反梯度δ是：根据反梯度平均125如果g(m,n)=g(i,j)，那么我们定义δ(i,j)=2，这样反梯度δ是在区间[0,2]内，且在边缘处要比在均匀区域内要小。126卷积掩模h的加权系数用反梯度标准化，整个项乘上0.5以便保持亮度值在原来的范围内。常数0.5的影响是赋给中心像素一半的权重，而另一半赋给它的邻域。对应于中心像素的卷积掩模系数定义为h(i,j)=0.5。127这种方法假设边缘是显著的。当卷积掩模靠近边缘时，区域中的像素比靠近边缘的像素有较大的系数，因此不会模糊。在均匀区域中的孤立噪声点具有小的反梯度值，邻域中的点参加平均因而噪声就被消除了。128使用旋转掩模的平均是一种通过搜索当前像素邻域的一致性部分来避免边缘模糊的方法，其结果图像事实上是锐化了。使用旋转掩模的平均129亮度的平均只在这个区域内计算，一个亮度散布σ2用作区域的一致性度量。设区域R的像素数目是n，且输入图像是g。散布σ2按照下式进行计算：130下图给出了3×3掩模的8种可能的旋转，覆盖了当前像素(标记为小交叉)的一个5×5的邻域。第9个掩模是当前像素自身的一个3×3邻域。下图给出了覆盖当前像素的一个5×5邻域的另一组8个掩模。第9个掩模同上。

131132考虑图像的每个像素(i,j)；根据以上公式计算像素(i,j)所有可能的旋转掩模的散布；选择具有最小散布的掩模；将所选择掩模内的平均亮度赋给输出图像中的像素(i,j)；算法：使用旋转掩模的平滑133算法可以迭代地使用，迭代过程会收敛到一个稳定状态(即图像不再改变了)。掩模的大小和形状影响收敛速度，掩模越小，变化就越小且所需的迭代就越多。较大的掩模抑制噪声更快且锐化果越强。但是比掩模小的细节信息可能会损失掉。134在有序的一系列表中，中值是指位于中心的值。中值滤波是一种减少边缘模糊的非线性平滑方法。中值滤波135它的思想是用邻域中亮度的中值代替图像当前的点，邻域中亮度的中值不受个别噪声毛刺的影响，因此中值平滑相当好地消除了冲击噪声。更进一步，由于中值滤波并不明显地模糊边缘，因此可以迭代使用。136在每个像素位置上都要对一个矩形内部的所有像素进行排序，这样的开销很大。注意到当窗口沿着行移一列时，窗口内容的变化只是丢掉了最左边的列而取代为一个新的右侧列，对于m行n列的中值窗口，mn-2×m个像素没有变化，并不需要重新排序。137设置th=mn/2；将窗口移至一个新行的开始，对其内容排序，确定其中值med，记下亮度小于或等于med的像素数目lt_med；对于最左列亮度是pg的每个像素p，做：算法：高效的中值滤波138将窗口右移一列，对于最右列亮度是pg的每个像素p，做：如果pg<med，置lt_med=lt_med+1139如果lt_med>th，则转6。重复直到lt_med=>th，则转7。重复直到lt_med<=th。140如果窗口的右侧列不是图像的右边界，转3；如果窗口的底行不是图像的下边界，转2。141由椒盐噪声污染的图像用3×3均值掩模去除噪声用3×3中值滤波去除噪声(a)(b)(c)142矩形邻域中值滤波的主要缺点是图像中的细线和显著角点会遭到损失，如果使用其它形状的邻域是可以避免的。比如，如果要保持水平或垂直的线条，可以使用如下图所示的邻域。143144统计排序滤波的思想是将某个邻域中的像素排成序列，输出的结果是在该序列上的某个统计量。该统计量可能是中值、最大值或最小值。中值、最小或最大滤波都是统计排序滤波的特殊情况。

统计排序滤波145非线性均值滤波：非线性均值滤波是平均技术的一个推广，定义为：非线性均值滤波

146其中f(m,n)是滤波的结果，g(i,j)是输入图像的像素，Θ是当前像素(m,n)的一个局部邻域。单变量函数u存在逆函数u-1，a(i,j)是加权系数。如果权a(i,j)是常数，滤波器被称为同态的。147二、边缘检测算子边缘检测算子是一组用于在亮度函数中定位变化的非常重要的局部图像预处理方法。边缘就是亮度函数发生急剧变化的位置。148微积分学中用导数描述连续函数的变化。图像函数依赖于两个变量，即图像平面的坐标。因此，描述边缘的检测算子使用偏导数。图像函数的变化可以用指向图像函数最大增长方向的梯度来表示。149边缘是赋给单个像素的性质，用图像函数在该像素一个邻域处的特性来计算。它是一个具有幅值和方向的矢量。边缘的幅值是梯度的幅值，边缘方向是梯度方向旋转-90°的方向。梯度方向是函数最大增长的方向。150151在图像分析中，边缘一般用于寻找区域的边界。梯度方向（与边缘方向垂直）上的边缘剖面对于边缘具有典型性。下面给出几种标准的边缘剖面。152153梯度的幅值和方向ψ是按照如下公式计算的连续图像函数：154有时我们只对边缘幅度有兴趣而不管其方向，这时可以使用被称为拉普拉斯（Laplacian）的线性微分算子。拉普拉斯是各向同性的，因此对图像中的旋转有不变性。它的定义是：

155图像锐化的目标是使边缘更陡峭，锐化的图像是供人观察的。拉普拉斯算子可以用来进行图像锐化。图像的锐化156月球北极照片拉普拉斯滤波后图像为显示目的标定后的拉普拉斯图像用上式增强后的图像157使用差分近似图像函数导数的算子。有些是具有旋转不变性的（例如，拉普拉斯算子），因此只需要一个卷积掩模来计算。其它近似一阶导数的算子使用几个掩模。梯度算子可以分为三类158基于图像函数二阶导数过零点的算子（比如Canny边缘检测算子）。试图将图像函数与边缘的参数模型相匹配的算子。159边缘检测是有助于高层图像分析的一个极为重要的步骤。该领域是一个活跃的研究领域，最近的方法包括利用模糊逻辑、神经网络、小波的边缘检测算子。选择最合适的边缘检测策略是很困难的。160检测小局部邻域的单个梯度算子事实上就是卷积，可以用卷积掩模来表达。能够检测边缘方向的算子是用一组掩模来表达的，每个对应某个方向。1、第一类梯度算子

161Robert算子Roberts算子是最古老的算子之一，它只使用当前像素的2×2邻域，计算非常简单。它的卷积掩模是：162它的边缘的幅值计算如下：Roberts算子的主要缺点是其对噪声的高度敏感性，原因在于仅使用了很少几个像素来近似梯度。163Laplace算子2是近似只给出梯度幅值的二阶导数的流行方法。Laplace算子通常使用3×3的掩模h，对于4-邻接和8-邻接的邻域分别定义为：Laplace算子164有时也使用强调中心像素或其邻接性的Laplaian算子，这种近似不再具有旋转不变性。Laplace算子有一个缺点是它对图像中的某些边缘产生双重响应。165Prewitt算子，Sobel算子，Kirsch算子，Robinson算子及一些其它类似的算子，是近似一阶导数。对于3×3的卷积掩模，在8个可能方向上估计梯度，具有最大幅值的卷积给出梯度方向。166Prewitt算子的8方向33模板167Sobel算子的8方向33模板168Sobel算子是通常用于水平和垂直边缘检测的一个简单算子，这时使用h1和h3。如果h1的响应是y，h3的响应是x，可以根据下式计算出强度（幅值）：且方向是：169Robinson算子的8方向33模板170Kirsch算子的8方向33模板171Lena.bmp(512像素512像素)172Robert算子边缘检测结果取边缘强度的阈值为0取适当的边缘强度阈值173Prewitt算子边缘检测结果取边缘强度的阈值为0取适当的边缘强度阈值174Sobel算子边缘检测结果取边缘强度的阈值为0取适当的边缘强度阈值1752、二阶导数过零点在20世纪70年代以来，Marr理论根据神经生理学实验得出了以下结论：物体的边界是将亮度图像与其解释连接起来的最重要的线索。176图像函数的一阶导数在对应于图像边缘的位置上应该取得极值。因此二阶导数在同一位置应该为0。而寻找过零点位置比起极值来得更容易和更精确。177178关键的问题是如何稳定地计算二阶导数。可以首先平滑图像（减小噪声），再计算二阶导数。1792D高斯平滑算子G(x,y)由下式给出：其中x,y是图像坐标，σ是关联的概率分布的标准差。有时用带有规范化因子的公式来表达：180标准差σ是高斯滤波器的唯一参数，它与滤波器操作邻域的大小成正比。离算子中心越远的像素影响越小，离中心超过3σ的像素的影响可以忽略不计。181我们的目标是得到平滑后2D函数f(x,y)的二阶导数。我们来考虑高斯平滑后的图像f(x,y)的Laplacian。可以用LoG来表示这个算子。182由于所涉及算子的线性性，微分和卷积运算的顺序可以交换：由于高斯滤波器的导数▽2G与所考虑的图像无关，故它可以事先解析地计算出来，这样复合运算的复杂度就降低了。183LoG算子的卷积掩模：其中c将掩模元素的和规范为0。184LoG算子由于其形状被称为墨西哥草帽，离散LoG算子的5×5和17×17的例子表示如下：185三维曲面图像零交叉的横截面显示图形(a)近似的5×5模板高斯型的拉普拉斯算子(LoG)186用这种方法寻找二阶导数是很稳定的。高斯平滑有效地抑制了距离当前像素3σ范围内的所有像素的影响，这样Laplace算子就构成了一种反映图像变化的有效而稳定的度量。187在图像与▽2G卷积之后，在卷积后的图像中越过0水平的位置对应于边缘位置。与经典的小尺度边缘算子相比，这种方法的优点是考虑了围绕当前像素的一个更大的邻域，较远点的影响根据高斯函数的σ减小。188σ越大卷积掩模变得也越大，例如。σ=4时需要约40像素宽的掩模。高斯平滑的实际含义是可以可靠地发现边缘。如果只需要全局性的显著边缘，可以增大高斯平滑滤波器的标准差σ，使得比较不明显的特征得以抑制。189▽2G算子可以非常有效地用掩模的卷积来近似，该掩模是两个具有明显不同σ的高斯平滑掩模的差。这种方法被称为高斯差分，缩写为DoG。

190在实现过零点边缘检测算子时，试图检测算子LoG或DoG图像的0点的努力不可避免地遭遇到失败。阈值化LoG／DoG图像和将过零点定义为靠近0的某个区间的简单方法，在最好的情况下只能给出分段不连续的边缘。191要想最终得到良好性能的二阶导数边缘检测子，必须实现真正的过零点检测子。一个简单检测子可以鉴别2×2窗口内的过零点，当两种极性的LoG／DoG图像数值同时出现在2×2窗口内时，就将边缘标签任意赋给一个角点，比如左上点。192当窗口内的数值都是正的或负的时，就不给边缘标签。为了避免在几乎为常量的亮度区域内检测出对应于非显著边缘的过零点，另一个后处理步骤是仅接受在一阶导数边缘检测子上有足够边缘证据的过零点。193DoG图像(σ1=0.10，σ2=0.09)，黑的像素对应于负的DoG数值，亮的像素代表正的DoG数值。DoG图像的过零点。去除了缺少一阶导数支持的边缘之后的DoG过零点边缘。去除了缺少一阶导数支持的边缘之后的LoG过零点边缘(σ=0.20)。请注意由于不同的高斯平滑参数得到不同尺度的边缘。二阶导数过零点的例子194传统的二阶导数过零点技术也有缺点。第一，对形状做了过分的平滑，例如，会丢失明显的角点。第二，它有产生环行边缘的倾向。195神经生理学实验提供的证据表明，人眼视网膜以神经节细胞的形式实施的操作与▽2G的极为相似。视网膜对图像的操作可以分析性地描述为图像与▽2G算子的卷积。1963、图像处理中的尺度许多图像处理技术是在局部，理论上是在单个像素的层次上起作用。边缘检测方法就是一个例子。这种计算的一个基本问题是尺度。边缘对应于图像函数的梯度，是按照某个邻域内像素之间的差别来计算的。197我们很少有合适的理由来解释为什么选择某个特别的邻域尺度。这是因为“合适”的尺度依赖于我们要考察的物体的大小。198将待研究的现象在不同描述分辨率下表达，分别建立形式模型。然后研究在描述分辨率变化情况下的定性的行为。这种方法学使得在单个描述层次上现象的不可见的元知识(meta—knowledge)得以推断出来。

199在数字图像领域，不同的描述层次可以简单地解释为不同的尺度。尺度思想是Marr边缘检测技术的基础，其中不同尺度是由不同大小的高斯滤波器掩模形成的。它的目标不仅是消除细尺度噪声，而且要分离不同尺度的事件。

200多尺度描述在图像分析中应用的例子_1第一种方法旨在根据一定的尺度范围处理平面上受噪声影响的曲线，寻找反映场景结构的曲线片断。可以用两个受噪声影响的曲线的例子来说明。其中之一可以解释为一个封闭的曲线，而另一个可能被解释为两条相交的直线。

201可以在多个尺度上分析的曲线202第二种方法称为尺度空间滤波，试图相对于尺度来定性地描述信号。选择不同的标准差σ，表示在平面(x,y,σ)上的表面，被称为尺度空间图像。多尺度描述在图像分析中应用的例子_2203尺度空间图像中含有的定性信息可以转换为简单的区间树，它表达了信号f(x)在整个观察尺度上的结构。区间树是从对应于最大尺度(σmax)的根开始建起，然后沿着σ降低的方向搜索尺度空间图像。204第三个应用尺度空间的例子是人们熟知的Canny边缘检测算子。Canny检测算子对于边缘检测技术是个突出的贡献，并且应用得很广泛。多尺度描述在图像分析中应用的例子_32054、Canny边缘提取Canny提出了一种新的边缘检测方法，它对受白噪声影响的阶跃型边缘是最优的。Canny检测算子的最优性与以下三个标准有关：206检测标准：不丢失重要的边缘，不应有虚假的边缘。定位标准：实际边缘与检测到的边缘位置之间的偏差最小。单响应标准：将多个响应降低为单个边缘响应。Canny检测算子的最优性与以下三个标准有关207第三个标准被第一个标准部分地覆盖了，因为当有两个响应对应于单个边缘时，其中之一应该被认为是虚假的。第三个标准解决受噪声影响的边缘问题，起抵制非平滑边缘检测算子的作用。208边缘检测算子是针对1D信号和前两个最优标准表达的，用微积分方法可以得到完整的解；如果加上第三个标准（多个响应），需要通过数值优化的办法得到最优解；Canny检测算子基于如下的几个概念209然后将边缘算子推广到两维情况。阶跃边缘由位置、方向和可能的幅度（强度）来确定。可以证明将图像与一对称的2D高斯做卷积后再沿梯度方向（与边缘方向垂直）微分，就构成了一个简单而有效的方向算子；210假设G是2D高斯，我们将图像与算子Gn做卷积，Gn是G沿n方向的一阶方向导数。方向n应与边缘垂直，尽管该方向事先不知道，但是基于平滑梯度方向的一个可靠的估计是可以得到的。如果f是图像，边缘的法向n可以按照下式估计：211边缘位于Gn与图像f卷积在n方向上的局部最大值位置处：将前面的Gn代入上式，可以得到：212以上公式表明如何在与边缘垂直的方向上寻找局部最大值。213由于在以上公式中卷积和微分是满足结合律的运算，所以我们可以首先将图像f与一对称的高斯G做卷积，再利用计算出的方向n的估计值，计算二阶方向导数。边缘的强度（图像亮度函数f的梯度幅值）可以按下式计算：214由于噪声引起的对单个边缘的虚假响应通常造成所谓的“纹状”问题。边缘检测算子的输出通常要做阈值化处理，以确定哪些边缘是突出的。纹状是指边缘轮廓断开的情形，是由算子输出超出或低于阈值的波动引起的。215纹状现象可以通过滞后阈值化处理来消除。如果边缘响应超过一高阈值时，这些像素点构成了某个尺度下的边缘检测算子的确定的输出。个别的弱响应通常对应于噪声，但是如果这些点是与某些强响应的点连接时，它们很可能是图像中真实的边缘。216这些连接的像素点在当其响应超过一低阈值时，就被当作边缘像素。这里的低阈值和高阈值需要根据对信噪比的估计来确定；217算子的合适尺度取决于图像中所含的物体情况。解决该未知数的方法是使用多个尺度，将所得信息收集起来。218不同尺度的Canny算子由高斯的不同标准差σ来表示。有可能存在几个尺度的算子对边远都给出突出的响应（即信噪比超过阈值），在这种情况下，选择具有最小尺度的算子，因为它的定位是最准确的。219Canny提出了特征综合方法。首先标记出所有由最小尺度算子得到的突出边缘。假定具有较大尺度σ的算子的边缘根据它们合成得到（即根据从较小的尺度σ收集到的证据来预测较大尺度σ应具有的作用效果）。220然后将合成得到的边缘响应与较大尺度σ的实际边缘响应做比较。仅当它们比通过合成预测的响应显著的强时，才将其标记为边缘。221这一过程可以对一个尺度序列重复进行，通过不断加入较小的尺度中没有的边缘点的方式累积起来生成边缘图。222将图像f与尺度为σ的高斯函数做卷积；对图像中的每个像素，用估计局部边缘的法向n；用公式找到边缘的位置；用公式计算边缘强度；Canny边缘检测算子223对边缘图像做滞后阈值化处理，消除虚假响应；对于递增的标准差σ，重复(1)到(5)的步骤；用特征综合方法，收集来自多尺度的最终的边缘信息。224Canny检测算子构成了边缘检测技术的一种复杂的但却是主要的贡献。Canny检测算子的完整实现很少见，通常的实现都省略了特征综合，即只有算法中的1~5步。225在两个不同尺度上的Canny边缘检测(a)σ=1.0(b)σ=2.8

2265、参数化边缘模型参数化模型是基于如下思想，即离散图像亮度函数可以看作是对连续或分段连续的图像亮度函数采样的有噪声的近似。227尽管我们并不知道连续的图像亮度函数，但是可以根据获得的离散图像亮度函数估计出来。因此图像的性质可以根据这个连续函数来确定，且可能达到亚像素精度。

228在一个像素邻域内的亮度函数可以用不同复杂度的模型来估计。最简单的是使用分段常量化的平的面元模型，这时每个像素邻域被表示成一个相同亮度的平坦函数。229坡面模型使用分段线性函数构造一个坡面在像素邻域内拟合图像亮度。二次的和双三次面元模型使用相应的更为复杂的函数。230一旦可以获得每个图像像素的面元模型，边缘就可以通过如下方式得到：检测该局部连续面元模型函数的一阶方向导数的极值点，或者二阶方向导数的过零点，或者两者都使用。

231基于参数模型的边缘检测子对边缘的描述比基于卷积的边缘检测子更精确。此外，它们还具有进行亚像素级边缘定位的潜力。但是，它们对计算的需求要高得多。

2328、多光谱图像中的边缘在多光谱图像中，一个像素由一个n维向量来表示，n个光谱频段的亮度值是向量的分量。多光谱图像的边缘检测有几种可能性。233第一种，用前面提到的普通的局部梯度算子，分别检测单光谱图像分量的边缘。可以将各个边缘图像结合起来得到结果图像，其边缘的强度和方向使用各光谱边缘分量中的最大边缘代替。也可以使用光谱边缘分量的线性组合以及其他的结合技术。

234第二种可能性是使用同一像素的两个不同光谱分量的亮度差。这是一种用于基于单个像素特征分类的特征。也可以使用比率代替差别，但是这种情况下需要假定像素值不是O。

235第三种可能性是创建一个使用所有n个光谱频段亮度信息的多光谱边缘检测子，这种方法也可用于构成三维或更高维数据体的多维图像。236三、自适应邻域性预处理

多数预处理算子在整个图像中都是在固定尺寸的邻域起作用的；自适应邻域：它们是针对每个图像像素确定的。邻域的大小和形状取决于图像数据的特征和定义像素一致性度量的参数。237邻域

自适应邻域是为每个像素构建的，该像素被称为邻域的种子像素。自适应邻域由所有的与种子像素满足某个相似性质的8-邻接像素组成。像素性质可能代表灰度级别，或某些复杂的图像性质，例如纹理、局部运动参数等。238自适应邻域不会穿过区域的边界而形成，因此，噪声抑制不会造成图像边缘模糊。

一旦建立起了每个像素的自适应邻域，其他的则是直截了当的了：赋予每个种子像素一个新值，该值计算为自适应邻域的所有像素的平均值、中值或其他。

噪声抑制

239原始图像。带噪声的图像。3×3的固定邻域中值滤波。自适应邻域中值滤波。比较一下角点、细线和细缝。自适应邻域噪声抑制(a)(b)(c)(d)240整个帧的直方图均衡化已经讨论过了，它的主要缺点是全局性的图像性质对于局部的上下文来说可能并不合适。

局部区域直方图均衡化在计算每个像素的新灰度级别时，是根据使固定大小的

局部邻域的直方图均衡化进行的。直方图修正241自适应邻域直方图修正也是基于同样的原理，局部直方图是在反映了局部上下文图像性质的邻域内计算的。

自适应邻域由前景层和背景层共同构成。前景层的变化是基于加性标准的。自适应邻域的背景部分提供了一种调节引进的灰度变化的机制。

242原始的一个人在雪堆上的低对比度图像。整帧直方图均衡化。固定邻域自适应直方图均衡化。自适应邻域直方图均衡化。自适应邻域直方图修正243对于邻域间非常小的灰度差别不做增强(这部分差别可能是量化噪声或非常小的灰度变化引起的)。如果邻域间对比度小但却超过量化对比度范围的，则进行中等到强的增强。对于对比度已经足够的情况，不再做对比度增强。

自适应邻域对比度增强244自适应邻域对比度曲线245第四节图像复原246图像复原：为了抑制退化，而利用有关退化性质知识的预处理方法。多数图像复原方法是基于整幅图像上的全局卷积方法。图像复原的目标是从退化图像中重构出原始图像。247图像退化的原因有多种：光学透镜的残次、光电传感器的非线性、胶片材料的颗粒度、物体与摄像机间的相对运动、不当的焦距、遥感或天文中大气的扰动、照片的扫描等等。248图像复原技术可以划分为两组：确定性和随机性的。确定性的方法对于带有很小噪声且退化函数已知的图像有效，原始图像从退化的图像通过退化的逆变化得到；随机性技术根据特定的随机准则，即最小二乘方法，找到最优的复原。249有关退化函数的知识越精确，则复原的结果就越好。有三种典型的退化具有简单的函数形式：物体相对于摄像机做近似匀速的运动、不当的镜头焦距、大气的扰动。250在多数实际情况下，我们没有足够的有关退化的知识，必须对其进行估计和建模。根据可获得的信息可以将估计分为两类：先验的和后验的。这个步骤是最关键的，直接影响到图像复原的成败，它也是图像复原中最困难的部分。251有关退化的先验知识，或者是事先知道的，或者是在复原前可以获得的。252如果事先知道图像的退化是由物体相对于传感器的相对运动引起的，则建模就仅仅是确定运动的速度和方向。如果摄像机的退化在一段时间内保持不变，可以研究已知的采样图像和其退化的情形来建立模型。253后验知识是通过分析退化图像得到的。一个典型例子是找到图像中的一些兴趣点（例如角点、直线），并估计它们在退化之前是怎样的。254退化可以用如下的卷积来表达：在没有噪声时，设未退化图像f、退化图像g和退化卷积核h的傅立叶变换分别是F、G和H，则它们之间的关系是：255一、容易复原的退化因此，不考虑图像噪声v，知道退化函数就