数字图像处理实战-PPT第3章 图像增强与复原

第3章图像增强与复原1使用频率域滤波处理图像目录使用空间滤波增强图像2车牌复原3章节小结4使用空间滤波增强图像1.了解空间滤波使用空间滤波增强图像，空间域指的是图像平面本身，空间域中的图像处理方法直接对图像中的像素进行处理。空间滤波的常见应用包含平滑图像、锐化图像和模糊图像，可以用于非线性滤波，而频率域滤波则无法实现。空间域滤波增强采用模板处理方法对图像进行滤波，去除图像噪声或者增强图像的细节。通常空间域技术在计算上更有效，且执行所需的处理资源较少。空间滤波中的分类也很多，通过计算方式不同可以划分为低通滤波和高通滤波等，通过对像素执行运算方式的不同可以分为线性滤波和非线性滤波，根据空间滤波增强目的可分为平滑滤波和锐化滤波。节空间滤波主要依据空间滤波增强目的进行分类，处理如式（3-1）所示。（3-1）

使用空间滤波增强图像了解滤波器需要先理解滤波器核这一概念，核是一个阵列，核的尺寸定义了运算的邻域，核的系数决定对应滤波器的性质。用于称呼滤波器核的术语还有模板、窗口等。在第3章中统一称之为核或滤波器核。在空间域中有两种不同的运算，为相关运算和卷积运算，这两种运算是空间滤波的重要基础。相关运算过程是在图像上移动核的中心，并且在每个位置计算乘积之和。而卷积运算原理与相关运算类似，只是把相关运算的核旋转了180°。1.了解空间滤波在一维空间中，长度为m的核对长度为M的图像进行线性空间滤波表示如式（3-2）所示。

（3-2）

使用空间滤波增强图像一维相关运算与卷积运算的过程如右图所示。1.了解空间滤波

使用空间滤波增强图像

1.了解空间滤波

（3‑3）

使用空间滤波增强图像1.了解空间滤波要用公式给出相关运算与卷积运算在二维空间中的定义，首先需将相关运算重写，如式（3-4）所示。（3-4）

（3-5）

使用空间滤波增强图像2.使用空间滤波平滑图像因为空间域中的低通滤波器主要起平滑作用，所以也称为平滑滤波器，该滤波器可以对图像中噪声的去除起到显著的作用。下面对如何使用空间滤波平滑车牌图像进行介绍。

使用空间滤波增强图像2.使用空间滤波平滑图像在低通滤波器中平滑效果较为显著的是高斯滤波器，高斯滤波器的核通常是各向同性的，各向同性也被称为圆对称性。高斯核的定义如式（3-6）所示。

（3-6）

使用空间滤波增强图像2.使用空间滤波平滑图像根据式（3-6）给出一个高斯核的示例，如下图所示，可以看到核的前面有一个归一化常数，分母是核中常数的和。本章主要使用OpenCV实现空间滤波器。OpenCV中定义了许多滤波器，可以直接使用。例如，盒式滤波器、中值滤波器、高斯滤波器在OpenCV中都有定义。先给出3种滤波器的函数语法以及参数解释，再介绍使用不同低通滤波器对图像进行平滑操作的实现效果。定义盒式滤波器的boxFilter函数的语法格式如下。cv2.boxFilter（src,ddepth,ksize,dst,anchor,normalize,borderType）使用空间滤波增强图像2.使用空间滤波平滑图像boxFilter函数的参数及其说明如下表所示。参数名称说明src接收constGMat类型。表示输入图像。无默认值ksize接收constSize类型。表示核的尺寸。无默认值anchor接收constPoint类型。表示锚位于单元的中心。默认值为(-1,-1)normalize接收bool类型。表示标志位，指定内核是否按其区域规范化。默认值为TrueborderType接收int类型。表示用于推断图像外部像素的某种边界模式。默认值为BORDER_DEFAULT定义中值滤波器的medianBlur函数的语法格式如下。cv2.medianBlur(src,ksize,dst)，函数的参数及其说明如下表。参数名称说明src接收constGMat类型。表示输入图像。无默认值ksize接收int类型。表示核线性长度，必须为奇数。无默认值使用空间滤波增强图像2.使用空间滤波平滑图像参数名称说明src接收constGMat类型。表示输入图像。无默认值ksize接收constSize类型。表示核的尺寸。无默认值sigmaX接收double类型。表示高斯核在x轴方向的标准差。无默认值sigmaY接收double类型。表示高斯核在y轴方向的标准差。默认值为0borderType接收int类型。表示用于推断图像外部像素的某种边界模式。默认值为BORDER_DEFAULT定义高斯滤波器的gaussianBlur函数的语法格式如下。cv2.GaussianBlur(src,ksize,sigmaX,sigmaY,borderType)，GaussianBlur函数的参数及其说明如下表所示。使用空间滤波增强图像2.使用空间滤波平滑图像通过OpenCV调用boxFilter函数、medianBlur函数和GaussianBlur函数，可实现盒式滤波器、中值滤波器和高斯滤波器，效果如下图所示。(a)(b)(d)(c)在右图中(a)、(b)、(c)、(d)分别为添加噪声后的原图像、盒式滤波器处理后的结果、中值滤波器处理后的结果、高斯滤波器处理后的结果。将右图中不同滤波器的平滑结果进行对比可以看出，对于添加了噪声的车牌图像，盒式滤波器的平滑效果与理想结果有较大出入。而平滑效果最好的是中值滤波器。使用空间滤波增强图像3.使用空间滤波锐化图像对于抓取的车牌图像，车牌号往往会出现车牌号边缘扭曲或者符号不明显的情况。通过锐化空间滤波器突出灰度的过渡部分，可以实现锐化的目的。在介绍锐化滤波器之前，先介绍导数在数字环境下的一些基本性质。数字函数的导数是用差分来定义的。定义差分的方法有多种，但一阶导数的任何定义都要满足如下3点要求。（1）恒定灰度区域的一阶导数必须为零。（2）灰度台阶或斜坡开始处的一阶导数必须非零。（3）灰度斜坡上的一阶导数必须非零。二阶导数的任何定义都要满足如下3点要求。（1）恒定灰度区域的二阶导数必须为零。（2）灰度台阶或斜坡开始处的二阶导数必须非零。（3）灰度斜坡上的二阶导数必须非零。使用空间滤波增强图像3.使用空间滤波锐化图像

（3‑7）

式（3-7）和式（3-8）分别满足上述恒定灰度区域、灰度台阶或斜坡开始处、灰度斜坡3个方面关于一阶、二阶导数应满足的要求。（3‑8）使用空间滤波增强图像3.使用空间滤波锐化图像两个变量的Laplace算子的定义，如式（3-9）所示。（3-9）

(a)(b)(c)(d)

上图中，(a)拉普拉斯核可以实现式（3-9），并且该核为各向同性在关于x轴和y轴以90°为增量旋转时核不变。(b)拉普拉斯核用于实现包含对角项的扩展公式的核。(c)、(d)拉普拉斯核是由二阶导数定义得到的，但此时二阶导数为负。使用空间滤波增强图像3.使用空间滤波锐化图像对于空间非线性的图像锐化操作，可以通过一阶微分，即梯度处理实现。梯度处理可以使灰度图像中看不见的小斑点突出，拥有较好的在灰度平坦区域中增强小突变的能力。这对于车牌图像增强具有重要的意义。

（3‑10）

（3‑11）

使用空间滤波增强图像3.使用空间滤波锐化图像对于空间非线性的图像锐化操作，可以通过一阶微分，即梯度处理实现。梯度处理可以使灰度图像中看不见的小斑点突出，拥有较好的在灰度平坦区域中增强小突变的能力。这对于车牌图像增强具有重要的意义。

数字图像处理早期开发中，罗伯特使用交叉差值提出关于符合恒定灰度区域、灰度台阶或斜坡开始处、灰度斜坡表示的一阶导数定义，如式（3‑12）所示。

（3‑12）

使用空间滤波增强图像3.使用空间滤波锐化图像

式（3‑12）中所需的差值项可用右图中的(a)、(b)两个核来实现，这两个核称为Roberts交叉梯度算子。图中的(c)、(d)两个核称为Sobel算子。

在中心系数中使用权值2的原因是强调中心的重要程度来实现某种平滑。需要注意的是，右图中所有核的系数之和为0，当图像与系数之和为0的核卷积时，滤波后的图像元素之和也为0。使用各算子锐化图像结果如右图所示。在右图中，(a)、(b)、(c)、(d)分别为读入原图像的灰度图像、Roberts交叉梯度算子处理后的结果、Sobel算子处理后的结果和Laplace算子处理后的结果。可以看出经过锐化后的3组图像中，使用Roberts交叉梯度算子处理后的车牌图像结果较为理想，将车体与车牌信息凸显了出来。(a)(b)(c)(d)使用空间滤波增强图像4.使用空间滤波器模糊图像本小节主要介绍模糊集合在空间滤波器中的应用，使用模糊集合实现模糊车牌图像的功能。模糊集合在解决一些以不精确概念表述的问题时，有较好的解决方案与应用效果。

（3‑13）使用空间滤波增强图像4.使用空间滤波器模糊图像邻域中心处像素和邻域像素的灰度差如下图所示。把模糊集合应用于空间滤波时，基本方法是定义一个邻域特性，使用该特性截获滤波器检测出的效果，比如考虑检测一幅图像中各区域的边缘。

使用空间滤波增强图像4.使用空间滤波器模糊图像图中（a）为变换前的图像，（b）为变换后的结果。(a)(b)可以看出到的灰度变换结果还是比较理想的。处理后的图像灰度动态范围得到了扩展，所得到的图像也比原图更加明亮、清晰，图像的一些细节处理得较为妥当。1使用频率域滤波处理图像目录使用空间滤波增强图像2车牌复原3章节小结4频率域滤波是指通过傅里叶变换对图像进行处理。空间域滤波与频率域滤波之间的桥梁是卷积定理，变化最慢的频率成分与图像的平均灰度成正比；当远离变换原点时，图像变化缓慢的灰度部分对应低频，反之，当原点移开更远时，高频对应图像变化快速的灰度成分。对图像进行频率域滤波处理需要先将图像做频率谱转换，通常使用利用傅里叶变换将图像转换成为傅里叶谱，由灰度图像生成傅里叶谱。使用频率域滤波处理图像1.了解频率域滤波图xx灰度图像转为傅里叶谱图像使用频率域滤波处理图像2.使用频率域滤波平滑图像高频由灰度尖锐变化部分造成，例如边缘和噪声，可以通过使用低通滤波器即衰减高频而通过低频的滤波器来实现平滑车牌图像的功能。常用的低通滤波器有3种类型：理想低通滤波器

布特沃斯低通滤波器高斯低通滤波器使用频率域滤波处理图像理想低通滤波器

理想低通滤波器是一个以原点为圆心，以为半径的二维圆形滤波器，在使用该滤波器对图像进行滤波处理时，滤波器内部的图像信号可以无衰减地通过，该圆形滤波器外部所有频率的信号都被阻断而无法通过。该滤波器由函数H确定，如式下所示：

D0为一个正常数，D0(u,v)为频率域中点(u,v)与频率矩形中心的距离，上式中，P和Q为函数经零填充后的尺寸使用频率域滤波处理图像理想低通滤波器

下图为理想低通滤波器的透视图，圆内的值为1意味着允许图像信息完整地通过，而圆外值为0，意味着阻止信息。在频率域中，图像的信号绝大多数为低频信号，图像中图案的边缘或噪声处存在有较多的高频信号。图xx理想低通滤波器透视图及其俯视图使用频率域滤波处理图像理想低通滤波器

不同截止频率半径下的理想低通滤波器处理结果上图中左1为原始图，左2～3分别为截止频率D0半径取为10，30及60时候理想低通滤波器处理原始图像得到的效果图。从图315可以看出随着截止频率半径的改变，理想低通滤波处理的结果也会变化，选取的半径较小时，过滤掉了一些图案边缘的高频信号，导致图像中图案边界信息的丢失较多而表现出模糊程度大的现象，而随着半径的增加，保留下来的频率信号更多，只有较高频率的信号才会被过滤，因而处理后的图像模糊程度在降低。使用频率域滤波处理图像布特沃斯低通滤波器理想高通滤波器边缘太过于“陡峭”，对信息通过滤波器时只有两个选择，通过或者不通过，实际情况中的信息往往表现为连续的，一种能够平滑过滤信息的滤波器可能会更加有效，布特沃斯低通滤波器就是一种相对理想低通滤波而言能够更加“平滑”地处理截止频率半径边界的滤波器。截止频率位于距原点处的n阶布特沃斯低通滤波器的传递函数的定义如下式所示。上式中，D0为一个正常数，D0(u,v)为频率域中点

(u,v)

与频率矩形中心的距离，n表示为n阶数。使用频率域滤波处理图像布特沃斯低通滤波器选取不同截止频率D0及阶数n条件下滤波器的透视图像如图xx所示。从透视图像可以看出，D0取值越大滤波器的半径越大，对应的被“阻塞”的信号越少。不同截止频率D0及阶数n条件下布特沃斯低通滤波器的透视图像使用频率域滤波处理图像

高斯低通滤波器标准高斯函数在xy二维直角坐标系中为一条以y轴为对称轴的单峰曲线，x为0时候取得最大值1，随着x的绝对值增加，函数值趋近于0，高斯函数的这种特性也特别符合低通滤波性质，高斯低通滤波器的二维形式如下式所示。式中D0是频率域中点(u,v)到截止频率矩形中心的距离，σ是关于中心扩展度的度量。

使用频率域滤波处理图像高斯低通滤波器上左图为D0=5时对应的透视图，上右图为D0=3时对应的透视图。D0从图中可以看出，截止频率为3的时候，滤波器透视图像形状相比截止频率为5时显得更加尖锐。下左图为D0

=5时对应的俯视图像；下右图为D0=3时对应的俯视图像，从上图可看出截止频率为5的滤波器俯视图半径比截止频率为3滤波器俯视图的半径大。不同截止频率D0高斯低通滤波器透视图及俯视图像使用频率域滤波处理图像高斯低通滤波器

D0取不同值时高斯低通滤波器的滤波效果图上图中，左1为原始图像，2～3为D0分别取10、30及60时的滤波效果图，可以看出高斯低通滤波器跟布特沃斯滤波器滤波后的图像效果也比较相近。使用频率域滤波处理图像3.使用频率域滤波锐化图像频率域滤波锐化图像可以通过理想高通滤波器、布特沃斯高通滤波器和频率域的拉普拉斯算子以及同态滤波来实现。频率域的高通滤波可以使傅里叶变换的低频部分消减而不扰乱高频部分，锐化图像边缘和其他灰度急剧变化区域。

理想高通滤波器布特沃斯高通滤波器频率域的拉普拉斯算子同态滤波使用频率域滤波处理图像理想高通滤波器与过滤掉高频图像信号留下低频图像信号的理想低通滤波器相反，理想高通滤波器是一种仅允许截止频率半径外的高频信号通过来实现图像锐化的滤波器，理想高通滤波器的二维表达式如下式所示，透视图及俯视图如下图所示。上式中D0为一个正常数，D(u,v)

为频率域中点

(u,v)与频率矩形中心的距离。使用频率域滤波处理图像理想高通滤波器理想高通滤波器透视图及其俯视图理想低通滤波器的透视图如上图所示，与理想低通滤波器相反，圆内的值为0意味着完全阻断圆内图像信息，而圆外值为1，意味着信息完全通过。使用频率域滤波处理图像理想高通滤波器D0取不同值时高斯低通滤波器的滤波效果图处理后的结果如上图所示，高频信号保留了下来，而低频信号处为黑色，表示被阻止了通过。使用频率域滤波处理图像布特沃斯高通滤波器布特沃斯高通滤波器同样也是一种能够过滤掉图像低频信号，保留下图像高频信号的滤波器，截至频率为D0的n阶布特沃斯高通滤波器的二维表达式如下式所示。上式中D0为一个正常数，D(u,v)

为频率域中点

(u,v)与频率矩形中心的距离,

n为滤波器阶数。使用频率域滤波处理图像布特沃斯高通滤波器不同截止频率D0及阶数n条件下布特沃斯高通滤波器的透视图像上图中，左上为D0=1，n=2时透视图像；右上为D0=1，n=1时对应的透视图像，左下为D0=0.5，n=2时对应的透视图像；右下为D0=0.5，n=1时对应得透视图像。使用频率域滤波处理图像布特沃斯高通滤波器阶数n取2,D0取不同值时布特沃斯高通滤波器的滤波效果图上图中，左1为原始图像，2～3为D0取10、30及60时的滤波效果图，从上图可看出经过布特沃斯高通滤波器处理后，图像的高频信号得到了很好的保留，低频信号被阻止了。使用频率域滤波处理图像频率域的拉普拉斯算子拉普拉斯算子在空间域图像处理中可以起到增强图像的作用，在频率域同样可以应用拉普拉斯算子来对图像进行滤波处理。在频率域中通过应用拉普斯算子可以实现对图像的锐化。拉普拉斯频率域滤波器二维表达式如下式所示。上式中(u,v)为频率域中点。使用频率域滤波处理图像频率域的拉普拉斯算子频率域拉普斯滤波器透视图及俯视图上图中频率域普斯滤波器中间值大，4个角的值较少，表示4个角处的信号被阻止。使用频率域滤波处理图像频率域的拉普拉斯算子频率域拉普斯滤波器处理后结果上图中，左图为原始图像，右图为处理后结果，从图中可以看出频率域拉普斯滤波器处理后的图像保留了图像中部分的高频信息。使用频率域滤波处理图像同态滤波频率域同态滤波是基于照射-反射模型开发出的一种频率域处理过程，频率域同态滤波器可以同时实现对图像的对比度增强及压缩图像的灰度范围以达到改善图像外观的效果，频率域同态滤波器的二维表达式如下式所示。上式中D0为一个正常数，表示截止频率，D(u,v)为频率域中点(u,v)与频率矩形中心的距离，c为控制边缘坡度的锐利度，c在参数γH

与γL

之间过渡，γH与γL为控制高、低频信号衰减及增强的参数。使用频率域滤波处理图像同态滤波频率域同态滤波器透视图及俯视图上图为c取为1，γH取为2，γL取为0.5时的同态滤波器透视图，滤波器中心低频带的值较少而高频带的值均为1，说明频域率同态滤波器是高频率通过的。使用频率域滤波处理图像同态滤波频率域同态滤波器处理后结果上图中左图为原始图像，右图为频率域同态滤波处理后结果，从图中可看出经频率域同态滤波器处理后的图像颜色更深，图像中低频信息区域有一定程度模糊。1使用频率域滤波处理图像目录使用空间滤波增强图像2复原车牌图像3章节小结4使用频率域滤波处理图像1.了解噪声模型在数字图像中的噪声主要来源于图像的获取和传输过程。图像传感器的成像过程受诸多因素的影响，例如图像获取过程当中的环境条件和成像传感器自身的质量因素，都有可能产生影响图像质量的噪声。对于一些噪声模型，需要了解其空间特性和频率特性；噪声的空间特性是指定义噪声空间特性参数是否与图像相关，噪声的频率特性是指图像傅里叶域中噪声的频率内容，例如白噪声是指其傅里叶谱是常量。掌握一些重要噪声的概率密度函数，利用这些知识技术来复原车牌图像。本章节介绍的噪声模型如下：高斯噪声模型脉冲（椒盐）噪声模型使用频率域滤波处理图像高斯噪声模型高斯噪声是指其概率密度函数服从高斯分布(即正态分布)的一类噪声，常见的高斯噪声有起伏噪声、宇宙噪声、热噪声和散粒噪声等。由于高斯噪声在数学上的易处理性，所以在空间域和频率域中的实践应用中常用这种噪声模型。高斯噪声的概率密度函数如下式所示。在上式中，z表示灰度值，表示z的平均值或者期望值，σ表示z的标准差。标准差的平方称为z的方差。使用频率域滤波处理图像高斯噪声模型添加高斯噪声效果上图中左图为原始图像，右图为添加均值为0.1、方差为0.02的高斯噪声后车牌像，添加了高斯噪声后的车牌图像相比原图有一定程度地模糊化。使用频率域滤波处理图像脉冲（椒盐）噪声模型脉冲噪声是指在通信中出现的离散型噪声的统称，主要源于时间上无规则的突发性干扰因素。脉冲噪声的概率密度函数如下式所示。当b>a时，灰度级b在图像当中显示为一个亮点，灰度级a

在图像当中显示为一个暗点；同理当a>b时，灰度级a

在图像当中显示为一个亮点，灰度级b在图像中显示为一个暗点。当Pa或Pb为零时，该脉冲噪声称为单极脉冲。当Pa与Pb近似相等时，脉冲噪声值在图像上显示为类似随机分布的胡椒和盐粉颗粒，故此也将双极脉冲噪声称作椒盐噪声。使用频率域滤波处理图像脉冲（椒盐）噪声模型添加椒盐噪声后效果图上图中左图为原始图像，右图为添加椒盐噪声后的图像，从图像上看出添加椒盐噪声后的图像上出现许多椒盐状的小点。使用频率域滤波处理图像2.复原只存在噪声的图像均值滤波器自适应滤波器对于只存在噪声的车牌图像，特别是加性噪声的情况，可以利用空间滤波的方法复原车牌图像。主要可以使用均值滤波器、统计排序滤波器和自适应滤波器去除这些加性噪声。通过预估的先验噪声类型选择合适的滤波器，如果选错了滤波器会造成图像的损坏。均值滤波器主要包括算术均值滤波器、几何均值滤波器、谐波均值滤波器以及逆谐波均值滤波器。统计排序滤波器主要包括中值滤波器、最大值和最小值滤波器、中点滤波器以及修正的阿尔法均值滤波器。自适应滤波器主要包括自适应局部降低噪声滤波器、自适应中值滤波器等。本小节主要通过均值和自适应滤波器将车牌图像进行一定程度的复原。使用频率域滤波处理图像均值滤波器均值滤波也称作线性滤波，主要的算法思想是通过在图像上对目标像素给定一个模板，该模板包括了其周围8个像素，构成一个滤波模板，再用模板中的全体像素的平均值来代替原来的像素值。本小节主要介绍算术均值滤波器。

算术均值滤波器的表达式如上式所示，设Sxy是模板中心点（x