见图像传统处理算法-边缘检测-分割-增强-降噪

一、边缘检测

边缘检测的几种微分算子：

一阶微分算子：Roberts.SobeLPrewitt

二阶微分算子：Laplacian、Log/Marr

非微分算子：Canny

一阶微分算子

l.Roberts:没有经过图像平滑处理，图像噪声无法得到较好的抑制，但图像边

缘定位精度较高。

2.Sobel:引入了类似局部平均的运算，对噪声有平滑作用，能很好的消除噪声

的影响。与Prewitt比,Sobel对像素位置做了加权,可以降低边缘模糊程度。

-1-2-1

000

121

-101

-202

-101

3.Prewitt:去掉部分伪边缘，对噪声有平滑作用。

如何计算边缘幅值与方向呢？以Sobel为例,3*3Sobel两个方向的算子在图像

上滑动，模板与其覆盖的图像3*3区域的9个像素进行卷积，求和后得到此方

向的边缘检测幅值。

/-I0+1\

G.r=-20+2

\-l0-Fl/

/-I-2-1\

Gy=000

\+l+2+1/

G=7⑸产+(Gy)2边缘检测幅值

6=arctan(Gx/Gy)边缘检测方向

二阶微分算子

1.Laplacian

拉普拉斯算子数学公式:

4)

2.Log/Marr边缘检测是先进行高斯滤波，再进行拉普拉斯算子进行检测，最后

通过找过零点来确定边缘位置。

非微分算子：Canny

使用Canny算子的边缘检测过程如下：

*RGB图像转化为灰度图像；

*对图像进行高斯滤波；

*利用canny算子（图像四个方向：水平、垂直、对角）计算图像梯度，根据**

梯度计算图像边缘幅度；

*非极大值抑制，得到真正的边缘-＞细化；

*双阈值边缘提取；

*结果二值化显示。

算子优缺点比较

Roberts对具有睫屿的低噪声的图像处理效果较好，但利用Roberts算

子提取边缘的结果是边缘比较粗,因此边缘定位不是很准询.

Sobel对灰度渐变和噪声较多的图像处理效果比较好，Sobel算子对

血缘定位比较准确.

Kirsch对灰度渐变和噪声较多的图像处理效果较好.

Prewitt对灰度渐变和噪声较多的困像处理效果较好，

对图像中的阶跃性边缘点定位准确，对噪声非常敏感，丢失一

.aplacian部分边缘的方向信息，造成一些不连续的检测边缘.

LoGLoG算子经常出现双边缘像素边界，而且该检测方法对噪声比

皎敏感，所以很少用LoG算子检测边缘，而是用来判断边缘像

素是位于图像的明区还是暗区.

Canny此方法不容易受噪声的干扰,能警检测到真正的弱边缘,在

edge函数中.最有效的边缘检测方法是Canny方法.该方法的

优点在于使用两种不同的阈值分别检测强边缘和弱边缘，并且

仅当弱边缘与强边缘相连时,才将弱边缘包含在输出国像中.

因此，这种方法不容易被噪声“填充”，跟容易检测出真正的

弱边缘.

二、图像分割

传统图像分割算法

1.基于阈值的分割方法

阈值法的基本思想是基于图像的灰度特征计算一个或多个灰度阈值，并将图像中

每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。

因此，该方法最为关键的一步就是按照某个准则函数来求解最佳灰度阈值。

阀值分割方法的优缺点：

计算简单，效率较高；

只考虑像素点灰度值本身的特征，一般不考虑空间特征，因此对噪声比较敏感，

鲁棒性不高。

2.基于区域的分割方法

基于区域的分割方法是以直接寻找区域为基础的分割技术，基于区域提取方法有

两种基本形式：一种是区域生长,从单个像素出发，逐步合并以形成所需要的分

割区域；另一种是从全局出发，逐步切割至所需的分割区域。

区域生长：区域生长是从一组代表不同生长区域的种子像素开始，接下来将种子

像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的

像素作为新的种子像素继续合并过程，知道找不到符合条件的新像素为止。该方

法的关键是选择合适的初始种子像素以及合理的生长准则.

区域生长算法需要解决的三个问题：

(1)选择或确定一组能正确代表所需区域的种子像素；

(2)确定在生长过程中能将相邻像素包括进来的准则；

(3)指定让生长过程停止的条件或规则。

区域分裂合并：区域生长是从某个或者某些像素点出发，最终得到整个区域,进

而实现目标的提取。而分裂合并可以说是区域生长的逆过程，从整幅图像出发，

不断的分裂得到各个子区域然后再把前景区域合并，得到需要分割的前景目标，

进而实现目标的提取。

区域分裂合并算法优缺点：

(1)对复杂图像分割效果好；

(2)算法复杂，计算量大；

(3)分裂有可能破怪区域的边界。

分水岭算法：是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图

像看作是测地学上的拓扑地貌周像中每一点像素的灰度值表示该点的海拔高度，

每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。

分水岭对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化都

有可能产生过度分割的现象，但是这也同时能够保证得到封闭连续边缘。

3.基于边缘检测的分割方法

基于边缘检测的图像分割算法试图通过检测包含不同区域的边缘来解决分割问

题。通常不同区域的边界上像素的灰度值变化比较剧烈，如果将图片从空间域通

过傅里叶变换到频率域，边缘就对应着高频部分，这是一种非常简单的边缘检测

算法。

边缘检测的优缺点：

(1)边缘定位准确；

(2)速度快；

(3)不能保证边缘的连续性和封闭性；

(4)在高细节区域存在大量的碎边缘，难以形成一个大区域，但是又不宜将高

细节区域分成小碎片；

由于上述的(3)(4)两个难点，边缘检测只能产生边缘点，而非完整意义上

的图像分割过程。这也就是说，在边缘点信息获取到之后还需要后续的处理或者

其他相关算法相结合才能完成分割任务。

在以后的研究当中，用于提取初始边缘点的自适应阈值选取、用于图像的层次分

割的更大区域的选取以及如何确认重要边缘以去除假边缘将变得非常重要。

4,基于主动轮廓模型的分割方法

在实现主动轮廓模型时，可以灵活的选择约束力、初始轮廓和作用域等，以得到

更佳的分割效果。利用曲线演化来检测目标的一类方法，基于此可以得到精确的

边缘信息。其基本思想是，先定义初始曲线C,然后根据图像数据得到能量函数，

通过最小化能量函数来引发曲线变化，使其向目标边缘逐渐逼近，最终找到目标

边缘。这种动态逼近方法所求得的边缘曲线具有封闭、光滑等优点。

5.基于深度学习的分割方法（简单介绍）

A、基于特征编码

在特征提取领域中VGG和ResNet是两个非常有统治力的方法。

VGG

通过反复地堆叠3*3的小型卷积核和2*2的最大池化层，构建了16~19层的深

度神经网络。

几点说明：

*感受野很小的滤波器：3x3（这是捕获左/右，上/下，中心概念的最小尺寸）。

*1x1卷积滤波器，可以看作输入通道的线性变换（后面加relu的是非线性）。

*卷积步长固定为1个像素；卷积层输入的空间填充要满足卷积之后保留空间分

辨率，即3x3卷积层的填充为1个像素。

*空间池化由五个最大池化层进行，这些层在一些卷积层之后（不是所有的卷**

积层之后都是最大池化）。在2x2像素窗口上进行最大池化，步长为2。

之后是三个全连接（FC）层。

*最后一层是soft-max层。所有网络中全连接层的配置是相同的。

*在多个迁移学习任务中的表现要优于googLeNete而且，从图像中提取CNN

特征，VGG模型是首选算法。

*虽然网络层数加深，但VGG在训练的过程中比AlexNet收敛的要快一些，主

要因为：

(1)使用小卷积核和更深的网络进行的正则化；

(2)在特定的层使用了预训练得到的数据进行参数的初始化。

理解1*1卷积核的作用

(1)采用非线性激活函数可以提高模型的非线性能力；

(2)专注于跨通道的特征组合；

(3)对featuremap在channel层级进行降维或升维。？

ResNet

Resnet出现的背景：深度学习网络在堆叠到一定深度的时候会出现梯度消失的

现象，导致误差升高效果变差,后向传播时无法将梯度反馈到前面的网络层，使

得前方的网络层的参数难以更新，训练效果变差。

梯度消失或者梯度爆炸解决方案：对输入数据和中间层的数据进行归一化(BN)

操作，这种方法可以保证网络在反向传播中采用随机梯度下降(SGD),从而让

网络达到收敛。

不退化不是我们的目的，我们希望有更好性能的网络。resnet学习的是残差

函数F(x)=H(x)-x,这里如果F(x)=0,那么就是上面提到的恒等映射。事实

上，resnet是"shortcutconnections"的在connections是在恒等映射下的

特殊情况，它没有引入额外的参数和计算复杂度c通过使用ResNetUnit成功

训练出了152层的神经网络。

Resnet核心：

对残差块做了计算优化，即将两个3x3的卷积层替换为1x1+3x3+1x1,如下

图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算,

然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。

ResNet的优缺点：

1）引入了全新的网络结构（残差学习模块）,形成了新的网络结构,可以使网

络尽可能地加深；

2）使得前馈/反馈传播算法能够顺利进行，结构更加简单；

3）恒等映射地增加基本上不会降低网络的性能；

4）建设性地解决了网络训练的越深，误差升高，梯度消失越明显的问题；

5）由于ResNet搭建的层数众多，所以需要的训练时间也比平常网络要长。

B、基于区域选择(regionalproposalbased)

Regionalproposal在计算机视觉领域是一个非常常用的算法，尤其是在目标

检测领域。其核心思想就是检测颜色空间和相似矩阵，根据这些来检测待检测的

区域。然后根据检测结果可以进行分类预测。

StageI:R-CNN

StageS:FastR-CNN:目标检测

Stagem:FasterR-CNN:目标检测

StageIV:MaskR-CNN:主要完成了三件事情：目标检测，目标分类，像素级

分割。

StageV:MaskScoringR-CNN

C.基于RNN的图像分割

在语义分割领域，基于区域选择的几个算法主要是由前人的有关于目标检测的工

作渐渐延伸到语义分割的领域的.

ReSeg模型

MDRNNs(Multi-DimensionalRecurrentNeuralNetworks)模型

D.基于上采样/反卷积的分割方法

FCN:在FCN当中的反卷积-升采样结构中，图片会先进性上采样(扩大像素)；

再进行卷积一一通过学习获得权值。

优缺点：

*FCN对图像进行了像素级的分类，从而解决了语义级别的图像分割问题；

*FCN可以接受任意尺寸的输入图像，可以保留下原始输入图像中的空间信息；

*得到的结果由于上采样的原因比较模糊和平滑，对图像中的细节不敏感；

*对各个像素分别进行分类，没有充分考虑像素与像素的关系，缺乏空间一致性。

SetNet:旨在解决自动驾驶或者智能机器人的图像语义分割深度网络，SegNet

基于FCN,与FCN的思路十分相似,只是其编码-解码器和FCN的稍有不同，

其解码器中使用去池化对特征图进行上采样，并在分各种保持高频细节的完整性；

而编码器不使用全连接层，因此是拥有较少参数的轻量级网络：

SetNet的优缺点：

*保存了高频部分的完整性；

*网络不笨重，参数少，较为轻便；

*对于分类的边界位置置信度较低；

*对于难以分辨的类别，例如人与自行车，两者如果有相互重叠,不确定性会增

加。

三、图像增强

图像增强算法常见于对图像的亮度、对比度、饱和度、色调等进行调节，增加其

清晰度，减少噪点等。

增强往往经过多个算法的组合浣成上述功能比如图像去燥等同于低通滤波器，

增加清晰度则为高通滤波器，当然增强一副图像是为最后获取图像有用信息服务

为主。

一般的算法流程可为：

图像去燥（低通滤波器）

增加清晰度（对比度）（高通滤波器）

灰度化或者获取图像边缘特征

或者对图像进行卷积、二值化等

1.直方图均衡化

图像对比度增强的方法可以分为两种：直接对比度增强方法，间接对比度增强

方法。直方图拉伸和直方图均衡化是常见的间接对比度增强方法。

直方图拉伸是利用对比度拉伸对直方图进行调整，扩大前景和背景灰度的差别。

直方图均衡化则是利用累积函数对灰度值进行调整，实现对比度的增强。

直方图均衡化处理原理将原始图像的灰度图从比较集中的某个灰度区间均匀分

布在整个灰度空间中，实现对图像的非线性拉伸，重新分配图像像素值。

算法的本质是重新分布图像的像素值。增加了许多局部的对比度，整体的对比度

没有进行太大改变，所以应用图像为图像有用数据的对比度相近时，例如：X光

图像，可以将曝光过度或曝光不足照片进行更好的显示，或者是背景及前景天亮

或太暗的图像非常有用。

算法当然也有缺点，具体表现为：变换后的图像灰度级减少，某些细节减少；某

些图像有高峰值，则处理后对比度不自然的过分增强。

算法伪代码：

1、计算原始灰度图像的像素概率分布

2、根据像素概率分布获取图像累积分布函数

3、根据映射函数（均衡化）获取变换后的图像

2.基于拉普拉斯算子的图像增强

利用拉普拉斯算子进行图像增强本质是利用图像的二次微分对图像进行锐化，在

图像领域中微分是锐化，积分是模糊，利用二次微分对图像进行锐化即利用邻域

像素提高对比度。

3.基于Log变换的图像增强

对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其

高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的

目的。变换方法：

s=c-logv+1(14-v・r)re[OJ]

对于不同的底数，底数越大，对低灰度部分的扩展就越强，对高灰度部分的压缩

也就越强。

4.基于伽马变换的图像增强

伽马变换主要用于图像的校正，将灰度过高或者灰度过低的图片进行修正，增强

对比度。变换公式就是对原图像上每一个像素值做乘积运算：

s=crre[OJ]

伽马变换对图像的修正作用其实就是通过增强低灰度或高灰度的细节实现的。

二

4

1

M

g

m

d

-

n

o

，对图

越大

，值

越强

用就

展作

的扩

部分

灰度

像低

，对图

越小

界，值

1为分

Y值以

或高

低灰度

到增强

以达

就可

丫值，

不同的

，通过

越强

用就

展作

的扩

部分

灰度

像高

用。

的作

细节

部分

灰度

况下

曝）情

机过

于相

（对于

偏高

度值

体亮

且整

低，并

度偏

对比

图像

对于

变换

伽马

显。

果明

强效

像增

的图

降噪

图像

四、

图像预处理算法的好次直接关系到后续图像处理的效果，如图像分割、目标识别、

边缘提取等为了获取高质量的数字图像很多时候都需要对图像进行降噪处理，

尽可能的保持原始信息完整性（即主要特征）的同时，又能够去除信号中无用的

信息。

一般的图像处理，微小的细节对图像降噪的后续处理程序影响不太明显，但是当

处理对象为医学图像时这样的小失误是不被允许的，因为在医疗诊断或治疗中，

每一个微小的失误都会影响医师的治疗方法甚至威胁到患者的生命。这就要求更

多的研究者来投入时间和精力研究新的降噪技术，以达到降噪并同时仍能保曾足

够细节信息的目的。

目前常用的图像去噪算法大体上可非为两类，即空域像素特征去噪算法和变换域

去噪算法。前者是直接地在图像空间中进行的处理，后者是间接地在图像变换域

中进行处理。

什么是随机噪声呢？相比于图像的真实信号来说随机噪声就是一种或高或低呈

现出不确定变化的一种信号，如下图所示虚线代表真实信号，红蓝线表示的就是

随机噪声信号，所有的随机噪声信号求和后结果为0。

由于这个零和特点，目前几乎所有的空域降噪算法都是基于这个理论为出发点来

进行降噪处理的。

空域像素特征去噪算法

基于空域像素特征的方法，是通过分析在一定大小的窗口内，中心像素与其他相

邻像素之间在灰度空间的直接联系，来获取新的中心像素值的方法，因此往往都

会存在一个典型的输入参数，即滤波半径ro此滤波半径可能被用于在该局部窗

口内计算像素的相似性，也可能是一些高斯或拉普拉斯算子的计算窗口。在邻域

滤波方法里面，最具有代表性的滤波方法有以下几种：

(1)算术均值滤波与高斯谑波

算术均值滤波用像素邻域的平均灰度来代替像素值，适用于脉冲噪声，因为脉冲

噪声的灰度级一般与周围像素的灰度级不相关，而且亮度高出其他像素许多。

均值滤波结果A，(iJ)随着L(滤波半径)取值的增大而变得越来越模糊，图像对

比度越来越小。经过均值处理之后，噪声部分被弱化到周围像素点上，所得到的

结果是噪声幅度减小，但是噪声点的颗粒面积同时变大，所以污染面积反而增大。

为了解决这个问题，可以通过设定阈值，比较噪声和邻域像素灰度，只有当差值

超过一定阈值时，才被认为是噪声。不过阈值的设置需要考虑图像的总体特性和

噪声特性，进行统计分析。

高斯滤波矩阵的权值，随着与中心像素点的距离增加，而呈现高斯衰减的变换特

性。这样的好处在于，离算子中心很远的像素点的作用很小，从而能在一定程度

上保持图像的边缘特征。通过调节高斯平滑参数，可以在图像特征过分模糊和欠

平滑之间取得折中。与均值滤波一样，高斯平滑滤波的尺度因子越大，结果越平

滑，但由于其权重考虑了与中心像素的距离，因此是更优的对邻域像素进行加权

的