数字图像处理与Python实现-课件第七章-图像分割

数字图像处理2022-2023-2课程内容入门认识第8章图像压缩第7章图像分割基本操作应用第9章图像水印第10章指纹识别第11章深度学习综合案例第七章图像分割7.1图像分割基本概念7.2基于边缘的图像分割7.3基于区域的图像分割7.1.1图像分割定义

数字图像信号𝑓(𝑥,𝑦)，将其分割为满足以下5个约束条件的若干相连的、非空子集（即图像子区域）𝑓_1,𝑓_2,𝑓_3,⋯,𝑓_𝑛的过程，称为图像分割。每个像素都可以被分割到确定的子区域中；各个子区域内图像像素是连通的；确保一个图像元素不会同时被分割到多个子区域；属于同一个子区域的像素应该具有某些相似性；属于不同子区域的属性应该不同。7.1.2图像分割分类按照是否考虑语义：分为非语义分割和语义分割。根据被分割图像的种类不同：灰度图像分割，彩色图像分割；根据被分割图像的状态不同：静态图像分割，动态图像分割；根据分割的粒度不同：

以识别物体轮廓为准则的粗分割，

以颜色、纹理等的高度相似性为准则、适宜压缩编码的细分割；按照被分割图像的应用领域不同：

遥感图像分割、医学图像分割、交通图像分割、工业图像分割、安防图像分割等；根据分割目标不同：语义分割、实例分割、全景分割；按照分割方法不同：

基于边缘的图像分割、基于区域的图像分割、基于显著性分析的图像分割、基于深度学习的图像分割等。7.1.2图像分割分类（1）非语义分割：

在图像分割中所占比重更高，目前算法也非常多，研究时间较长，而且算法也比较成熟。代表算法：阈值分割：简单，给定输入图像一个特定阈值，如果大于这个阈值，则设定为前景像素值，否则为背景像素值。区域分割有代表性的算法有两种：区域生长和区域分裂合并。区域生长算法的核心思想是给定子区域一个种子像素，作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(可以根据预先设定的规则，比如基于灰度差)合并到种子所在的区域中。区域分裂合并基本上就是区域生长的逆过程，从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，实现目标提取。聚类：聚类是一个应用非常广泛的无监督学习算法，该算法在图像分割领域也有较多的应用。聚类的核心思想就是利用样本的相似性，把相似的像素点聚合成同一个子区域。7.1.2图像分割分类（1）非语义分割：

在图像分割中所占比重更高，目前算法也非常多，研究时间较长，而且算法也比较成熟。边缘分割这是图像分割中较为成熟，而且较为常用的一类算法。边缘分割主要利用图像在边缘处灰度级会发生突变来对图像进行分割。常用的方法是利用差分求图像梯度，而在物体边缘处，梯度幅值会较大，所以可以利用梯度阈值进行分割，得到物体的边缘。对于阶跃状边缘，其位置对应一阶导数的极值点，对应二阶导数的过零点(零交叉点)。因此常用微分算子进行边缘检测。常用的一阶微分算子有Roberts算子、Prewitt算子和Sobel算子，二阶微分算子有Laplace算子和Kirsh算子等。由于边缘和噪声都是灰度不连续点，在频域均为高频分量，直接采用微分运算难以克服噪声的影响。因此用微分算子检测边缘前要对图像进行平滑滤波。LoG算子和Canny算子是具有平滑功能的二阶和一阶微分算子，边缘检测效果较好，因此Canny算子也是应用较多的一种边缘分割算法。参考网址：/article/8750657.1.2图像分割分类（2）语义分割：

在图像分割中所占比重更高，目前算法也非常多，研究时间较长，而且算法也比较成熟。语义分割和非语义分割的共同之处都是要分割出图像中物体的边缘，但是二者也有本质的区别，用通俗的话介绍就是非语义分割只想提取物体的边缘，但是不关注目标的类别。而语义分割不仅要提取到边缘像素级别，还要知道这个目标是什么。因此，非语义分割是一种图像基础处理技术，而语义分割是一种机器视觉技术，难度也更大一些，目前比较成熟且应用广泛的语义分割算法有以下几种：Grabcut

MaskR-CNN

U-Net

FCN

SegNet参考网址：/article/875065第七章图像分割7.1图像分割基本概念7.2基于边缘的图像分割7.3基于区域的图像分割7.2.1边缘分割基本原理边缘有方向和幅度两个特性：沿着边缘走向的灰度值不变或者缓慢变化，垂直于边缘走向的灰度值存在突变。按突变形式不同，边缘可表现为阶跃式、渐变式（斜升和斜降式）、脉冲式、屋顶式等类型，边缘包括：

数字图像中目标物体或某区域的角点、轮廓、交界等处，代表了图像局部不连续性特征。边缘分割方法：

假设各子区域一定会有明显的边缘存在，

通过采用数学求导的方法提取图像中灰度或结构等信息突变（即不连续）的部分像素来实现。边缘与导数关系一阶微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二阶微分算子有Laplace算子、LoG算子等7.2.1边缘分割基本原理7.2.2Canny算子边缘与导数关系一阶微分算子有Roberts算子、Prewitt算子、Sobel算子、Kirsch算子等；二阶微分算子有Laplace算子、LoG算子等Canny算子，非微分边缘检测算子，图像边缘检测算法最经典、先进的算法之一。

是在满足一定约束条件下推导出来的边缘检测最优化算子7.2.2Canny算子3个最优准则（1）最优检测：

应尽可能检测出图像的真实边缘，漏检真实边缘和误检非边缘的概率都要尽可能小。（2）最优定位准则：

检测出的边缘要尽可能接近真实边缘，由于噪声影响形成的检测误差最小。（3）检测点与边缘点一一对应：

检测出的边缘点与实际边缘点要尽可能一一对应。7.2.2Canny算子步骤：（1）图像去噪对图像进行平滑滤波（2）计算梯度幅值和方向寻找图像中灰度强度变化最强的位置，即梯度方向，（Sobel算子计算）（3）非极大值抑制为了使模糊的边界变得清晰，需要保留局部最大梯度，在每个像素点上抑制除极大值外的其他梯度值。非极大值抑制图7.2.2Canny算子步骤：（4）双阈值（更加精确地检测边缘）设置两个阈值，一个是阈值上界，一个是阈值下界。像素点大于阈值上界，称为强边界，则认为必然是边界；小于阈值下界，则必然不是边界；

两者之间的称为弱边界，则认为是候选项，需要进一步处理。（5）边界跟踪（进一步处理弱边界点）弱边界可能是真边缘，也可能是噪声或者颜色变化引起。通常：真实边缘的弱边界与强边界是连通的，其他则不连通。一个弱边界点的8连通像素，只要有强边界点存在，则弱边界点是真实边缘并保留。其余的弱边界则被抑制。最终得到Canny算子边缘检测结果。7.2.2Canny算子步骤：使用格式：cv2.Canny(输入图像,最小阈值,最大阈值,[sobel算子（卷积核）大小])参数说明：输入图像：输入图像数据，imread()函数返回值；最小阈值、最大阈值：双阈值设置；Sobel算子卷积核大小：可选项，用于查找图像梯度的Sobel核的大小，默认为3，该值越大，保留信息越多优点是可以检测出真正的弱边缘，而且是细化后的单边缘，减少了边缘中断现象。对于对比度较低的图像，通过合理选择参数，也能有很好的边缘检测效果。第七章图像分割7.1图像分割基本概念7.2基于边缘的图像分割7.3基于区域的图像分割不同区域内像素的属性不同，同一个区域内像素都应该具有相似或相同的属性。7.3基于区域的图像分割根据分割特征不同，分为阈值法、聚类法、生长合并法等。1.生长合并法概念生长合并法主要考虑图像区域的连通性进行分割，常见的方法有区域生长法、分裂合并法、分水岭法等。区域生长法：

根据图像像素之间的连通性，按照事先定义的准则，将部分像素或者子区域聚合成更大区域以达到图像分割的目的。分裂合并法：适合事先完全不了解区域形状和数目的情况，首先将图像分解成互不重叠的区域，然后对各个区域进行合并或分裂，得到最终的分割结果。7.3.1生长合并法2.分水岭法将图像看成一张地形图,灰度值对应地形图中的海拔高度值高灰度值对应着山峰，低灰度值对应着山谷，水总是从地势高朝着地势低的地方流动，直到某个局部低洼处，形成盆地；最终所有水都会处于不同的盆地中，各盆地之间的山脊称为分水岭。自适应的多阈值图像分割算法，有很多实现算法，大多是模拟水从下而上的浸入过程。假设在每个盆地表面，刺穿一个小孔，然后把整个模型慢慢浸人水中，最后在两个盆地汇合处构筑大坝，即形成分水岭。3.Python下实现分水岭法（c）对图像进行“开运算”后再膨胀，得到确定的背景区域（d）通过与背景像素的距离矩阵阈值化寻找确定的前景区域（e）bg与fg相减,得到前景和背景的边缘区域，

定为未确定区域（f）用分水岭算法提取轮廓像素，并显示为特定颜色标识图像分割问题比较复杂，存在两个主要问题：（1）缺乏效果好、通用性强的图像分割算法；（2）因应用场景的不同，评价