《计算机视觉》 课件 5、区域分割

计算机视觉主编胡永利副主编段福庆王爽参编王少帆权豆姜华杰郭岩河战略性新兴领域“十四五”高等教育系列教材机械工业出版社目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法5、区域分割目录6全卷积FCN分割网络7U-net分割网络8DeepLab系列分割网络9预训练大模型分割网络-SAM目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法目的☛将一张图像细分为符合事先定义的一组准则的多个独立区域。图像分割基于像素的特征（如颜色、亮度、纹理等）相似度的度量，将具有相似特征的像素分配到同一区域。相似性准则确保区域内部的像素在空间上是相互连接的，通常通过保持像素之间的空间邻近性实现。连续性准则确保区域形状是紧凑的，而不是碎片化的，这有助于提高分割结果的视觉质量和实用性。紧凑性准则确保每个像素只能属于一个区域，避免像素的重叠或混淆。唯一性准则图像分割

目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法阈值分割

全局阈值分割阈值分割下图展示了一个全局阈值分割的案例，图中物体彼此不接触，且它们的灰度值与背景的灰度值存在显著差异。图b是其阈值分割结果。在本案例中，小于阈值的部分被视为目标，即图中的黑色部分，而白色部分表示背景。图c和d是不同阈值下的分割结果，阈值设定分别为30和230。可以看出，阈值的选择对于分割结果至关重要，过低或过高的阈值都可能导致分割结果不理想。

(a)(b)(c)(d)阈值分割

局部阈值分割阈值分割阈值可以是事先设定的，也可以通过自动化方法从图像的像素值分布中计算得出，然而人工设定阈值极大依赖研究人员的从业经验，并且没有一个统一的阈值适用于所有图像，极大地影响了图像分割的效果。下图展示了根据灰度值自动设置全局阈值和多阈值的案例，通过计算图像的灰度分布，可以非常直观地找出适用于分割不同区域的阈值。

自动阈值分割(全局阈值)(局部阈值)

优点：计算简单，执行速度快。直观易懂，不需要复杂的数学模型。在目标与背景有明显灰度差异时效果良好。缺点：对光照和噪声敏感，容易产生错误分割。需要预先确定阈值，不同的图像可能需要不同的阈值。无法处理复杂背景或目标与背景灰度接近的情况。阈值分割总结目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法根据预定义的相似性准则，逐步将相邻像素合并为具有相似特征的区域。过程：①从一个“种子像素”开始，将图像中的相邻像素的属性（灰度或颜色）与种子像素进行比较，如果属性相似，就可以将相邻像素附加到生长区域中；②重复上述的生长过程，直到没有满足条件的像素加入区域为止。区域生长法

区域A

区域B

种子像素

种子像素思想区域生长法算法流程区域生长法按照4邻域和8邻域进行生长，结果有所不同。按照8邻域进行生长能够得到较精确的结果。原始图像：4-邻域：8-邻域：灰度差异准则计算效率很高，通常能够有效地将相似灰度的像素聚合成区域，而不易受到噪声的干扰(图b)；基于纹理特征的生长准则能够更好地识别图像中的复杂结构和纹理区域，但对没有明显纹理特征的图像表现不敏感(图c)；基于欧几里得距离的相似度准则处理图像简单且计算效率高，但有可能忽略像素间的细微差异，导致区域划分不够精细(图d)。区域生长法示例(a)(b)(c)(d)优点：简单直观，易于理解和实现。适用于具有局部明显特征的图像。不需要预先设定分割的数目，比较灵活。缺点：对参数敏感，种子点选择和生长准则设置影响分割效果。对光照和噪声敏感，可能导致分割结果不理想。可能导致过度分割或欠分割。区域生长法

总结目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法通过分裂和合并两个相邻的区域，逐步实现图像分割步骤:1）先确定一个分裂合并的准则，即区域特征一致性的测度；2）当图像中某个区域的特征不一致时就将该区域分裂成4个相等的子区域；3）当相邻的子区域满足一致性特征时，则将它们合成一个大区域；4）重复进行步骤（2）和（3）直至所有区域不能再进行分裂或者合并。分裂合并法思想分割过程类比为构建四叉树，其中每个叶子节点代表一个一致的区域。分裂和合并相当于四叉树中的删除或添加操作。在分割过程完成后，树的叶子节点数量即对应于分割后的区域数。分裂合并法思想(a)构建四叉树(b)四叉树对应的图像区域分裂合并法示例分裂合并法适用于各种类型的图像，相比于阈值分割方法(图b)，它能够在不需要过多用户干预的情况下完成分割过程，具有较高的自动化程度，相比与区域生长法(图c)，分裂合并法(图d)在一定程度上能够处理复杂的图像结构和纹理。(a)(b)(c)(d)优点：适用性广泛，能处理各种类型的图像。自动化程度高，能在少量用户干预下完成分割。能够处理较大的图像和复杂的结构。缺点：计算复杂度高，对大型或高分辨率图像要求较高。对参数敏感，需要精细的参数调整。在处理复杂图像时，可能产生过度或欠分割的问题。分裂合并法

总结目录1区域分割定义2阈值分割3区域生长法4分裂合并法5分水岭算法分水岭算法

思想分水岭的概念源于地形学，在地表地势高处形成的高地分隔了水流的路径，从而使水流从一个区域流向另一个区域。在图像处理中，我们将图像数据视作地形表面，其中梯度图像的灰度值表示了高程。分水岭算法通过模拟水在每个集水盆地的填充过程，找出分水线，完成对图像的分割。下图展示了一个简单的示例：(a)原始图像(b)水位阶段1(c)水位阶段2分水岭算法

思想随着水位逐渐上升，梯度较高的分水岭的轮廓越来越狭窄，最终会形成一条边界清晰的分水线。然而，在水位上升的过程中，两个盆地之间的水会相聚并淹没分水岭，此时需要构建后一座水坝，阻止来自该盆地的水与来自对应背景的区域的水会聚。持续这一过程，直到达到最高水位。最终的水坝对应的分水线就是最终的分割边界。(d)水位阶段3

(e)水位阶段4(c)分割结果分水岭算法

算法流程优点：能够有效处理具有不同灰度级和颜色的图像。能够识别和分割图像中的多个物体或者区域。在视觉上产生连续的分割边界。缺点：易于产生过分割，产生大量的细小区域计算复杂度高，尤其是在处理大型图像时。需要预处理步骤，如灰度变换或梯度计算，以便选择合适的分水岭标记。分水岭算法

总结目录目录6全卷积FCN分割网络7U-net分割网络8DeepLab系列分割网络9预训练大模型-SAM全卷积FCN分割网络目录简介全卷积网络（FullyConvolutionalNetworks，FCN）是JonathanLong等人于2015年提出的用于图像语义分割的一种框架。FCN与传统的用于分类的卷积神经网络（CNN）在结构上基本一致，仅在网络尾部设计上有区别。用于分类的CNN结构示意图全卷积FCN分割网络目录FCN的结构FCN的任务是图像语义分割，即对图像进行像素级别的分类。为了完成分割任务，FCN取消了CNN中最后的若干全连接层，取而代之的是全卷积层和上采样层。用于语义分割的FCN结构示意图全卷积FCN分割网络目录全卷积层全卷积层是神经网络中一种特殊的层，不会改变输入特征图的空间维度，其输出特征图的尺寸与输入特征图的尺寸相同。全卷积层通常由卷积操作和非线性激活函数构成，其中卷积层的步长（stride）被设定为1，以保证输出尺寸与输入相同。当FCN网络被用于图像语义分割任务时，全卷积层通常用于将高维的特征图映射到像素级别的预测图。全卷积FCN分割网络目录上采样层上采样层用于将小尺寸的预测图恢复到输入的原图尺寸，以便实现像素级别的预测。上采样有多种方法，例如反池化（depooling）、反卷积（deconvolution）、算法插值上采样等。非线性反池化示意图全卷积FCN分割网络目录反卷积反卷积是卷积的逆向操作，如图（b）所示，小尺寸图像的每个像素与卷积核中的每个元素逐个相乘，最后进行叠加，即可获得一张扩大后的特征图。通过改变反卷积的卷积核的大小和步长，可以控制得到的特征图尺寸。然而值得注意的是，反卷积只能恢复特征图的尺寸，并不能很好地恢复原图的像素值。（a）正向卷积（b）反卷积全卷积FCN分割网络目录FCN的不足之处1.得到的结果不够精细，上采样的结果比较模糊和平滑，缺乏很多细节。2.在编码器进行池化操作时，尺寸减小和信息丢失是不可避免的，这可能导致模型在解码器部分难以准确地恢复细节信息，尤其是对于边界和小目标的分割。尽管FCN作为一种早期的神经网络存在一些缺陷，但随着研究的不断深入和技术的发展，许多改进的方法已经提出来解决这些问题，比如引入注意力机制、结合全局上下文信息等。因此，FCN作为一种基础的图像分割网络结构，仍然具有很大的研究和应用价值。总结：目录目录6全卷积FCN分割网络7U-net分割网络8DeepLab系列分割网络9预训练大模型-SAMU-net分割网络目录U-net简介U-net是一种经典的卷积神经网络架构，首次出现在2015年用于生物医学图像分割的研究中。其结构优化了特征传输和使用效率，使其在小样本数据集上表现卓越，特别适合于医学图像处理。U-net的名字来源于其网络结构的形状类似U字母，这也是它最大的特点。同时U-net引入跳跃连接（skipconnections）和上采样层，使得网络可以同时进行局部特征提取和全局信息融合，从而在图像分割任务中表现出色。U-net分割网络目录U-net的结构U-net主要有四个模块构成：编码器（Encoder）、解码器（Decoder）、跳跃连接（SkipConnections）、最后一层卷积层。U-net结构示意图U-net分割网络目录跳跃连接U-net中的跳跃连接是指将编码器中的特征图与解码器中相对应的特征图进行连接。这样可以使得解码器可以直接访问更底层的特征信息，有助于提高分割精度和防止信息丢失。与FCN的像素值直接相加不同，U-net采用双方的特征图在通道上进行拼接的做法，以此保留更厚的特征图。FCN与U-net特征融合示意图U-net分割网络目录U-net在医学上的应用在医学领域，U-net的应用尤为广泛，例如在组织学图像、放射图像和病理图像中进行精确的分割。这对于自动化病变检测和生物标记物的定量分析具有重要意义。例如，U-net已成功应用于肿瘤识别、器官定量、细胞计数和形态学分析等任务。U-net对细胞样本的分割案例U-net分割网络目录总结U-net吸取了FCN网络进行先编码，后解码的思想，是一种相当成功的语义分割架构，也产生了许多对U-net进行改进和创新的方法。此外，其他领域也有许多采用U型结构的模型，例如扩散模型，这证明U-net本身的网络架构有其独特的优越性。在医学上，U-net的适应性和高效性使其能够在少量标注数据的情况下进行训练，这在医学图像处理中尤为重要，因为获取大量高质量标注数据通常既昂贵又耗时。U-net结构的这一优势，配合其出色的分割性能，使其成为医学图像分析中不可或缺的工具。目录6全卷积FCN分割网络7U-net分割网络8DeepLab系列分割网络9预训练大模型分割网络-SAMDeepLab系列分割网络DeepLab-V1分割网络DeepLab-V1模型基于全卷积网络架构，从深度神经网络输出图像的粗略得分图。全连接条件随机场用于改善分割结果，得到最终输出分割图。DeepLab-V1模型流程DeepLab系列分割网络空洞卷积DeepLab-V1通过修改VGG16的池化层，改变了感受野大小。为保持感受野尺寸，该模型使用空洞卷积，通过在卷积核元素间插入空隙来扩大卷积的覆盖面积。空洞卷积解决了修改池化层步长后可能导致的感受野缩小问题，使得DeepLabv1能够生成更精细的高分辨率特征图，同时保持高效的训练和增强特征表征能力。(a)在低分辨率输入特征图上用标准卷积提取稀疏特征(b)在高分辨率输入特征图上用空洞率r=2的空洞卷积提取密集特征DeepLab系列分割网络DeepLab-V1通过将深度卷积神经网络（DCNNs）与全连接条件随机场（FCCRFs）级联起来，结合了DCNNs的目标识别能力和FCCRFs的细粒度定位精度，从而提高了图像中目标轮廓的描绘准确性。DeepLab-V1优点：处理速度的提升，空洞卷积操作使网络处理速度达到8fps，FCCRF的预测时间为0.5秒；准确率的提升，在PASCALVOC2012数据集上，语义分割的平均交并比（mIoU）达到71.6%；模型结构的简化，通过设计全连接条件随机场，实现了DCNNs与条件随机场的级联结构。总结DeepLab系列分割网络DeepLab-V2分割网络DeepLab-V2在DeepLab-V1的基础上引入了多尺度结构，采用了空间金字塔池化（spatialpyramidpooling，SPP）的思想。通过应用不同空洞率的空洞卷积对输入图像进行采样，DeepLab-V2能够捕获多尺度的图像特征信息。这种结构称为ASPP（AtrousSpatialPyramidPooling）。ASPP模型结构DeepLab系列分割网络DeepLab-V2引入了多尺度结构，采用不同空洞率的空洞卷积进行采样，以实现对图像特征信息的多尺度捕捉，显著提高了语义分割的准确性。DeepLab-V2优点：引入ASPP结构以解决多尺度问题，通过结合空间金字塔池化来增强多尺度特征的提取；将基础网络从VGG16替换为ResNet-101，以保持位置数据的完整性；在PASCALVOC2012数据集上提高了语义分割的准确性，平均交并比（mIoU）达到79.7%。总结DeepLab系列分割网络DeepLab-V3分割网络DeepLab-V3网络分为级联结构以及并行结构。网络的多处卷积层均替换为空洞卷积层，在保持输入特征图尺寸的同时扩大了感受野。(a)未使用空洞卷积的级联结构(b)使用空洞卷积的级联结构DeepLab系列分割网络DeepLab-V3分割网络DeepLab-V3网络的并行结构。其改进的ASPP结构用1x1卷积替代高空洞率的3x3卷积，并且加入图像池化层，增强全局上下文信息的捕捉。DeepLab-V3网络的并行结构DeepLab系列分割网络DeepLab-V3通过空洞卷积获取与输入尺寸一致的特征，并调整ASPP结构以构建端到端的分割网络，有效捕捉多尺度语义信息，提高了模型的效率和分割性能。DeepLab-V3优点：将ASPP中的高空洞率卷积替换为1×1卷积，以减轻图像边界效应引起的信息丢失；移除了条件随机场（CRF），简化了网络结构。提高了语义分割的准确性，在PASCALVOC2012数据集上平均交并比（mIoU）达到85.7%。总结DeepLab系列分割网络DeepLab-V3+分割网络DeepLab-V3+网络采用编码-解码器架构，以DeepLab-V3作为编码器，其后串联了解码器。编码器输出DCNN的浅层特征图和ASPP融合后的特征图作为解码器的输入。解码器首先对浅层特征图进行卷积，然后与上采样的ASPP特征图融合，并通过卷积和上采样操作逐步恢复特征信息到原始图像大小，实现端到端的语义分割。DeepLab-V3+对其运用的主干网络Xception进行了改进，用深度可分离卷积层替换所有卷积和池化层，在保持一定的模型性能的同时，减少了计算量和参数量，提升计算速度和内存效率，并且能更好地缓解梯度消失问题。DeepLab系列分割网络空间金字塔模块通过不同空洞率的滤波器或池化操作采样输入特征，编码多尺度上下文信息。编解码器结构通过逐步恢复空间信息来捕捉清晰的对象边界。DeepLab-V3+结合这两种方法的优势，引入了一个简单有效的解码器模块来扩展DeepLab-V3+，从而提高了分割结果的精细度。DeepLab-V3+优点：采用编码-解码器架构，以DeepLab-V3作为编码器；将基础网络从ResNet101替换为改进的Xception网络；进一步提高了语义分割的准确性，在PASCALVO