计算机视觉 课件 第8章视觉语义分割

1第八章视觉目标分割§8.1背景知识§8.3深度学习方法§8.2传统分割方法§8.4弱监督分割方法§8.5新兴分割方法2§8.1背景知识一、语义分割二、实例分割三、全景分割3语义分割

4语义分割

5实例分割实例分割(InstanceSegmentation)对图像进行实例级别的理解需要将同一目标类别不同的实例区分开。对于每个像素，不仅生成一个对应目标类别的标签，还为同一类别的不同实例分配唯一的标识符度量标准：常用平均精度(AveragePrecision,

AP)作为标准评估指标。与语义分割度量标准相似，AP度量是基于每个对象实例的像素到像素基础上使用IoU，衡量了模型对不同目标实例的精确性6全景分割

7§8.2传统分割方法一、基于阈值的方法二、基于区域的方法三、基于边缘的方法四、基于聚类的方法8基于阈值的分割方法

9基于阈值的分割方法

10基于区域的分割方法区域增长法从某一种子像素开始，确定其4-邻域或8-邻域若邻域内的像素值与种子像素相似程度高于某一设定阈值，则将该像素加入同一分割区域，并将当前像素设为种子像素

重复上述步骤，直至无满足像素度条件的像素或所有像素均已分割完毕11基于区域的分割方法分裂融合法将整个图像分为4个子区域分裂：若某个子区域不是同质化的，将该区域进一步划分为4个子区域

融合：若某两个相邻子区域是同质化的，将这两个区域融合为同一个区域重复上述步骤，直至所有区域内部都是同质化的同质化判断准则：灰度、均值（局部均值与全局均值比较）、方差12基于边缘的分割方法边缘检测+漏洞填充法利用Canny算子等进行边缘检测利用形态学方法对边缘内区域进行填充13基于聚类的分割方法

14基于聚类的分割方法K-means聚类算法图像像素在Euclidean空间下的可视化输入图像图像像素的R-G-B空间分布15基于聚类的分割方法

输入图像

16基于聚类的分割方法

图像的最终分割结果

17§8.3深度学习方法一、二维图像分割二、时序视频分割三、三维点云分割18基于深度学习的二维图像分割发展历史

多尺度金字塔结构(PSPNet)20171994决策树集成的随机森林语义分割方法2017DeepLab系列空洞卷积2015U-Net编码器解码器结构FullyConnectedNetwork(FCN)2014R-CNN系列MaskR-CNN20172021Transformer自注意力机制19基于深度学习的二维图像分割全卷积神经网络(FullyConnectNetwork,FCN)主要创新：完全由卷积层构成，没有任何全连接层，可以接受任意尺寸的输入图像，并产生相应尺寸的输出图，从而实现端到端的像素级分类组成部分：卷积化的全连接层、上采样和跳跃连接，将浅层网络中的高分辨率特征与深层网络的语义信息结合，改善了分割的准确性和细节20基于深度学习的二维图像分割全卷积神经网络(FullyConnectNetwork,FCN)方法精髓：让一个已经设计好的网络可以输入任意大小的图片网络结构主要分为两个部分：全卷积部分和反卷积部分，其中全卷积部分为一些经典的CNN网络（如VGG，ResNet等），用于提取特征；反卷积部分通过上采样得到原尺寸的语义分割图像FCN的输入可以为任意尺寸的彩色图像，输出与输入尺寸相同，通道数为n（目标类别数）+1（背景）在CNN网络Flatten的时候，FCN网络将之换成了一个卷积核size为5x5，输出通道为50的卷积层，之后的全连接层都换成了1x1的卷积层1x1的卷积其实就相当于全连接操作，主要区别在于FCN将CNN中的全连接层换成了卷积操作21基于深度学习的二维图像分割U-Net编码器解码器模型主要创新：对称的编码器-解码器结构、跳跃连接应用场景：医学图像分割，能够更好地恢复图像的细节，在小数据集上表现出色22基于深度学习的二维图像分割多尺度金字塔模型(PSPNet)通过在细粒度到粗粒度层级提取特征，网络能够同时考虑图像的局部细节和更广泛的上下文信息，能够处理不同大小和形状的对象，增强模型在各种场景下的适用性和准确性23基于深度学习的二维图像分割DeepLab系列空洞卷积(AtrousConvolution)空洞卷积通过调整卷积核中的采样率，允许网络在不降低分辨率的情况下增大其感受野，使得网络能够更有效地处理具有复杂纹理和细节的图像空洞空间金字塔池化(AtrousSpatialPyramidPooling,ASPP)

通过在多个不同采样率的空洞卷积上处理输入，捕获不同尺度的上下文信息，能够更好地适应不同尺寸的对象，提高分割的准确性24基于深度学习的二维图像分割R-CNN系列分割网络(MaskR-CNN)在FasterR-CNN基础上增加了一个分支来预测分割掩码，使用RoIAlign(右下图)替代RoIPooling，更精确地对齐特征图和原图，提高分割精度RoIAlign在RoI(RegionsofInterest)区域内均匀采样4个点，通过对最近邻像素格点值进行线性插值得到RoI区域的特征，不引入量化操作25基于深度学习的二维图像分割Transformer系列分割网络整体采用UNet网络结构，在解码器引入的Transformer结构，通过自注意力机制计算ObjectQuery与解码器中间层特征的相似度，从而预测更精准的物体实例边界26基于深度学习的二维图像分割高效图像分割算法MobileNet(左图)使用将卷积分解为Channel数量为1的Depthwise卷积和卷积核为1x1的Pointwise卷积，减少了模型参数量和计算需求SqueezeSeg设计了小型网络架构，通过Fire模块(右图)有效压缩模型大小27基于深度学习的时序视频分割时序视频分割从视频数据中提取有意义的时空信息并将其转换为准确的像素级预测研究重点：考虑帧与帧之间的时间连续性，通过引入时间依赖性实现研究难点：运动模糊、光照变化、视角变化、尺度变化、遮挡问题、实时处理需求、大数据量等28基于深度学习的时序视频分割双流网络结合两个独立的CNN模型，一个处理单帧图像（空间流），另一个处理多帧的运动信息（时间流），最后再将空间留特征和时间流特征进行融合通过这种结构，网络能够同时考虑空间细节和时间动态，适用于既需要理解视频帧内部细节又需要捕捉帧间运动变化的应用场景29基于深度学习的时序视频分割

30基于深度学习的时序视频分割基于Transformer的方法Transformer通过自注意力机制处理视频序列，能够捕获长距离的依赖关系通过Transformer中的注意力机制联合处理不同帧之间的相关关系，在时序上能够实现更好的融合31基于深度学习的时序视频分割

32基于深度学习的三维点云分割

33基于深度学习的三维点云分割基于体素的点云分割方法将三维点云数据转换为规则的体素网格，利用体素化的表示来简化和标准化点云数据的处理特征提取部分，主要采用稀疏卷积进行高效计算、降低内存需求

34基于深度学习的三维点云分割基于点的点云分割方法邻域定义：K-近邻(K-Nearest-Neighbor,KNN)，球邻域(BallQuery)特征提取：使用多层感知器(Multi-LayerPerceptron,MLP)、卷积、图神经网络等深度学习技术学习点云的空间分布和特征35基于深度学习的三维点云分割基于注意力机制的点云分割方法结合了Transformer架构的强大能力和对三维点云数据的处理需求，通过利用自注意力机制允许模型在每个点的特征表示中考虑到所有其他点的影响，捕捉点云内复杂的空间关系由于点云是无序的，Transformer的位置编码用于保持空间关系的信息36基于深度学习的三维点云分割基于投影的点云分割方法将三维点云数据转换成二维图像，再利用成熟二维图像分割技术进行分割投影类型：正交投影、球面投影方法优势：计算量较小，能够实现实时运算点云分割方法缺点：信息丢失、图像畸变、反投影信息恢复能力有限

37§8.4弱监督分割方法一、半监督分割二、无监督分割38半监督分割

39半监督分割基于GAN结构的半监督分割模型通过在预测的未标记图像结果中发现可信区域，来提供额外的监督信号，从而实现了半监督学习40半监督分割

41半监督分割

42半监督分割

43无监督分割

44无监督分割无监督领域自适应(DomainAdaptation)方法模型在一个训练领域（例如标记数据丰富的领域）中训练，然后需要在一个不同但相关的测试领域中进行推理或预测。通常情况下，由于两个领域的分布差异，模型在新领域上的性能可能会下降源领域分割模型大多数遵循Encoder-Decoder范式，领域自适应的过程可以发生在分割网络中输入层、特征层(中间层)、输出层这三种不同的层次45无监督分割无监督领域自适应(DomainAdaptation)方法输入层自适应：寻找映射函数将目标图像映射到新的空间，投影样本在感知上与源图像更相似，图像分割网络可以从域不变的输入空间中获取样本进行训练特征层(中间层)自适应：通过调整源域和目标域的潜在表示分布，从而迫使特征提取器发现具有域不变性的特征，网络分类器学习在共同的潜在空间中分割源和目标表示，而无需过度依赖来自源数据的监督信息输出层自适应：为了避免高维空间的复杂性，也可以从低维标签预测输出空间上执行对抗性自适应，在保持足够的复杂性和丰富的语义线索的同时，从分割网络输出（或最后一层的每个类别的输出）得到的预测映射确定了一个低维空间。在这个空间中，适应性调整可以相当有效地进行，从而增强了模型对于不同域数据的适应性46§8.5新兴分割方法一、指代分割二、开放词汇分割三、可通用分割47指代分割

48开放词汇分割开放词汇分割(OpenVocabularySegmentation)开放词汇能力：理解和处理在训练数据中未见过的词汇和概念的能力跨模态分割通过引入语言知识，增强了对未知目标的识别和分割能力49开放词汇分割借助CLIP进行开放词汇分割CLIP模型：从数十亿尺度的图像-文本对中学习到了丰富的多模态特征，借助这些多模态先验特征，便很容易实现开放词汇语义分割

第一阶段：通过训练生成器生成一组二进制掩码，这些掩码在后续的语义分割过程中将被用于定位和标识特定词汇或语义单元。生成器的训练过程旨在使其能够有效地捕捉文本中的关键信息，并产生有助于准确分割的掩码建议第二阶段：借助预训练的CLIP模型对每个分割掩码进行开放词汇分类，即将分割掩码与相应的语义标签或类别关联起来。该步骤旨在利用CLIP的强大语义表示能力，使得生成器提出的掩码能够被准确地映射到语义空间中的特定概念或对象50开放词汇分割利用Diffusion模型实现高性能开放词汇分割

Diffusion模型的中间层注意力特征图具有高度语义表征性51开放词汇分割三维开放词汇分割

将三维空间特征与Vision-Language特征空间（例如CLIP特征空间）对齐可采用对比学习方法52可通用分割SegmentAnythingModel(SAM)

MetaAIResearch于2023年提出，仅一年时间引用量达3k+任务层面：建模通用提示分割任务，通过任意prompt都可获得合理分割模型层面：提出了SAM模型，具有提示灵活性、实时效率性、鲁棒性数据层面：提出了一个数据引擎，借助SAM高效标注超过