基于深度学习的实例分割研究综述

基于深度学习的实例分割研究综述实例分割作为计算机视觉领域的核心任务之一，旨在同时实现目标检测与语义分割的双重目标：既要识别图像中每个目标实例的类别，又要精确预测每个实例的像素级掩码。相较于仅输出类别标签的语义分割，实例分割需要区分同类别下的不同个体，因此任务复杂度显著提升，广泛应用于自动驾驶、医疗影像分析、机器人感知、视频监控等多个场景。2014年以来，深度学习技术的快速突破为实例分割领域带来了革命性进展，从早期基于候选框的两阶段方法，到近期端到端的无锚框、Transformer架构，相关研究呈现出多路径并行发展的特征。一、实例分割的基础任务与挑战实例分割的核心目标可以形式化定义为：给定一张输入图像(I\in\mathbb{R}^{H\timesW\times3})，输出集合({(c_i,m_i,b_i)|i=1,2,...,N})，其中(N)为图像中目标实例的总数，(c_i)是第(i)个实例的类别标签，(m_i\in{0,1}^{H\timesW})是对应实例的二值掩码，(b_i\in\mathbb{R}^4)是实例的边界框坐标。相较于其他视觉任务，实例分割面临三类独特挑战：类内差异与类间混淆：同一类别的不同实例可能存在姿态、尺度、遮挡程度的巨大差异，而相似类别（如猫与豹、不同类型的车辆）的局部视觉特征高度重合，需要模型同时具备细粒度特征区分能力和全局上下文感知能力。实例粒度的一致性约束：模型需要保证每个预测掩码仅属于单个实例，避免不同实例的掩码重叠，同时需要处理实例间的遮挡关系，尤其是在密集场景（如人群、堆叠的货物）中，实例边界的准确分割难度显著提升。效率与精度的平衡：高分辨率图像的像素级预测需要大量计算资源，如何在保证掩码精度的前提下降低推理延迟，是实例分割技术落地工业场景的核心瓶颈。早期传统实例分割方法主要依赖手工特征（如SIFT、HOG）与图割、条件随机场等概率模型，仅能在简单背景、单类别目标的场景下取得有限效果，且鲁棒性极差。2014年R-CNN系列目标检测算法的出现，为深度学习时代的实例分割奠定了技术基础，研究人员开始尝试将检测与分割任务结合，形成了两阶段实例分割的技术路径。二、两阶段实例分割方法的演进两阶段实例分割方法遵循“先检测、后分割”的核心逻辑，第一阶段生成候选目标框，第二阶段对每个候选框内的区域进行像素级分割，这类方法的精度优势显著，长期占据实例分割领域的主流地位。2.1基于感兴趣区域的分割范式2017年提出的MaskR-CNN是两阶段实例分割的里程碑工作，其在FasterR-CNN的基础上新增了一个与目标检测分支并行的掩码预测分支，同时将原来的RoIPooling改进为RoIAlign，解决了量化误差导致的掩码边界不匹配问题。具体来说，MaskR-CNN的结构包含三个核心部分：backbone网络：采用ResNet+FPN结构提取多尺度特征图，兼顾不同大小实例的特征表达能力；区域提议网络（RPN）：生成可能包含目标的候选框，并对候选框进行初步的类别分类与位置回归；预测头：对每个候选框对应的RoIAlign特征，分别输出类别预测、边界框回归结果以及(K\timesm^2)维度的掩码预测（(K)为类别数，每个类别对应一个掩码，避免类别间竞争）。在COCO数据集上，MaskR-CNN取得了37.1%的掩码AP，远超同时期的其他方法，证明了两阶段架构在实例分割任务上的有效性。后续大量工作围绕MaskR-CNN的不足展开优化。针对小目标分割精度低的问题，MaskScoringR-CNN增加了一个掩码质量评估分支，对预测掩码的IoU进行回归，在NMS阶段同时考虑检测置信度与掩码质量，有效降低了高检测置信度但低质量掩码的误检，将掩码AP提升至39.6%。针对遮挡场景下的实例混淆问题，Occlusion-AwareMaskR-CNN引入了遮挡关系建模模块，通过预测实例间的遮挡顺序，对重叠区域的掩码进行优先级排序，减少了不同实例掩码的重叠错误。针对高分辨率掩码预测需求，PointRend提出了一种基于点采样的分割方法，将分割任务拆分为粗粒度掩码预测与细粒度边界点优化两个步骤，在仅增加少量计算量的前提下，显著提升了掩码的边界精度。2.2基于掩码嵌入的聚类范式另一类两阶段方法尝试将实例分割转化为逐像素的嵌入向量学习问题，通过让同一实例的像素嵌入向量距离更近、不同实例的嵌入向量距离更远，实现实例的区分。这类方法首先由语义分割得到每个像素的类别标签，再通过嵌入向量的聚类区分同类别下的不同实例。2017年提出的DiscriminativeLoss是这类方法的代表，其设计了包含拉近距离项、推远距离项和正则项的损失函数，约束像素嵌入的分布，在Cityscapes数据集上取得了不错的实例分割效果。这类方法的优势在于不需要依赖边界框的预测，对于不规则形状、极度重叠的实例有更好的适应性，但缺点也十分明显：聚类过程通常是后处理步骤，无法端到端训练，且在实例数量较多的密集场景下，聚类的错误率会显著上升。后续研究通过将聚类过程融入网络训练、引入可学习的聚类中心等方式优化这类方法，典型代表如2019年提出的SSAP，其通过级联的语义分割与亲和力预测，直接在特征图上完成实例的聚类，实现了端到端训练，在COCO数据集上的掩码AP达到了36.4%，接近MaskR-CNN的精度水平。三、单阶段实例分割方法的突破单阶段实例分割方法摒弃了两阶段方法中的候选框生成步骤，直接通过特征图预测得到实例的掩码与类别，核心优势是推理速度快，更适合实时性要求高的落地场景，近年来其精度也逐渐追平甚至超越了两阶段方法。3.1基于锚框的单阶段方法基于锚框的单阶段实例分割方法借鉴了YOLO、RetinaNet等单阶段目标检测的思路，在预设锚框的基础上直接预测掩码。2019年提出的YOLACT是这类方法的开山之作，其核心思路是将实例分割拆分为两个并行分支：一个分支生成一组原型掩码（prototypemask），另一个分支预测每个锚框对应的掩码系数，最终通过线性组合原型掩码与系数得到每个实例的最终掩码。YOLACT在COCO数据集上实现了29.8%的掩码AP，推理速度达到33FPS，首次实现了实时实例分割。后续的YOLACT++进一步优化了原型掩码的生成方式与损失函数，将精度提升至34.1%，速度保持在30FPS以上，满足了自动驾驶等实时场景的基本需求。针对单阶段方法中正负样本不平衡的问题，2020年提出的SOLO借鉴了FCOS的无锚框检测思路，将输入图像划分为(S\timesS)的网格，每个网格负责预测中心落在该网格内的实例的类别与掩码。SOLO的掩码预测采用两种方式：一种是直接预测每个网格对应的(H\timesW)大小的掩码，另一种是预测掩码的坐标编码，降低预测维度。SOLO在COCO数据集上的掩码AP达到了37.8%，与MaskR-CNN相当，推理速度达到27FPS，实现了精度与速度的良好平衡。后续的SOLOv2进一步提出了动态掩码头，根据实例的大小自适应调整掩码的预测分辨率，同时引入了MatrixNMS减少后处理的时间开销，将精度提升至39.7%，速度提升至31.3FPS。3.2基于查询的端到端方法2020年DETR目标检测算法的出现，推动了基于Transformer的端到端实例分割方法的发展。这类方法通过可学习的目标查询（objectquery）直接与图像特征进行交互，一次性输出所有实例的类别与掩码，无需锚框预设，也不需要NMS等后处理步骤，实现了真正的端到端训练。MaskFormer是这类方法的代表，其将语义分割、实例分割、全景分割统一为掩码分类任务，核心结构包括三部分：backbone提取图像特征，像素解码器将特征上采样至原始分辨率得到逐像素嵌入，Transformer解码器通过目标查询预测每个实例的类别和掩码嵌入，最终通过逐像素嵌入与掩码嵌入的点积得到每个实例的掩码。MaskFormer在COCO数据集上的掩码AP达到了45.2%，显著超越了之前的两阶段与单阶段方法，证明了统一架构在分割任务上的巨大潜力。后续的Mask2Former进一步优化了Transformer解码器的设计，引入了多尺度注意力与掩码注意力机制，将掩码AP提升至50.1%，同时在多个分割数据集上取得了SOTA结果。另一类基于Transformer的方法采用基于点的查询方式，2021年提出的PointInst直接通过点查询预测实例的中心、偏移量与掩码，避免了高分辨率掩码预测的计算开销，在COCO数据集上实现了38.6%的掩码AP，推理速度达到40FPS，兼顾了精度与实时性。2022年提出的MaskDINO将DETR的检测能力与Mask2Former的分割能力结合，进一步提升了端到端实例分割的精度，在COCOtest-dev集上的掩码AP达到了54.5%，是目前公开的最高精度之一。四、实例分割的前沿研究方向随着基础架构的逐渐成熟，当前实例分割的研究开始向场景化、高效化、多模态融合等方向延伸，涌现出大量面向特定需求的创新工作。4.1小样本与零样本实例分割传统实例分割方法依赖大量标注数据，而新类别的标注成本极高，因此小样本与零样本实例分割成为研究热点。小样本实例分割旨在仅提供少量（如1-shot、5-shot）新类别的标注样本，让模型具备分割新类别的能力。典型方法如FSIS，其通过元学习的方式训练模型学习类别无关的掩码生成能力，在推理阶段通过支持集样本的特征与查询图像特征匹配，实现新类别的实例分割。零样本实例分割则进一步不需要新类别的标注样本，仅通过类别名称的文本嵌入实现跨模态迁移，2023年提出的ZeroSeg将CLIP的文本-图像对齐能力引入实例分割，通过掩码特征与文本嵌入的匹配实现零样本类别泛化，在COCO未见过的类别上取得了20%以上的掩码AP。4.2视频实例分割视频实例分割需要同时处理时空维度的信息，不仅要预测单帧图像中的实例掩码，还要跟踪不同帧之间的同一实例，任务复杂度更高。2019年提出的MaskTrackR-CNN是早期视频实例分割的代表，其在MaskR-CNN的基础上增加了跟踪分支，通过实例特征的相似度匹配实现跨帧关联。近年来基于Transformer的方法逐渐成为主流，2021年提出的VisTR将视频序列作为输入，通过3D时空注意力建模实例的时序一致性，直接输出整个视频的实例序列，在YouTube-VIS数据集上取得了44.5%的AP。后续的Mask2Former-VIS进一步优化了时序特征融合方式，将精度提升至56.3%，同时支持在线推理，满足了视频监控等场景的实时需求。4.3高效实例分割面向移动设备与边缘计算场景的高效实例分割研究也在快速推进。2022年提出的MobileInst采用轻量化的MobileNet作为backbone，同时优化了掩码预测的维度，在仅1.8M参数的情况下，在COCO数据集上取得了27.6%的掩码AP，推理速度在手机端达到25FPS。2023年提出的EdgeSAM将知识蒸馏技术引入实例分割，通过大模型监督小模型训练，在仅6M参数的情况下，掩码AP达到34.2%，满足了边缘设备的部署需求。五、实例分割的应用与落地挑战实例分割技术已经在多个工业场景实现落地：在自动驾驶领域，实例分割用于识别道路上的车辆、行人、交通标志等目标的精确轮廓，为路径规划与避障决策提供像素级信息，目前量产车型中的环视感知系统已经普遍集成了实例分割能力；在医疗影像领域，实例分割用于分割CT、MRI图像中的肿瘤、器官等结构，辅助医生进行病灶测量与诊断，在肺癌筛查、神经外科手术规划等场景中已经进入临床验证阶段；在工业质检领域，实例分割用于检测产品表面的划痕、变形等缺陷，同时区分不同类型的缺陷，检测精度已