基于深度学习的全景分割研究综述

基于深度学习的全景分割研究综述全景分割作为计算机视觉领域的基础任务之一，旨在同时实现语义分割与实例分割的目标：对图像中所有语义类别进行逐像素分类，同时区分出每个目标实例的边界。不同于传统语义分割仅关注类别属性、实例分割仅关注可数目标的特性，全景分割需要同时处理“事物类”（如行人、车辆、动物等可数实例）与“stuff类”（如天空、道路、草地等无明确边界的区域），其输出结果兼具语义一致性与实例区分度，是自动驾驶、智能医疗、虚拟现实等场景下环境感知的核心技术支撑。自2018年全景分割任务被正式提出以来，深度学习技术的快速迭代推动该领域从早期的多分支并联结构逐步向端到端统一建模方向演进，在精度、效率与泛化能力上实现了多次突破。一、全景分割任务的核心挑战与评价体系全景分割的天然特性决定了其面临三重核心挑战：首先是任务耦合冲突，语义分割强调区域的类别一致性，通常会平滑局部细节，而实例分割需要精准区分不同实例的边界，二者的优化目标存在固有矛盾，如何平衡两类任务的损失函数、避免梯度反向传播时的相互干扰是架构设计的首要难点。其次是细粒度语义对齐问题，stuff类区域通常占据图像大部分面积但纹理特征相似，事物类目标尺度差异大、遮挡情况复杂，同一像素点可能同时被语义分支与实例分支预测为不同结果，如何实现两类预测结果的无冲突融合是提升精度的关键。最后是效率与精度的权衡，早期方法通常采用独立的语义与实例分割模型串联，推理速度难以满足实时场景需求，如何在保证分割精度的前提下压缩模型参数量、提升推理速度是落地应用的核心需求。当前主流的全景分割评价指标主要为全景质量（PanopticQuality,PQ），该指标同时兼顾分割精度与识别准确率，计算公式为PQ=SQ×RQ，其中SQ（SegmentationQuality）衡量预测掩码与真实掩码的交并比，反映分割的像素级精度；RQ（RecognitionQuality）衡量实例识别的F1分数，反映类别预测的准确性。为进一步区分不同类别特性，通常会将PQ拆分为事物类PQ_th与stuff类PQ_st分别统计。此外，针对实时场景，推理速度（FPS）、模型参数量（Params）、浮点运算量（FLOPs）也是重要的评价维度。二、基于深度学习的全景分割典型技术路线按照建模方式的差异，现有全景分割方法可分为三大类：多分支并行方法、级联式方法与统一Transformer建模方法。（一）多分支并行方法多分支并行方法是全景分割早期的主流架构，其核心思想是在同一个骨干网络上延伸出语义分割与实例分割两个独立分支，分别完成两类任务的预测，最后通过融合模块将两个分支的结果整合为全景分割输出。这类方法的典型代表是FacebookAIResearch提出的PanopticFPN，该方法在MaskR-CNN的基础上增加了语义分割分支，两个分支共享ResNet-FPN骨干网络的特征，语义分支通过自底向上的特征融合获得高分辨率语义预测图，实例分支输出每个目标的检测框与掩码，最后使用启发式融合策略处理两类结果的冲突：对于实例分支预测的目标区域，优先采用实例的类别与掩码；对于未被实例覆盖的区域，采用语义分支的预测结果。多分支并行方法的优势在于可以直接复用成熟的语义分割与实例分割模型，开发成本低，在早期数据集上快速取得了较高的精度。但其固有缺陷也十分明显：两个分支独立优化，缺乏任务间的信息交互，容易出现预测冲突；融合阶段依赖人工设计的启发式规则，无法处理重叠区域的复杂情况，尤其是当实例边界与stuff类区域重叠时，容易出现像素分配错误。后续针对这一问题，研究人员提出了多种改进方案：例如UPSNet引入了一个统一的全景分割头，在特征层面增加了两个分支的信息交互，同时设计了可学习的类别优先级矩阵替代启发式融合规则，显著降低了冲突区域的错误率；DETReg则在分支中加入了区域注意力机制，让语义分支能够感知实例的位置信息，实例分支能够利用全局语义上下文，进一步提升了两类任务的协同性。（二）级联式方法级联式方法的核心思路是先完成其中一类任务，再基于该任务的输出辅助另一类任务的预测，通过任务间的先后依赖关系减少预测冲突。根据任务顺序的不同，可分为“实例分割优先”与“语义分割优先”两类。实例分割优先的典型代表是MaskLab，该方法首先通过实例分割模型检测出所有事物类目标并生成掩码，然后将实例掩码作为先验信息输入语义分割分支，语义分支在预测时会避开已被实例覆盖的区域，重点完成stuff类的分割。这类方法的优势是事物类目标的分割精度较高，适合实例密集的场景，但当实例分割出现漏检时，容易导致对应区域的语义预测错误。语义分割优先的方法则相反，首先通过语义分割模型获得全局类别预测，然后在事物类对应的区域内进行实例区分，代表性工作如SemanticInstanceSegmentationwithaDiscriminativeLossFunction，该方法先预测每个像素的语义类别，再对属于同一事物类的像素使用判别式损失函数进行聚类，区分不同的实例。这类方法的优势是语义一致性更好，stuff类分割精度更高，但在小目标实例区分上表现较差。为进一步提升级联方法的性能，后续研究引入了迭代优化思想，例如PanopticSegmentationwithIterativeFeatureRefinement提出了三级级联架构：第一级生成粗略的语义与实例预测，第二级利用第一级的结果对特征图进行校正，第三级基于校正后的特征重新预测，通过多轮迭代逐步消除两类任务的冲突。这类方法在精度上优于并行架构，但推理步骤多、速度慢，难以满足实时需求。（三）统一Transformer建模方法随着VisionTransformer（ViT）技术的成熟，全景分割逐渐向端到端统一建模方向发展，其核心思想是使用一组可学习的查询向量（Query）同时表示事物类实例与stuff类区域，通过注意力机制实现全局上下文建模，无需额外的分支设计与后处理融合步骤。这类方法的开创性工作是MetaAI提出的MaskFormer，该方法首次将全景分割统一为掩码分类任务：将每个语义类别与每个实例都视为一个“类别-掩码”对，通过Transformer编码器提取图像全局特征，解码器生成N个查询向量，每个查询向量对应一个掩码预测与一个类别预测，最终直接输出所有区域的掩码与类别，无需区分事物类与stuff类，也不需要额外的融合步骤。MaskFormer的出现彻底打破了语义分割与实例分割的架构壁垒，在COCO、ADE20K等多个数据集上取得了当时的SOTA性能。后续的Mask2Former对MaskFormer进行了全面优化：引入了多尺度注意力机制提升小目标检测能力，改进了掩码预测头的结构降低计算量，同时提出了更高效的正负样本匹配策略，进一步提升了精度与推理速度，成为当前全景分割任务的主流基线模型。统一Transformer建模方法的优势十分明显：端到端的架构避免了人工设计融合规则带来的误差，全局注意力机制能够更好地建模长距离上下文依赖，对遮挡目标、小目标的分割精度显著提升。同时，这类方法具有很强的泛化能力，同一架构无需修改即可适配语义分割、实例分割、全景分割等多个任务，大幅降低了多任务部署的成本。当然，这类方法也存在一定的局限性：Transformer模型通常参数量大、训练数据要求高，在小数据集上容易过拟合，且推理速度相比轻量级卷积架构仍有差距，需要进一步的轻量化优化。三、全景分割的前沿研究方向近年来，随着应用场景的不断拓展，全景分割研究逐渐向多模态融合、小样本学习、实时轻量化、开放集泛化等方向延伸。（一）多模态全景分割传统全景分割仅依赖RGB图像输入，在光照变化、遮挡、弱光等场景下性能下降明显，因此融合激光雷达点云、深度图像、红外图像等多模态数据成为重要研究方向。例如在自动驾驶场景中，激光雷达点云能够提供精确的三维几何信息，弥补RGB图像缺乏深度信息的缺陷，基于RGB-点云融合的全景分割方法能够更好地区分相邻目标，提升远距离小目标的分割精度。目前多模态融合的核心难点是如何实现不同模态特征的有效对齐：点云数据是稀疏的非结构化数据，RGB图像是密集的二维网格数据，二者的空间对应关系容易受标定误差影响。最新的研究如BEVPanoptic提出了鸟瞰视角（BEV）下的多模态特征融合方法，将图像特征与点云特征都投影到统一的BEV空间中进行编码，有效解决了视角差异带来的对齐问题，在nuScenes自动驾驶数据集上实现了72.3%的PQ值。（二）小样本与零样本全景分割现有全景分割模型通常需要大量标注数据进行训练，而现实场景中很多类别难以获得足够的标注样本，因此小样本与零样本全景分割成为研究热点。小样本全景分割旨在仅通过少量标注样本（通常1-10个）学习到新类别的分割能力，核心思路是利用基类训练得到的特征提取能力，通过度量学习、元学习等方法快速适配新类别。例如Few-ShotPanopticSegmentation提出了类别无关的掩码生成器，首先在基类上学习通用的目标掩码预测能力，面对新类别时仅需要提供少量样本的类别特征嵌入，即可实现新类别的全景分割。零样本全景分割则更进一步，不需要任何新类别的标注样本，仅通过类别文本描述即可实现分割，这类方法通常结合多模态预训练模型（如CLIP），将图像特征与文本特征映射到同一嵌入空间，通过文本嵌入指导模型识别未见过的类别。（三）实时轻量化全景分割针对移动端、边缘端设备的部署需求，轻量化全景分割研究近年来快速发展。这类研究主要从三个维度优化：一是骨干网络轻量化，采用MobileNet、ShuffleNet等轻量级卷积架构，或者通过知识蒸馏、结构化剪枝等方法压缩Transformer模型的参数量，例如Lite-Mask2Former通过深度可分离卷积替换标准卷积，同时对注意力机制进行稀疏化处理，将模型参数量压缩到原来的1/5，在单张RTX3090显卡上推理速度达到45FPS，同时保持了48.2%的PQ值；二是推理流程优化，取消复杂的多尺度测试、后处理步骤，采用单尺度输入直接输出结果，进一步降低推理延迟；三是硬件感知的模型设计，针对特定边缘芯片的计算特性优化算子结构，实现模型与硬件的协同设计。目前实时全景分割已经能够在车载嵌入式芯片上实现30FPS以上的推理速度，基本满足自动驾驶的实时性需求。（四）视频全景分割不同于静态图像全景分割，视频全景分割需要同时保证时序上的一致性，即同一实例在不同帧中的ID保持不变，因此也被称为全景分割跟踪。视频全景分割的核心难点是如何利用时序信息提升分割精度，同时实现跨帧的实例关联。早期方法通常采用“检测-跟踪”的pipeline，先对每帧进行图像全景分割，再通过特征匹配实现跨帧实例ID关联，但这类方法容易出现ID切换问题。最新的研究如VideoMask2Former将时序建模融入Transformer架构中，在解码器中加入跨帧注意力机制，让查询向量能够利用历史帧的特征信息，同时实现掩码预测与实例ID跟踪，在YouTube-VIS数据集上实现了59.1%的视频全景质量（VPQ），同时大幅降低了ID切换率。四、全景分割的典型应用场景全景分割技术的成熟推动其在多个产业领域实现落地，其中最具代表性的应用场景包括自动驾驶、智能医疗、遥感影像分析与虚拟现实。在自动驾驶领域，全景分割是环境感知的核心模块，能够同时识别道路、交通标志、行人、车辆等所有交通参与者与场景元素，为路径规划、决策判断提供精确的环境信息。当前主流的自动驾驶方案中，全景分割模型通常部署在车载计算平台上，融合摄像头、激光雷达等多传感器数据，实时输出360度视野内的全景分割结果，其分割精度直接决定了自动驾驶系统的安全性。例如特斯拉的FSD系统中，全景分割模块能够识别超过100种语义类别，对行人的检测距离达到200米以上，分割精度超过95%。在智能医疗领域，全景分割能够辅助医生进行医学影像分析：在病理切片分析中，全景分割可以同时区分不同类型的细胞、组织区域，帮助医生判断肿瘤的边界与恶性程度；在CT、MRI影像分析中，全景分割能够自动分割出器官、病灶等区域，大幅提升诊断效率。例如针对肺部CT影像的全景分割模型，能够同时分割出肺实质、气管、血管、结节等多个结构，对肺结节的检测敏感度达到92%，远高于人工阅片的平均水平。在遥感影像分析领域，全景分割能够实现大尺度地表覆盖的自动分类，同时区分农田、森林、建筑、道路等不同地物类型，并统计各类地物的面积与分布情况，为国土资源调查、灾害监测、城市规划提供数据支撑。针对高分辨率遥感影像的全景分割模型，能够识别出直径小于1米的小型地物，整体分类精度超过90%，相比传统人工目视解译效率提升数十倍。在虚拟现实领域，全景分割能够实现真实场景的三维重建与语义理解，将现实世