基于深度学习的3D点云实例分割研究综述

基于深度学习的3D点云实例分割研究综述一、3D点云实例分割的问题定义与核心挑战3D点云实例分割的核心目标是对输入的无序3D点云数据进行逐点类别标注的同时，区分同类别下的不同个体实例，其输出需同时包含每个点的语义类别标签与实例唯一标识。与2D图像实例分割相比，点云数据的固有特性为任务带来了多重独特挑战：首先是数据结构的无序性，点云以离散坐标集合的形式存储，不存在类似图像的栅格拓扑结构，传统卷积网络无法直接适配，需要设计具有排列不变性的特征提取算子；其次是密度分布的不均匀性，受传感器扫描视角、物体表面反射率及距离影响，同一场景内不同区域的点云密度差异可达数十倍，易导致远处或边缘物体的特征提取失效；再者是信息维度的稀疏性，多数点云仅包含三维坐标与少量反射强度信息，缺乏图像中丰富的纹理、颜色特征，小目标或细粒度实例的区分难度显著提升；最后是场景的尺度多样性，室内场景中厘米级的桌面摆件与室外自动驾驶场景中数十米长的公交车共存，模型需要具备极强的多尺度特征建模能力。从任务评价维度看，3D点云实例分割通常采用平均精度（AP）作为核心指标，同时辅以实例召回率、逐点分类准确率等辅助指标。不同应用场景对指标的侧重存在明显差异：自动驾驶场景更关注车辆、行人等动态目标的高召回率，对小目标的漏检容忍度极低；工业零件检测场景则要求实例边界的分割精度达到亚毫米级，避免因边界误差导致后续装配失败；室内机器人导航场景更看重整体实例的轮廓完整性，允许一定程度的内部点标注误差。这种场景需求的差异性也推动了模型设计的多元化发展。二、基于深度学习的点云实例分割主流技术路线（一）基于检测的实例分割范式基于检测的范式遵循“先检测后分割”的技术路径，是早期3D实例分割的主流方案。该类方法首先通过3D目标检测器定位场景中所有实例的三维boundingbox，再对每个box内的点云进行前景/背景二分类，实现实例掩码的提取。代表性方法包括2017年提出的3D-SIS，该方法首次将2DMaskR-CNN的思路扩展到3D领域，采用体素化的3D卷积网络生成候选框，再通过ROI池化提取box内特征实现分割。针对体素化带来的内存开销问题，后续出现的PointRCNN开创性地直接在原始点云上进行候选框生成：第一阶段利用PointNet++骨干网络提取逐点特征，生成所有可能包含实例的前景点候选；第二阶段对每个候选框进行坐标归一化后，再次提取局部细粒度特征，同时优化框的位置与分割掩码。这类方法的优势在于实例边界清晰，不会出现不同实例的掩码粘连问题，且检测与分割任务可以互相促进，在高密度、大目标占主导的室外自动驾驶场景中表现优异；其缺点是对小目标的检测精度较低，当多个实例紧密排列时，boundingbox的重叠会导致分割精度下降，且固定尺寸的框难以适配形状极不规则的实例。2023年提出的DenseBox3D进一步优化了检测范式的性能，通过引入动态框调整机制，允许网络在分割阶段根据点云分布自动修正初始检测框的边界，同时采用级联分割头对低置信度实例进行二次验证，在ScanNet数据集上将小目标实例的AP值提升了8.7个百分点。（二）基于分组的实例分割范式基于分组的范式抛弃了显式的boundingbox检测步骤，直接通过逐点特征的相似性将属于同一实例的点聚类到同一组中，实现“先分组后识别”的处理流程。该类方法通常分为两个核心步骤：首先是逐点嵌入特征学习，网络为每个点输出一个高维特征向量，使得同一实例内的点特征距离尽可能近，不同实例的点特征距离尽可能远；其次是聚类后处理，通过MeanShift、DBSCAN等聚类算法对特征空间中的点进行分组，最终为每个分组分配类别标签。2019年提出的SGPN是该范式的开创性工作，首次提出相似度矩阵的概念，通过预测任意两点属于同一实例的概率构建相似度矩阵，再利用矩阵分解实现点云分组。为了降低相似度矩阵的计算复杂度，2020年提出的ASIS采用双分支结构，语义分支预测逐点类别，实例分支预测逐点嵌入特征，同时引入语义一致性损失约束，确保同一语义类别的点在特征空间中更易聚集，有效减少了跨类别实例的错误分组。2022年提出的Group-Free则进一步消除了对预定义聚类中心的依赖，通过Transformer的自注意力机制自动学习实例的核心点，直接以核心点为种子进行特征聚合，在不需要任何手工聚类超参数的情况下实现了端到端的分组过程。基于分组的范式在处理形状不规则、排列紧密的实例时表现出明显优势，尤其适合室内场景中餐具、文具等小且密集的目标分割，但其缺点是易出现过分割或欠分割问题：当实例特征区分度较低时，同一实例可能被拆分为多个组，或多个相似实例被合并为同一组，且聚类后处理的时间开销随点云数量线性增长，难以适配实时性要求高的场景。（三）基于Transformer的端到端范式Transformer技术在2D视觉领域取得突破后，迅速被引入3D点云实例分割任务，形成了端到端的新范式。该类方法通常采用集合预测的思路，预定义一组可学习的实例查询向量，通过跨注意力机制与点云特征进行交互，直接为每个查询向量输出对应的实例类别、掩码及位置信息，无需依赖检测框或聚类后处理。2021年提出的3DETR是首个将纯Transformer应用于3D目标检测的工作，后续在此基础上扩展的Mask3D首次实现了端到端的3D实例分割：该方法采用点云Transformer作为骨干网络提取多尺度特征，实例查询通过交叉注意力依次与不同分辨率的特征图交互，逐步聚合实例的全局与局部信息，最终每个查询直接输出完整的实例掩码。针对点云稀疏性导致的注意力计算冗余问题，2023年提出的SparseInst3D提出了稀疏注意力机制，仅对前景点进行注意力计算，将模型的推理速度提升了2倍，同时保持了相当的分割精度。2024年最新提出的UniInst则实现了单模型同时处理2D图像、3D点云等多模态输入的实例分割任务，通过统一的实例查询设计，实现了不同模态间的特征复用与性能互补。基于Transformer的范式优势在于端到端的简洁架构，避免了多阶段方法中复杂的超参数调优与后处理步骤，且全局注意力机制能够更好地建模实例间的上下文关系，在复杂场景下的鲁棒性显著优于传统方法；其缺点是模型参数量较大，对训练数据的数量与质量要求更高，在小样本场景下的表现尚不及传统的检测或分组范式。三、关键技术突破与优化方向（一）高效点云特征提取算子特征提取是3D实例分割的基础，近年来针对点云特性的算子设计取得了一系列进展。PointNet系列方法通过最大池化实现排列不变性，但其缺点是局部特征建模能力不足；后续的KPConv提出可变形卷积核，根据点云的空间分布动态调整卷积权重，显著提升了局部几何特征的提取能力；2022年提出的PointNeXt则结合了Transformer与PointNet++的优势，采用倒置残差结构与分组卷积，在参数量仅为同类Transformer模型1/3的情况下，实现了相当的特征提取性能。针对体素化方法的精度与内存权衡问题，动态体素技术被广泛应用，根据点云密度动态调整体素尺寸，在保证细粒度特征的同时将内存开销降低了40%以上。（二）多模态信息融合单一点云数据的信息局限性推动了多模态融合技术的发展。目前主流的融合方案分为三类：一是前融合，将点云与图像数据在输入层进行对齐，将图像的颜色、纹理信息映射到点云的每个点上，作为额外的输入特征；二是特征层融合，分别通过点云骨干网络与图像骨干网络提取各自的特征，再通过注意力机制实现跨模态特征的对齐与融合；三是后融合，分别对两种模态的分割结果进行预测，再通过投票机制得到最终结果。2023年提出的FusionInst证明，在点云特征中引入图像纹理信息可将细粒度实例的分割AP提升12%，尤其在反光、透明物体的分割上效果提升更为显著。（三）小样本与零样本泛化当前多数3D实例分割模型依赖大量标注数据进行训练，但3D点云的标注成本是2D图像的5-10倍，小样本与零样本学习成为研究热点。小样本实例分割方法通常采用元学习思路，通过在基础类别上学习可迁移的几何特征表示，仅需少量标注样本即可适配新类别。2024年提出的FS-3DInst提出了几何原型对齐机制，将新类别的实例特征与预定义的几何原型进行匹配，在仅提供5个标注样本的情况下，新类别AP值达到了全监督方法的70%。零样本实例分割则利用文本与3D特征的跨模态对齐，通过CLIP等预训练模型实现无标注新类别的识别，目前已能实现对常见家具、交通工具等数十类未见过实例的分割。（四）实时性优化面向自动驾驶、机器人导航等实时应用场景，模型的推理速度优化至关重要。目前的优化方向主要包括：一是轻量化骨干网络设计，通过深度可分离卷积、稀疏卷积等技术减少参数量与计算量；二是量化与剪枝，对训练好的模型进行4/8比特量化，移除冗余的网络结构，在精度损失小于2%的情况下实现3-4倍的速度提升；三是硬件加速适配，针对NVIDIAGPU、FPGA等不同硬件平台定制算子，2024年推出的工业级模型已经能在车载Orin平台上实现10万点云输入下30FPS的实时推理，满足自动驾驶的落地需求。四、典型应用场景与落地进展（一）自动驾驶环境感知自动驾驶是3D点云实例分割最重要的落地场景之一。车载激光雷达输出的点云数据通过实例分割算法，可以精准识别道路上的车辆、行人、骑行者、交通标识等实例，同时输出每个实例的精确三维轮廓，为后续的轨迹预测与路径规划提供支撑。目前头部自动驾驶企业的感知系统中，3D实例分割已经成为标准配置，针对雨、雪、雾等恶劣天气下的点云噪声问题，最新的鲁棒性算法已经能在点云缺失率达30%的情况下保持90%以上的实例召回率。（二）工业质量检测在工业制造领域，3D实例分割被广泛应用于零件缺陷检测、装配正确性验证等场景。通过工业结构光扫描仪获取零件的高精度点云，实例分割算法可以精准定位每个零件的位置与边界，同时检测表面的划痕、变形等缺陷，检测精度可达0.01毫米。在汽车装配线上，该技术已经替代了传统的人工检测，将装配错误率降低了95%，检测效率提升了10倍以上。（三）室内机器人导航家庭服务机器人、仓储物流机器人通过搭载的3D摄像头获取环境点云，实例分割算法可以识别出家具、货物、障碍物等不同实例，帮助机器人构建更精细的语义地图，实现动态避障与智能交互。例如在仓储场景中，算法可以精准识别每个托盘的位置与姿态，引导机器人自动完成货物搬运，目前已经在电商仓储中实现规模化应用。（四）医疗影像分析在医疗领域，3D实例分割被应用于CT、MRI等三维影像的病灶识别与器官分割。通过对医学影像重建得到的3D点云进行实例分割，可以精准定位肿瘤、结节等病灶的三维边界，计算体积与位置信息，为手术规划与放疗方案制定提供定量依据。目前在肺部结节、脑肿瘤等场景的应用中，算法的分割精度已经达到专业医师水平，有效提升了诊断效率与准确性。五、现存问题与未来研究趋势尽管3D点云实例分割已经取得了显著进展，但仍存在多个亟待解决的问题：一是极端场景下的鲁棒性不足，针对透明、反光物体以及严重遮挡、点云极度稀疏的情况，现有模型的分割精度仍会出现大幅下降；二是跨数据集泛化能力差，在某一数据集上训练的模型直接迁移到其他场景时，性能下降可达30%以上，缺乏类似2D视觉中通用的预训练模型；三是标注成本过高，逐点标注的3D数据集构建成本极高，限制了模型的类别扩展与性能上限。未来的研究方向将主要集中在三个方面：第一