基于深度学习的3D语义分割研究综述

基于深度学习的3D语义分割研究综述一、3D语义分割的任务定义与核心挑战3D语义分割的核心目标是为三维空间中的每个点或体素分配预定义的语义类别标签，实现对三维场景的细粒度理解。与2D图像语义分割相比，3D数据天然包含深度、几何结构、空间关系等信息，能够弥补2D图像因视角变化、遮挡、光照干扰带来的信息缺失问题，在自动驾驶、机器人导航、三维重建、医疗影像分析等领域具有不可替代的应用价值。当前3D语义分割任务面临的核心挑战主要体现在三个层面：首先是数据层面的挑战，3D点云数据具有无序性、稀疏性、非均匀分布的特点，相同场景下不同采集设备获取的点云密度差异可达数十倍，野外场景中远距离物体的点云稀疏度甚至不足近距离物体的1%，这使得传统卷积神经网络难以直接处理。其次是几何建模的挑战，3D场景中物体的几何形态差异巨大，既有规则的建筑、车辆，也有不规则的植被、地形，如何有效建模局部几何特征与全局空间上下文的关联，是提升分割精度的关键。最后是效率层面的挑战，自动驾驶、机器人等实时应用要求3D语义分割算法的处理延迟低于100ms，而大规模点云场景往往包含数百万甚至数千万个点，如何在保证精度的前提下降低算法计算复杂度，是当前产业落地面临的主要瓶颈。二、基于点云的直接分割方法演进基于点云的直接分割方法是当前3D语义分割的主流研究方向，其核心思路是直接对无序点云数据进行特征提取，避免了数据转换过程中的信息损失。该方向的开创性工作是2017年提出的PointNet，其首次引入多层感知机（MLP）对每个点进行独立特征提取，结合最大池化操作获取全局特征，实现了端到端的点云语义分割。但PointNet的缺陷在于缺乏对局部几何结构的建模能力，难以捕捉点与点之间的空间关联，在复杂场景下的分割精度较低。为解决局部特征建模问题，PointNet++在PointNet的基础上引入了分层采样与分组机制，通过球查询构建多尺度局部邻域，在不同尺度下提取局部几何特征，大幅提升了对小物体和细粒度结构的分割能力。后续研究围绕局部邻域的优化展开了大量工作：例如DGCNN提出动态图卷积，将每个点作为图节点，通过动态计算点与点之间的特征相似度构建邻接图，利用图卷积捕捉点云的局部拓扑关系，在ShapeNet数据集上的平均交并比（mIoU）比PointNet++提升了4.2%。又如KPConv引入核点卷积，将卷积核定义为一组可学习的3D空间点，通过核点与邻域点的空间位置关系计算卷积权重，实现了对不规则点云的卷积操作，其在大规模室外点云数据集SemanticKITTI上的表现超过了同期所有基于点的方法。近年来，基于Transformer的点云分割方法逐渐成为研究热点。PointTransformer将自注意力机制引入点云特征提取，通过计算每个点与其他点的特征相似度，建立全局空间依赖关系，能够有效捕捉长距离的语义关联。相较于卷积方法，Transformer方法在处理大尺度场景时具有天然优势，例如Segmenter3D将点云划分为多个窗口，在窗口内进行自注意力计算，同时引入跨窗口注意力机制，既降低了计算复杂度，又保证了全局信息的交互，在ScanNet数据集上的mIoU达到了72.3%，远超传统卷积方法。但Transformer方法的计算复杂度较高，处理百万级点云时的内存占用往往是卷积方法的3-5倍，目前仍难以满足实时应用需求。三、基于多视图与体素的分割方法除了直接处理点云的方法外，基于多视图和体素的分割方法也是3D语义分割的重要技术路径。基于多视图的方法核心思路是将3D点云投影到多个2D视图平面，利用成熟的2D语义分割网络处理投影图像，再将2D分割结果反投影回3D空间，通过多视图融合得到最终的3D分割结果。该方法的优势在于能够充分利用2D图像分割领域的大量预训练模型和技术积累，计算效率较高。例如MVPNet提出多视图投影网络，将点云投影到6个正交视图和多个随机视角，利用ResNet-50提取多视图特征，再通过特征融合模块将2D特征映射回3D点云，其在ScanNet数据集上的分割精度接近同期的点基方法，而推理速度是PointNet++的2倍。但多视图方法存在固有缺陷：投影过程中会丢失部分3D几何信息，遮挡区域的投影结果容易出现错误，对于复杂拓扑结构的物体，多视图融合往往会产生歧义。为解决这一问题，部分研究尝试将多视图特征与点云特征进行融合，例如MVTN提出多视图变换网络，通过学习最优的投影视角，最大化投影过程中的信息保留，同时将2D视图特征与点云局部特征进行拼接，有效提升了分割的鲁棒性。基于体素的方法则是将3D空间划分为规则的体素网格，将点云数据转换为体素occupancy表示，再利用3D卷积神经网络进行特征提取。早期的体素方法受限于计算复杂度，通常采用较低的体素分辨率，导致细节信息丢失严重。随着稀疏卷积技术的发展，体素方法的效率得到了大幅提升：例如SPConv提出稀疏卷积，仅对包含点的非空体素进行卷积计算，计算量比普通3D卷积降低了一个数量级。基于稀疏卷积的方法迅速成为大规模室外场景分割的主流技术，例如SemanticKITTI数据集上排名靠前的算法大多采用稀疏卷积框架，其中MinkowskiNet采用多尺度稀疏卷积，在3cm体素分辨率下能够处理百万级点云，推理延迟仅为80ms，满足自动驾驶场景的实时性要求。体素方法的最新进展是混合分辨率体素建模，例如HVNet提出分层体素网络，将场景划分为粗、中、细三个不同分辨率的体素层，粗分辨率层负责捕捉全局场景上下文，细分辨率层负责建模局部细节特征，通过跨层特征融合实现精度与效率的平衡，其在SemanticKITTI数据集上的mIoU达到了71.4%，同时推理速度比单分辨率稀疏卷积方法提升了30%。四、弱监督与零样本3D语义分割当前监督式3D语义分割方法已经取得了较高的精度，但这类方法依赖大量逐点标注的训练数据，而3D点云的标注成本极高，标注一个包含百万点的室外场景平均需要8-10小时，远高于2D图像的标注成本。因此弱监督与零样本3D语义分割成为近年来的研究热点，旨在降低对标注数据的依赖。弱监督3D语义分割主要包括三类：基于稀疏点标注、基于包围盒标注和基于图像级标注的方法。基于稀疏点标注的方法仅要求对场景中1%-10%的点进行标注，通过半监督学习和正则化约束预测未标注点的标签。例如SparsePoint提出基于自训练的弱监督框架，利用少量标注点训练初始模型，再通过模型对未标注点生成伪标签，同时引入几何一致性正则化，保证同一局部邻域内的点标签一致性，在仅使用1%标注点的情况下，能够达到全监督方法80%的分割精度。基于包围盒标注的方法仅需要标注物体的三维包围盒，不需要逐点标注，例如Box2Mask提出将包围盒内的点分为前景和背景，利用多实例学习策略学习类别特征，在ScanNet数据集上仅使用包围盒标注的情况下，mIoU达到了全监督方法的75%。零样本3D语义分割则致力于识别训练集中未出现过的类别，其核心是建立视觉特征与语义嵌入空间的映射关系。例如ZS3D提出将3D点云特征映射到预训练的文本语义空间（如CLIP的文本嵌入空间），通过计算视觉特征与类别文本描述的相似度实现零样本分类。最新的研究尝试利用多模态预训练模型提升零样本性能，例如CLIP2Point将CLIP的2D图像-文本预训练知识迁移到3D点云领域，通过对齐点云特征与CLIP图像特征，实现了对未见过类别的分割，在ScanNet零样本分割任务上的mIoU达到了42.6%，大幅超过了之前的方法。五、3D语义分割的典型应用场景3D语义分割技术已经在多个产业领域实现了落地应用，其中最成熟的场景是自动驾驶。自动驾驶车辆搭载的激光雷达每秒能够获取数百万个3D点云数据，3D语义分割算法需要实时识别出道路、车辆、行人、交通标志等数十类语义对象，为路径规划和决策提供支撑。目前主流的自动驾驶方案大多采用稀疏卷积-based的分割算法，配合多传感器融合，能够在复杂城市道路场景下实现95%以上的分割准确率，对于行人和车辆等关键类别的召回率接近99%。在机器人领域，3D语义分割是实现自主导航和智能交互的核心技术。服务机器人通过3D摄像头获取环境点云，利用语义分割识别出家具、门、楼梯等场景元素，同时识别用户的手势和动作，实现人机交互。工业机器人则通过3D语义分割识别工件的位置和姿态，实现高精度的抓取和装配，在汽车制造、3C电子组装等领域已经得到了广泛应用。医疗影像分析是3D语义分割的另一重要应用场景。在CT、MRI等三维医疗影像中，3D语义分割算法能够自动分割出肿瘤、器官、血管等结构，辅助医生进行疾病诊断和手术规划。例如在肺癌诊断中，3D语义分割能够精准提取肺部结节的三维形态和位置，其分割精度已经超过了普通放射科医生的平均水平，能够有效降低漏诊率。在神经外科手术中，3D语义分割能够重建出脑部血管和神经的三维结构，帮助医生规避手术风险，提升手术成功率。六、未来研究方向与趋势当前3D语义分割技术仍然存在诸多待解决的问题，未来的研究方向主要集中在以下几个方面：首先是高效多模态融合。当前主流的3D语义分割方法大多仅使用点云数据，而实际应用中往往同时存在图像、激光雷达、毫米波雷达等多模态数据，如何有效融合多模态数据的互补信息，同时保证融合效率，是提升分割鲁棒性的关键。特别是在低光照、恶劣天气等极端场景下，单一传感器容易失效，多模态融合能够大幅提升系统的可靠性。其次是开放场景下的持续学习。现有3D语义分割模型大多在固定类别数据集上训练，无法识别训练集之外的新类别，也难以适应新的场景。研究能够持续学习新类别、同时不遗忘旧类别的增量学习方法，是3D语义分割技术走向大规模通用应用的必要条件。最后是边缘端的轻量化部署。当前高精度3D语义分割