基于深度学习的点云语义分割研究综述

基于深度学习的点云语义分割研究综述点云作为三维空间信息的核心表征形式，通过离散点坐标集合记录目标对象或场景的几何结构、空间位置与纹理属性，在自动驾驶环境感知、机器人导航、智慧城市建模、医疗影像分析等领域具备不可替代的应用价值。语义分割作为点云智能处理的基础任务，目标是为点云中每个离散点分配预定义的语义类别标签，实现三维空间的细粒度语义理解。传统点云语义分割方法依赖人工设计的几何特征（如法向量、曲率、自旋图像）与浅层分类器，在复杂场景下特征鲁棒性不足、泛化能力有限，难以满足高精度语义理解需求。随着深度学习技术在二维图像领域的突破性进展，将深度学习框架拓展至三维点云处理成为研究热点，近年来涌现出大量创新性方法，推动点云语义分割精度与效率实现跨越式提升。基于投影的点云语义分割方法基于投影的方法核心思路是将非结构化三维点云转换为规则化二维表征，借助成熟的二维卷积神经网络实现特征提取，充分利用图像领域的技术积累降低三维处理复杂度。根据投影维度与视角选择的差异，可分为球面投影、多视角投影与鸟瞰图投影三大类。球面投影针对自动驾驶等室外场景的激光雷达点云分布特性，将三维点坐标$(x,y,z)$通过坐标转换映射到二维球面网格，将点云强度、高度、反射率等属性填充为网格像素值，生成距离图像（RangeImage）。SqueezeSeg系列方法是球面投影的典型代表，SqueezeSegV1首次将激光雷达点云转换为距离图像，采用轻量型SqueezeNet作为骨干网络，结合条件随机场实现端到端的实时语义分割，推理速度可达30FPS，满足自动驾驶场景的低延迟需求；SqueezeSegV3针对距离图像中存在的尺度畸变问题，引入自适应感受野模块与空间注意力机制，大幅提升小目标（如行人、骑行者）的分割精度。球面投影的优势在于能够完整保留360°水平视场信息，数据转换效率高，但存在近密远疏的尺度不一致问题，远距离目标在投影后像素占比极低，易出现分割漏检。多视角投影方法从多个虚拟相机视角对点云进行渲染，生成不同视角的RGB图像或深度图像，对每个视角的二维图像分别使用卷积网络提取特征，再通过特征融合与反投影将二维语义标签映射回三维点云。MVCNN是多视角方法的开创性工作，通过12个固定视角的渲染图像提取全局特征实现三维模型分类，后续MVPNet等方法将其拓展至语义分割任务，引入视角注意力模块自适应加权不同视角的特征贡献，有效解决视角冗余与遮挡问题。多视角投影方法能够充分利用二维卷积的局部特征提取能力，在细粒度语义分类任务中表现优异，但渲染过程会丢失部分三维几何信息，且多视角特征融合计算开销较大，难以处理大规模室外场景点云。鸟瞰图投影（Bird'sEyeView,BEV）将三维点云沿Z轴方向投影到地面平面，将点云的高度分布、密度、强度等信息编码为多通道二维特征图。BEV投影的优势在于不存在透视畸变，目标尺度保持一致，尤其适合自动驾驶场景中的道路、车辆等目标检测与分割任务。BEVerse等方法通过构建时序BEV特征金字塔，融合多帧点云信息提升动态目标的分割稳定性。但鸟瞰图投影会丢失垂直方向的结构信息，对于垂直方向差异较大的类别（如电线杆、路灯）区分能力较弱，通常需要结合高度分层编码提升特征表达能力。基于点的点云语义分割方法基于点的方法直接以原始离散点云作为输入，避免投影过程中的信息损失，是近年来点云语义分割的主流研究方向。该类方法的核心挑战在于如何设计适配点云无序性、不规则性的深度学习模块，实现高效的局部特征提取与全局上下文建模。PointNet是首个直接处理原始点云的深度学习框架，通过共享多层感知机（MLP）提取每个点的独立特征，结合最大池化操作获取全局特征，实现点云分类与语义分割。但PointNet未考虑点之间的局部几何关联，特征提取能力受限，在复杂场景下分割精度不足。针对这一缺陷，PointNet++引入分层分组采样机制，通过多尺度球邻域分组提取不同感受野的局部特征，结合特征插值实现点特征的逐级传递，大幅提升小目标与细节结构的分割效果。PointNet++的成功奠定了基于点的方法的技术框架，后续大量研究围绕局部特征聚合、上下文建模两个方向展开创新。局部特征聚合模块的设计核心是有效建模邻域点之间的几何关系。DGCNN提出动态图卷积操作，为每个点动态构建K近邻图，通过边卷积模块提取点与邻域点之间的相对位置特征，实现局部几何结构的自适应编码，在ModelNet40分类数据集上精度达到92.9%。PointConv将卷积操作推广到非结构化点云，根据邻域点的空间位置与密度学习自适应卷积权重，实现类似二维卷积的局部特征提取能力。KernelPointConvolution（KPConv）采用可学习的核点定义卷积核的空间分布，通过核点与邻域点的相对位置计算卷积权重，在Semantic3D等大规模室外点云数据集上取得当时最优精度。为进一步提升局部特征的鲁棒性，Recentwork引入几何先验引导的特征聚合，如将法向量、曲率等手工特征与深度学习特征融合，或通过自监督预训练学习更具判别性的局部几何表征。全局上下文建模是提升复杂场景语义一致性的关键。传统基于点的方法受限于局部感受野，难以捕捉长距离空间依赖关系，易出现同一场景中相同语义目标的标签不一致问题。近年来Transformer架构被广泛应用于点云语义分割任务，PointTransformer将自注意力机制引入点云处理，通过点对之间的注意力权重建模长距离依赖关系，针对点云数据量大的问题，采用局部窗口注意力与降采样策略降低计算复杂度。PTv2进一步优化了Transformer的计算效率，引入分组注意力与可变形注意力机制，在S3DIS室内场景数据集上平均交并比（mIoU）达到74.7%，较PointNet++提升超过15个百分点。为平衡精度与效率，混合架构逐渐成为研究热点，如PointNeXt结合PointNet++的分层采样结构与Transformer的全局建模能力，在保持较高推理速度的同时实现精度提升，适合嵌入式端的实时应用场景。基于体素的点云语义分割方法基于体素的方法将三维空间划分为规则化的体素网格，将点云属性填充到对应体素中，转换为三维张量形式，通过三维卷积神经网络提取特征。该类方法继承了卷积神经网络的平移不变性，能够有效建模三维空间的局部几何结构，适合处理空间分布规则的点云场景。早期体素方法采用固定分辨率体素划分，如VoxNet将三维空间划分为32×32×32的体素网格，使用三维卷积实现目标分类，但固定分辨率体素存在内存开销与精度的矛盾：高分辨率体素会导致体素数量指数级增长，计算与内存压力剧增；低分辨率体素则会丢失细粒度几何细节，分割精度下降。为解决这一问题，稀疏卷积被引入体素点云处理，MinkowskiNet是稀疏卷积的代表性工作，仅对包含点云的非空体素进行卷积计算，大幅降低内存占用与计算量，支持更高分辨率的体素划分（如5cm分辨率），在ScanNet等室内数据集上实现显著精度提升。稀疏卷积的核心是构建哈希表记录非空体素的位置与特征，通过邻域查询实现卷积操作，避免了对空体素的无效计算，使得高分辨率三维卷积的实际应用成为可能。多尺度体素融合是提升复杂场景分割性能的重要手段。SPConv提出稀疏金字塔卷积，通过构建不同分辨率的体素特征金字塔，融合多尺度上下文信息，有效解决不同大小目标的分割需求：低分辨率体素特征捕捉大目标的全局结构，高分辨率体素特征保留小目标的细节信息。PV-RCNN等方法结合体素特征与点特征的优势，先通过稀疏体素卷积提取高效的全局特征，再将体素特征反投影到点云空间，结合点级局部特征优化分割结果，实现精度与效率的平衡。体素方法的另一研究方向是动态体素划分，传统固定体素边界会导致几何结构被截断，动态体素根据点云分布自适应调整体素大小与位置，进一步降低信息损失，提升特征鲁棒性。小样本与零样本点云语义分割现有深度学习方法依赖大规模标注点云数据训练，但点云标注成本远高于二维图像，单帧室外激光雷达点云标注耗时可达数小时，且特定领域（如工业检测、医疗影像）的标注数据极度稀缺，小样本与零样本点云语义分割成为解决数据标注瓶颈的重要研究方向。小样本点云语义分割旨在仅利用少量标注样本（如1~5个类别样本）实现新类别的分割。基于度量学习的方法是小样本分割的主流思路，通过学习一个特征嵌入空间，使得同类特征距离更近、异类特征距离更远，在推理阶段通过计算查询样本与支持样本的特征相似度实现类别预测。Few-shotPointSeg提出原型对齐机制，对支持集的同类点特征进行聚类生成类别原型，通过多尺度特征匹配实现查询集的点级分类。针对点云的局部几何特性，Recentwork引入几何感知的度量学习，将局部结构相似性纳入特征距离计算，提升小样本下的特征判别能力。目前小样本点云分割在S3DIS、ScanNet等标准数据集上，5-shot条件下新类别mIoU已可达40%以上，但距离实际应用仍有较大差距，尤其在类别数量较多、类间相似度高的场景下性能下降明显。零样本点云语义分割无需目标类别的标注样本，通过类别语义描述（如文本向量、属性特征）建立已知类别与未知类别的语义关联，实现知识迁移。ZeroPS首先将类别名称通过预训练语言模型（如BERT）转换为语义嵌入向量，学习点云视觉特征与语义嵌入的对齐映射，在推理阶段将点特征与未知类别的语义向量匹配实现分类。为缓解语义gap问题，部分研究引入视觉-语言预训练模型（如CLIP）作为监督，通过多模态对比学习实现更鲁棒的跨模态对齐。零样本分割能够极大降低对特定领域标注数据的依赖，在工业缺陷检测、罕见地物分类等场景具备广阔应用前景，但当前方法对细粒度类别的区分能力不足，易出现语义混淆。效率优化与实际应用落地随着点云数据规模的不断增长，单帧激光雷达点云点数可达数十万甚至数百万，自动驾驶、机器人等实时场景对分割算法的推理速度与内存占用提出极高要求，效率优化成为方法落地的关键。轻量化网络设计是效率优化的核心方向，针对点云模型的参数冗余问题，研究者借鉴二维网络轻量化思路，提出深度可分离三维卷积、分组卷积、注意力剪枝等方法。如RandLA-Net采用随机点降采样替代computationallyexpensive的最远点采样，结合局部特征聚合模块，在大规模点云（100万点/帧）上推理速度可达30FPS，且内存占用仅为PointNet++的1/5。知识蒸馏技术也被广泛应用于点云分割模型压缩，通过训练高精度大模型作为教师模型，引导小模型学习暗知识，在精度损失小于2%的前提下，模型参数量可压缩至原来的1/10。边缘部署适配是另一研究重点，嵌入式平台（如车载AI芯片、FPGA）的计算资源与内存有限，需要对模型进行结构化优化。目前已有研究针对稀疏卷积的硬件特性进行算子优化，实现MinkowskiNet等模型在车载芯片上的实时推理，延迟小于50ms，满足自动驾驶的安全需求。同时，模型量化技术通过将32位浮点参数量化为8位整数，可进一步降低内存占用与计算延迟，量化后的模型精度损失可控制在1%以内，适合边缘端部署。在实际应用层面，点云语义分割技术已在多个领域实现落地：自动驾驶领域，激光雷达语义分割能够识别道路、行人、车辆、交通标志等10余类目标，为路径规划与决策提供环境感知基础，已在L3及以上级别自动驾驶车辆中实现量产应用；智慧城市领域，通过机载激光雷达获取的城市级点云数据，语义分割可自动分类建筑、植被、道路、管线等要素，建模效率较人工提升数十倍；工业检测领域，点云语义分割可实现工件缺陷、装配误差的自动识别，检测精度可达0.1mm，大幅提升工业质检效率。当前基于深度学习的点云语义分割技术已取得显