基于深度学习的点云配准研究综述

基于深度学习的点云配准研究综述一、点云配准的基础概念与研究背景点云是三维空间中离散点的集合，通常由激光雷达、深度相机、三维扫描仪等设备采集得到，每个点包含三维坐标信息，部分还附带颜色、法线、反射强度等属性。作为三维场景数字化的核心载体，点云数据在自动驾驶、机器人导航、三维重建、文物数字化、医疗影像分析等领域具有不可替代的应用价值。而点云配准作为点云数据处理的基础环节，其核心目标是将不同视角、不同时间或不同设备采集的同一场景的多帧点云，通过求解最优的刚性或非刚性变换参数，实现点云在统一坐标系下的对齐。传统点云配准方法以迭代最近点（ICP）算法及其变种为代表，其核心思路是通过迭代寻找对应点对、最小化对应点之间的距离误差来求解变换参数。这类方法在点云初始位姿差异较小、重叠度较高的场景下能够取得较高精度，但存在明显局限性：一是对初始位姿敏感，当初始位姿偏差较大时容易陷入局部最优；二是对噪声、outliers（外点）和点云稀疏性鲁棒性差，在低重叠度、大视角差异场景下配准成功率极低；三是计算复杂度随点云规模增长呈线性上升，难以满足自动驾驶等实时性要求高的场景需求。近年来，深度学习技术在计算机视觉、自然语言处理等领域取得突破性进展，其强大的特征提取能力和端到端学习特性为点云配准问题提供了新的解决思路。与传统方法依赖手工设计特征（如FPFH、SHOT等）不同，深度学习方法能够从大规模点云数据中自动学习具有判别性的深层次特征，同时通过网络架构设计实现对应点匹配、外点剔除、变换参数求解等步骤的联合优化，大幅提升了配准任务的精度、鲁棒性和效率。截至2026年，基于深度学习的点云配准已经成为三维视觉领域的研究热点，相关技术已经逐步从实验室走向工业应用场景。二、基于深度学习的点云配准方法分类根据核心技术路线的差异，现有深度学习点云配准方法可以分为基于对应匹配的方法、基于全局特征匹配的方法和端到端直接回归的方法三大类。（一）基于对应匹配的配准方法这类方法的核心思路是借鉴传统配准的“特征提取-对应点匹配-变换求解”pipeline，通过深度学习模块替换传统的手工特征提取和匹配步骤，提升对应点对的准确性。其流程通常分为三个阶段：首先使用深度神经网络提取点云的逐点特征，然后通过特征相似性度量建立点对之间的对应关系，最后采用随机采样一致性（RANSAC）或奇异值分解（SVD）等方法从对应点对中求解最优变换参数。在逐点特征提取方面，PointNet系列网络是该领域的奠基性工作，通过共享多层感知机（MLP）和最大池化操作实现了无序点云的特征提取，为后续点云处理网络提供了基础范式。后续研究者在此基础上进行了大量改进，例如PointNet++通过引入多尺度分组和层级结构，提升了网络对局部几何结构的感知能力；DGCNN通过动态构建点之间的图结构，能够捕捉点云的局部上下文关系，提取的特征在点云配准任务中表现出更强的判别性。此外，为了提升特征的旋转不变性，部分研究引入了旋转不变卷积算子，例如SphereNet将点云投影到球坐标系下进行卷积操作，使得提取的特征不受点云初始旋转的影响，大幅降低了配准对初始位姿的依赖。在对应点匹配阶段，传统的相似度匹配方法容易产生大量错误对应点，为此研究者设计了多种注意力机制和匹配优化模块。例如，Transformer架构被引入到点云配准中，通过自注意力和交叉注意力机制建模源点云和目标点云之间的全局依赖关系，能够有效提升对应点匹配的准确率。DCP（DeepClosestPoint）方法首次将端到端学习引入对应匹配pipeline，通过可微分的SVD层实现了变换参数的端到端求解，相比传统ICP方法在大视角差异场景下的配准精度提升了40%以上。此外，为了应对外点问题，部分研究提出了学习式的外点剔除模块，例如PointDSC通过设计可微的谱匹配模块，能够在大量外点干扰的情况下筛选出正确的对应点对，在外点比例高达90%的场景下仍能保持较高的配准成功率。（二）基于全局特征匹配的配准方法这类方法的核心思路是为整帧点云生成具有判别性的全局特征向量，使得同一空间位置、不同视角的点云特征在特征空间中距离较近，不同位置的点云特征距离较远，通过匹配全局特征直接求解点云之间的变换参数，无需建立逐点对应关系，具有计算效率高的优势。全局特征提取的核心是设计能够聚合点云全局几何信息的网络结构。早期的方法通常直接使用PointNet的全局特征输出作为点云的全局描述子，但这类特征对旋转和平移变换不具有不变性，导致匹配精度较低。为此，研究者提出了多种旋转不变全局特征提取方法，例如PointNetLK将点云配准问题转化为特征空间中的Lucas-Kanade优化问题，通过迭代优化最小化全局特征之间的距离求解变换参数，在实时性要求高的场景下得到了广泛应用。3DSmoothNet通过将点云转化为平滑的体素表示，结合卷积神经网络提取具有旋转不变性的全局特征，在室内场景配准任务中取得了比传统手工全局特征高30%的检索准确率。全局特征匹配方法的另一个重要分支是基于位姿回归的配准，这类方法将点云对作为输入，直接通过网络回归出两者之间的6自由度位姿变换（3个旋转参数和3个平移参数）。例如，PoseNet采用孪生网络架构，同时处理源点云和目标点云，通过多层特征聚合后直接输出变换参数，推理速度可达每秒数百帧，能够满足自动驾驶等实时场景的需求。但这类方法的缺点是配准精度相对较低，尤其是在大尺度场景下，位姿回归的误差会随着场景规模增大而累积，因此通常用于粗配准阶段，为后续精细配准提供初始位姿。（三）端到端直接配准方法端到端配准方法尝试将特征提取、匹配、变换求解等所有步骤整合到一个统一的神经网络中，实现从输入点云对到输出变换参数的端到端优化，避免了传统pipeline中各模块独立优化带来的误差累积问题。这类方法的典型代表是基于卷积神经网络的体素配准方法，例如VoxelNet将点云转化为三维体素网格，通过3D卷积提取体素特征，然后通过回归层直接求解变换参数。但3D卷积的计算复杂度较高，难以处理大规模点云数据。为此，研究者提出了多种高效的点云表示方法，例如将点云投影到多视角二维平面，使用2D卷积替代3D卷积，在保持精度的同时大幅提升了计算效率。此外，基于神经场的配准方法是近年来的新兴方向，这类方法使用神经隐式函数表示场景的三维几何结构，通过优化神经场的参数实现点云的对齐，在非刚性点云配准任务中表现出优异的性能，例如人体点云配准、变形物体配准等场景，基于神经场的方法能够捕捉点云的局部变形，配准精度远高于传统刚性配准方法。值得注意的是，近年来传统方法与深度学习方法的融合成为新的研究趋势，例如将ICP算法的迭代优化过程嵌入到神经网络中，设计可微分的ICP层，实现学习与优化的结合。这类方法既保留了传统优化方法的精度优势，又利用深度学习提升了对复杂场景的鲁棒性，例如DeepICP方法将深度特征提取与ICP迭代过程相结合，在低重叠度、高噪声的室外激光雷达点云配准任务中，配准成功率比传统ICP提升了60%以上。三、关键技术挑战与现有解决方案尽管基于深度学习的点云配准方法已经取得了显著进展，但在实际应用中仍然面临诸多技术挑战，主要体现在以下几个方面：（一）点云数据的特性挑战点云数据具有无序性、稀疏性、噪声干扰和分布不均等固有特性，给深度学习模型的特征提取带来了困难。首先，点云是无序的集合，相同的点集以不同顺序输入网络时，输出的特征应该保持一致，现有方法通常通过对称函数（如最大池化、平均池化）来实现排列不变性，但这类操作会丢失部分局部几何信息。针对这一问题，研究者提出了有序点云表示方法，例如通过空间填充曲线将无序点云转化为有序序列，结合Transformer或循环神经网络进行处理，在保留排列不变性的同时减少了信息损失。其次，实际场景中采集的点云通常存在大量噪声和外点，尤其是在室外环境下，激光雷达点云会受到雨滴、灰尘、动态物体（如行人、车辆）的干扰，导致点云质量较差。为了提升模型的抗干扰能力，现有方法通常采用数据增强策略，在训练阶段对输入点云随机添加噪声、进行随机遮挡和外点注入，提升模型的泛化能力。此外，注意力机制也被广泛用于噪声抑制，通过为每个点分配权重，自动降低噪声点和外点在特征提取中的贡献。（二）大视角差异与低重叠度挑战在实际应用中，不同帧点云之间往往存在较大的视角差异，重叠度可能低于30%，传统深度学习配准方法在这类场景下的性能会大幅下降。针对这一问题，研究者从两个方向进行探索：一是设计具有强判别性的局部特征，使得即使在重叠区域较小的情况下，也能找到足够的正确对应点对，例如SuperPoint3D方法通过自监督学习提取的局部特征，在点云重叠度仅为20%的场景下，对应点匹配准确率仍能达到70%以上；二是引入全局几何约束，例如利用场景的拓扑结构、平面、线段等高层语义信息辅助配准，部分研究将语义分割与配准任务联合训练，利用语义标签约束对应点匹配过程，有效提升了低重叠度场景下的配准精度。（三）大规模场景配准的效率挑战自动驾驶、城市三维重建等场景需要处理大规模点云数据，单帧点云的点数可能达到数百万甚至数千万，现有深度学习方法的计算复杂度难以满足实时性要求。为了提升配准效率，现有解决方案主要包括三种：一是点云下采样策略，通过最远点采样、体素栅格下采样等方法减少点云的点数，在尽量保留关键几何信息的前提下降低计算量；二是分层配准策略，先对下采样后的稀疏点云进行粗配准，得到初始变换参数，再在局部区域进行精细配准，兼顾精度和效率；三是模型轻量化设计，通过知识蒸馏、量化、剪枝等方法压缩配准网络的参数量和计算量，例如部分研究将配准网络部署到嵌入式设备上，推理延迟仅为10ms左右，能够满足自动驾驶的实时性需求。（四）跨域泛化性挑战现有深度学习配准模型通常在特定数据集上训练，当应用到新的场景（例如从室内场景迁移到室外场景，从结构化城市道路迁移到非结构化野外环境）时，性能会出现明显下降，这一问题被称为跨域泛化性差。导致这一问题的主要原因是不同场景下点云的几何分布差异较大，模型在训练集上学到的特征难以迁移到新的领域。针对这一问题，研究者提出了多种域适应方法，例如通过对抗学习实现源域和目标域的特征分布对齐，或者利用自监督学习在未标注的目标域数据上进行微调，提升模型的泛化能力。此外，预训练大模型技术也被引入到点云配准领域，通过在大规模多场景点云数据集上进行预训练，学习通用的三维特征表示，在下游配准任务中仅需少量标注数据微调即可取得优异性能，例如2025年提出的PointMAE预训练模型，在多个跨域配准基准数据集上的性能超过了传统有监督训练方法。四、典型应用场景基于深度学习的点云配准技术已经在多个工业领域得到广泛应用，以下是几个典型应用场景：（一）自动驾驶自动驾驶车辆通常搭载多颗激光雷达，需要实时将不同激光雷达采集的点云进行配准，实现车身周围环境的三维感知，同时还需要将实时采集的点云与预先构建的高精地图进行配准，实现车辆的厘米级定位。基于深度学习的点云配准方法能够应对复杂城市环境中的动态物体干扰、点云稀疏等问题，配准成功率可达99.9%以上，延迟控制在20ms以内，已经成为主流自动驾驶方案的核心技术之一。例如，特斯拉、小鹏等车企的最新自动驾驶系统中，都采用了基于深度学习的激光雷达点云配准模块，大幅提升了复杂场景下的定位鲁棒性。（二）三维重建在城市三维重建、文物数字化等场景中，需要将数百甚至数千帧不同视角的点云拼接成完整的三维模型。传统配准方法需要人工干预调整初始位姿，效率极低，而基于深度学习的配准方法能够实现点云的自动拼接，重建效率提升了数十倍。例如，敦煌研究院采用基于深度学习的点云配准技术，对莫高窟的洞窟进行三维扫描和重建，仅用3个月就完成了过去需要3年才能完成的10个洞窟的数字化工作，配准精度达到0.1mm，为文物保护和数字化展示提供了技术支撑。（三）医疗影像分析在医疗领域，点云配准技术被用于术前规划、术中导航和术后评估等场景，例如将患者术前的CT/MRI扫描得到的三维点云与术中采集的点云进行配准，辅助医生进行精准手术。基于深度学习的非刚性点云配准方法能够应对人体器官的变形问题，配准误差小于1mm，在骨科手术、神经外科手术中已经得到临床应用。例如，2024年获批上市的骨科手术机器人，采用了基于深度学习的点云配准技术，实现了术中骨骼位置的实时定位，手术精度比传统人工手术提升了5倍以上。（四）机器人导航服务机器人、工业机器人需要通过深度相机或激光雷达感知周围环境，实现自主导航和避障，点云配准是同时定位与地图构建（SLAM）技术的核心环节。基于深度学习的点云配准方法能够应对动态物体、场景变化等干扰，提升SLAM系统的鲁棒性。例如，亚马逊仓库中的搬运机器人采用了基于深度学习的点云配准模块，在仓库中有大量工作人员和动态货物的场景下，定位误差控制在1cm以内，运行稳定性提升了80%。五、未来研究方向尽管基于深度学习的点云配准技术已经取得了长足进步，但仍有多个方向值得进一步探索：第一，小样本与零样本配准方法。现有深度学习方法通常依赖大量标注数据进行训练，而实际场景中难以获取足够的标注点云对，研究小样本甚至零样本下的配准方法，能够进一步拓展技术的应用范围。第二，多模态融合配准。实际应用中通常可以同时获取点云、图像、IMU等多模态数据，融合多模态信息提升配准的精度和鲁棒性是未来的重