《机器人环境感知》课件-第3章-基于激光雷达的机器人环境感知技术

基于激光雷达的机器人环境感知技术机器人环境感知技术-第3章第一讲激光雷达传感器原理与预处理定义：主动式光学传感技术，通过发射激光脉冲、接收反射信号，计算目标的距离、速度、形状等参数，生成二维/三维点云。核心优势：1.高精度（厘米级测距）、高角分辨率。2.全天候工作（不受光照影响，夜间性能稳定）3.快速三维数据采集，支持实时环境建模。局限性：激光无法穿透浓雾、浓烟，恶劣天气下性能下降。

机械式激光雷达机械式激光雷达发展历史最为悠久，这类激光雷达通过电机带动光机结构整体360°旋转，多束激光束沿垂直方向排列，发射模块以一定频率发射激光线，通过连续旋转发射头实现动态扫描，形成点云，在性能上达到最优，如图3-1所示为美国Velodyne公式生产的HDL_64E型号的机械式64线激光雷达，测量距离可达120米。

多面旋转镜型激光雷达MEMS微振子型激光雷达RS-LiDAR-M1双楔形棱镜激光雷达Livox觅道Mid-40

Flash固态激光雷达OPA固态激光雷达全固态激光雷达主要分为Flash固态激光雷达，OPA固态激光雷达。Flash固态激光雷达无需机械运动，能够实现更快速的数据采集，适用于高速移动的自动驾驶场景，具体的产品有北醒光子的AD2-S-X3高性能3D激光雷达、ibeo的ibeoNEXT纯固态激光雷达和Xenomatix的XenoLidar-X。OPA固态激光雷达具体产品有力策科技的LT-X、Quanergy的S3-2，如下图所示

第二讲激光点云配准

在点云配准方法中，ICP（IterativeClosestPoint，最近点迭代算法）是一种广泛使用的点云配准算法，用于估计两个三维点云之间的刚体变换（旋转和平移），以便将它们对齐。ICP算法的基本思想是通过迭代的方式，不断地寻找两个点云之间的对应点，并基于这些对应点来优化变换参数，直到达到某种收敛条件。是一种常用的点云配准技术，其基本思想是通过迭代优化的方式，寻找目标点云与参考点云之间的最佳变换矩阵，从而实现两者的对齐。下图介绍了ICP算法的基本原理及步骤。

正态分布变换算法（NormalDistributionsTransform，简称NDT）是一种在点云配准和机器人视觉等领域中广泛使用的算法。其核心思想是通过将点云数据划分为多个小区域，并在每个小区域内计算点云数据的概率分布（通常为正态分布），从而构建出一个基于概率密度的表示形式。后续，本文通过优化计算，找到了最佳的变换参数，旨在使源云至目标云的概率密度分布最大化，确保两者之间达到最佳的匹配。计算NDT过程帧间匹配牛顿算法优化第三讲基于激光雷达的环境建图算法

二维栅格地图构建算法中最具代表性的谷歌开源的Cartographer，在实现二维SLAM中，它可以生成精度为5cm的二维栅格实时地图，采用回环检测来优化子图的位姿，消除建图过程中的累积误差，同时实现了计算量和实时性之间的平衡。其系统框架结构如图。SLAM框架结构图

湖南大学机器人学院建图结果本实验使用ROS中的Cartographer功能包进行建图实验，结果如图所示。实验使用的教育机器人搭载了单线激光雷达、IMU以及光电编码器，可以看出实验结果存在一定地图漂移，原因是建图效果受到激光雷达与里程计精度的影响。

三维激光雷达获得的点云数据完成特征提取后进行运动估计并构建遍历环境地图的主要流程，包括回环检测与后端优化部分。其核心流程可总结如下。1.特征提取与运动估计：提取激光点云特征（如边缘、平面），估计帧间运动。2.回环检测：粗查找：用Scan-context/IRIS快速筛选潜在回环帧；精配准：用ICP/NDT优化回环帧位姿，计算约束。3.后端优化：图优化（节点=位姿，边=帧间约束/回环约束），非线性最小二乘最小化全局误差。4.地图拼接：将优化后的位姿应用于原始点云，生成全局三维点云地图。点云输入运动估计回环检测后端优化地图输出第四讲基于激光雷达的环境语义分析

VoxelNet方法是一个端到端（EndtoEnd）的利用激光点云进行三维目标检测的神经网络架构，它的主要特征是将点云转换成体素（voxel）形式后在进行特征提取，VoxelNet方法的整体架构如图所示。Voxel整体结构图

整体网络从下到上被分为三层：1）特征提取层（FeatureLearningNetwork）：主要的任务是将点云划分为体素，然后提取特征。2）中间卷积层（ConvolutionalMiddleLayers）：完成特征提取后，进入中间卷积层。由于点云数据是四维张量描述的，所以这里使用三维卷积来构建中间层，每一个卷积中间层包含一个三维卷积，一个BN层进行批标准化以及一个非线性层ReLU，增大感受野，获取全局信息。

3)RPN层:RPN层早在2D物体检测的Faster-RCNN就已经被提出了。RPN层主要用来根据学习到的特征结合Anchor来在原始图像中找到物体所在的检测框和对应的类别。总结：该网络以中间卷积层输出的特征图作为输入，依次经过三次下采样，然后将这三个维度的特征图进行拼接，然后进行检测输出一个物体类别的概率分布和一个输出Anchor到真实框的变化两个特征图。

PointNet++网络结构图PointNet++是斯坦福大学的CharlesR.Q等人在他们原来提出的PointNet方法上的一个改进、迭代更新的版本。原有的PonitNet方法使用具有置换不变性的对称函数解决了由于点云无序性带来的操作问题，是将深度学习运用到点云领域的一个开创性的方法，而PointNet++核心的想法在局部区域重复性的迭代使用PointNet,网络结构如图所示。

在VoxelNet和PointNet++这两个方法被提出后，基于激光雷达的物体检测进入到了一个快速发展期，许多的算法被提出用于改进这两个方法，如SECOND、PIXOR以及Point_x0002_RCNN等，目前最新的研究方向是将基于视图的方法以及基于原始点云的方法进行融合，基本的融合思路是：利用较低分辨率的Voxel来提取上下文特征或生成候选的物体框，然后再与原始的点云集进行结合，目前较为成熟的融合方法是SIENet与VoxelR-CNN。

定义：激光雷达语义分割是为点云中每个点分配语义标签（如“车辆”“行人”“道路”“建筑物”“树木”），实现对环境的结构化理解，为机器人导航、避障、场景交互提供语义信息支撑。核心价值：解决“激光雷达点云仅含几何信息，缺乏语义属性”问题，让机器人“看懂”环境而非仅“感知”环境。基于点的方法——直接处理原始点云:PointNet：通过“对称函数（最大池化）”解决点云无序性问题，提取全局特征后与点特征拼接，实现逐点分类。PointNet++：改进PointNet的“局部特征缺失”问题，通过分层特征学习（“采样→分组→特征提取”循环）构建多尺度特征。其他改进算法PointCNN：通过“χ算子”对K近邻点按空间距离排序，构建有序特征序列，实现点云卷积；KPConv（核心点卷积）：在局部区域定义“核心点”（类比卷积核），计算点与核心点的相对位置特征，提升几何表征能力；PointAtrousNet：引入空洞卷积（PAC），在不增加参数的情况下扩大感受野，提取多尺度几何特征。

基于图像的方法——投影为2D图像处理核心思路：将三维激光雷达点云投影为二维图像（如球面映射的Range图像、多视角合成图像），复用成熟的2D图像语义分割算法（如FCN），再将2D分割结果反投影回原始3D点云，实现逐点语义标注。详细流程如下。点云到Range图像转换2D全卷积分割2D到3D反投影3D后处理优化全卷积分割网络结构图

基于体素的方法——量化为3D体素网格核心思路：将三维点云量化为均匀的体素网格（VoxelGrid），通过3D卷积神经网络提取体素级特征，为每个体素分配类别标签，网格内所有点共享该标签，平衡精度与效率。代表算法VoxelNet扩展（语义分割方向）原理：沿用“体素划分→随机采样→特征编码→3D卷积”流程，将原用于目标检测的RPN层替换为语义分割头（如U型3DCNN），输出体素语义标签；FCPN（全卷积点云网络）差异：与VoxelNet“固定体素大小、点数量不固定”不同，FCPN在每个体素内采集固定数量的点，构建稠密3D张量，通过3D卷积提取多尺度特征，提升分割精度。优劣势分析优势：3D卷积能捕捉空间邻域关系、适配大规模点云；不足：体素分辨率难平衡（高分辨率→算力爆炸，低分辨率→细节丢失）、空体素（无点）造成计算资源浪费。

基于图的方法——建模为图结构学习核心思路：将激光雷达点云建模为图结构（节点=单个点/超点（Superpoint），边=节点间的邻接关系，如欧氏距离相近），通过图卷积网络（GCN）学习节点特征，实现语义分类。代表算法SPG（超点图）原理：第一步：将点云聚类为“超点”（如基于欧氏距离聚类），每个超点作为图的节点，提取超点的几何特征（如体积、中心坐标）；第二步：用PointNet编码节点特征，通过图卷积学习节点间的关联特征（如超点间的距离、角度）；第三步：输出每个超点的类别标签，再分配给超点内所有点。GACNet（图注意力卷积网络）改进：引入“图注意力机制”，动态为不同邻接节点分配权重，解决“标准图卷积忽略同一物体内点结构关系”的问题，提升语义一致性。3.4.3优劣势分析优势：能捕捉全局上下文关系（如“车辆”与“道路”的关联）、对稀疏点云鲁棒；不足：图构建复杂（节点/边定义依赖人工设计）、推理速度慢（图卷积计算复杂度高）。

方法类型核心思路代表算法/模型优势不足传统方法手工提取特征（如法向量、曲率），结合SVM/RF分类，CRF优化平滑性-轻量、易解释手工特征鲁棒性差，泛化能力弱基于点的方法直接处理点云，学习局部/全局特征PointNet++、KPConv保留精细空间信息计算量大，对大规模点云不友好基于图像的方法将点云投影为Range图像（球面映射），用2DFCN分割后反投影回3DRangeNet++速度快、复用2D成熟算法投影易丢失深度信息基于体素的方法点云→体素量化，用3D卷积提取特征VoxelNet扩展兼顾精度与效率体素分辨率影响结果，内存消耗大基于图的方法将点云建模为图（节