《机器人环境感知》课件-第5章-主动视觉感知与点云配准

主动视觉感知与点云配准机器人环境感知技术-第5章一基本概念

被动视觉机器人仅通过接收外部环境提供的信息来进行分析和判断。这限制了机器人的自主性和适应性主动视觉机器人不仅要被动地接受环境信息，还要主动地去探索和交互环境，通过自身的动作来改变观察的角度和条件，以获取更丰富、更准确的感知数据。

体素表示三角网格表示点云表示一个典型的主动视觉感知系统的工作流程，它集成了数据采集、全局数据更新、视角规划三个关键步骤。这三个步骤环环相扣，形成了一个闭合的循环，机器人主动感知系统将不断执行这一循环，直至满足预设的终止条件工作流程数据采集全局数据更新体素：采用三维网格或类似的数据结构来离散化并模拟复杂的三维环境。三角网格：将场景表面分解为一系列紧密相连的三角形来实现对场景表面。点云：数据中的每个点都包含空间坐标（即x、y、z）以及可能的颜色信息常用数据表示二视角规划的基本方法

视角规划算法旨在根据当前体素模型从候选视角集合中选择最优的下一视角。选择基于八叉树结构的概率占用图表示目标所在空间。在这种表示中，每个体素都与一个被占用的概率相关联。根据被占用的概率，将每个体素分类为三个类别：(1)占用体素（occupied），表示传感器观测到的物体表面点；(2)空置体素（free），表示未被占用空间；(3)未知体素（unknown），表示传感器尚未观察到的空间。每个类别的体素均有一个占用概率区间，例如，未知体素的区间为[0.5,0.6]，空置体素的占用概率小于0.5，占用体素的概率大于0.6。基本方法物体三维重建扫描视点规划物理仿真

三维扫描的仿真叶片模型重构的点云模型演变

实际机器人三维扫描硬件构成配置/未配准的点云模型视角规划方法得到的视点轨迹三基于强化学习的视角规划

通过模仿生物学习的过程，不断的在环境中进行尝试，将不同的环境状态转化为可执行的步骤，不停的优化自己的行为达到最终目标，赢得最大奖励，获得最大奖励的这些步骤就是待解未知MDP的最优策略。

概念实施流程

1、基于值函数的方法：基于价值函数的算法的核心思想在于寻找一个价值函数，主要基于环境给出的奖励信号进行调整，根据状态-动作计算价值，再根据价值函数指导动作2、基于策略的方法：对策略函数进行优化，一般采用梯度上升或下降获取最优策略。其中，策略又分为随机性策略和确定性策略两种，随机性策略从最佳动作概率分布中输出动作，而确定性策略直接估计最佳动作，两种方式的最终目标都是通过最大化性能函数来获得最大回报3、基于价值与策略结合的方法：法结合了价值估计方法与策略优化方法的特点，一般被称为演员—评论家（Actor-Critic,AC）算法，同时对最优Q值以及最优策略进行学习基于值函数的方法：Q-learning

在视点规划任务中，两个基本目标是：（1）扫描到物体更多的信息；（2）所需扫描次数尽可能少。奖励函数：四点云及其配准

一种通过采样三维空间中物体表面点来表示几何形状的形式，通常由激光雷达（LiDAR）、结构光扫描仪、飞行时间（Time-of-Flight,ToF）相或立体视觉系统等设备获取。点云中的每个点都包含了其在三维空间中的坐标，有时还包括颜色、强度等附加信息。点云数据在计算机视觉、AGV导航、三维重建、无人驾驶等场景有着广泛的应用。(1)离散性：点云是三维空间的离散表示形式，每个点都由其三维坐标（x,y,z）表示，有时还包含颜色、强度等附加信息。(2)无序性：点云通常是无序的，即点的排列没有特定顺序，这使得传统的图像处理方法难以直接应用。(3)密度不均匀：在采集过程中受到传感器分辨率和距离的影响，点云密度和分辨率可能不均匀。(4)数据量大：点云体量大，尤其是高精度扫描会生成大量数据点，需要有效的存储和处理方法。(5)不规则性：因受环境因素影响，点云数据可能包含误差和缺失点，需进行预处理，如去噪和补全概念：特点：点云示例

点云配准是指将不同视角或不同时间获取的多组点云数据对齐的过程，旨在找到一个或多个变换矩阵，使得点云之间的对应点尽可能重合。点云配准问题的核心在于确定最佳的刚体变换参数，以最小化配准误差。点云配准问题可分为成对点云配准和多视角点云配准，前者将两个不同坐标系下的点云变换到一个坐标系下，后者则将多个不同坐标系下的点云变换到一个坐标系下。多视角点云配准可以通过多次运用成对点云配准来完全，因此成对点云配准是多视角点云配准的基础，但也有一些方法不通过成对点云配准而直接将多个点云直接变换到一个坐标系下。成对点云配准多视角点云配准五成对点云配准

配准示意（红色为源点云，蓝色为目标点云）

全局（粗）配准算法旨在提供一个初始的变换矩阵，特别是在没有先验位姿信息的情况下，全局配准算法能够处理较大初始错位和噪声常见的全局配准算法通常利用特征描述子提取点云的显著特征，并通过匹配这些特征来估计初始变换。然后，利用RANSAC（随机采样一致性）算法在噪声数据中寻找最佳匹配。全局配准算法为后续的精确配准提供了良好的起点，在复杂环境和多视角三维重建中发挥着重要作用。RANSAC算法流程图特征匹配示意

精配准算法用于在初步对齐的基础上进一步优化点云之间的对齐精度，以最小化两组点云的误差。最常用的精配准算法是ICP（IterativeClosestPoint）算法ICP算法通过反复迭代以下步骤来实现精确配准：1）找到源点云和目标点云之间的最近邻点对；2）计算一个刚体变换，包括旋转矩阵和平移向量，使得这些对应点对之间的距离最小化；3）应用该变换更新源点云的位置。迭代过程持续到误差收敛到一个小于预设阈值的范围内

基于神经网络的点云配准方法旨在自动学习和提取点云数据的特征，以实现精确的点云配准。与传统的手工设计特征和优化方法不同，点云配准网络通过端到端训练，直接从大量点云数据中学习有效的特征表示和变换估计典型的点云配准网络架构包括特征提取模块、特征匹配模块和变换估计模块。特征提取模块使用卷积神经网络（如PointNet、DGCNN）从点云中提取局部和全局特征；特征匹配模块利用这些特征找到对应点对；变换估计模块则通过学习优化来预测最佳的刚体变换参数点云特征提取网络结构示意深度对应匹配点云配准网络结构

该示例在包含12,311个合成CAD模型的ModelNet40及其低重叠变体ModelLoNet40数据集上，训练了一个基于PointNet特征提取器、9层重叠注意力模块和Sinkhorn归一化的深度点云配准网络，通过加入噪声和部分数据（重叠度73.5%）来测试其对刚性变换下点云配准的鲁棒性与精度。ModelNet40数据集上的配准实例六多视角点云配准多视角点云联合配准示例成对点云配准算法一次只能配准两个扫描，然而，构建完整的3D模型通常需要对扫描对象或场景多个视角下的一组3D扫描进行配准解决这一问题的直接方法是对齐两个扫描并合并它们，然后将新扫描配准到合并后的扫描中，并重复这个配准和合并的过程，直到所有扫描都被拼接在一起。但由于成对点云配准中的误差不断积累，随着扫描数量的增多，最终的配准结果会越来越差。因此，多视角点云配准算法同时考虑所有扫描，以生成一个全局一致的三维模型。

图优化方法通过构建一个图结构来表示不同视角的扫描之间的关系，将每组点云视为图中的节点，配准变换视为边。

图优化方法的核心思想是通过最小化图中边的误差来优化整个图的结