第6章-基于多传感器融合的机器人环境感知技术

基于多传感器融合的机器人环境感知技术机器人环境感知技术-第6章湖南大学∙人工智能与机器人学院第一讲多传感器融合概述及工作原理传感器的定义传感器是将非电量转换为电量的装置，类似人类的感觉器官，帮助机器人感知外部环境和自身状态。传感器的组成由敏感元件（感知被测量变化）和转换元件（将感知变化转换为电信号）组成，由于涉及信息处理，通常还包含相关的信号调理电路和辅助电源。传感器的分类通常根据被测对象的位置分布情况，将机器人传感器分为内部传感器和外部传感器两大类常见机器人传感器组成示意图传感器的定义与分类激光雷达与相机联合标定方法1.离线标定方法一种雷达与相机校准离线方法示例离线的激光雷达与相机联合标定方法，通常采用辅助校准的设备或装置，通过从图像和激光雷达点云数据中提取与校准设备边缘对应的多组二维(2D)和三维(3D)线或点，进行匹配得出相机与激光雷达外部参数的唯一初始估计，即相机与激光雷达间的空间转换矩阵。激光雷达与相机联合标定方法2.在线标定方法一种雷达与相机在线外部校准方法示例在线的激光雷达与相机联合标定方法，通常不需要采用辅助校准的设备或装置，通过在移动机器人语义地图构建或导航过程中从图像和激光雷达点云数据中提取环境特征进行匹配校准，得到激光雷达与相机之间的空间转换关系。激光雷达与惯性测量单元联合标定一种雷达与惯性测量单元校准方法示例在移动机器人自主环境感知等应用中，激光雷达(LiDAR)与惯性测量单元(IMU)的融合通常是不可或缺的，而准确可靠的传感器校准对此至关重要。一般情况下，LiDAR-IMU的校准方法可以采用连续时间批处理优化框架，在这个过程中，会对两个传感器的内部参数和传感器之间的空间-时间外部参数进行校准，而无需使用标定基础设施，例如基准标签。与离散时间方法相比，连续时间公式在融合激光雷达和IMU传感器的高速率测量方面具有天然的优势。激光雷达、相机与惯性测量单元联合标定一种激光雷达、相机与惯性测量单元联合标定方法示例一个集成LiDAR-视觉-惯性外部校准框架，它以自然的多模态数据作为输入，并在没有任何辅助对象(站点)或人工帮助的情况下端对端生成传感器之间的外部关系。为了融合多模态数据，将LiDAR-视觉-惯性外部校准构建为一个连续时间的同时定位和地图构建问题，通过建立传感器对传感器和传感器对轨迹的约束来联合估计外部参数、轨迹、时间差异和地图点第二讲基于视觉与力触觉融合的机器人目标抓取抓取目标三维数据获取1.接触式扫描仪2.非接触式扫描仪基于视觉模态特征的目标抓取抓取目标三维数据表征1.多视角图像2.RGB-D数据3.三维点云数据4.三维网格数据5.体素数据格式抓取目标特征提取1.局部特征提取2.全局特征提取抓取目标检测1.二维目标检测2.三维目标检测抓取目标分割1.语义2D图像分割2.语义3D点云分割抓取目标位姿估计1.抓取目标初始位姿估计2.抓取位姿验证与优化3.位姿优化常见三维数据获取传感器基于视觉模态特征的目标抓取一种基于视觉的抓取模型示例基于视觉模态特征的目标抓取指的是利用视觉信息进行目标检测和定位，从而实现机器人对目标物体的精准抓取。通过分析目标物体在图像中的外观特征、形状、颜色等信息，结合深度学习算法或传统计算机视觉技术，可以确定最佳的抓取位置和姿态，使机器人能够有效地抓取目标物体。这种方法通常需要综合考虑环境条件、目标物体的属性以及机器人的执行能力，以实现高效准确的目标抓取任务。软体机械手抓取结构的设计具有较高的灵活性和适应性，适用于需要处理形状复杂、易变的物体的应用场景。软体机械手刚体机械手设计需要考虑到机械结构的刚度、力学特性以及控制系统的稳定性，以实现对目标物体的可靠抓取和操作。刚体机械手基于触觉模态特征的目标抓取基于触觉模态特征的目标抓取触觉数据采集过程在硬件优化方面，研究通过有限元分析和最小二乘法优化手指结构与传感器布局，利用特定节骨比例和力矩空间评估，实现了精确的力量抓握与输出校准。在算法应用方面，系统通过触觉阵列数据，利用支持向量机（SVM）进行物体分类并预测抓取稳定性；同时结合随机森林算法，使欠驱动机器人手无需重复探索，即可在单一力闭合过程中实现对任意位置物体的属性估计与判别。基于传统机器学习方法的抓取目标特征提取深度学习在处理高维触觉信息方面展现出巨大潜力，通过卷积神经网络（CNN）与长短期记忆网络（LSTM*的结合，系统能够处理复杂的时空触觉数据。这种架构不仅能生成如“扭转”与“推动”等特定动作，还能通过参数化调节生成未经训练的过渡运动。此外，研究者还引入了编码器-解码器架构（如EDAMS），将高维多抓握触觉数据映射到低维潜空间，实现了物体类别的几何分离与准确分类。针对膜压传感器难以区分多种触觉信息的问题，通过DNN-LSTM算法模型有效提升了多指机械手对触觉测量的感知与判别能力。基于深度学习方法的抓取目标特征提取基于触觉模态特征的目标抓取一种基于触觉的抓取质量预测模型示例基于视觉与触觉特征融合的目标抓取一种视觉与触觉融合的抓取模型示例基于视觉与触觉模态的多模态目标特征提取与对齐方法。近年来，深度学习算法在各个领域取得显著成果。毫无疑问，深度学习同样在基于视觉与触觉模态的多模态目标特征提取中扮演着重要的角色。为来提高抓取物体感知鲁棒性，常见的基于端到端深度学习的视觉与触觉多模融合方法，有CNN-CNN、CNN-GCN、CNN-Transformer和Transformer-Transformer等方法。第三讲基于多传感器融合的机器人自主定位与导航基于多传感器融合的机器人语义地图构建卡尔曼滤波：卡尔曼滤波器是一种高效的递归滤波算法，它通过结合系统的“物理模型预测”与“传感器实时观测”，在存在噪声和不确定性的情况下，实时估计系统的最优状态。其核心逻辑在于利用卡尔曼增益在预测值与测量值之间进行智能加权：当传感器误差较大时，系统更倾向于相信物理模型；反之，则更依赖观测数据，从而实现对目标位姿、速度等参数的高精度平滑追踪。基于多传感器融合的机器人语义地图构建拓展卡尔曼滤波：扩展卡尔曼滤波（EKF）是标准卡尔曼滤波在非线性系统下的扩展，它通过在每个时间步利用泰勒级数展开将非线性函数局部线性化（即计算雅可比矩阵），从而使算法能够处理现实中复杂的运动模型和传感器观测。它继承了预测与修正的循环机制，是目前自动驾驶、机器人定位及多传感器融合领域中最为广泛应用的非线性状态估计方法。基于多传感器融合的机器人语义地图构建迭代卡尔曼滤波：迭代卡尔曼滤波（IKF）是在扩展卡尔曼滤波（EKF）基础上的进一步优化，它通过在单个更新步内对当前观测值进行多次迭代线性化，利用高斯-牛顿等优化方法不断逼近真实的非线性状态。相比于EKF只进行一次泰勒展开，IKF能显著减小因系统高度非线性带来的线性化误差，在如手持激光雷达定位与制图（SLAM）等对精度要求极高的场景中，能提供更稳定的位姿估计。基于多传感器融合的机器人语义地图构建错误状态卡尔曼滤波：错误状态卡尔曼滤波（Error-StateKalmanFilter,ESKF）将系统状态分为名义状态（NominalState）和误差状态（ErrorState），仅对微小的误差项进行线性化预测和更新。这种方法避免了直接对复杂的非线性流形进行线性化，使得模型在高动态旋转等非线性场景下更加稳定，且计算效率高，是当前手持激光雷达SLAM及多传感器融合系统中处理位姿估计的主流算法。基于多传感器融合的机器人语义地图构建利用压电效应测量力，适用于动态力测量，但灵敏度和线性度较差，需定期校准（1）基于松耦合的方法：松耦合将激光雷达和惯性测量单元视为两个独立的位姿估计器。它们各自完成一部分计算，最终由一个融合中心来组合它们的结果。（2）基于紧耦合的方法：紧耦合将惯性测量单元的原始预积分数据和L激光雷达的原始观测数据放在同一个优化问题中，共同约束机器人的状态。基于激光雷达-惯性测量单元融合的机器人语义地图构建方法压阻式（1）基于滤波的方法：将系统的状态建模为一个概率分布。当新的传感器数据到来时，使用滤波器来递归地更新状态的估计值和其不确定性。（2）基于优化的方法：将状态估计问题建模为一个最大后验概率问题。基于视觉-惯性测量单元融合的语义地图构建方法（1）基于松耦合的方法：视觉和激光雷达各自独立地进行一部分计算，产生中间结果，然后在后期将这些结果融合。（2）基于紧耦合的方法：通过在扫描中对视觉里程计的漂移进行线性运动建模,可以改善去畸变过程的性能。然后，将去畸变的点云与当前构建的地图进行匹配和注册，以优化估计的姿态。基于视觉-激光雷达融合的机器人语义地图构建方法基于多传感器融合的机器人定位导航基于单一传感器的机器人定位方法基于视觉导航的机器人定位方法基于光反射导航的机器人定位方法基于超声波导航的机器人定位方法基于航机推算的机器人定位方法基于空间信标的机器人定位方法基于局部视觉的方法通常在机器人系统上配备车载相机,利用其采集的图像信息来完成导航定位任务。这种基于视觉的定位方法相比传统的里程计、惯性导航等方法,具有成本低、易实现、适用性强等优点。光反射导航定位方法常用激光测距或红外测距传感器进行测距。这两种方法都是基于光反射的原理实现定位的。激光测距能够实现高分辨率测距。测距方向分辨率高,有利于精确定位。通过计算超声波发射信号与接收信号之间的时间差，并结合已知的超声波在特定介质中的传播速度，来计算出障碍物与机器人之间的距离。超声波导航定位技术为机器人提供了有效的距离感知能力。航迹推算是利用机器人自身的里程计和惯性测量单元(IMU)来检测和累积位移和旋转变化,从而推算出机器人当前的相对位置。这种方法简单实用,成本相对较低,并且更新频率高。包括：（1）UWB定位（2）基于蓝牙的iBeacon定位（3）RFID标签定位这些基于信标的定位方法的优点是，定位精度不会随时间累积误差而逐渐降低,而是维持在一个稳定的误差范围内。基于多传感器融合的机器人定位导航超声波定位超声波装置发射器接收器物体超声波导航定位通过传感器发射信号并接收障碍物反射的回波，利用往返时间差与声速计算距离，为机器人提供高效的避障与距离感知能力。该技术具有成本低、信息采集快、距离分辨率高及实时性强等显著优势，在多种应用场景中极具竞争力。然而，超声波传感器易受天气、光照及物体表面粗糙度影响，且角度分辨率较低，因此在实际高精度需求下，通常建议将超声波与激光或红外技术进行融合，以通过多源数据互补实现更准确、可靠的定位效果。基于多传感器融合的机器人定位导航UWB基站UWB基站UWB基站UWB基站UWB标签UWB标签定位UWB（Ultra-Wideband，超宽带）标签定位是一种利用纳秒级极窄脉冲信号进行无线测距的高精度定