《机器人环境感知》课件-第6章-基于多传感器融合的机器人环境感知技术

基于多传感器融合的机器人环境感知技术机器人环境感知技术-第6章第一讲多传感器融合概述及工作原理传感器的定义传感器是将非电量转换为电量的装置，类似人类的感觉器官，帮助机器人感知外部环境和自身状态。传感器的组成由敏感元件（感知被测量变化）和转换元件（将感知变化转换为电信号）组成，由于涉及信息处理，通常还包含相关的信号调理电路和辅助电源。传感器的分类通常根据被测对象的位置分布情况，将机器人传感器分为内部传感器和外部传感器两大类常见机器人传感器组成示意图传感器的定义与分类激光雷达与相机联合标定方法1.离线标定方法一种雷达与相机校准离线方法示例激光雷达与相机联合标定方法2.在线标定方法一种雷达与相机在线外部校准方法示例激光雷达与惯性测量单元联合标定一种雷达与惯性测量单元校准方法示例激光雷达、相机与惯性测量单元联合标定一种激光雷达、相机与惯性测量单元联合标定方法示例第二讲基于视觉与力触觉融合的机器人目标抓取抓取目标三维数据获取1.接触式扫描仪2.非接触式扫描仪基于视觉模态特征的目标抓取抓取目标三维数据表征1.多视角图像2.RGB-D数据3.三维点云数据4.三维网格数据5.体素数据格式抓取目标特征提取1.局部特征提取2.全局特征提取抓取目标检测1.二维目标检测2.三维目标检测抓取目标分割1.语义2D图像分割2.语义3D点云分割抓取目标位姿估计1.抓取目标初始位姿估计2.抓取位姿验证与优化3.位姿优化基于视觉模态特征的目标抓取一种基于视觉的抓取模型示例软体机械手抓取结构的设计具有较高的灵活性和适应性，适用于需要处理形状复杂、易变的物体的应用场景。软体机械手刚体机械手设计需要考虑到机械结构的刚度、力学特性以及控制系统的稳定性，以实现对目标物体的可靠抓取和操作。刚体机械手基于触觉模态特征的目标抓取基于触觉模态特征的目标抓取触觉数据采集过程基于触觉模态特征的目标抓取一种基于触觉的抓取质量预测模型示例基于视觉与触觉特征融合的目标抓取一种视觉与触觉融合的抓取模型示例第三讲基于多传感器融合的机器人自主定位与导航基于多传感器融合的机器人语义地图构建卡尔曼滤波：基于多传感器融合的机器人语义地图构建拓展卡尔曼滤波：基于多传感器融合的机器人语义地图构建利用压电效应测量力，适用于动态力测量，但灵敏度和线性度较差，需定期校准（1）基于松耦合的方法：松耦合将激光雷达和惯性测量单元视为两个独立的位姿估计器。它们各自完成一部分计算，最终由一个融合中心来组合它们的结果。（2）基于紧耦合的方法：紧耦合将惯性测量单元的原始预积分数据和L激光雷达的原始观测数据放在同一个优化问题中，共同约束机器人的状态。基于激光雷达-惯性测量单元融合的机器人语义地图构建方法压阻式（1）基于滤波的方法：将系统的状态建模为一个概率分布。当新的传感器数据到来时，使用滤波器来递归地更新状态的估计值和其不确定性。（2）基于优化的方法：将状态估计问题建模为一个最大后验概率问题。基于视觉-惯性测量单元融合的语义地图构建方法（1）基于松耦合的方法：视觉和激光雷达各自独立地进行一部分计算，产生中间结果，然后在后期将这些结果融合。（2）基于紧耦合的方法：通过在扫描中对视觉里程计的漂移进行线性运动建模,可以改善去畸变过程的性能。然后，将去畸变的点云与当前构建的地图进行匹配和注册，以优化估计的姿态。基于视觉-激光雷达融合的机器人语义地图构建方法基于多传感器融合的机器人定位导航基于单一传感器的机器人定位方法基于视觉导航的机器人定位方法基于光反射导航的机器人定位方法基于超声波导航的机器人定位方法基于航机推算的机器人定位方法基于空间信标的机器人定位方法基于局部视觉的方法通常在机器人系统上配备车载相机,利用其采集的图像信息来完成导航定位任务。这种基于视觉的定位方法相比传统的里程计、惯性导航等方法,具有成本低、易实现、适用性强等优点。光反射导航定位方法常用激光测距或红外测距传感器进行测距。这两种方法都是基于光反射的原理实现定位的。激光测距能够实现高分辨率测距。测距方向分辨率高,有利于精确定位。通过计算超声波发射信号与接收信号之间的时间差，并结合已知的超声波在特定介质中的传播速度，来计算出障碍物与机器人之间的距离。超声波导航定位技术为机器人提供了有效的距离感知能力。航迹推算是利用机器人自身的里程计和惯性测量单元(IMU)来检测和累积位移和旋转变化,从而推算出机器人当前的相对位置。这种方法简单实用,成本相对较低,并且更新频率高。包括：（1）UWB定位（2）基于蓝牙的iBeacon定位（3）RFID标签定位这些基于信标的定位方法的优点是，定位精度不会随时间累积误差而逐渐降低,而是维持在一个稳定的误差范围内。基于多传感器融合的机器人定位导航超声波定位超声波装置发射器