《导航》课件-23双目视觉导航

课前回顾：1.光流定位工作原理。2.如何使用飞行日志分析光流定位传感器故障？视觉传感器能提供非常丰富的信息，而双目传感器还能提供至障碍物的距离信息，所以现在无人机上还配置了双目视觉导航传感器，那如何安装和使用该传感器呢？导入新课：123R1双目视觉导航1．双目视觉导航工作原理；2.双目视觉导航传感器的安装和使用。课时：2学时教学目标：1.熟悉双目视觉导航工作原理；2.熟悉双目视觉导航传感器标定方法；3.熟悉双目视觉导航传感器安装和和使用方法。知识目标：教学目标：1.会进行双目视觉导航传感器的标定；2.会安装和使用双目视觉导航传感器。能力目标：素质目标：1.具有吃苦耐劳的工作作风和爱岗敬业的职业精神。2.具备三敬零无素养。R1.1双目视觉导航工作原理双目视觉导航系统和人类视觉类似，是通过两个摄像头获取图像信息，计算视差，从而辅助无人机感知三维世界。双目视觉导航系统主要组成部分是两个摄像头组成的双目视觉传感器，如下图所示：R1.1双目视觉导航工作原理双目视觉导航的一般流程是先对两相机进行标定，获取畸变参数、相机内外参数；然后使用上一步标定结果对左右两相机采集的图像进行畸变校正和极线校正；其次进行立体匹配，计算两图片的匹配点，并计算视差图。下图为得到的一幅视差图，视差图中像素点的亮度越亮，表示离相机越近，亮度越暗，表示离相机越远。当无人机采用双目视觉导航系统时，即可感知相机前方障碍物距离的远近，从而实现避障和导航。R1.2双目视觉导航传感器的安装和使用

1）设备准备在搭建双目视觉导航系统前，需要组装好一架基于Pixhawk飞控的多旋翼无人机，还需要准备一台树莓派机载计算机和双目视觉传感器。R1.2双目视觉导航传感器的安装和使用2）设备安装（1）将机载计算机安装在无人机上中心板上，一般通过钣金铜柱将机载计算机底座与上中心板连接起来，并使用UBEC给机载计算机供电。（2）将IntelRealSenseT265安装在无人机上，使相机朝向机体坐标系x轴正方向。由于视觉传感器要避免振动带来的图像模糊，所以视觉传感器的安装要做好减振措施，可以先将壳体装在无人机上，然后使用厚的双面胶将视觉传感器粘在壳体内，安装效果图如下：R1.2双目视觉导航传感器的安装和使用（3）用USB线将IntelRealSenseT265连接至树莓派的USB3.0端口，同时用PiConnectLite串口线连接树莓派的串口至Pixhawk飞控的TELEM2口。R1.2双目视觉导航传感器的安装和使用3）飞控配置（1）将用MircroUSB线或数传电台将飞控与电脑相连，然后打开MissionPlanner软件，选择合适的串口，并点击“Connect”按钮。（2）进到全部参数表页面，将“SERIAL2_PROTOCOL”参数设置为2，“SERIAL2_BAUD”设置为921。（3）进行导航参数配置。进入全部参数表页面，按照表1依次配置各项参数，然后点击“写入参数”，并重新启动飞控。R1.2双目视觉导航传感器的安装和使用（4）重新建立飞控与地面站的连接，在飞行数据的地图窗口内，单击鼠标右键，选择“SetHomeHere”，然后选择“SetEKFOriginHere”，告诉飞控当前的位置，然后地图上就会出现无人机图标。（5）在飞行前，将无人机提起至1米高度，然后再放下，这样使得视觉传感器能够校正其垂直方向的尺度。R1.2双目视觉导航传感器的安装和使用

4）配置双目视觉传感器运行环境（1）在树莓派上安装librealsense和pyrealsense2。（2）更新PYTHONPATH环境变量，并将其路径添加至pyrealsense2库。（3）下载t265_to_mavlink.py文件，并在树莓派上运行，测试pyrealsense2是否正确安装以及T265能否正常工作。R1.2双目视觉导航传感器的安装和使用

5）测试前的验证为了确定飞控是否接收到了T265发过来的消息，可以在MissionPlanner地面站上，使用“Ctrl+F”快捷键，打开“temp”窗口，然后点击“MavlinkInspector”按钮，这时应该能看到视觉传感器发过来的数据。从下图可以看出，视觉传感器传送给飞控的数据有导航坐标系下的位置、航姿及可信度。R1.2双目视觉导航传感器的安装和使用

6）地面测试（1）断开地面站和无人机的连接，然后重新建立连接。（2）在树莓派下运行t265_to_mavlink.py，并在地面站地图上设置EKF的原点，等待一段时间，直到地图上出现无人机图标。（3）提起无人机，行走一段路程，检查地图上无人机图标的位置是否跟着走动，地图上无人机的运行轨迹应该和实际行走的轨迹相差不大。（4）在测试过程中，要时刻关注视觉传感器输出的数据可信度和实际定位性能，只有可信度高的情况下，才可以相信其输出的六自由度数据。（5）如果视觉传感器数据丢失，可以尝试重新启动飞控。R1.2双目视觉导航传感器的安装和使用7）飞行测试（1）在姿态或定高模式下起飞，检查飞机是否稳定飞行。（2）手提无人机走动，观察地面站上飞机的轨迹追踪是否稳定。（3）切换至留待模式，但要时刻准备着切回姿态或者定高模式，以免发生意外。（4）在留待模式下，无人机应该能稳定悬停，且位置能保持住。（5）以不同的速度移动和转动无人机，同样也要时刻注意切回姿态或者定高模式。如果一切如预期那样，下次就可以在留待模式下解锁起飞。R1.3小组比拼学生每六人一组，每小组选出一个组长，负责讨论环节的组织、记录和总结。1）现场进行双目视觉导航传感器的安装和测