传感器技术 课件 项目8任务2AI机器人中的传感器综合应用

任务2AI机器人中的传感器综合应用Contents目

录项目背景1

任务描述与要求2常见气拓展实践3工程实践“其帝炎帝，其神祝融。”《礼记》中提到的“祝融”是中国上古神话中的火神，三皇五帝时掌火之官。千百年后的今天，“祝融”有了新含义——4月24日，在第六个“中国航天日”，中国首辆火星车公布其新名称为“祝融号”，寓意点燃中国星际探测的火种。项目背景2.任务描述与要求任务描述：

结合案例，动手组装一辆带双目视觉的机器人“祝融号”小车。2.任务描述与要求任务要求：要求1：绘制“祝融号”小车系统原理框图；要求2：了解双目视觉计算物体深度技术原理；要求3：在ubuntu系统下完成对realsenselib的支持库安装；要求4：在移动平台网关平台测试双目摄像头是否正常工作；要求5：掌握基于ROS构建interrealsense双目相机的功能包；要求6：发展细致思考和追求卓越的素养；要求7：强化系统思维和合规执行的素养。2.1任务内容(1)

双目立体视觉介绍双目视觉技术在许多领域都有广泛的应用，例如机器人导航、自动驾驶、虚拟现实、三维重建等。它模仿了人类视觉系统的基本工作方式，通过两个眼睛从不同的视角获取信息，再通过大脑计算得到三维的空间感知。这种技术对于我们理解和解析现实世界具有重要的意义。双目视觉系统的另一个优势是它可以提供更丰富的空间信息。由于双目视觉系统可以计算出目标对象的深度信息，因此它可以提供更完整的三维场景信息。这使得双目视觉系统在许多领域中具有广泛的应用，例如机器人导航、自动驾驶、虚拟现实等。（2）单目和双目检测比较（3）可移动机器人及自动驾驶系统的主要构成在移动机器人和自动驾驶领域，环境感知、行为决策和执行控制是相互关联和影响的。环境感知为行为决策提供了数据输入，行为决策的结果又需要执行控制来实现。同时，执行控制的效果也会影响环境感知的数据收集和处理。这三个部分的协同工作是实现自主移动的关键。2.2实验原理（1）双目视觉双目立体视觉的深度相机对环境光照强度比较敏感，且依赖图像本身的特征，在光照不足，缺乏纹理的情况下很难提取到适合做匹配的特征。即左右两幅图像的对应关系不容易确定。2.2实验原理（2）InterRealsenseD415RealSenseD415提供卷帘快门感应器和窄视野的小镜头。英特尔表示，D415搭载D410深度传感器，狭窄视野提供了高深度分辨率，这是“精确测量的理想选择”。英特尔表示，D415相机是“机器人导航和物体识别等应用的首选解决方案”。这两款RealSenseD400系列摄像机的捕捉最远距离可以达到10米，而且新款在户外阳光下也可以使用，均支持输出1280x720分辨率的深度画面，更普通的视频传输方面可以达到90fps。2.2实验原理（3）支持库部署首先打开ubuntu终端，运行下列命令安装依赖包。sudoapt-getupdate&&sudoapt-getupgrade&&sudoapt-getdist-upgradesudoapt-getinstallgitcmakelibssl-devlibusb-1.0-0-devpkg-configlibgtk-3-devsudoapt-getinstalllibglfw3-devlibgl1-mesa-devlibglu1-mesa-dev然后下载realsenseSDKgitclone/IntelRealSense/librealsense.git或者直接去上述地址下载zip包，解压备用，然后准备编译。mkdirbuild&&cdbuildcmake../-DCMAKE_BUILD_TYPE=Release-DBUILD_EXAMPLES=true-DFORCE_RSUSB_BACKEND=ON-DBUILD_WITH_TM2=false-DIMPORT_DEPTH_CAM_FW=false2.2实验原理(4)Interrealsense与ROS本实验已提供适配本系统的ros功能包，如希望自行安装，可参考下列步骤镜像安装，在连接/IntelRealSense/realsense-ros.git下载realsense的ros包的源代码，并执行下列命令创建工作空间。mkdir-p~/catkin_ws/src&&cd~/catkin_ws/src下载源码，并检查依赖。mkdir-p~gitclone/IntelRealSense/realsense-ros.gitcdrealsense-ros/realsense2_cameragitcheckoutgittag|sort-V|grep-P"^\d+\.\d+\.\d+"|tail-1sudoapt-getinstallros-kinetic-ddynamic-reconfigure/catkin_ws/src&&cd~/catkin_ws/src按照下列命令编译完成后即可完成功能包的安装。cd~/catkin_wscatkin_make-DCATKIN_ENABLE_TESTING=False-DCMAKE_BUILD_TYPE=Releasecatkin_makeinstallecho"source~/catkin_ws/devel/setup.bash">>~/.bashrcsource~/.bashrc2.3实验步骤①正常连接小车的各个模块设备，特别是双目相机的蓝色USB3.0口要接在移动平台网关的蓝色USB3.0接口上。使移动平台正常上电，等待网关ubuntu系统启动，等待启动完成，触摸屏显示进入桌面环境，如下图所示。②打开网关ubuntu系统的终端，输入realsense-viewer命令，如下。③图形界面启动后，点击RGBCamera开启，即可看到摄像头的彩色图像，正面摄像头工作正常。(1)测试相机2.3实验步骤①在移动平台出厂系统中已包含本次实验的源代码，在/home/fy/realsense_ws中，如没有找到该工作空间，将光盘src\第五章基于ROS的智能设备驱动\双目视觉模块ROS驱动功能包构建下的realsense_ws.tar.bz2通过xshell下载到用户目录/home/fy，在终端输入如下命令进行解压。tarjxvfrealsense_ws.tar.bz2在终端输入如下命令进行编译源代码，编译完成如下图所示。③在终端输入如下命令设置环境变量。sourcedevel/setup.sh(2)ROS功能包编译2.3实验步骤①在终端输入如下命令启动相关节点。roslaunchrealsense2_camerars_camera.launch②等待程序加载完成，启动新终端，输入如下指令。rostopiclist③即可看到如图所示的topic列表，就是当前程序功能包的主题。④输入如下命令查看topic发布的图像。rqt_image_view⑤rqt_image_view界面启动后，切换不同的平面图像topic，即可在界面是显示。(3)启动节点2.3实验步骤⑥使用CTR+C结束步骤1的程序，运行下列命令，启动相机节点并使其使用点云选项发布点云。roslaunchrealsense2_camerars_camera.launchfilters:=pointcloud⑦启动新终端，输入rviz命令，启动rviz，等待界面启动，设置为如图所示。⑧点击左下角的add按钮，找到PointCloud2，点击ok，软后将下图的topic选择选择为点云的topic，即可在中间的视图中看到彩色的点云图，如看不清楚，可进行缩放显示。⑨使用CTR+C结束步骤6的程序，运行下列命令，启动摄像机节点并将其将对齐的深度流发布到其他可用流（如颜色或红外线），然后采用步骤5中的rqt_image_view或步骤8中的rviz即可看到深度图像。如图roslaunchrealsense2_camerars_camera.launchalign_depth:=true(k>>3);//返回14位数据，即温度值}3.拓展实践环境建模与定位：利用传感器数据构建环境地图，并通过定位算法确定机器人在该地图中