【《基于RGB-D相机的室内移动机器人系统硬件及操作系统集成设计案例》4100字】

基于RGB-D相机的室内移动机器人系统硬件及操作系统集成设计案例目录TOC\o"1-3"\h\u5926基于RGB-D相机的室内移动机器人系统硬件及操作系统集成设计案例 1140591.1引言 1266031.2三维视觉技术及传感器 18181.1.1三维视觉原理 1186841.1.2三维视觉传感器 324171.1.3RGB-D相机配准 7185641.3硬件系统集成 7102781.4机器人操作系统 861761.5小结 91.1引言本章将基于课题的需求和调研进行室内移动机器人平台的软硬件集成及搭建。在1.2节将首先根据三维视觉技术以及相关传感器原理进行传感器选型，用于室内移动机器人的三维重建。在1.3节将对移动机器人的总体结构进行展开描述，并在1.4节采用ROS作为机器人操作系统，以进行机器人各模块的任务分配和信号传输。并在第2章和第3章的实验中，利用此设备进行数据采集。1.2三维视觉技术及传感器1.1.1三维视觉原理由于三维视觉技术是在二维视觉图像的基础上发展起来的，所以在能够分析和处理三维视觉之前，需要理解产生一幅特定图像的形成过程。与人的视觉类似，来自世界的光线作为感知的媒介，需要穿过透镜才能到达传感器。根据光线折射定理，具有如下关系：(2-1)式中f——焦距；z——物体到镜头的距离；e——镜头到焦点的距离。在焦距以及镜头到焦点的距离已知的情况下，可以利用公式(2-1)估计物体到镜头的距离，这被称为景深技术。景深方法是最简单的视觉测距技术之一，为了确定物体离物体的距离，传感器通过将图像平面移动，将物体的锐度进行最大化的过程中，图像平面的相应位置可以产生距离。单目相机作为所有视觉成像系统的基础，针孔摄像机模型被当作透视摄像机模型的标准模型。由式(2-1)，进行相机模型推导，针孔相机模型如图2-1，在物理成像平面上固定一个像素平面，从而在像素平面得到了的像素坐标：。图2-1针孔相机模型Figure2-1pinholecameramodel设像素坐标在u轴上缩放比例为，v轴上缩放比例为。原点平移了。那么，的坐标与像素坐标的关系为：(2-2)代入式(2-1)，令得(2-3)该式可改写为矩阵形式：(2-4)即：(2-5)该式中，中间的矩阵所代表的物理意义为相机的内参矩阵。相机的内参相对比较固定，确定相机内参的过程，被称为标定。相机的位姿被称为相机的外参数。外参在机器人运动过程中，会随着相机运动发生变化，代表机器人的运动轨迹。相机外参的数学表达方式如下，相机的位姿由旋转矩阵R和平移向量t进行描述如下：(2-6)1.1.2三维视觉传感器对于任何种类或者形式的自主系统，其最重要的任务之一就是获取并处理关于外界环境的信息，这在移动机器人领域，被称为感知。用在移动机器人的传感器种类广泛，大致通过两个重要的分类标准进行分类：本体感受传感器、外感受传感器和无源传感器、有源传感器。而视觉作为人类最强大的感知能力，给我们提供了数量众多的关于外界的信息。就算在动态的环境中，也使得人类能够进行丰富和智能的互动。基于此，从二维视觉到三维视觉，人们一直致力于制造能够模拟人类视觉的传感器。三维视觉是在二维视觉的基础上发展起来的，相关传感器技术也是如此。从传感器设备感知外界环境深度的原理来看，机器人视觉系统可以分为主动视觉和被动视觉两大类，三维视觉相机大概可以分为：双目立体视觉相机、基于结构光的RGB-D相机、基于光飞行时间的RGB-D相机。被动视觉是指视觉系统接受来自外界环境发射或者反射的光能量，形成有关环境的场景光能量分布，即灰度图像。然后再在这些获得的图像基础上恢复场景的深度信息。最常用的方法是同时使用两个距离已知的相机同时获取相同场景图像从而恢复深度信息，这种原理的视觉传感器即为双目相机。另一种方法则使用一个单目相机在不同空间位上获取多组不同图像，通过多组不同图像的灰度信息和视图几何来生成深度图。主动视觉相对于只识别从外界接受到的图像的被动视觉，更强调以下两点：主动视觉系统应具有主动感知外界环境的能力，主动视觉系统应具有特定的任务和目的。主动视觉是通过视觉和行为的结合进行获取稳定、实时的感知信息，这些行为包括相机的位置、方向、焦距、光圈、缩放、聚散度等参数。主动视觉系统还可以通过向外界环境发射能量，然后接收相应的反射能量进行测距，雷达测距系统和三角测距系统是两种最常见的主动测距传感系统，而RGB-D相机则为典型的三维主动视觉传感器。图2-2双目相机模型Figure2-2Binocularcameramodel双目视觉系统可以通过两台性能相同、位姿相对固定的图像传感器，获取同一物体的两幅图像，通过视差来确定场景的深度信息，从而实现场景的三维重构。最简单的平行式立体视觉模型摄像机配置，如图2-2所示。在水平方向平行地放置一对相同的摄像机，其中基线距离B等于两台摄像机的投影中心连线的距离，摄像机焦距为f。假设前方空间有点P，分别在“左眼”和“右眼”成像，若两台相机的图像处于同一个平面上，那么特征点P的图像高度相同，它们的几何关系为：(2-7)可得视差为。由此可以计算特征点在相机坐标系下的三维坐标为：(2-8)因此，左相机成像平面上的任意一点只要在右相机平面上找到相应的匹配点，就可以计算出该点的三维坐标。根据视差，可以估计像素与相机之间的距离。视差和距离成反比。同时，双目的深度存在一个理论上的最大值，基线越长，双相机目能探测到的最大距离越远，如果基线比较短，在看远处的物体时双目则退化为单目了。对于在左右两个相机图像中都存在的共轭点对，可以用数学方程式进行对应匹配。但是在给定不同相机的同一场景的两张图片，实际上存在着伪对应问题。伪对应指的是一个点和另一个实际上不是共轭点的点发生了匹配，导致图像的相似性假设不能很好的成立。除了被匹配的点出现在不同的光照或几何条件下这一常见原因，还有许多原因可以带来对应搜索匹配的问题。(1)闭塞：当两个相机在以不同的视角看一个场景时，实际情况中会出现部分场景仅在其中一幅图像中出现。那么就造成一个图像中的点在另一幅图像中不存在对应共轭点。(2)投影畸变：投影畸变是由于投影的视图几何性质决定的，场景中的相同物体会有差异地投影到两个不同图像上，畸变会随着摄像机距离的增大而增加。(3)光度测定失真：由于某些场景中存在着非完全漫反射的表面，那么对于实际场景中相同的点，两个相机所观测到的点光强度是不一样的，像差会随着摄像机的距离变大而变大。不同于双目相机通过视差计算深度的方式，RGB-D通过硬件的方式对每个像素的深度进行主动测量[1]。RGB-D相机按原理可以分为两类，一类是通过发射红外结构光然后进行接收的的方法，直接测量图像像素距离；另一类是则通过测量光飞行时间，对相应的图像像素进行距离的直接测量。这两种相机模型被称为主动视觉，是因为这两种RGB-D相机都需要向探测目标发射主动光线并接收其返回信号，然后再通过不同方法测算物体和相机之间的深度距离。两种相机的原理如图2-3所示。RGB-D相机作为主动视觉相机，相比于双目相机它的最大优点便是能够实时地测量量程内物体的距离，而不需要复杂的后期计算，可以节省额外的计算资源。但是这种基于发射接受装置的主动视觉测量方法，适用范围有很大的限制。由于RGB-D相机采用红外光作为主动光源，通过感知其编码或者飞行时间进行深度信息测量，所以比较容易受到来自室外太阳光或者其它传感器发射的红外光的干扰，因此只适用于没有干扰的室内环境。另外主动光源在未经调制的情况下，会因为无法识别传感器的发射源头而相互干扰。对于透射或者强吸收率的物体，因为无法接收主动发射的反射光源，在测量深度时会发生失真的现象。而且由于主动光源发射机制的存在，RGB-D相机在功耗和成本方面也存在一些劣势。图2-3RGBD相机原理图Figure2-3TheprincipleofRGBDcamera综合以上分析可知，在三维视觉传感器中，RGB-D相机相对双目相机具有求解深度较为方便的优势，本文平台应用于室内环境中，不需要考虑其它红外光的干扰，并且对于探测距离和精度要求较为宽松，故采用基于结构光的RGB-D相机。1.1.3RGB-D相机配准RGB-D相机的彩色图像和深度图像是相互独立的，所以坐标存在不一致的情况。因此本文需要对相机进行配准，在统一的坐标系下进行映射和转换，从而确保使相同位置的真彩信息和深度信息在同一像素点处。对本文采用的相机的深度传感器和RGB传感器进行配准，需要已知两传感器之间的位姿关系，本文通过外参标定进行获取。图像配准过程是在线实现的，公式如2-9所示。(2-9)式中[Rdc，tdc]——两传感器之间位置关系；Kd——深度相机内参矩阵；Kc——彩色相机内参矩阵；dd——深度值。利用彩色传感器像素和深度传感器像素之间的映射关系，便可以将深度相机的深度信息映射到彩色传感器坐标系下，完成RGB-D相机的配准。完成配准的传感器可以近似认为彩色图像和深度图像在同一坐标处的像素为同一物体。1.3硬件系统集成本文的视觉传感器主要负责三维视觉信息的采集，本文采用的视觉传感器为Orbbec的AstraPro，参数如表2-1所示，为了实现移动机器人自主移动和建图的目的，除了视觉传感器，还需要其他硬件的支持。本文的移动机器人的主要结构有RGBD相机、激光雷达、控制板、驱动板、激光雷达、电机等。移动机器人的整体结构如图2-4。本文搭建的移动机器人平台采用四轮驱动和差速转向运动方式，电机型号为24V编码器同步电机，并通过CAN总线用STM32运动控制板进行调速控制。机器人的运动控制模块通过串行总线与主控板进行通信。表2-1RGBD相机参数Table2-1TheparametersofRGBDcamera参数符号及单位数值深度范围m0.6-4刷新频率FPS30精度mm/m1-3彩色视场角°66.1深度视场角°58.4RGB像素P1080电压V5移动机器人的主控板采用RK3399，主控板搭载移动机器人操作系统，主要进行机器人的信息处理以及相关的算法计算，并起到将各个模块进行连接的作用。除此之外，本文的移动机器人还搭载了思岚a1激光雷达，可用探测距离信息，构建2D地图。图2-4室内移动机器人主要结构Figure2-4Themainstructureofindoormobilerobot1.4机器人操作系统随着机器人技术的发展，ROS(RobotOperatingSystem)越来越成为机器人领域一个必不可少的主题。ROS是柳树车库公司与2007年开始发布并更新的一个个开源机器人操作系统，可以为开发机器人应用程序的机器人开发和研究人员提供优秀的库和工具支持。与此同时，人们在不断利用它进行机器人领域的开发的同时，也在为ROS的开发不断注入新的活力。ROS不同于Windows、Linux等传统的操作系统，它更类似于架构在硬件和操作系统之上的软件支持包，并提供了众多在机器人领域经常遇到的经典算法。如图2-5为本文的机器人操作系统节点关系，图2-6为机器人