【《基于ORB-SLAM2的室内移动机器人全局同时定位与建图综述》4500字】

基于ORB-SLAM2的室内移动机器人全局同时定位与建图综述目录TOC\o"1-3"\h\u5144基于ORB-SLAM2的室内移动机器人全局同时定位与建图综述 18521.1引言 1185641.2整体流程设计 185071.3SLAM问题的数学表达 3152201.4前端视觉里程计 4266511.4.1特征点法和光流法 4304321.4.2ORB特征的旋转不变性处理 4144181.4.3特征匹配 6263441.5后端优化 735391.5.1李群和李代数 778701.5.2非线性优化 8168691.5.3运动估计求解 9250621.6全局地图构建 91.1引言移动机器人为了实现在未知或者已知环境中自主移动的目的，都需要全局定位的功能。本章节基于经典的视觉SLAM框架—ORB-SLAM2，对基于视觉的同时定位和建图技术进行研究。在本章节的研究中，1.2节首先基于本课题对基于视觉的同时定位和建图技术进行整体流程设计，确立技术路线，并在1.3节阐明数学形式的通用表达形式。在1.4节前端视觉里程计部分选择ORB特征进行特征匹配，并对FAST角点进行改进，然后基于图像的特征进行匹配。1.5节为后端优化，首先对李群李代数以及非线性优化进行铺垫，然后采用非线性优化方法进行迭代最近点求解，得到机器人的位姿估计结果。于1.6节进行了全局地图构建实验和分析。1.2整体流程设计本文在移动机器人实现全局定位和建图过程中采用基于ORB特征点法的视觉SLAM，主要由传感器信息读取、前端视觉里程计、后端优化、回环检测和建图五个步骤组成，流程框架如图3-1，基于RGB-D的视觉SLAM方法流程如图3-2。各步骤主要任务如下：传感器信息读取和提前处理，本文中为RGB-D相机的色彩图像和深度图像信息。前端视觉里程计，通过图像匹配确定相机不同帧之间的相对位姿关系，求解机器人运动轨迹。后端优化，根据时序上后期获取的传感器数据，对之前实时求解的相机位姿估计和运动轨迹估计进行修正。回环检测，对机器人是否出现在同一位置进行判断。建图，根据估计的运动轨迹和传感器采集的外界环境信息进行地图构建，以满足不同场合和不同任务的要求。图3-1视觉SLAM框架[1]Figure3-1VisualSLAMFramework[1]图3-2基于RGBD相机的SLAM框架Figure3-2SLAMFrameworkbasedonRGBDcamera经典的SLAM模型可以分成两大部分，分别是求解运动轨迹的运动方程，以及求解观测结果的观测方程。图像作为数值矩阵储存在计算机当中，除非人类对其进行操作，计算机无法直接理解矩阵的表达含义。在对相机运动过程进行定量估计过程中，首先需要对相机与空间点的几何位置关系进行确定。在视觉SLAM中，相机里程计通过相邻帧间的图像估计相机运动，从而恢复场景的空间结构。视觉里程计基于马尔科夫性质，只关心相邻时刻的运动，基于时间序列上一时刻的信息进行推导。如此，视觉里程计估计相机的运动，从而构成机器人的运动轨迹，从而解决了定位问题，除此之外，根据每个时刻的相机位置，计算出各像素对应的空间点的位置，就得到了地图。1.3SLAM问题的数学表达机器人在未知环境中运动的过程中，用传感器采集周围环境的数据，由于传感器的采样频率不同从而在连续时间的运动过程中得到离散时刻的信息。在这些时刻得到机器人在各离散时刻的位姿，即是机器人的轨迹。随着机器人对于自身定位的不断确信，机器人同时将传感器获取的外界环境信息进行提取和处理，在不同离散时刻将观测结果进行更新，完成同时地图构建过程。基于以上设定，机器人通过传感器的探测在环境中进行运动的过程，通过以下进行描述：对于机器人的通用运动方程，一般情况下，机器人通过携带的传感器进行自身运动状态的测量。传感器测量的有关运动的数据主要有位置的差值、加速度、角加速度等信息。这种情况下，建立的通用、抽象的数学模型为：(3-1)式中——机器人在不同时刻的位姿；——传感器关于运动的数据输入；——为该过程当中的噪声。机器人的通用观测方程所描述的则是机器人在位置上看到路标点的时刻，得到了观测数据，那么它的数学模型可以抽象为：(3-2)式中——这次观测中产生的噪声。这样，这两个方程描述了SLAM当中最基本的两个问题的通用表达形式，从而也把SLAM问题构建成了状态估计问题。求解状态估计问题，主要分为线性方法和非线性方法，在非线性优化方法中，随着各种优化技术的发展，图优化方法在SLAM领域对于非线性问题的求解越来越受到广泛关注。由于同时定位和建图技术的复杂性，以上各类方法在实施过程中能够都存在着计算资源消耗过大的缺点，需要根据实际需求加以灵活调整。1.4前端视觉里程计视觉里程计方法根据传感器获取观测信息，通过不断对上一时刻数据进行处理和迭代的过程，得到机器人运动轨迹估测结果。1.4.1特征点法和光流法根据运动方程和观测方程，如何通过传感器获取的信息构建外部环境统一的地图，首先需要的就是对于信息的筛选和匹配，对于视觉SLAM，这被称为视觉里程计。视觉里程计的核心就是根据图像进行相机运动的估计，虽然图像在计算机上可以被表示为亮度和色彩组成的矩阵，但是直接由这个矩阵进行运动估计，是非常困难的。视觉里程计主要分为两种，分别是基于图像特征的特征点法和直接根据不同图像之间像素灰度信息进行图像匹配的直接法。基于特征点法的前端，具有鲁棒性较好，并且对光照和动态物体不敏感的优势，是目前较为成熟的解决方案。特征点法解决相机运动估计的思路则是，首先从图像中选取具有抽象特征的点，这些点要求具有比较明显和易于求解和表示，随着相机移动这些点出现在不同视角图像的不同位置，那么在这些点的基础上，可以进一步讨论相机位姿估计和定位问题。这些点在经典SLAM模型中被称为路标，在视觉SLAM中被称为特征。特征是在不同图像之间能够相互区别的抽象。对于不同图像之间通过角点进行分辨，从而确定相互对应关系的方法是基于角点的提取算法。这类分辨方法主要有Harris、GFTT、FAST等几种定义。然而在实际的机器人应用中，只用角点进行图像的分辨和匹配是难以实现的。比如在特定距离显示为角点的图像，会由于距离的变化发生退化或者只表现为局部。在视角发生旋转的过程中，角点的外观会发生变化，对于鲁棒性不好的算法也无法分辨。可以用相比角点更加抽象的一些局部特征进行表示，比如SIFT、SURF、ORB等。这些局部特征在选取时经过了人为的抽象和定义，所以相比直观的角点，具有更加稳定高效的特点。视觉里程计的另一个分支是直接法，也是通过视觉的方法进行相机的位姿估计。直接法根据图像像素的亮度信息进行匹配，从而完成相机运动估计，在进行匹配过程中使用像素越多，则地图构建效果越稠密。1.4.2ORB特征的旋转不变性处理本文在离线构建全局地图的过程中，采用了ORB特征，是由两部分组成的。它的关键点为“OrientedFAST”，在FAST基础上进行改良形成，具有对旋转操作不敏感的特性。它的描述子为“BRIEF”，由于采取二进制描述方法则具有效率较高的特点。FAST关键点是一种用于检测发生局部像素灰度明显区域的角点，它相比其它的关键点的主要优势在于速度较快。这种算法只需要比较不同像素之间像素亮度的大小，效率比较高并且操作比较方便。它的操作步骤如下[1]:首先进行像素的筛选得到p，假设选取像素亮度Ip并为其设置上下限T。对筛选得到的像素p选取以之为中心直径为6的圆上的点。执行判断操作，假如对于选取的圆上存在连续N个点亮度超过设定值的像素p，选取此像素定义为特征点。循环执行以上各个步骤。在进行特征匹配时，将图像通过进行固定倍率的缩放，可以寻找在不同距离的特征点。针对特征匹配算法对于特征旋转一定角度的条件下不够鲁棒的情况，为了使特征点具有旋转不变性，具体计算步骤如下：首先以图像块灰度值作为权重的中心为图像灰度质心，对选取的小的图像块，定义图像块的矩[1]：(3-3)式中B——选取的像素图像块；m——选取图像块的矩；x,y——图像像素坐标；p,q——选取点像素大小。通过矩进行质心求解：(3-4)将图像几何中心与相连得，进一步定义特征点方向如下：(3-5)本文采用改进的BRIEF特征描述，它采用二进制向量进行描述，它的描述向量是由0和1的数串组成，对p,q的灰度大小关系进行编码关系如下：对二者大小进行判断，如果p比q大，取值为1，反之则取值为0。BRIEF对随机选点进行比较，并且使用二进制法进行表达，速度快而且存储也比较方便，在本文中可以进行实时的图像匹配。ORB特征点法利用方向信息进行计算，从而提高对旋转角度的稳定性和鲁棒性。1.4.3特征匹配特征匹配对于前端特征里程计的实现是极其关键的。通过图像、地图、子地图三者之间的描述子进行相互匹配。然而，由于图像特征具有许多局部性质，所以经常存在误匹配的现象发生，由于长期以来无法很好地解决这个问题，从而导致视觉SLAM在这个方面的性能提升已经遇到了很大的瓶颈。在场景中缺少有效纹理或者重复纹理很多的区域，仅仅靠局部特征来解决误匹配问题是非常难以实现的。对相似室内场景下图片进行特征匹配实验结果如图3-1所示，对同一副图片进行旋转之后进行特征匹配实验如图3-2所示。图3-1ORB特征匹配Figure3-1ORBfeaturematchinga)原图b)旋转之后图像a)Theoriginalimageb)Post-rotationimagec)特征匹配c)Featurematching图3-2特征匹配的旋转不变性Figure3-2Rotationinvarianceoffeaturematching1.5后端优化在后端优化过程中，本文采用非线性优化的处理方法，并用李群和李代数进行位姿的数学表示。1.5.1李群和李代数群是一种代数结构，这种代数结构包括集合及其定义的运算。群结构可以保证在群上的运算具有良好的运算性质。李群的数学特性是内部具有连续性质，每个李群都对应着一个李代数。由于它们良好的数学运算性质，常被应用于机器人的位姿相关运算中。特殊正交群是由三维旋转矩阵构成的，定义如下：(3-6)特殊欧式群是由变换矩阵构成的，定义如下：(3-7)旋转矩阵和变换矩阵这两种数学运算遵从相同的数学运算法则，它们对加法是不封闭的，但是对于乘法则是封闭的[1]。即：(3-8)对应的李代数是上的向量，每个都有其对应反对称矩阵：(3-9)的元素是三维反对称矩阵或者三维向量，定义为：(3-10)并由指数映射指定与的关系：(3-11)与相似，位于空间中，定义为：(3-12)与也存在指数映射关系：(3-13)1.5.2非线性优化对于一般的非线性优化问题数学描述为：对于待估计参数，误差函数，误差权重，找到一个最优参数估计，使得加权误差平方和最小，即：(3-14)式中——信息矩阵，是一个对角矩阵。1.5.3运动估计求解当得到匹配好的像素点对之后，本文根据像素的匹配关系用来估计相机的运动。对于不同的相机模型，由于他们原理上的差异，运动估计算法也是不一样的。单目相机模型是运动估计求解最基本的模型，这个模型中已知的是平面点的像素坐标，所以可以用对极几何的方法进行运动估计求解。当相机模型为双目相机或者RGB-D相机时，我们可以通过传感器直接获得距离信息，所以问题变成了3D点之间的运动估计，这类问题通常用ICP（迭代最近点法）进行解决。对于已经配对好的3D点（匹配好的两幅RGBD图像），可以表示为：(3-15)寻找欧式变换，，使得：(3-16)ICP问题的求解有两种方式，第一种为基于SVD的线性代数求解法，另一种为非线性优化的求解方法。使用非线性优化方法求解ICP，在寻找最优解的过程中需要先求出近似解，然后不断迭代直到求出最终值。位姿可以通过李代数进行表示，其目标函数为：(3-17)用李代数扰动模型表示误差关于位置及姿态的一阶导数为：(3-18)这样，便将ICP问题转化为了非线性优化，进而通过通用方法进行求解。1.6全局地图构建通过室内移动机器人进行数据采集，将ORB特征点运用于特征匹配和位姿估计结果如图3-3所示。a)同时定位和建图过程1a)Simultaneouslocalizationandmappingprocess1b)同时定位和建图过程2b)Simu