【《SLAM相关基础知识综述》3800字】

SLAM相关基础知识综述目录TOC\o"1-3"\h\u29997SLAM相关基础知识综述 1101551.1相机模型与图像 1311001.2特征提取与匹配 2220411.3动态物体对SLAM算法的影响 4246421.4ORB-SLAM工作过程 51.1相机模型与图像SLAM算法中的位姿估计是计算相邻图像帧之间的位置与姿态关系，以推算相机在这段连续时间内的位置与姿态变化，也就是图像帧是主要的数据来源[38]。因此，为了更加清楚地描述动态物体对SLAM算法的影响，首先讲述图像是如何由相机转换得到的。相机获取图像的原理是将摄像头朝向的视锥体空间中的物体的朝向相机镜头面的像素投影到视锥体空间的近平面上，采用最直观的模型—针孔模型来解释这个过程，针孔模型如图2-1所示。映射过程是将相机坐标系中的空间点P(X,Y,Z)，以O相机光心点变换到成像平面上得到成像点P'(X',Y',Z')，设成像平面到光心O的距离为f，也就是相机的焦距。两个点的变换公示如式2-1所示。图2-1针孔相机模型(2-1)为了解释摄像头将输入的光线变换为图像像素的过程，可以在成像平面上设立一个像素平面，在该平面上可得到成像点P'的坐标,像素坐标系与物理成像平面需要做缩放和原点平移的变化才能进行转换，设在u轴和v轴上分别缩放倍和倍，距离原点平移，则可得到成像平面点P'的坐标、空间点P的坐标与像素点坐标之间的变换关系，如式2-2所示。(2-2)将式中的记作，记作，则上式转换为：(2-3)式中以米为单位，,以像素/米为单位，则,以像素为单位。经过代数转换成矩阵，则得到了与的转换等式，如式2-4所示：(2-4)式中：，—相机焦距参数，，—图像原点相对于光心点的差值，—相机内参。式2-4中的点P的坐标系是相机坐标系，由于相机可能不是固定的，需要将点的世界坐标（）经过内参做平移旋转，才能转成P。设相机的旋转矩阵为R和平移向量为t，则相机的位姿可以表示为：(2-5)式2-5中，相机的位姿R与t为相机的外参参数，由于机器人/无人平台在不断发生移动，那么R与t在不同时间点也是不同的，SLAM算法进行估计实际上也是在求解各个时间点的R与t，其可以用来描述轨迹。1.2特征提取与匹配SLAM算法进行位姿估计的数据来源于相机在运动过程中所记录的环境图片数据，SLAM算法的位姿估计则离不开如何关联这些图片中的数据。为了解决数据关联的问题，SLAM采用了特征提取和特征匹配，即选取能够代表图像特征的点集合，视觉SLAM中称之为路标点，顾名思义，这些路标点是可以以少量数据描述整个图像特征的点集，不论是发生位置变化，还是角度变化，一个场景画面的特征是不变的，因此可以找寻图像序列中特征点相近的图像做匹配。如上所述，特征点是图像的代表，选择代表性强的特征对任务的最终表现举足轻重。特征点包含两个内容：关键点以及描述子。前者记录点的坐标，有些情况下，还会用来描述方向信息、大小信息等。描述子则由向量表示，其维度含义由人工设计，主要用以表示该点周边的信息，其指导思想是“空间临近性”原则，以自身周围像素表述自身，这样周边点的相似性则等价于自身的相似性，如果相似距离小于设定阈值则认为是一样的。随着CV领域的不断发展创新，SIFT[39]、SURF[40]、FAST[41]、ORB[42]等逐个展露。SIFT是上述特征中的基本特征，依赖局部特征进行数据关联，其对图像变换过程中的光照变化、尺度缩放、图像旋转等情况进行了充分的考量，但这同时也带来了更多的计算量。由于特征点的提取与匹配只是整个SLAM过程诸多环节中的其中一个，而且普通CPU很难做到对SIFT特征的实时计算，所以SIFT特征甚少在SLAM算法中使用。SURF进一步优化了SIFT的方法，其效率更高，为了提升实时性，降低一定的特征提取精度。虽然相较于SIFT，SURF的提取速度已经增快了很多，然而其局限性依然较大。FAST关键点是一种角点，出于对实时性的考量，其牺牲部分特征点的精度与鲁棒性，从而得到更快的速度。如果存在那么一个点，它的周围16个像素的亮度都大于或都小于该点，那么这个点就是角点。由此可见，FAST不需要比较描述子，其速度自然较快。虽然FAST可以以很快的速度提取，但其最终得到的特征点数量较多，而且数量并不稳定，而SLAM算法中通常要求所提取的特征点的数量是固定的。再者，由于FAST不携带方向信息，且总是在周边半径3的范围内的像素进行运算，这回导致尺度问题，也并不能很好作用于SLAM。ORB（OrientedFASTandRotatedBRIEF）[43]则解决了上述特征点的一些问题，其针对FAST关键点进行了优化，使其具备了方向、尺度和旋转的信息，通过图像块的灰度质心为关键点增加方向，引入图像金字塔在不同图像层进行降采样的方法增加尺度，由此增加了方向性与尺度的描述。此外，如前文所述FAST是不具备描述子的，ORB特征点添加了速度极快的BRIEF[44]描述子。BRIEF描述子是一个只包含0，1的N维向量（通常取256），使用比较关键点与其周边各个像素的灰度值的方式，添加周围信息的描述。由于ORB在设计时就考虑到了旋转和缩放产生的问题，所以其实现对二者进行了处理，因此其在这些情况发生时可以具备良好的性能。除此之外，由于ORB采用了FAST，它计算特征点的速度相对更快，可以满足本文达到实时性的目标。特征匹配在特征点的基础上进行不同图像帧之间的数据关联，好的特征匹配方法往往意味着准确的估计和更少的优化负担，减少异常数据的误引入，提升鲁棒性，所以它对SLAM有着举足轻重的意义。如前文所述BRIEF描述子是一个至包含0和1的向量，一般会使用汉明距离来计算两个向量的距离，该算法主要是比较出这些向量中相同下标值不同的个数。常用的计算方式有蛮力匹配与快速近似最近邻匹配（FLANN）。设在图像中的特征点为，图像中的特征点为，暴力匹配是利用汉明距离的得出与中每一个特征点与之间的相似度，以距离最小的点对维匹配点。暴力匹配算法虽然简单，但其时间复杂度较高，资源耗费较大，不适用于大规模的计算，会拖慢SLAM系统的执行速度。FLANN则不采用两两之间的蛮力比较，因而可以很好应对特征点规模较大的情况。其在进行匹配时，挑选K个距离最小的点作为候选匹配点，通常选取2，也就是需要做匹配时，从点集中找出最相近的2个特征距离最小的点作为候选匹配点，然后计算两者的距离比值是否大于指定阈值，这里选择2作为该阈值。本文最终选择了蛮力法作为匹配方法，因为本文在将空间点坐标转换到图像平面后，会限定一个半径r，后续的相似计算仅仅在周边r范围内进行，所以计算量有限，不会影响系统速度。1.3动态物体对SLAM算法的影响在静态环境下，SLAM算法的数据关联是通过特征提取与特征匹配实现的，这在静态环境中是没有问题的，但是在动态环境下则存在偏差，其原因是：静态环境中的唯一变数是相机自身，所以通过计算得到的R和t就是相机的运动变化。而在动态环境下，变化的不只有相机，还有环境中的移动物体，这个时候的R和t一定是包含了移动物体的移动和旋转，那么如果仅根据R和t来计算相机的移动和旋转，将必定包含偏差。当偏差很大时，机器的定位将直接失败。两种情况下的特征匹配效果如图2-2，2-3所示。图2-2、2-3的图像是从TUM数据集中选出的，它是公用免费的，专门用于SLAM实验以及效果评估。由实验结果可知移动物体会严重干扰特征匹配，如果无法排除移动物体的干扰，精确可靠的位姿估计就无从谈起。除此之外，在动态场景下，由于误差而错误纳入的移动物体的像素也会成为地图的一部分，这就是运动物体像素的重影。图2-2静态环境下特征匹配结果图2-3动态环境下特征匹配结果1.4ORB-SLAM工作过程ORB-SLAM是目前很完整的一套系统，囊括SLAM前后端所需的各个部分，运算效率高，跟踪定位精度高，误差小。另外，ORB-SLAM作为一个开源的SLAM资源库，可以轻松获取源码，阅读理解其工作原理，也可以做扩展开发。基于上述优点，本文最终选择其作基础。ORB-SLAM流程结构如图2-4所示，主要包含跟踪、优化、回环检测三个阶段。其用记录的场景信息进行优化，用特征点BoW字典（BagofWords，BoW）和识别数据库构建场景识别模块，用以计算关键帧的相似度，辅助重定位和回环检测功能。图2-4ORB-SLAM2流程结构示意图跟踪线程，就是前文提到的通过计算不同图像的特征点，根据匹配算法进行图像间的匹配，然后利用空间点和对应的平面匹配特征点计算相机位姿的过程，但是，只是利用跟踪线程得到的位姿作定位还是不足的，因为这个计算过程总是包含误差的。局部优化构图线程，主要是解决跟踪线程的误差问题，通过Filter，或者非线性运算来降低噪声的影响。回环检测，顾名思义，主要是当前移动路线是否存在重叠，避免路线构成无线循环，从而得出全局一直的估计。该流程主要是判断是否构成回环，一般是比较当前图像是否和之前的图像的特征向量距离是否小于一定阈值，而ORM-SLAM2使用词袋作为该特征向量来计算距离，从而达成判断依据。地图构建也是SLAM必不可少组成部分，根据实际情况的不同，会采用不同的计算和存储方式，ORB­SLAM2这里使用的是稀疏地图。根据图2-4，其具体工作步骤如下：在前端视觉里程计采用特征点法，从相机传感器获得的图像帧中提取ORB特征点，然后进行特征点匹配，在进行特征点匹配时采用快速近似最近邻方法加速匹配，再对相邻帧的匹配结果利用非线性最小二乘方法构造重投影误差方程，求解其最小值来得到相机位姿，即局部地图，这是跟踪线程完成的任务；当然也不免存在跟踪相机位姿失败的帧，此时可以通过局部优化构图线程来过滤跟踪线程的噪声，即维护一个局部地图的关键帧信息库，然后利用BoW词袋模型创建词典，从此模型中寻找与当前帧共享单词数量最大的帧，选取此帧来进行重定位[45]，以获得更