【三维重建课题的研究现状综述5000字】

三维重建课题的研究现状综述目录TOC\o"1-3"\h\u265271.1多视图立体几何基础 1142141.1.1三维空间刚体运动的表示 1122221.1.2相机模型 3122211.1.3齐次坐标 4216241.2同时定位与建图 571821.2.1基本流程 5307601.2.2发展现状 537711.3基于视觉SLAM的三维重建 10163961.4移动设备上的三维重建 11本章叙述三维重建相关的基础概念与研究现状。首先介绍的是多视图立体几何的基础概念，接着选择三个目前流行的相关领域：同时定位与建图、基于深度的三维重建、移动设备的三维重建和总结三维重建课题的研究现状。多视图立体几何基础多视图立体几何主要解决就是如何从若干幅关于某一个物体的二维图像中恢复三维信息的问题。本文所要解决的问题也是多实图立体几何视觉范围，接下来将作一些简单介绍。三维空间刚体运动的表示因为我们的日常生活中所处的空间是三维的，所以我们生来就习惯三维空间中物体的运动。三维空间由三个轴组成，因此在三维空间中任何一点都可以由三个坐标指定。相机就可以当成一个刚体，在三维空间中，要准确地描述一个刚体，就需要“位置”和“姿态”信息。位置是指相机在空间中的哪个地方，而姿态则指的是相机的朝向，而这两点很恰当地对应了数学语言中的“点”和“向量”，因此我们可以使用点和向量来精确地描述一个刚体在三维空间中的位置和姿态信息。不过，只有点和向量信息是不够的。一个向量是空间当中的一样东西，只有当指定一个三维空间中的某个坐标系时，才能够讨论这个向量在此坐标系下的坐标。所以我们可以引入一个线性空间的基(e1,e2,e3),就可以讨论向量在基下的坐标了:(1.1)根据基本的线性代数知识，我们可以谈论向量与向量，以及向量与数之间的运算，例如数乘、加法，减法，内积，外积等等。内积可以表示为：（1.2）它描述的是向量之间的投影关系。外积则表示为：（1.3）外积的方向垂直于这两个向量，大小是。我们可以通过外积来描述a到b是如何旋转的，即描述三维空间中两个向量的旋转关系。在右手法则下，我们用右手的四个指头从a转向b，其大拇指朝向就是旋转向量的方向，事实上也是a×b的方向。它的大小则由a和b的夹角决定。通过这种方式，我们构造了从a到b的一个旋转向量。图SEQ图\*ARABIC1但是三维空间中只有刚体的旋转信息是不够的，我们还需要加入平移的信息才能描述刚体的位置变化。在机器人的运动过程中，常见的做法是设定一个惯性坐标系（或者叫世界坐标系），通常认为它是固定不动的，同时，相机或机器人则是一个移动坐标系，相机视野中某个向量p，它的坐标为pc，而从世界坐标系下看，它的坐标为pw。这两个坐标之间是如何转换的呢？这时，就需要先得到该点针对机器人坐标系坐标值，再根据机器人位姿转换到世界坐标系中，这个转换关系由一个矩阵T来描述：图SEQ图\*ARABIC2这种变化称为欧氏变换。我们设某个单位正交基(e1,e2,e3)经过一次旋转，变成了(e'1,e'2,e'3)。那么，对于同一个向量a（注意该向量并没有随着坐标系的旋转而发生运动），它在两个坐标系下的坐标为[a1,a2,a3]T和[a'1,a'2,a'3]T根据坐标的定义，有：（1.4）对上面的等式左右同时左乘，则等式就变成了：（1.5）我们把中间的阵拿出来，定义成一个矩阵R。这个矩阵由两组基之间的内积组成，刻画了旋转前后同一个向量的坐标变换关系。只要旋转是一样的，那么这个矩阵也是一样的。在欧氏变换中，除了旋转之外还有一个平移。考虑世界坐标系中的向量a，经过一次旋转（用R描述）和一次平移t后，得到了a′，那么把旋转和平移合到一起，有a′=Ra+t（1.6）其中，t称为平移向量。通过上式，我们用一个旋转矩阵R和一个平移向量t完整地描述了一个欧氏空间坐标变换关系。相机模型相机的拍照过程是将三维世界中的坐标点投影到二维平面，这个过程可以用针孔模型来描述，如图：图SEQ图\*ARABIC3相机在时刻ｔ时，从位姿Ti拍摄空间点ｐ＝(X,Y,Z)T的过程，可以用矩阵Ｋ描述：(1.7)其中fx,fy分别是相机ｘ轴和ｙ轴的焦距(单位为像素)；cx，cy分别是相机光心在ｘ轴和ｙ轴的坐标（单位为像素）。(x,y)是点P投影到图像上的二维位置(单位为像素)矩阵Ｋ依赖于相机的固有参数，所以被称为内参矩阵，与此相对的相机位姿也被称为外参矩阵齐次坐标虽然式（1.6）表达了欧氏空间的旋转与平移，但是这个变换关系并不是线性关系。如果进行了两次变换，R1,t1和R2,t2满足：b=R1a+t1,c=R2b+t2.但是a到c的变换为：c=R2(R1a+t1)+t2。因此需要引入齐次坐标和变换矩阵：（1.7）该式中，矩阵T称为变换矩阵（TransformMatrix）。通过添加最后一维，我们用四个实数描述了一个三维向量，这显然多了一个自由度，当我们把变换写成线性的形式时，在齐次坐标中，某个点x的每个分量同乘一个非零常数k后，仍然表示的是同一个点。因此，一个点的具体坐标值不是唯一的。如[1,1,1,1]T和[2,2,2,2]T是同一个点。但是，当最后一项不为0时，可以通过除法让最后一位变为1，其他三个数就成了唯一确定的数。然后忽略掉最后一项1，依靠齐次坐标和变换矩阵，两次变换的累加就可以有很好的形式：（1.8）通过变换矩阵我们就能够很好的描述一个刚体在欧氏空间中坐标转换的关系了。同时定位与建图SLAM（simultaneouslocalizationandmapping）即同时定位与地图构建。SLAM所要解决的核心问题就是，当一个机器人处于未知环境中，如何能让机器人在一边移动的过程中感知自身所处的位置一边扫描周围的环境，并逐步描绘出环境完全的地图。本文所要解决的问题也就是如何让移动端设备感知当前的环境并绘制地图。基本流程图SEQ图\*ARABIC4SLAM的工作流程主要两个部分，分别为前端的视觉里程计和后端的路径优化两部分。前端视觉里程计的目标就是相机位姿的预测，后端的目的主要是对相机的轨迹进行全局的调整。环境重建部分通过将前面得到的深度信息结合到三维模型上，达到重建的目的。发展现状一般的SLAM系统可以由前端算法的不同分为：基于滤波的方法、基于特征点的方法和基于稠密算法的直接法。下面将简单介绍一下目前常用的SLAM算法：基于激光雷达的SLAMGmapping算法：Gmapping是一种基于粒子滤波的二维SLAM算法，它搭载了激光雷达传器。该算法目前常用于对室内环境进行二维的定位与建图。粒子滤波的中心思想是随机采样，其主要分为：初始化阶段、搜索阶段、决策阶段、重采样阶段。初始化阶段即对移动机器人的位姿进行初始化；搜索阶段随机分布粒子，然后获得反馈的目标相似度信息；决策阶段利用一系列随机样本的加权和近似后验概率密度函数，并通过求和来获得近似积分，其次进行粒子的权值计算，为选择性地重采样做准备；重采样阶段按照粒子权值在整体粒子权值中的占比复制粒子，有目的地重新分布粒子。粒子滤波算法将重复以上过程，最后进行地图估计。其工作流程如图所示：图SEQ图\*ARABIC5Cartographer算法：Cartographer算法是谷歌公司开发的基于图优化的开源SLAM算法，在背包上面搭载激光雷达传感器和IMU可以实现二维和三维建图。Cartographer框架主要分为两个部分：前端LocalSLAM）和后端（GlobalSLAM）。较其他激光雷达SLAM算法不同的是，Cartographer算法的前端引入了子图（Submap）的概念，前端进行数据提取和数据关联时，激光雷达每扫描一次会形成一个子图，每次扫描而得的数据帧会与上一次得到的子图进行比对并且插入到上一次得到的子图中，子图的更新优化依赖于数据帧的不断插入，当没有数据帧插入时则形成完整优化的子图，此处主要应用非线性最小二乘法求解。如此反复，获得若干个子图，即局部地图。后端首先进行闭环检测，再对前端获得的若干个子图进行优化。通过全局计算得到优化后的位姿，可用来消除累计误差，得到最优的全局地图，其工作流程如图所示图SEQ图\*ARABIC6Hector算法：Hector算法也是基于图优化的SLAM算法，采用了高斯-牛顿法，通过搭载激光雷达传感器进行地图构建。与Cartographer算法流程类似，Hector算法也分为前端和后端，前端负责对机器人的运动进行估计，后端对位姿进行优化，但后端缺少了闭环检测环节。Liu等在此基础上提供了一种可用的、具有完整的6自由度运动的平台，可以应用到空中飞行状态下的建图工作中。在建图过程中，首先前端进行激光扫描，获得栅格地图。每当激光雷达获得新的数据时，将其与上一时刻的地图进行匹配。为使激光雷达数据映射到栅格地图中，采用双线性插值的方法来获得连续的栅格地图。后端采用了高斯-牛顿法对邻近帧进行匹配，使地图数据误差最小，得到优化的地图。表1对以上三种室内激光SLAM算法作了比较：激光SLAM优点缺点Gmapping易实现；在室内小场景且特征较少时表现优良；改善了粒子耗散问题缺少闭环检测环节，精确度较低Cartographer可进行闭环检测，利于在室内较大场景下建图，精度较高优化时计算量较大Hector不需要里程计对激光雷达要求较高；缺少闭环检测环节表SEQ表\*ARABIC1基于视觉的SLAMORB-SLAM：ORB-SLAM算法（OrientedFASTandRotatedBRIEF）是Mur-Arta提出的一种V-SLAM系统，是一种应用于单目相机的SLAM算法，也是一种基于特征的SLAM算法，它保持着和早期其他算法同样的效果：定位和建图同时进行。与早期的SLAM算法相比，其添加了闭环检测功能来检测闭合回路，以减小累积误差。ORB-SLAM算法的核心思想为基于ORB描述量进行特征匹配和重定位。该算法分3个线程运行，包括特征检测与跟踪、建立地图、闭环检测与校正。特征检测与跟踪线程，跟踪环节首先从环境图像中提取ORB特征，根据前一帧的图像对当前帧进行优化，做出当前的位姿估计；其次，通过相邻的地图点匹配更多的特征来进行位姿优化；最后选取出关键帧为建立局部地图做准备。建立地图线程，建图部分主要完成局部地图的构建，通过加入关键帧来更新局部地图，同时剔除多余或重复的关键帧，以此对构建的局部地图进行优化。闭环检测与校正线程，闭环检测进行闭环的检测和修正。闭环检测使用了Bow2（词袋模型）方法，相当于将特征集合构建为字典，首先从采集到的图像中提取特征点并对其进行描述，其次使用K-means算法或贝叶斯算法进行聚类操作，最后以树的方式表示字典，以便搜索闭环。基于词袋模型方法的闭环检测的优势是可以快速地通过检测图像相似度来检测到闭环。其工作流程如图所示：图SEQ图\*ARABIC7SVO-SLAM算法：基于特征的方法依靠提取图像中显著的特征来描述环境的特征信息，根据描述进行邻近帧间的特征匹配。SVO-SLAM算法是半直接法（稀疏直接法）中的常用算法，不同于利用图像特征点匹配的基于特征的方法，以及对整个图像直接匹配的直接法，半直接法的核心思想是对图像中的特征点周围的小图像块进行直接匹配[43]，提高了效率和精度。其主要分为两个线程——前端运动估计、后端地图构建。当单目相机获得环境信息后，运动估计线程首先根据相邻帧之间的像素灰度差异，建立优化函数来优化光度误差，其次优化特征点位置，最后分别优化三维的空间点和相机的位置，构建像素重投影误差的优化函数。后端通过深度估计来建立地图，当出现新的关键帧时，选取若干个点，将选取的点通过矩阵变换获得各自相应的极线，在极线上找到特征点的对应点，再使用三角测量方法计算深度；然后不断更新，直到深度估计收敛到一定的范围，在地图中融入该三维点坐标。SVO-SLAM算法通过同时进行前端和后端，可以同时进行定位与建图，这使得SVO-SLAM算法系统能够快速和高效地对相机运动姿态进行估计，同时能够迅速、及时地对周围环境地图进行拓展和延伸。SVO-SLAM算法的工作流程如图所示：图SEQ图\*ARABIC8表2对以上室内视觉SLAM算法作了比较：视觉SLAM优点缺点ORB-SLAM精确度高可兼容多种类型相机特征不丰富环境建图效果较差SVO-SLAM采用半直接法提高了效率和精度计算量较小，实时性好不能兼容多种类型相机表SEQ表\*ARABIC2基于视觉SLAM的三维重建基于视觉SLAM的三维重建，一般利用相机直接得到的环境的图像信息，再将图像信息与传感器的惯导数据相结合，得到与自身的位姿相匹配的图像信息，其更加