5.双目视觉里程计.ppt

1、An Overview to Stereo Visual Odometry,谢晓佳 2016/04/30,Why stereo Visual Odometry?,双目没有单目的尺度问题，能够完全的恢复相机的运动轨迹（单目恢复的轨迹是up to scale） 不需要单目中的初始化阶段来恢复landmark的深度,Algorithm Overview,Input左图像、右图像序列、左右相机的内参、外参 Output图像对之间的位姿关系、相机轨迹（基于特征点的稀疏3d地图，optional）,获得左右图像、图像校正 提取图像特征点 左右图像特征匹配、获取特征点坐标 前后图像特征匹配 增量式的运动估计

2、,1. 获得左右图像、图像校正,2. 提取图像特征点,要求detector找到的特征点具有重复性和稳定性,differents viewpoint 光照、尺度、旋转,3. 左右图像特征匹配、获取特征点坐标,SAD,SSD,NCC,Stereo matching algorithm 对于校正的左右图像，其基线是水平的，选取左图特征点临近的N*N个像素组成patch，进行相似性检验,Triangulation 获得(ul,ur,v)之后，计算特征点在相机坐标系下的坐标,B为baseline，单位m u_c, v_c分别为principal point 在图像的横纵坐标 d为视差，单位均为pix,4

3、. 前后图像特征匹配,根据描述子距离在限定区域内进行匹配,5. 增量式的运动估计,根据匹配后的特征点和特征点的坐标，恢复两个时刻相机的运动,在匹配过程中，存在大量的误匹配，需要用RANSAC（MLESAC）！ 从M中选取3个点对 由3个点对估计参数 根据估计参数得到的模型计算误差，如果小于给定误差，则认为是inlier 重复S次，找到inliers最大的点集 对该点集进行计算，得到最终T,3D-3D,3D-2D,Can be solved by SVD or MLE,Tricks,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time

4、IV 2011,1.采用自己定义的检测子和描述子，SSE指令集优化,2.鲁棒性的匹配策略 using motion model 前后帧匹配 two pass matching 对图像区域的运动进行统计 circular matching 一个匹配需要4个点 remove outliers by voting 三角剖分并投票,VISO2-S StereoScan: Dense 3d Reconstruction in Real-time IV 2011,3. 对匹配进行精细化定位和筛选（网格） 4. 计算重投影误差时对像素点增加了权重,SSLAM Robust Selective Stereo

5、SLAM without Loop Closure and Bundle Adjustment ICIAP 2013,1. 特征检测与描述 HarrisZ detector、sGLOH descriptor 2. 环形匹配 3. Pose Estimation Constrained by Temporal Flow 图像的分辨率决定了匹配后特征点位置的不确定性 只有这些match之间Temporal Flow较大时，不确定才小 因此当flow大于特定值的匹配对所占比率 较大时才做运动估计,2FO-CC Improving the Egomotion Estimation by Correct

6、ing the Calibration Bias VISAPP 2015,重投影误差在左右图像中不是均匀分布（inaccurate calibration）,完美的匹配在图像上只有1pix的误差，理论上其重投影误差应该很小的，然而根据ground truth计算的重投影误差有7pix！,ok，统计一下,d()：根据deformation matrix，将图像上的点的位置映射到另一个位置,TLBBA High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度实时视觉定位的关键技术研

7、究 卢维,1. 利用的GPU加速的SiftGPU 只计算两个scale 图像输入为480*300 2. 估计特征点的不确定性 3. 两阶段的local BA,3D-3D,这个方程存在两个问题 3d点的误差分布不是均匀的，例如远的点误差很大 将每一个点都均等的对待,3D-2D,First stage,Second stage,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,1. 统计分析了特征点跟踪的误差 对检测到的新的特征点，计算其3d坐标（original 3D point） 在其后的几帧中对这个特征点进行跟踪

8、，得到其坐标u、v 根据ground truth motion计算这个特征点在这几帧的3d点（ground truth 3D point），计算重投影坐标u、 v 统计u-u、v-v、d-d的分布,Laplacian-like distribution, zero-mean.,容易跟丢的特征，其误差一般很大,相邻帧特征跟踪的误差是 零均值、独立于age、同分布的！,age为40的特征，累计误差 vs Age,MFI Visual Odometry by Multi-frame Feature Integration. ICCV2013,相邻帧特征跟踪的误差是零均值、独立于age、同分布的！,2

9、.feature propagation technique,倾向于最小化age大的误差项,W1/RMSE（age）,integrated feature可以看做是经过滤波器得到的，每次观测作为更新的量,3. A predictor/corrector technique to detect and correct tracking errors,方形和圆形的距离过大，将特征替换为方形位置的特征。 当替换次数过多，认为该特征不稳定，直接剔除。,S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015

10、 S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015,cv4xv1-sc Robust Stereo Visual Odometry from Monocular Techniques. IV2015,1.采用和单目的方法对特征进行跟踪 FAST-ANMS-BRIEEF提取特征 将上一帧Triangulation的Map point根据motion model投影到当前帧的左图，根据特征

11、描述进行匹配 3D-2D、PNP-RANSAC计算T 将上一帧Triangulation的Map point根据T投影到当前帧的左图，根据特征描述再一次进行匹配 按照相同方法找到Map point（在左图上有匹配的）在右图的匹配 左右匹配，验证重投影误差 2.运动模型 3.,SOFT Stereo odometry based on careful feature selection and tracking ECMR , 2015,1.特征匹配,blob and corner,nonmaximum suppression,SAD,Circular matching,NCC,3.特征选择 将图像按50*50分割成多个buckets，每个bucket： 1) 特征分为4类 (corner max, corner min, blob max and blob min). 2) 每一类按强度排列 3) 每一类强度最大的特征将会到list中 4) 重复第三部 5) list中前n个特征将用来运动估计,2.特征表示： ID, age,