双目视觉里程计

AnOverviewtoStereoVisualOdometry,谢晓佳2016/04/30,WhystereoVisualOdometry?,双目没有单目的尺度问题，能够完全的恢复相机的运动轨迹（单目恢复的轨迹是uptoscale）不需要单目中的初始化阶段来恢复landmark的深度,AlgorithmOverview,Input左图像、右图像序列、左右相机的内参、外参Output图像对之间的位姿关系、相机轨迹（基于特征点的稀疏3d地图，optional）,获得左右图像、图像校正提取图像特征点左右图像特征匹配、获取特征点坐标前后图像特征匹配增量式的运动估计,1.获得左右图像、图像校正,2.提取图像特征点,要求detector找到的特征点具有重复性和稳定性,differentsviewpoint光照、尺度、旋转,3.左右图像特征匹配、获取特征点坐标,SAD,SSD,NCC,Stereomatchingalgorithm对于校正的左右图像，其基线是水平的，选取左图特征点临近的N*N个像素组成patch，进行相似性检验,Triangulation获得(ul,ur,v)之后，计算特征点在相机坐标系下的坐标,B为baseline，单位mu_c,v_c分别为principalpoint在图像的横纵坐标d为视差，单位均为pix,4.前后图像特征匹配,根据描述子距离在限定区域内进行匹配,5.增量式的运动估计,根据匹配后的特征点和特征点的坐标，恢复两个时刻相机的运动,在匹配过程中，存在大量的误匹配，需要用RANSAC（MLESAC）！从M中选取3个点对由3个点对估计参数根据估计参数得到的模型计算误差，如果小于给定误差，则认为是inlier重复S次，找到inliers最大的点集对该点集进行计算，得到最终T,3D-3D,3D-2D,CanbesolvedbySVDorMLE,Tricks,VISO2-SStereoScan:Dense3dReconstructioninReal-timeIV2011,1.采用自己定义的检测子和描述子，SSE指令集优化,2.鲁棒性的匹配策略usingmotionmodel前后帧匹配twopassmatching对图像区域的运动进行统计circularmatching一个匹配需要4个点removeoutliersbyvoting三角剖分并投票,VISO2-SStereoScan:Dense3dReconstructioninReal-timeIV2011,3.对匹配进行精细化定位和筛选（网格）4.计算重投影误差时对像素点增加了权重,SSLAMRobustSelectiveStereoSLAMwithoutLoopClosureandBundleAdjustmentICIAP2013,1.特征检测与描述HarrisZdetector、sGLOHdescriptor2.环形匹配3.PoseEstimationConstrainedbyTemporalFlow图像的分辨率决定了匹配后特征点位置的不确定性只有这些match之间TemporalFlow较大时，不确定才小因此当flow大于特定值的匹配对所占比率较大时才做运动估计,2FO-CCImprovingtheEgomotionEstimationbyCorrectingtheCalibrationBiasVISAPP2015,重投影误差在左右图像中不是均匀分布（inaccuratecalibration）,完美的匹配在图像上只有1pix的误差，理论上其重投影误差应该很小的，然而根据groundtruth计算的重投影误差有7pix！,ok，统计一下,d()：根据deformationmatrix，将图像上的点的位置映射到另一个位置,TLBBAHigh-performancevisualodometrywithtwo-stagelocalbinocularBAandGPUIV2013高精度实时视觉定位的关键技术研究卢维,1.利用的GPU加速的SiftGPU只计算两个scale图像输入为480*3002.估计特征点的不确定性3.两阶段的localBA,3D-3D,这个方程存在两个问题3d点的误差分布不是均匀的，例如远的点误差很大将每一个点都均等的对待,3D-2D,Firststage,Secondstage,MFIVisualOdometrybyMulti-frameFeatureIntegration.ICCV2013,1.统计分析了特征点跟踪的误差对检测到的新的特征点，计算其3d坐标（original3Dpoint）在其后的几帧中对这个特征点进行跟踪，得到其坐标u、v根据groundtruthmotion计算这个特征点在这几帧的3d点（groundtruth3Dpoint），计算重投影坐标u、v统计u-u、v-v、d-d的分布,Laplacian-likedistribution,zero-mean.,容易跟丢的特征，其误差一般很大,相邻帧特征跟踪的误差是零均值、独立于age、同分布的！,age为40的特征，累计误差vsAge,MFIVisualOdometrybyMulti-frameFeatureIntegration.ICCV2013,相邻帧特征跟踪的误差是零均值、独立于age、同分布的！,2.featurepropagationtechnique,倾向于最小化age大的误差项,W1/RMSE（age）,integratedfeature可以看做是经过滤波器得到的，每次观测作为更新的量,3.Apredictor/correctortechniquetodetectandcorrecttrackingerrors,方形和圆形的距离过大，将特征替换为方形位置的特征。当替换次数过多，认为该特征不稳定，直接剔除。,S-PTAMStereoParallelTrackingandMappingforRobotlocalizationIROS2015S-LSD-SLAMLarge-ScaleDirectSLAMwithStereoCamerasIROS2015ORB-SLAM2aVersatileandAccurateMonocularSLAMSystemTRO2015,cv4xv1-scRobustStereoVisualOdometryfromMonocularTechniques.IV2015,1.采用和单目的方法对特征进行跟踪FAST-ANMS-BRIEEF提取特征将上一帧Triangulation的Mappoint根据motionmodel投影到当前帧的左图，根据特征描述进行匹配3D-2D、PNP-RANSAC计算T将上一帧Triangulation的Mappoint根据T投影到当前帧的左图，根据特征描述再一次进行匹配按照相同方法找到Mappoint（在左图上有匹配的）在右图的匹配左右匹配，验证重投影误差2.运动模型3.,SOFTStereoodometrybasedoncarefulfeatureselectionandtrackingECMR,2015,1.特征匹配,blobandcorner,nonmaximumsuppression,SAD,Circularmatching,NCC,3.特征选择将图像按50*50分割成多个buckets，每个bucket：1)特征分为4类(cornermax,cornermin,blobmaxandblobmin).2)每一类按强度排列3)每一类强度最大的特征将会到list中4)重复第三部5)list中前n个特征将用来运动估计,2.特征表示：ID,age