RGBD-Direct-方法原理介绍课件

1、RGBD Direct 方法原理介绍7/20/20221内容简介RGBD Direct 方法简述前端：RGBD视觉里程计基础Direct方法基于贝叶斯的Direct方法基于相机噪声的Direct方法后端：优化与相机重定位Pose Graph与Photometric Bundle Adjustment摄像机重定位RGBD Direct方法展望7/20/20222RGBD Direct 方法简述RGBD 相机Kinect，Intel RealSense，Xtion etc.Structure light，time of flight（ToF）Direct方法利用所有像素最小化Photometric

2、 ErrorDirect方法常见问题与误会缺乏全局约束？没有摄像机重定位方法？7/20/20223前端：基础Direct方法7/20/20224前端：基础Direct方法7/20/20225前端：基于贝叶斯的Direct方法7/20/20226前端：基于贝叶斯的Direct方法7/20/20227前端：基于相机噪声Direct方法7/20/20228前端：基于相机噪声Direct方法7/20/20229前端：基于相机噪声Direct方法7/20/202210后端：Pose Graph与PBA误会：Direct方法无法建立全局约束？原因1：Direct方法不提取特征点，无法建立帧与帧之间的共视约

3、束原因2：Direct方法通常使用pose-graph做全局优化，场景信息无法在优化中利用起来解：利用Loop Closure提供非连续/邻近帧之间的关系在关键帧中提取少量RGBD像素建立共视约束如何选取像素？7/20/202211后端：Pose Graph与PBA7/20/202212后端：Pose Graph与PBADense Visual SLAM with PSM5不断收集可靠的RGBD点并添加到Map中 (probabilistic surfels)利用全局和局部信息计算每一帧的相机姿态在最后优化时同时优化pose-graph和 photometric BA共视约束来源于probab

4、ilistic surfels在关键帧中的有效投影7/20/202213后端：摄像机重定位误会：Direct没有摄像机重定位方法？Indirect/sparse方法可以将每一帧的特征描述子组织成kd树或语义树的形式，在重定位时进行检索解：利用RGBD像素建立Fern或Random Forest进行关键帧检索基于深度学习的相机姿态估计7/20/202214后端：摄像机重定位7/20/202215后端：摄像机重定位PoseNet: 基于深度学习的摄像机重定位 722层GoogLeNet提取图片中的特征并转化为7维相机姿态3维位置信息，四元数旋转表示（Inference结果需要归一化）第一篇用深度学

5、习方法计算相机姿态的工作，重定位精度有限7/20/202216RGBD Direct方法展望依然存在的问题和解决方法需要好的相机姿态初值（高度非线性）图像金字塔等计算量大，在缺少并行计算资源时难以实时累计误差问题基于语义的SLAM技术（平面等基本几何体或Instance recognition）摄像机重定位技术还不够完善Ferns等方法对内存要求较大基于深度学习的方法还不够完善7/20/202217References1 Kerl, Christian, Jrgen Sturm, and Daniel Cremers. Robust odometry estimation for RGB-D

6、cameras.Robotics and Automation (ICRA), 2013 IEEE International Conference on. IEEE, 2013.2 Kerl, Christian, Jurgen Sturm, and Daniel Cremers. Dense visual SLAM for RGB-D cameras.Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, 2013.3 Babu, Benzun Wisely, et al

7、. -dvo: Sensor noise model meets dense visual odometry.Mixed and Augmented Reality (ISMAR), 2016 IEEE International Symposium on. IEEE, 2016.4 Wasenmller, Oliver, Mohammad Dawud Ansari, and Didier Stricker. Dna-slam: Dense noise aware slam for tof rgb-d cameras.Asian Conference on Computer Vision. S

8、pringer, Cham, 2016.5 Yan, Zhixin, Mao Ye, and Liu Ren. Dense Visual SLAM with Probabilistic Surfel Map.IEEE Transactions on Visualization & Computer Graphics1 (2017): 1-1.6 Glocker, Ben, et al. Real-time RGB-D camera relocalization via randomized ferns for keyframe encoding.IEEE transactions on visualization and computer graphics21.5 (2015): 571-583.7 Kendall, Alex, Matthew Grimes, and Roberto Cipolla. Posenet: A convolutional ne