徐伟豪开题报告

2018-12-27,BiomimeticandIntelligentRoboticsLab,1,移动机器人的视觉惯性SLAM研究,开题报告,学生：徐伟豪指导老师：管贻生教授,BiomimeticandIntelligentRoboticsLab,2,目录,1、研究背景,2、拟解决问题,3、研究现状,5、可行性论证,6、预期成果,7、研究计划,4、研究内容,BiomimeticandIntelligentRoboticsLab,3,研究背景,1、移动机器人研究与应用近年来得到了迅猛发展，从千家万户的扫地机器人，到工业仓储搬运机器人，对机器人具有良好的定位性能和系统鲁棒性提出新的要求。,亚马逊仓储搬运机器人,家用扫地机器人,2、为了实现移动机器人自主导航，核心技术包括对环境的地图搭建以及定位（SLAM，同时定位与地图构建)。目前机器人SLAM系统的鲁棒性、可靠性、精确性有待提升。,3、定位和建图两者相互耦合，精确地图来源准确的定位，准确的定位又依赖精确的地图。,BiomimeticandIntelligentRoboticsLab,4,拟解决问题,拟开发一套基于相机和IMU的视觉惯性SLAM系统，来完成机器人精确定位。,该系统可将其应用于未知环境下的移动机器人的精确定位。,通过融合相机和IMU数据提高SLAM系统鲁棒性和定位精确性的问题。,BiomimeticandIntelligentRoboticsLab,5,研究现状,1、视觉SLAM大部分研究都基于单目相机，现有较好的单目视觉slam系统有：ORB-SLAM和LSD-SLAM，分别于2015年、2014年提出。构建地图分别为稀疏地图和半稠密地图。,ORB-SLAM地图,LSD-SLAM地图,2、系统性能对比,两者缺点：通常快速运动、大视角变化和现实环境外观明显改变而定位失败。,BiomimeticandIntelligentRoboticsLab,6,研究现状,基于视觉惯性的同时定位和构图（SLAM）有如下其他研究者的工作：,1、Mourikis和S.I.Roumeliotis在2007年提出了MSCKF的方法，在论文中使用多状态约束卡尔曼滤波器（Multi-StateConstraintKlamanFilter）追踪机器人的位姿。,2、StefanLeutenegger在2015年提出一种基于关键帧（keyframe）的非线性优化的方法。相对应于MSCKF的filter-basedSLAM派系，OKVIS是keyframe-basedSLAM派系做visual-inertialsensorfusion的代表。OKVIS将image观测和IMU观测显式变成一个优化问题，一起去优化求解位姿和观测到的路标点。,使用MSCKF方法的自主飞行机器人,BiomimeticandIntelligentRoboticsLab,7,研究现状,OKIVS方法定位效果,3、香港科技大学在2017年开源了VINS-Mono算法，前端基于KLT光流跟踪算法，后端基于滑动窗口的优化(采用ceres库)，回环基于DBoW2的回环检测。但其提出的该方法只考虑了位姿的优化问题，并未考虑地图的优化问题。,VINS-Mono效果,BiomimeticandIntelligentRoboticsLab,8,研究内容,本课题的主要工作内容如下：1、研究相机重投影误差（Reprojectionerror）和IMU积分误差（IMUintegrationerrorterm）的构建。2、在计算机器人位姿的时候，研究如何使用重投影误差和IMU积分误差来构造代价函数，以及最小化这个代价函数，以优化机器人位姿和观测到的路标点。3、研究基于DBow2库的地图回环检测，回环检测可以优化路标地图之间的相对关系，使其和真实环境一致化，并且消除累积误差。,BiomimeticandIntelligentRoboticsLab,9,研究方法,研究总思路：1、对现有开源的VIO方案做一个详细的分析对比，选取一个高鲁棒性，精度高的VIO的框架。2、对观测值数据预处理，包含图像特征检测和帧间的运动跟踪以及IMU数据预积分。3、系统初始化，包含单纯的视觉初始化和视觉惯性联合初始化。4、局部BA联合优化和重定位，包含一个基于滑动窗口的BA优化模型。5、对全局的位姿进行优化。6、基于DBow2词袋的回环检测。,BiomimeticandIntelligentRoboticsLab,10,研究方法,1、对现有开源的VIO方案做一个详细的分析对比，选取一个高鲁棒性，精度高的VIO的框架。初步拟定香港科技大学的VINS-Mono方案。,VINS-Mono总体框架图,BiomimeticandIntelligentRoboticsLab,11,研究方法,2、对观测值数据预处理，包含图像特征检测和帧间的运动跟踪以及IMU数据预积分。,3、系统初始化，包含单纯的视觉初始化和视觉惯性联合初始化。,数据预处理示意图,视觉惯性联合初始化示意图,BiomimeticandIntelligentRoboticsLab,12,研究方法,4、局部BA联合优化和重定位，包含一个基于滑动窗口的BA优化模型。,优化函数：,注：i表示camera索引，k表示frame索引，j表示feature的索引，表示特征的信息矩阵，表示IMUerror的信息矩阵。,5、使用g2o或ceres优化库对全局的位姿进行优化。,滑动窗口的BA优化模型,6、使用基于DBow2库的回环检测。,BiomimeticandIntelligentRoboticsLab,13,可行性论证,1、在硬件方面，在公司已有基础功能完善的移动平台，以及多种传感器，包括相机和IMU,能够为方案开展提供足够的硬件支持,小移动平台,2、在软件方面，每一个环节都基于开源的代码或成熟的函数库实现，保证了整个系统的稳定性以及可行性。,3、在定位算法评估上，可以基于实验室动作补抓系统（MotionCaptureSystem）进行算法精度验证。,大移动平台,BiomimeticandIntelligentRoboticsLab,14,研究创新点,课题特色与创新性：1、相比传统的视觉SLAM系统采用一个单目相机，相机位姿在快速运动的时候容易丢失，因此视觉惯性SLAM系统，其鲁棒性、定位精确性会更好。更容易走向工程应用。2、加入了积分误差项到全局的优化里面来，相比传统视觉SLAM只根据重投影误差来优化位姿，VIO得到的机器人位姿更鲁棒。3、视觉前端采用光流法估计相机的位姿，因为光流是比较简单的像素级别跟踪，是不容易丢失的，ORB虽然是很弱的描述子依然比类似光流、模板匹配要严格很多，所以ORB相对来说光流还是很易丢失的，使用光流追踪提高了系统的鲁棒性。,BiomimeticandIntelligentRoboticsLab,15,预期成果,1、开发出一套适用于移动机器人的高鲁棒视觉惯性里程计系统，并能在未知场合下应用,2、发表会议或期刊论文1篇、专利1篇,3、毕业论文1篇,BiomimeticandIntelligentRoboticsLab,16,研究计划,（1）2017.122018.01阅读文献，了解国内外研究现状，并总结。,（3）2018.062018.10学习具