CN112219087A 位姿预测方法、地图构建方法、可移动平台及存储介质 （深圳市大疆创新科技有限公司）

PCT/CN2019/10359920南区粤兴一道9号香港科大深圳产学获取所述第一时间段内第一编码器的测量数据一时间段内第一编码器的测量数据和第二编码阵以及上一图像帧的位姿信息获得所述当前图的位姿，可提高位姿获取的准确性，提高视觉2获取所述第一时间段内第一编码器的测量数据和第根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前测量数据和第二编码器的测量数据，获得当前图像帧相对于上一图像帧的预测变换矩阵，基于所述第一时间段，分别对所述第一导数和第二导数根据当前图像帧相对于上一图像帧的预测旋3.根据权利要求1或2所述的方法，其特根据预设的纯运动束调整模型对所述当前图像帧的预若当前图像帧相对于上一图像帧发生视觉失效时，所述当前图若当前图像帧相对于上一图像帧未发生视觉失效时根据所述优化位姿，将所述当前图像帧和所述上一图像帧进行特征匹配获取内点数3根据预设的策略取出冗余关键帧和冗余地图点，并根据所在生成新的地图点后，构建所述当前图像帧的获取所述第二时间段内第一编码器的所有测量数据和第二编根据所述第二时间段内第一编码器测量的所有测量数据和第二编码器的所有测量数9.根据权利要7或8所述的方法，其特征在于，获取所述当前图像帧之前预设的N个连续关键帧，根据所述当前图像帧及其所能看见根据所述局部优化图中任意两个相邻关键帧之间的预测变换矩阵构建所述编码器误根据所述编码器误差和重投影误差对所述当前图像帧及其所能看见的地图点、所述N4所述第一滚动轮和第二滚动轮用于使得所述可移动平台发生位移，所述第一编码器用于检测所述第一滚动轮的速率，所获取所述第一时间段内第一编码器的测量数据和第根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前基于所述第一时间段，分别对所述第一导数和第二导数根据当前图像帧相对于上一图像帧的预测旋根据预设的纯运动束调整模型对所述当前图像帧的预若当前图像帧相对于上一图像帧发生视觉失效时，所述当前图若当前图像帧相对于上一图像帧未发生视觉失效时根据所述优化位姿，将所述当前图像帧和所述上一图像帧进行特征匹配获取内点数5根据预设的策略取出冗余关键帧和冗余地图点，并根据所在生成新的地图点后，构建所述当前图像帧的获取所述第二时间段内第一编码器的所有测量数据和第二编根据所述第二时间段内第一编码器测量的所有测量数据和第二编码器的所有测量数获取所述当前图像帧之前预设的N个连续关键帧，根据所述当前图像帧及其所能看见根据所述局部优化图中任意两个相邻关键帧之间的预测变换矩阵构建所述编码器误根据所述编码器误差和重投影误差对所述当前图像帧及其所能看见的地图点、所述N23.根据权利要求14-22任一项所述的可移动6获取所述第一时间段内第一编码器的测量数据和第根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前基于所述第一时间段，分别对所述第一导数和第二导数根据当前图像帧相对于上一图像帧的预测旋31.根据权利要求28-30任一项所述的方根据预设的纯运动束调整模型对所述当前图像帧的预7若当前图像帧相对于上一图像帧发生视觉失效时，所述当前图若当前图像帧相对于上一图像帧未发生视觉失效时根据所述优化位姿，将所述当前图像帧和所述上一图像帧进行特征匹配获取内点数34.根据权利要求28-33任一项所述的方法根据预设的策略取出冗余关键帧和冗余地图点，并根据所在生成新的地图点后，构建所述当前图像帧的获取所述第二时间段内第一编码器的所有测量数据和第二编根据所述第二时间段内第一编码器测量的所有测量数据和第二编码器的所有测量数获取所述当前图像帧之前预设的N个连续关键帧，根据所述当前图像帧及其所能看见根据所述局部优化图中任意两个相邻关键帧之间的预测变换矩阵构建所述编码器误根据所述编码器误差和重投影误差对所述当前图像帧及其所能看见的地图点、所述N37.根据权利要求28-36任一项所述的方8所述第一滚动轮和第二滚动轮用于使得所述可移动平台发生位移，所述第一编码器用于检测所述第一滚动轮的速率，所获取所述第一时间段内第一编码器的测量数据和第根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前根据所述第一时间段内第一编码器的测量数9基于所述第一时间段，分别对所述第一导数和第二导数根据当前图像帧相对于上一图像帧的预测旋44.根据权利要求41-43任一项所述的可移动平台，其特根据预设的纯运动束调整模型对所述当前图像帧的预若当前图像帧相对于上一图像帧发生视觉失效时，所述当前图若当前图像帧相对于上一图像帧未发生视觉失效时根据所述优化位姿，将所述当前图像帧和所述上一图像帧进行特征匹配获取内点数47.根据权利要求41-46任一项所述的可移动平台，其特根据预设的策略取出冗余关键帧和冗余地图点，并根据所在生成新的地图点后，构建所述当前图像帧的获取所述第二时间段内第一编码器的所有测量数据和第二编根据所述第二时间段内第一编码器测量的所有测量数据和第二编码器的所有测量数获取所述当前图像帧之前预设的N个连续关键帧，根据所述当前图像帧及其所能看见根据所述局部优化图中任意两个相邻关键帧之间的预测变换矩阵构建所述编码器误根据所述编码器误差和重投影误差对所述当前图像帧及其所能看见的地图点、所述N50.根据权利要求41-49任一项所述的可移[0002]视觉SLAM(SimultaneousLocalizationandMapping，即时定位与地图构建)指的是机器人在自身位置不确定的条件下，在完全未知环境中根据相机采集的图像创建地[0010]根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前图像帧的预测[0020]根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前图像帧的预测[0026]根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前图像帧的预测[0037]根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前图像帧的预测测量数据和第二编码器的测量数据，获得当前图像帧相对于上一图像帧的预测变换矩阵；明实施例通过将编码器应用到视觉SLAM中，通过编码器测量数据预测当前图像帧的位姿，中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施头705采用单目相机时通常会与IMU(InertialMeasurementUnit，惯性测量单元)通过紧较小，能只用常规笔记本电脑的CPU也做到实时处理；当然特征点也可以为Harris角点、SIFT(Scale-invariantFeatureTransform)特征点、SURF(SpeededUpRobust时间与当前图像帧采集时间的时间误差不超过预设时间阈值。而当系统存在不稳定情况超过预设时间阈值的编码器数据，也即当前图像帧采集时间前后的编码器测量数据不可[0075]其中，测量速度vEE的x轴分量v以及测量角速度ωEE的z轴分量ω满足差动二轮车和ve数据。[0078]将当前图像帧的测量速度vEE和测量角速度ωEE代入如下运动模型的微分公式(3)[0081]将运动模型的微分公式进行积分，能够得到两帧间预测旋转矩阵和预测平[0082]进一步的，将预测旋转矩阵eie和预测平移矩阵Feie从编码器坐标系转换到相关键帧2上后与匹配点的坐标差值)达到最小(即上述误差关于信息矩阵的二范数的平方和要指许多关键帧的位姿)，但是优化的目标函数依旧是基于重投影误差的一种非线性优化[0089]所述重投影误差通过局部地图的地图点在当前图像帧的预测位姿上对特征点进Motion-onlyBA的优化过程中的Hessian矩阵做信息矩阵∑0-1来保持上一图像帧位姿尽量[0095]其中eR表示相对旋转矩阵的误差(使用对数映射或其李代数表示，是一个三维矢运动模型的预测变换矩阵(包含旋转矩阵和平移矢量)来将上一图像帧的特征点投影到当器测量的轮速来估计当前图像帧的初始位姿，然后再对初始位姿进行优化得到优化位姿，当前图像帧、以及与当前图像帧具有相同特征点的帧进行特征点的重新匹配(或者将地图以及编码器检测到的第一滚动轮速度和第二滚动轮速度信息来对当前图像帧相机的位姿帧以及与当前图像帧具有相同特征点的关键帧进行特征点匹配的方式进行当前图像帧位可避免视觉短暂失效时视觉失效前后地图点和轨迹衔接不上导[0129]现有技术中通常会判断当前图像帧离上一关键帧之间的距离是否处于预设距离码器连接(也即允许纯编码器边pureencoderedges)，可不需要当前图像帧离上一关键帧可包括不在当前关键帧附近的被看到次数过少的地图点及前几帧里被连续看到的次数比帧是指存在至少1个其他的关键帧和其看到相同地图点数量超过阈值(例如90％)的情况，关键帧2相对于关键帧1的相对位姿是通过编码器数据得到的预测位姿(也即编码器边1)，关键帧3相对于关键帧2的相对位姿也是通过编码器数据得到的预测位姿(也即编码器边化造成误差较大(其中由于编码器的精度和与地面存在摩擦，导致编码器比视觉的精度实施例中Motion-onlyBA优化过程类似，其局部BA的目标函数同样也加入编码器误差项。现有技术中的局部BA中，参与局部BA的关键帧通常为当前关键帧的共视图(也即图包含帧[0146]现有技术中的闭环检测，查询地图数据库，通过RANSAC(RandomSample对变换和所有闭环边对应的相似变换的图，其中支撑树(spanningtree)是连接整个地图时会根据共同看见的地图点数量去修改子节点的父节点(此时对应去除关键帧的操作，会姿的误差ey=Log(i'TiwT)关于协得到的协方差矩陌去修改支撑树上纯编码器边对应相对变换的协方差矩阵Een:使和RGBD相机通常不需要通过IMU初始化确定地图尺度，当然通过IMU初始化对双目相机和[0159]本实施例中可将运行很久的视觉SLAM系统的地图信息以很小的存储空间进行存[0160]本发明实施例提供一种可移动平台。图7为本发明实施例提供的可移动平台的结[0163]所述第一编码器703用于检测所述第一滚动轮701的速率，所述第二编码器704用[0167]获取所述第一时间段内第一编码器703的所有测量数据和第二编码器704测的所[0168]根据所述第一时间段内第一编码器703测量的所有测量数据和第二编码器704的[0169]根据所述预测变化矩阵以及上一图像帧的位姿信息获得所述当前图像帧的预测[0170]在上述实施例的基础上，在所述处理器706根据所述第一时间段内第一编码器的测量数据和第二编码器的测量数据，获得当前图像帧相对于上一图像帧的预测变换矩阵[0174]在上述任一实施例的基础上，在所述处理器706根据所述预测变化矩阵以及上一述纯运动束调整模型包括编码器误差项，所述编码器误差项通过所述第一编码器703的测[0185]在上述任一实施例的基础上，在所述处理器706根据所述当前图像帧对所述已构[0188]在上述任一实施例的基础上，在所述处理器706构建所述当前图像帧的共视图进[0190]获取所述第二时间段内第一编码器703的所有测量数据和第二编码器704测的所[0191]根据所述第二时间段内第一编码器703测量的所有测量数据和第二编码器704的[0192]在上述任一实施例的基础上，在所述处理器706构建所述当前图像帧的共视图进[0193]获取所述当前图像帧之前预设的N个连续关键帧，根据所述当前图像帧及其所能[0194]根据所述局部优化图中任意两个相邻关键帧之间的预测变换矩阵构建所述编码述N个连续关键帧及其能看见的地图点进行优化，更新所述局部优化图中所有关键帧的位[0201]在上述任一实施例的基础上，在所述处理器706构建位姿图以对所有关键帧进行[0203]在上述任一实施例的基础上，在所述处理器706构建位姿图以对所有关键帧进行[0207]获取所述第一时间段