CN114993298B 基于ekf的模板匹配vo与轮式里程计融合定位方法 （南京航空航天大学）

基于EKF的模板匹配VO与轮式里程计融合定本发明公开了基于EKF的模板匹配VO与轮式集，为地面图像数据集添加地形复杂度作为标签；利用地面图像数据集训练卷积神经网络模估算出的位姿和经过惯性测量单元解算出的位2预先设置地形复杂度阈值E和图像熵阈值F，对于大小为640*480像素步骤6，将轮式里程计估算出的位姿和经过惯性测量单元解算出的位姿通过扩展卡尔所述扩展卡尔曼滤波方法根据系统的运动模型和观测模型实现预测和更新两个步骤，t和Vt分别为当前时刻系统的过程噪声矩阵和观测噪声矩阵；32.根据权利要求1所述的基于EKF的模板匹配VO与轮式3.根据权利要求1所述的基于EKF的模板匹配VO与轮4.根据权利要求1所述的基于EKF的模板匹配VO与轮式里程计融合2)利用归一化互相关匹配方法在第i+1帧3)根据匹配区域b与模板a的左上角像素位置计算像素位移增量Δu和Δv；5)根据真实位移增量解算得到i+1时刻模板6)根据模板选取策略在第i+1帧地面图像中初始化模板并重5.根据权利要求1所述的基于EKF的模板匹配VO与轮4[0001]本发明涉及基于EKF的模板匹配VO与轮式里程计融合定位方法，属于机器人定位[0003]SLAM(SimultaneousLocalizationAndMapping，即时定位与地图构建)主要用[0005]基于模板匹配的视觉里程计(VisualOdometry，VO)系统在车辆的定位系统中主[0006]本发明所要解决的技术问题是：提供基于EKF的模板匹配VO与轮式里程计融合定位方法，在里程计坐标系下将基于CNN和图像熵改进的模板匹配的视觉定位结果与轮式里5[0011]步骤3，利用机器人上安装的摄像头采集地面图像输入训练好的卷积神经网络模[0014]步骤6，将轮式里程计估算出的位姿和经过惯性测量单元解算出的位姿通过扩展卡尔曼滤波方法即初级滤波器进行融合，将融合后得到的位姿作为次级滤波器的预测值，结合模板匹配VO估算出的位姿结果作为次级滤波器的观测值，得到最终的机器人定位结[0015]作为本发明的一种优选方案，步骤1所述地形复杂度的决定因素包括地面材质以[0024]2)利用归一化互相关匹配方法在第i+1帧地面图像中从左到右、从上到下搜索与[0025]3)根据匹配区域b与模板a的左上角像素6[0054]1、本发明根据图像的信息熵作为主要的影响因子之一，结合卷积神经网络7于扩展卡尔曼滤波(ExtendedKalmanFilter，EKF)将改进的模板匹配VO和轮式里程计融的摄像头的图像数据，根据图像的信息熵作为主要的影响因子之一，结合卷积神经网络改进后的模板匹配VO后，将机器人的轮式编码器估算出的位姿和经过惯性测量单元(InertialMeasurementUnit，IMU)姿态解算过后的位姿通过扩展卡尔曼滤波(EKF)方法地形复杂程度的变量(地形复杂度ρ)作为标签，地形复杂度由地面材质以及颠簸程度等因[0066]步骤3：将摄像头采集的图像输入训练好的卷积神经网络模型可以得到当前地面8[0073]步骤4：图像熵是一种特征的统计形式，是衡量图像中信息量丰富程度的重要指w和Th分别为图像的宽和高。9[0080]如图4所示，左右两个轮子上安装的编码器测得的脉冲数可通过下式转化为左右[0092]式中，和分别表示当前时刻和上一时刻机器人坐标系到导航坐标系的姿[0107]扩展卡尔曼滤波(EKF)主要思想是通过对非线性方程一阶泰勒展开为线性方程，然后再使用卡尔曼滤波算法对系统状态进行估计。EKF算法根据系统的运动模型和观测模[0123]扩展卡尔曼