CN119511332A Gnss拒止环境下的无人机多模态视觉定位方法及系统 （西安交通大学）

GNSS拒止环境下的无人机多模态视觉定位本发明GNSS拒止环境下的无人机多模态视算无人机的相对定位，输出得到高频的6_DoF位键帧图片与匹配的卫星图像之间的相对位姿得式根据在世界系下的绝对定位的置信度与相对且精度更高的6_DoF位姿信息；基于高频且精度21）构建基于深度学习特征提取和匹配的视觉惯性里程计算法，计算无人机的相对定红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片与匹配的卫星图像之间3）采用因子图优化的方式根据在世界系下的绝对定位的置信度与相对定位进行自适采用基于深度学习特征和匹配改进的ORB_SLAM3作为视觉惯性里程计算法；采用个特征点归一化到0到1的范围内；特征点的描述表示为；将它们输入进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片与匹配的卫星图像通过航拍图像与卫星图像的匹配来获取无人机在大地坐标系下卫星图像与航拍图像分为两个阶段，初始化匹配阶段与运动过3首先对卫星图像进行分块的操作，将W_SXH_S的卫星图像分为W_S/√nXH_S/√然后通过Efficient_LoFTR对采集图像和卫星图像进行特征匹配处理，并根据匹配置在景象匹配过程中，已经通过Efficient_LoFTR得到当前关键帧图像和卫星图像之间4视觉的观测值残差是相机特征点的重投影误差，在归一化相机坐。第一计算模块，构建基于深度学习特征提取和匹配的视觉惯Efficient_LoFTR进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片第三计算模块，采用因子图优化的方式根据在世界系下的5采用基于深度学习特征和匹配改进的ORB_SLAM3作为视觉惯性里程计算法；采用个特征点归一化到0到1的范围内；特征点的描述表示为；将它们输入通过航拍图像与卫星图像的匹配来获取无人机在大地坐标系下卫星图像与航拍图像分为两个阶段，初始化匹配阶段与运动过首先对卫星图像进行分块的操作，将W_SXH_S的卫星图像分为W_S/√nXH_S/√然后通过Efficient_LoFTR对采集图像和卫星图像进行特征匹配处理，并根据匹配置6在景象匹配过程中，已经通过Efficient_LoFTR得到当前关键帧图像和卫星图像之间序，所述计算机程序当被处理器执行时实现权利要求1_5中任一项所述的GNSS拒止环境下7直是一个具有挑战性的问题。传统的定位方法主要依赖于全球导航卫星系统（Global的无人机多模态视觉定位方法及系统。本发明提出了一种RGB图像和红外图像景象匹配融卫星地图更新机制，根据融合得到的最终位姿将航拍的图像进行仿射变换到卫星图像平进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片与匹配的卫星图像3）采用因子图优化的方式根据在世界系下的绝对定位的置信度与相对定位进行8采用基于深度学习特征和匹配改进的ORB_SLAM3作为视觉惯性里程计算法；采用将每个特征点归一化到0到1的范围内；特征点的描述表示为；将它们输入通过航拍图像与卫星图像的匹配来获取无人机在大地坐标系下化匹配阶段考虑匹配的精度，无人机的航拍图像的视野会随着无人机的高度升高而增加，然后通过Efficient_LoFTR对采集图像和卫星图像进行特征匹配处理，并根据匹9在景象匹配过程中，已经通过Efficient_LoFTR得到当前关键帧图像和卫星图像有关键帧分别观察到的特征点数量；pf和qf表示从相机到IMU的平移和旋转矩阵；p"和q"可以计算的先验信息；I,是上一次优化后生成的Hessian矩阵的先验雅可比矩阵；别表示i帧IMU坐标系到世界坐标系的平移和旋转矩阵；和分别表示i帧世界坐标系到。第二计算模块，根据高频的6_DoF位姿信息，对卫星地图进行搜索，采用基于Efficient_LoFTR进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片算机程序当被处理器执行时实现所述的GNSS拒止环境下的无人机多模态视觉定位方法的进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片与匹配的卫星图像[0035]3）采用因子图优化的方式在世界系下根据绝对定位的置信度与相对定位进行自本发明采用基于深度学习特征和匹配改进的ORB_SLAM3作为视觉惯性里程计算阈值选择策略来过滤掉特征点并进行后处理操作以获得特征点将每个特征点归一化到0到1的范围内。特征点的描述表示为。将它们输入[0043]卫星图像与航拍图像可以分为两个阶段，初始化匹配阶段与运动过程匹配阶[0045]然后通过Efficient_LoFTR对采集图像和卫星图像进行特征匹配处理，并根据匹[0049]在景象匹配过程中，已经通过Efficient_LoFTR得到当前关键帧图像和卫星图像有关键帧分别观察到的特征点数量；pf和qf表示从相机到IMU的平移和旋转矩阵；p"和q"可以计算的先验信息；I,是上一次优化后生成的Hessian矩阵的先验雅可比矩阵；别表示i帧IMU坐标系到世界坐标系的平移和旋转由于景象匹配频率较低，直接将景象匹配结果与视觉惯性里程计融合会产生误获得该顶点的内角。夹角的计算使用了两个向量之间的点积公式，并通过反余弦函数本发明提供的一种针对无人机的多模态信息融合的定位架构，其主要创新点在RGB图像，红外图像结合视觉惯性里程计在大尺度卫星地图中进行从粗到细的景象匹配来基于深度学习特征匹配的ORB_SLAM3视觉惯性里程计得到相对且高频的位姿。根据里程计低频的绝对位姿来让视觉惯性里程计的坐标系与卫星地图的坐标系进行align。接着结合绝对位姿的置信度跟视觉惯性里程计进行因子图优化融合，得到更加准确稳定平滑的6_第二计算模块，根据高频的6_DoF位姿信息，对卫星地图进行搜索，采用基于Efficient_LoFTR进行红外RGB图像多模态融合的景象匹配，并通过求解当前关键帧图片