CN119417899A 一种融合深度学习的双目惯导slam定位方法 （南京航空航天大学）

一种融合深度学习的双目惯导SLAM定位方法本发明提供了一种融合深度学习的双目惯的图像与IMU数据，利用Superpoint网络提取图络检测动态对象进行动态点剔除；基于IMU预积述子二进制编码训练DBoW3词袋模型进行回环检测；并应用LightGlue网络匹配当前关键帧与候2S2、SLAM系统前端通过Superpoint网络提取图像作为点集输入YoloV8_seg网络进行动态点剔除；所述特征描述子进行二进制编码以训练获取动态对象的检测框并对框内图像进行语义分割，获取动态S4、获取前一帧与当前图像帧之间的IMU数据，包RANSAC算法对特征匹配结果进行优化并采用PnP方法计算当前关键帧与候选关键帧之间的S21、采用一个基于VGG架构的编码器来逐步减步骤S2进行特征点提取时，同时提取特征描述子，以在步骤S6中进行DBoW3词带模型的训性差值方法根据特征点的位置从特征图中提取对应的特3j为目标检测的置信度得分，Mj(xi,yi)为语义分割掩码在特征点位置的置信度S51、以特征点跟踪良好的普通帧图像帧为关键帧并填满滑动窗口，计算滑动窗口内所述有足够大的视差的判断标准为：同一个匹配点在不同帧时的横坐标所述匹配准确的判断标准为：对于每个特征点，利用已匹配的特征类算法对所有二进制特征描述子{bi1,bi2,...,bin}进行聚类，得到K个聚类中心{ct1,4S71、输入当前关键帧和候选关键帧的图像使用Ligh)包含当前关键帧中的5[0001]本发明属于空间定位与建图技术领域，具体涉及一种融合深度学习的双目惯导[0002]随着航空制造业的进步，复杂零部件的装配精度对产品质量和安全性越来越重征点作为点集输入YoloV8_seg网络进行动态点剔除，描述子进行二进制编码以训练DBoW36使用RANSAC算法对特征匹配结果进行优化并采用PnP方法计算当前关键帧与候选关键帧之局部区域的一个潜在特征点及一个用于无特双线性差值方法根据特征点的位置从特征图中提取对应的特征7[0035]S61、将通过Superpoint网络提取到的每个特征描述子di进行二进制编码生成二[0036]S62、构建初始词汇表V＝{v1,v2,...,vK}，其中K为预定词汇表的大小，采用K_means聚类算法对所有二进制特征描述子{bi1,bi2,...,bin}进行聚类，得到K个聚类中心)包含当前关键帧8[0052]系统接收双目相机的图像与IMU数据，通过Superpoint网络提取图像特征点和特[0053]SLAM系统后端采用二进制编码的Superpoint特征描述子训练DBoW3词袋模型进行回环检测，并通过LightGlue网络匹配当前关键帧与候选关键帧，利用RANSAC优化匹配结[0054]图1为本发明所提出的一种融合深度学习的双目惯导SLAM定位方法的总体流程9[0089]S61、将通过Superpoint网络提取到的每个特征描述子di进行二进制编码生成二[0090]S62、构建初始词汇表V＝{v1,v2,...,vK}，其中K为预定词汇表的大小，采用K_means聚类算法对所有二进制特征描述子{bi1,bi2,...,bin}进行聚类，得到K个聚类中心使用RANSAC算法对特征匹配结果进行优化并采用PnP方法计算当前关键帧与候选关键帧之[0099]本实施例中应用LightGlue网络对当前关键帧的特征点与候选关键帧的特征点进下才被认为具有对应关系；LightGlue网络通过损失函数描述了在训练过程中如何计算损是计算属于图B的标记为不匹配的点的预测匹配分数的对数似然损失，'o;为点j的可匹配不可匹配的计算预测可匹配性分数'o;'的对数似然损失；对于标记为不可匹配的EeB,计算预测可匹配性分数'o;的对数似然损失；损失函数会根据他们的匹配分数进行)包含当前图端Superpoint网络和YoloV8_seg网