CN117036484B 一种基于几何和语义的视觉定位与建图方法、系统、设备及介质 （西安电子科技大学）

一种基于几何和语义的视觉定位与建图方一种基于几何和语义的视觉定位与建图方得图像全部动态对象掩膜；将原始图像输入GCN全部特征点计算每个关键点的语义分割动态概对全局地图回环检测和全局BundleAdjustment明提高视觉SLAM系统在现实高动态场景中定位2步骤S1：将原始图像输入到MaskR_CNN网络模型中，对原步骤S3：对步骤S1中MaskR_CNN网络模型获取的图像的二进制掩膜和步骤S2中GCN网络模型获取的全部特征点，使用二项式逻辑回归模型计算每个关键点的语义分割动态概步骤S4：通过步骤S1中MaskR_CNN网络模型获取步骤S5：将当前帧图像特征与步骤S4中获得的对应的关步骤S6：将步骤S5处理完全的图像中的静态特征点步骤S7：对步骤S6得到的全局地图进行回环检测13其中，ps,述步骤S6中逐帧关联进行位姿估计和全局地图的构建过程包括4所述步骤S7对步骤S6得到的全局地图进行全局BundleAdjustment的优x7.基于权利要求1至6任一项所述方法的一种基于几何和语义的视觉定位与建图系统，视觉里程计模块：用于将原始图像输入到MaskR_CNN网络模型中，建图模块：用于将处理完全的图像中的静态特征点输入到跟踪与非线性优化模块：用于对全局地图进行回环检测和全局BundleAdjustment的优化工5存储器：存储权利要求1_6任一项所述一种基于几何和语义的视觉定位与建图方法的处理器：用于执行所述计算机程序时实现权利要求1_6任一项所述的一种基于几何和9.一种计算机可读存储介质，其特征在于：序，所述计算机程序被处理器执行时能够实现权利要求1_6任一项所述的一种基于几何和6[0002]视觉SLAM(SimultaneousLocalizationandMapping)是一种先进的计算机视觉对匹配后的特征点添加精度约束与几何约束,采用双向打分规则对特征点进行双约束，得到最终滤除后的特征点,将其添加到ORB_SLAM视觉里程计框架中，提高了定位与建图的精7图像的二进制掩膜获得原始图像场景中出现[0010]步骤S3：对步骤S1中MaskR_CNN网络模型获取的图像的二进制掩膜和步骤S2中GCN网络模型获取的全部特征点，使用二项式逻辑回归模型计算每个关键点的语义分割动8[0035]所述步骤S5将当前帧图像特征与对应的最高重叠的关键帧特征的角度和距离进9[0055]所述步骤S7对步骤S6得到的全局地图进行全局BundleAdjustment的优化，是指Tc)[0075]非线性优化模块：用于对全局地图进行回环检测和全局BundleAdjustment的优效的降低不稳定和不良的数据关联。将处理完的图像通过逐帧的关联实现对相机位姿估模型分割获得的掩膜边缘的特征点语义信息更何关联约束算法中的角度和距离约束判断特征点为动态特[0092]图5是本发明实际场景估计轨迹示意图；其中，图5(a)是本发明在TUM数据集中序列运行的轨迹图，图5(c)是本发明在TUM数据集中fr3_walking_rpy序列运行的轨迹图，图5(d)是本发明在TUM数据集中fr3_walking_half[0106]通过GCN网络模型提取的这些特征，能够在后续的定位与建图工作中发挥重要作步骤S2中GCN网络模型获取的全部特征点，使用二项式逻辑回归模型来计算每个关键点的[0150]所述步骤S7是在完成定位和简单图工作后，通过回环检测和全局BundleAdjustment对全局的定位和建图进行进[0151]闭环检测能够对定位过程中识别到的相同地点进行一致性匹配，全局Bundle[0159]所述步骤S7对步骤S6得到的全局地图进行全局BundleAdjustment的优化，是指c)本发明能够鲁棒的计算出与实际轨迹相差较小的[0180]视觉里程计模块：用于实现步骤S1中将原始图像输入到Mask个关键点的语义分割动态概率；实现步骤S4中通过使用处理后的图像中的特征点进行定[0182]非线性优化模块：用于实