CN114612494B 一种动态场景下的移动机器人视觉里程计设计方法 （南京理工大学）

一种动态场景下的移动机器人视觉里程计本发明公开了一种动态场景下的移动机器RealSense深度相机获取实时图像信息并对其进行预处理；使用基于ORB算法提出的自适应阈值方法更全面地提取图像特征点；使用MS_COCO数据集作为样本训练YOLACT网络并对图像进行实信息和L-K光流法粗滤除动态特征点；基于渐进一致采样算法估计基本矩阵F，然后计算极线距2步骤S2：使用基于网格划分的自适应阈值方法提取图像ORB特征点，具体包含以下步步骤S3：搭建YOLACT网络，采用MS_COCO数据集为样本完成训练后对图像进行实例分步骤S31：使用ResNet101卷积模块构建YOLACT主干步骤S35：使用MS_COCO数据集中常见的18类室内家居物器人初始位姿并对结果进行BundleAdjus步骤S1中通过IntelRealSense深度相机获取实时图像信息，所述的预处理包括去除噪点通过L-K光流法可跟踪计算出中动态物体的像素速度，结合运算结果和语义信息对该3步骤S52：将上述8组匹配点从子集中剔除后，根据步骤S61：利用四个不共面的虚拟控制点线性加权地将世界坐标系下目标物体上任意7.一种电子设备，包括存储器、处理器及行时实现如权利要求1-6中任一所述的动态场景下的移动机器人视觉里程4建(SimultaneousLocalizationandMapping，SLAM)技术具有积极的科学研究价值与实景问题提出一种结合语义信息和几何约束的视觉里程计[0005]实现本发明目的的技术方案为：一种动态场景下基于ORB-SLAM2的视觉里程计设关键帧估计机器人初始位姿并对结果进行BundleAdjustm5[0013]步骤S11:视觉传感器部分选择能够同时获取图像深度信息及彩色信息的Intel[0023]步骤S35：使用MS_COCO(MicrosoftCommonObjectsinContext)数据集中6[0032]步骤S61：利用四个不共面的虚拟控制点线性加权地将世界坐标系下目标物体上[0036](1)本发明所提出的视觉里程计方案鲁棒性更好。在机器人处于复杂环境的情况[0038](3)本发明针对原系统无法获取环境语义信息的问题，研究了基于YOLACT的实例RGB图像进行分割。YOLACT能够实现对常见家居物品的语义标注，除了用于视觉里程计部动态场景下基于ORB-SLAM2的移动机器人视觉里程计算法。具体包括步骤：通过IntelRealSense深度相机获取实时图像信息并对其进行灰度化等预处理；使用基于ORB(OrientedFASTandRotatedBRIEF)算法提出的自适应阈值方法更全面地提取图像特征7[0048]考虑到SLAM系统需求，选择能够同时获取图像深度信息及彩色信息的Intel数目，i的取值范围是[0,n-1]，n是金字塔总层数，通常设置为8，InvSF是尺度因子[0059]并设定每个网格内预提取特征点的数目cDesCi和初始FAST角点提取阈值iniTh，8[0069]步骤S35：使用MS_COCO(MicrosoftCommonObjectsinContext)数据集中[0070]MS_COCO数据集是微软在2014年发布的开源数据集，其中包含了91类日常生活中9[0084]若计算结果超过设定阈值θ则说明误差大，相应的三维世界点周围存在需要被剔[0087]步骤S61：利用四个不共面的虚拟控制点线性加权地将世界坐标