CN119509525A 一种基于视觉的联合定位方法 （珠海一微半导体股份有限公司）

包括：步骤A、机器人通过相机实时获取图像数器人从经过预处理的图像数据中获取跟踪成功D、机器人根据回环检测的情况从关键帧中筛选图中标记位姿的速率与获取所述图像数据或所服少纹理区域和光强变化环境下对位姿估计的22.根据权利要求1所述联合定位方法，其特征据进行预处理后，当步骤B通过设置滑动窗口来从预处理后的图像数据中依次扫描出至少一帧所述跟踪成功的图像帧，以使所述跟踪成功的图像帧以帧为单位填入所述滑动窗口在步骤A分别对图像数据与惯性数据进行预处理后，当所述滑动窗口没有从预处理后的图像数据中扫描出所述跟踪成功的图像帧时，重新对实时获取的图像数据进行预处理，4.根据权利要求3所述联合定位方法，其特征在于，在步骤A机器人从当前帧图像帧与上一帧图像帧当中提取出相匹配的特征点对与相匹配的特在依次获取到的至少两帧跟踪成功的图像帧中，将当前帧在依次获取到的至少两帧跟踪成功的图像帧当中提取出相匹配的3控制当前获得的一帧关键帧依次与关键帧图像库内所有的关键依次将各帧目标关键帧当中的节点及边界线添加到全局地图内，在所述全局地图内，当检测到依次加入的节点及加入的边界线其中，一帧目标关键帧当中的节点表示该帧目标关键帧8.根据权利要求7所述联合定位方法，其特征在于机器人检测到一条环形通路时，将其当前遍历的一帧图像帧设置为待所处的时间戳是机器人在全局地图中最新标记的位姿所处的时然后使用所述初始位姿差构建两帧图像之间的残差模型，再对该残差模型进行优化，然后控制机器人在全局地图中最新标记的位姿与所残差模型表示的残差量包括加速度的残差量、速度的残差量、旋其中，所述一定时间是所述待定位图像帧所处的时间戳与4机器人通过执行步骤A从所述待定位图像帧与所述上一帧目标关键帧当中提取出相匹5[0001]本申请涉及机器人视觉定位的技术领域，具体涉及一种基于视觉的联合定位方[0002]室内环境导航SLAM系统，能够融合相机和惯性测量单元（IMU，Inertiallocalizationandmapping,即时定位与地图构建)指的是机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基获取所述图像数据或所述惯性数据的速率之间的差值形成的位[0006]另外，本技术方案结合预处理后的惯性数据与目标关键6强频繁变化等引起图像模糊场景对所述惯性数据或所述述跟踪成功的图像帧以帧为单位填入所述滑动窗口内；在步骤A分别对图像数据与惯性数当前帧图像帧是所述跟踪成功的图像帧；当特征匹配数量小于或等于预设跟踪数量阈值[0010]进一步地，在所述步骤B中，所述从跟踪成功的图像帧中提取出关键帧的方法包述步骤B基于视差和特征点数目筛选出关键帧，形成机器人完成图像跟踪之后对图像帧继7依次加入的节点及加入的边界线依次连接形成环形通路时，机器人检测到一条环形通路，述待定位图像帧所处的时间戳与所述上一帧目标关键帧所处的时间戳之8过预处理的惯性数据代表两帧图像帧之间的相对9[0026]惯性传感器一般安装在机器人的机体内部，比如码盘安[0027]可以配置相机和惯性传感器同步感测数据，并且同步预[0029]关键帧的信息包括点特征、线特征以及关键帧在机器人所处[0032]特征点之间的匹配以及特征线之间的匹配会涉及到SIFT描述子或LBD描述子之间[0033]步骤D、机器人根据回环检测的情况从关键帧中筛选出目标关键帧；在本实施例图像模糊场景对所述惯性数据或所述图像数据获取状态理的惯性数据的输出时间戳相对齐的情况下输出所述机器人的优化全局地图中标记位姿的速率与所述惯性传感器获取惯性数据的速率之间的差值积累出来戳对齐，让所述机器人的优化世界坐标输出频率快于机器人在全局地图中标记位姿的频[0038]在步骤E中，结合经过步骤A预处理的图像数据与经过步骤A预处理的惯性数据可两帧目标关键帧之间感测的角度变化量（来自陀螺仪数据积分的结果构建残差并使用踪成功的图像帧中提取出关键帧，然后根据回环检测的情况从关键帧中筛选出目标关键化等引起图像模糊场景对所述惯性数据或所述图像数据获取状态过设置滑动窗口来从预处理后的图像数据中依次扫描出至少一帧所述跟踪成功的图像帧，的图像数据中扫描出所述跟踪成功的图像帧的情况可以理解为所述滑动窗口跟踪图像帧机器人从当前帧图像帧与上一帧图像帧当中提取出相匹配的特征点对与相匹配前述实施例公开的所述新的滑动窗口从重新预处理后的图像数据中扫描跟踪成功的图像间的匹配。所述步骤A充分利用点特征和线特征融合匹配，提取出更加精确和鲁棒的图像征点的数量，可以是当前帧图像帧内划分出各个单位面积区域内分布的特征点的最大数[0056]当相邻两帧图像的视差小于或等于预设视差阈值，和/或相匹配的特征点对的数量小于或等于预设特征数量阈值，和/或当前帧图像帧内特征点的均匀度大于或等于预设控制当前获得的一帧关键帧依次与关键帧图像库内所有的关键帧进行特征匹配，[0064]每当检测到一条环形通路，则对该条环形通路上的节点定位图像帧与上一帧目标关键帧之间的初始位姿差可以表示为当前时刻与在全局地图内所述一定时间是所述待定位图像帧所处的时间戳与所述上一帧目标关键帧所处的时间戳位图像帧与所述上一帧目标关键帧当中提取出相匹配的特征点对与相匹配的特征线对时，控制每帧图像帧所在时间戳下对应经过预处理的惯性数据进行相减，得到所述初始位姿经过预处理的惯性数据代表两帧图像帧之间