CN118736009B 一种基于图像深度预测和单目几何的视觉里程计方法及系统 （江苏科技大学）

一种基于图像深度预测和单目几何的视觉本发明公开了一种基于图像深度预测和单法检测和描述图像局部特征，之后使用FLANN算方法的优势,能适应动态环境,提高了单目视觉2步骤(2)针对步骤(1)得到的特征匹配关系，使用对极几何约束步骤(4)如果两个连续图像帧构成的有效深度信息对的数量大于给定阈值，则使用三步骤(5)利用透视N点投影算法、RANSAC算法和局部非ij)为特征点对；其中，和loyDel分别计算深度图Dt在水平和垂直方向上的梯度2.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特通过高斯差分核检测,利用下式在不同尺度空间比较像素值,找到极值点作为候选关3采用样条插值法对关键点进行三维二次函数拟合，进而找到拟合函数真正的极值点，3.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特对给定的两个连续图像帧Ii和Ij的对应的特征点对(Fi,Fj)归一化处理后得到xi和xj,将Xj投影回图像平面得到基于三角测量的深度信息DY",然后使用单目深度预测模型估oy"与中的深度信息对，如果深度信息对的数量大于给定的阈值，则计算深度比率rr=DY"/DY",引入了RANSAC算法对含噪数据进行稳健拟合：i_s|≤∈14.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特使用单目深度预测模型估计当前视图Ii的深度信息Di,然后对Di应用飞出掩码Md,得到处理后的深度数据D",最后利用相机内参和D?",通过反投影计算出视图Ii对应的三维点云4*2为内点阈值；重复上述过程直到达到最大迭代次数或内点集的数量不再增5.一种采用如权利要求1至4任一所述方法的基于图像深度预测和单目几何的视觉里特征检测与匹配模块,用于检测输入图像的关键点,并在连续图像帧之间匹配对应的尺度因子校正模块,用于利用深度预测网络输出的深度信息,校正2D姿态变换的尺度3D姿态求解器,用于当尺度因子校正模块无法运行时,基于特征点对的3D坐标和2D像5[0002]视觉里程计是根据输入图像序列估算机器人深度学习的端到端视觉里程计方法虽然取得了一些进展,但往往缺乏几何约束,精度和鲁棒性不尽人意。现有的混合视觉里程计方法集成了经典几何模型和深度学习框架,但在处[0008](4)如果两个连续图像帧构成的有效深度信息对的数量大于给定阈值，则使用三[0011]通过高斯差分核检测,利用下式在不同尺度空间比较像素值,找到极值点作为候6[0032]其中，lu:ol和loyDel分别计算深度图Dt在水平和垂直方向上的梯度幅值,促使相0,0,1]T；7[0039]将Xj投影回图像平面得到基于三角测量的深度信息y",然后使用单目深度预测模型估计图像Ij的深度信息Dj，随后对深度信息Dj应用飞出掩码Md得到处理后的深度数据比率rr=DY"/DP",引入了RANSAC算法对含噪数据进行稳健拟合：[0044]使用单目深度预测模型估计当前视图Ii的深度信息Di,然后对Di应用飞出掩码Md,得到处理后的深度数据D",最后利用相机内参和D",通过反投影计算出视图Ii对应的三维[0052]特征检测与匹配模块,用于检测输入图像的关键点,并在连续图像帧之间匹配对[0055]尺度因子校正模块,用于利用所述深度预测网络输出的深度信息,校正所述2D姿[0056]3D姿态求解器,用于当所述尺度因子校正模块无法运行时,基于特征点对的3D坐标和2D像素坐标对应关系直接求解相机的[0057]有益效果：本发明融合了传统几何上解决了尺度估计、动态环境适应等长期困扰该领域的挑战,在实际应用中也展现出了卓动态物体和光照变化等复杂环境场景的影响,同时引入了基于光流幅度的2D姿态求解策8利用深度预测网络输出的密集深度信息,并基于RANSAC算法稳健地估计单9解器实时监测连续帧之间的光流幅度,仅当幅度足够大时才分解本质矩阵获得位姿解,可只计算误差最小的那一对参考像素和合成像大时(如边缘区域),该权重项较小,允许深度图存在不连续；这个损失项,可以增强深度预测的边缘保持性和平滑性,从而产生更加合理的深度估计结0,0,1]Tj投影回图像平面得到基于三角测量的深度信息0y",然后使用单目深度预测模型估计图像Ij的深度信息Dj，随后对深度信息Dj应用飞出掩码Md[0094]首先使用单目深度预测模型估计当前视图Ii的深度信息Di,然后对Di应用飞出掩码Md,得到处理后的深度数据D",最后利用相机内参和D",通过反投影计算出视图Ii对应的三维点云坐标Xi。接下来，从所有的N对三维空间点和二维像素点对应关系中,使用[0102]特征检测与匹配模块,用于检测输入图像的关键点,并在连续图像帧之间匹配对[0105]尺度因子校正模块,用于利用所述深度预测网络输出的深度信息,校正所述2D姿[0106]3D姿态求解器,用于当所述尺度因子校正模块无法运行时,基于特征点对的3D坐标和2D像素坐标对应关系直接求解相机的[0107]在本实施方式中使用了5项评估指标：平均平移误差(t_err)、平均旋转误差(r_KITTIOdometryDataset数据集包含22个真实城市场景的立体摄像头和激光雷达数据,并发明在这些高动态复杂场景下依然展现出了卓越的轨迹估计能力,与地面真值轨迹吻合度