CN119399269A 基于imu-lk光流的目标定位方法、系统及存储介质 （华中光电技术研究所(中国船舶集团有限公司第七一七研究所)）

本发明公开了一种基于IMU_LK光流的目标性测量IMU数据得到相机位姿信息；根据特征点发明通过设计基于IMU_LK光流几何分析目标定2通过四旋翼无人机平台的单目相机对地面目标进行采样，获得多张时通过LK光流跟踪目标特征点建立多张目标图像之间的特征关联，并根根据所述四旋翼无人机平台的单目相机确定像素坐标系，并根据所根据所述像素坐标系、所述惯性坐标系、所述运动学关联及惯性测量IM根据所述特征点像素坐标和所述相机位姿信息确定目标根据所述图像选取策略从多张时空连续性采样图像中选通过LK光流跟踪目标特征点确定图像序列中像素点根据所述图像序列中像素点的运动状态建立多张图像之间根据所述像素坐标系和惯性坐标系确定坐标系连续转根据所述坐标系连续转换关系建立所述像素坐标系与所述惯性坐标系之间的运动学根据所述特征点像素坐标和所述相机位姿信息确定相机坐标系下根据所述目标点深度信息通过图像采样坐标系转换关系计算所述惯性坐标系下的目6.一种基于IMU_LK光流的目标定位系统，其特征在于，采样模块，用于通过四旋翼无人机平台的单目相机对地面目标进行确定模块，用于通过LK光流跟踪目标特征点建立多张目标图像3建立模块，用于根据所述四旋翼无人机平台的单目相机确定像所述确定模块，还用于根据所述特征点像素坐标和所述相机位7.一种存储介质，其特征在于，所述存储介4[0001]本发明涉及计算机视觉技术领域，尤其涉及一种基于IMU_LK光流的目标定位方导导弹在打击敌方地面目标时暴露出采样图像信息利用率较低、目标定位精度较差的缺[0003]传统几何分析目标定位方法主要依据相似三角形原理对地面目标点的空间位置并结合图像制导导弹的IMU数据和直角三角形的正余弦关系对空间点三维坐标进行解算，需要满足水平面假设。由于由于水平面假设将原本具备高度的目标空间点沿相机_目标延位置信息时，定位结果的高度方向数据将全部变为0，而地面两轴坐标也随之出现严重误[0004]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技介质，旨在解决如何避免传统几何分析目标定位方法解算过程中丢失目标点高度数据同5根据所述特征点像素坐标和所述相机位姿信息确定目标根据所述图像选取策略从多张时空连续性采样图像中选通过LK光流跟踪目标特征点确定图像序列中像素点根据所述图像序列中像素点的运动状态建立多张图像之间根据所述像素坐标系和惯性坐标系确定坐标系连续转根据所述坐标系连续转换关系建立所述像素坐标系与所述惯性坐标系之间的运根据所述特征点像素坐标和所述相机位姿信息确定相机坐标系下目标点深度信根据所述目标点深度信息通过图像采样坐标系转换关系计算所述惯性坐标系下确定模块，用于通过LK光流跟踪目标特征点建立多张目标图像之间的特征关联，6像制导导弹可以通过惯性测量实时记录弹体的角加速度和加速度等IMU数据，结合坐标系[0015]图1是本发明实施例方案涉及的硬件运行环境的基于IMU_LK光流的目标定位设备图3为本发明基于IMU_LK光流的目标定位方法第一实施例的传统几何分析方法计图4为本发明基于IMU_LK光流的目标定位方法第一实施例的多张目标图像序列示图5为本发明基于IMU_LK光流的目标定位方法第一实施例的坐标系几何关系示意图6为本发明基于IMU_LK光流的目标定位方法第一实施例的实际相机中相机坐标图7为本发明基于IMU_LK光流的目标定位方法第一实施例的坐标系变换关系示意图8为本发明基于IMU_LK光流的目标定位方法第一实施例的地面目标与采样图像图9为本发明基于IMU_LK光流的目标定位方法第一实施例的几何分析目标定位流7[0020]本领域技术人员可以理解，图1中示出的结构并不构成对基于IMU_LK光流的目标[0021]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模[0022]在图1所示的基于IMU_LK光流的目标定位设备中，网络接口1004主要用于与网络IMU_LK光流的目标定位程序，并执行本发明实施例提供的基于IMU_LK光流的目标定位方等功能的基于IMU_LK光流的目标定位系统，也可以为其他具有相似功能的计算机设备等，过程中认为地面目标空间点位于高度为零的水平面上，并结合图像制导导弹的IMU数据水平面假设将原本具备高度的目标空间点沿相机_目标延长线直接投射到了零高度的地提出一种基于IMU_LK光流的几何分析目标8方式为确定多张时空连续性采样图像的帧排序信息；根据帧排序信息确定图像选取策略；根据图像选取策略从多张时空连续性采样图像中选时空连续性的图像序列中对其进行跟踪。不妨假设目标特征点在时刻采样图像上的像素有9列中像素点的运动状态其中水平方向的速度u=dry/dt，垂直方向的速度v=dy/dt。据此wxw采样区块内的全部像素点都具有相同的瞬时运动情况。通过wxw采样区块内同像素点的位置和灰度变化很小，因此采用LK光流法可以假定像素运动符合小运动假设。通过对图像序列进行时间离散化处理，可以求解每一时刻采样图像中wxw采样区块的运标位置信息。射手坐标系原点为图像制导导弹起航点或地面控制中心，O.s.垂直地面[0048]弹体坐标系与图像制导导弹固连，原点o,位于弹体质心，0,x,指向弹体前端，O,y,垂直于o,xi位于弹体主对称面内，O,z,根据右手定则确定。其中，弹体主对称面在发射瞬间与o.x.,s.平面重合。o.0,为相机焦距f；像素坐标系原点o,位于相机成像平面左上角，O,与o,x,平标系B下的坐标分别为[a,a,a:I'和[ua,a[0054]空间向量的平移变换通过将对应坐标系下的平移向量t加到旋转变换R之后进行表示，对于有下标的情况，tus表示坐标系A下的从坐标系A原点指向坐标系B原点的向a'=Ra+t[0056]将旋转矩阵R和平移向量t用变换矩阵H表示，使整个坐标转换关系变成线性形式。而对于平飞巡航的图像制导导弹，旋转矩阵R表示弹体姿态，平移向量t表示弹体位t统称为弹体位姿信息。由于弹载惯性测量元件可以实时测定图像制导导弹在飞相机坐标系的原点o0.通常不与弹体质心a,重合，一般用表示相机光心标系Q.-x.3:和弹体坐标系之间的旋转关系通过偏航框架角和俯仰框架角为：由于单目相机满足小孔成像原理，可知相机坐标系Q.-x.3:和成像坐标系不妨假设射手坐标系下任意空间点坐标为P,.(X,,yi,Z,)，其在相机成像平面上的[0069]在本实施例中，通过对惯性测量实时记录的角加速度和加速度等IMU数据进行积。坐标系下的空间位置，并且目标特征点在相机坐标系下的坐标n.满足p=-OXR-V[0078]根据空间点p和特征点p的坐标转换关系可知，p在相机成像平面上的横纵坐标和,表示特征点p的光流运动：[0082]由于特征点P满足灰度不变假设I,⃞+I,V+I,=0，则可代[0085]参照图10，图10为本发明基于IMU_LK光流的目标定位系统第一实施例的结构框处理模块102，用于对多张时空连续性采样图像进行稀疏处理，获得多张目标图确定模块103，用于通过LK光流跟踪目标特征点建立多张目标图像之间的特征关所述确定模块102，还用于根据所述特征点像素坐标和所述相机位姿信息确定目[0088]本发明基于IMU_LK光流的目标定位系统的其他实施例或具体实现方式可参照上[0091]通过