CN114022866B 一种障碍物位姿及速度的估计方法及装置 （北京经纬恒润科技股份有限公司）

本发明公开了一种障碍物位姿及速度的估框和关键点信息；至少根据障碍物的关键点信障碍物的位姿融合信息对障碍物进行多目标跟2通过安装在车身不同位置上的多个摄像头采集所述车身周根据所述障碍物的位姿融合信息对所述障碍物进行多目标跟踪，根据所述障碍物的运动轨迹信息和所述障碍物的位姿融合信息将该象限中位于所述摄像头的共识区的三维包围盒信息两两一组对于每个三维包围盒信息组，根据该三维包围盒信息组中的两将所述环视图像输入至关键点检测模型，以通过所述关键点检通过车型识别模型对所述环视图像进行车型识别，以在所标注的车辆的车型信息为样本标签训练得到；若所述障碍物中包含车辆，则所述至少根据所述关键点信息，3在车辆模型数据库中查询所述目标车型信息对应的车模数据，非车轮关键点子集信息为所述非车轮关键点子集对应的非轮关键点和所述非车轮关键点分别投影至所述环视图像得到的所述像素坐标系下的坐标在所述车轮关键点在所述车辆后轴坐标系中Z轴坐标值为0结合所述车轮关键点在车辆后轴坐标系下的坐标信息，模数据和非车轮关键点子集信息，计算所述障碍物在车辆后轴坐标系下的位姿解算初值，根据所述车模数据和所述非车轮关键点子集信息，计算所述非车根据所述非车轮关键点子集中每个非车轮关键点在所述车辆后轴坐标系中的坐标信基于所述非线性优化后的位姿解算初值和所述车轮关键点信息，计算所述车轮关键点投影至所述车辆后轴坐标系下的坐标信息与所述车轮关键点在所述车辆后轴坐标系下的坐标信息的欧式距离的在所述欧式距离的算数平均数小于第一预设阈值的情况下在所述欧式距离的算数平均数大于或等于所述第一预设阈值所述根据所述障碍物的位姿融合信息对所述障碍物进行多目标跟踪，4根据所述障碍物的三维包围盒融合信息计算所述障碍物的状态信根据所述障碍物的状态信息，利用卡尔曼滤波器预测所述障碍物的运动轨基于匈牙利算法，将所述障碍物在所述设定时刻的预测位置信息包围盒信息的重叠度作为代价矩阵对所述障碍所述根据所述障碍物的运动轨迹信息和所述障碍物的位姿融合信息，根据所述障碍物的运动轨迹信息将所述障碍物的位置融合信息转换为全局坐标系下计算所述相邻两帧环视图像的采样时刻下所述障碍物在所述全局坐标系下的位置融根据计算出的位置融合信息的差值和采集时间的差值，计算所述采集装置，用于通过安装在车身不同位置上的多个摄像头采集所述车关键点检测模块，用于对所述所述环视图像进行关键点检测，得到障位姿融合模块，用于对所述障碍物的位姿信息进行融合，目标跟踪模块，用于根据所述障碍物的位姿融合信息对所述障碍物进行多目标跟踪，速度估计模块，用于根据所述障碍物的运动轨迹信息和所述障碍物的位姿融合信息，将该象限中位于所述摄像头的共识区的三维包围盒信息两两一组对于每个三维包围盒信息组，根据该三维包围56[0003]现有技术中，单纯利用泊车的环视影像进行遮挡物识别[0012]根据障碍物的运动轨迹信息和障碍物的位姿融合信息，计算障碍物的速度估计7[0031]计算车轮关键点投影至车辆后轴坐标系下的坐标信息与车轮关键点在车辆后轴8[0039]对于每个三维包围盒信息组，根据该三维包围盒信息组中的两个三维包围盒信[0046]根据障碍物的运动轨迹信息和障碍物的位姿融合信息，计算障碍物的速度估计[0047]根据障碍物的运动轨迹信息将障碍物的位置融合信息转换为全局坐标系下的位[0048]计算相邻两帧环视图像的采样时刻下障碍物在全局坐标系下的位置融合信息的9身不同位置上的多个摄像头采集车身周围的环视图像；然后对环视图像进行关键点检测，[0070]如图1所示，为本发明公开的一种动态障碍物位姿及速度的估计方法实施例的流[0093]c位姿非线性优化：采用列文-马克伯格(Levenberg-Marquardt,L-M)算法对障碍[0096]基于车辆后轴坐标系的建立方式可知，车轮关键点在车辆后轴坐标系中Z轴坐标次数后(即当解算计次值等于预设解算次数后)，仍无符合条件的解则车辆位姿解算失败，信息中包括障碍物的三维包围盒(3DBoundingBox)信息和位置信息，例如三维包围盒信中位于摄像头的共识区的三维包围盒信息两两一组进行分组，得到多个三维包围盒信息[0110]第一种：将该三维包围盒信息组的平均值作为同一障碍物的三维包围盒融合信用于刻画障碍物的运动轨迹在一帧环视图像的采样时刻的状态(u,wr,h,⃞,j,i,i),这里，盒信息的重叠度作为代价矩阵对障碍物的运动轨迹进物，均以该障碍物在设定时刻的预测位置信息和设定时刻的所有障碍物(即S102检测出的障碍物)的三维包围盒信息的IoU(IntersectionoverUnion，重叠度)作为代价矩阵来对[0127]如图7所示，为本发明公开的一种障碍物位姿及速度的估计装置实施例的结构示[0128]采集模块701，用于通过安装在车身不同位置上的多个摄像头采集所述车身周围[0132]目标跟踪模块705，用于根据所述障碍物的位姿融合信息对所述障碍物进行多目[0133]速度估计模块706，用于根据所述障碍物的运动轨迹信息和所述障碍物的位姿融[0138]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发