CN116012428B 一种雷视联合定位方法、装置及存储介质 （北京信息科技大学）

本说明书实施例提供一种雷视联合定位方定世界坐标系下控制点与摄像机坐标系之间的关系将雷达信息映射至摄像机所采集的图像坐2分别针对摄像机和雷达进行内参标定；所述摄像机和雷达基于参考点集和雷达信息确定控制点；所述雷达信息包括雷达所采集的雷达速度信确定世界坐标系下控制点与摄像机坐标系之间综合所述关联关系和中心融合关系将雷达信息映射至摄像机所采集所述基于参考点集和雷达信息确定控制点，包括：根据参考点集的重心选利用BRIEF算法从摄像机采集的图像中提取图依次确定世界坐标系与摄像机坐标系、摄像机坐标系与图像cp3基于公式确定世界坐标系与摄像机坐标系之间的对应关wwccc为相机坐标系下坐标。将所述摄像机坐标系下的对象位置转化为雷达坐标系提取所述目标位置下的雷达信息映射至图像中的目标利用公式确定目标对象在像素坐标系下的像素横坐确定所述目标位置对应的横坐标为纵坐标为式1控制点确定模块，用于基于参考点集和雷达信息确定控制点；4信息映射模块，用于综合所述关联关系和中心融合关系将所述基于参考点集和雷达信息确定控制点，包括：根据参考点集的重心令在被执行时实现如权利要求1_7中任一项所述的雷视联合定5针对摄像机和雷达进行内参标定；所述摄像机和雷达分别对应摄像机坐标系和雷达坐标雷达深度信息和雷达旋度信息；确定世界坐标系下控制点与摄像机坐标系之间的关联关关系将雷达信息映射至摄像机所采集的图像坐对摄像机和雷达进行内参标定；所述摄像机和雷达分别对应有摄像机坐标系和雷达坐标融合关系将雷达信息映射至摄像机所采集的图像坐标机程序在被执行时实现上述雷视联合定位方法6[0015]下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清[0019]在对摄像机进行内参标定时，可以利用计算机视觉中的BRIEF(BinaryRobustIndependentElementaryFeatures)算法从摄像机采集到的二维图像中检测目标并提取[0020]在利用BRIEF算法从摄像机采集到的二维图像进行提取时，首先可以对图像进行7[0023]上述方式极大程度地优化了算法的速度，并保证了所得到的二进制编码的准确[0026]世界全局坐标系与摄像机坐标系实际上是两个独立的三维坐标系，根据几何原向量t来表达坐标系的平移变换。旋转矩阵R和平移向量t构成了摄像机与世界全局坐标系摄像机坐标系之间的转换关系为式中，xc,yc,zc为摄像机坐标系下的坐w[0028]针对图像坐标系到像素坐标系的转换关系，图像坐标系和像素坐标系都是二维坐标系且均处于同一平面。但是二者的坐标原点并不相同。在实际的摄像机成像时，图像坐标系的原点相对图像正中央具有一定的偏移。假设世界全局坐标系下的物体坐标8点投影到图像坐标系下的位置为(xc,yc)，则像素坐标系与图像坐标系之间的转换关系为py分别为像素点对应到图像坐标系下的宽度和高度。x为像素点在图像9坐标系和世界坐标系下控制点的关系，即将控制点连同其他特征点转移至相机坐标系下。[0045]具体的，映射雷达信息的过程可以是先从摄像机所采集表示目标前后时刻坐标位置变化，前后目标存在加速度为ak的匀加速运动，传感器之间存在误差ek，进而可以得到雷达映射在图像坐标系下运动模型为且k为目标对象的加速度，ek为传感器误差，为L_BFGS(Limited_memoryBroyden_Fletcher_Goldfarb_Shanno)算法的Hk矩阵，只需要迭代L_BFGS算法即可得到每进而结合融合关系将雷达信息映射至摄像机采集的图像中，使得图像中的物体也具有深[0054]关联关系确定模块530，用于确定世界坐标系下控制点与摄像机坐标系之间的关[0055]中心融合关系确定模块540，用于确定摄像机坐标系与世界坐标系之间的中心融[0056]信息映射模块550，用于综合所述关联关系和中心融合关系将雷达信息映射至摄固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecific可以执行所述计算机程序指令实现图1所对应的雷视联合于随机存取存储器(RandomAccessMemory,RAM)、只读存储器(Read_OnlyMemory,ROM)、介质存储有计算机程序指令。在所述计算机程序在被执行时实现本说明书图1所对应实施这些过程可以包括更多或更少的操作，这些操作这些过程可以包括更多或更少的操作，这些操作实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装[0065]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一[0071]本说明书实施例可以在由计算机执行的计算机可执行指或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可