CN113936198B 低线束激光雷达与相机融合方法、存储介质及装置 （桂林电子科技大学）

US2021264223A1,2021.08.26息少而存在的难以有效提供准确的障碍物信息的标定过程确定相机内参以及激光雷达坐标系2S3、采用机器视觉领域的yoloV3算法对S4、根据激光雷达与相机的标定过程确定相机内参以及S5、基于改进的自动驾驶框架autoware中的rangerfusion的后融合方式进行点云与首先根据S4的标定结果获取相机内参以及激光雷达坐标系与相机坐相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投然后将投影的激光点云所在平面转化为图像格式，并与5.根据权利要求1至4之一所述的低线束激光雷述对激光雷达的每一帧点云进行地面分隔是基于Rans度学习框架pointpillar对三维点云中的障碍物进行检查识别的过程包载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及觉领域的yoloV3算法对相机图像2D图像进行目标3雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系，那么空间中的相机坐标系XcYcZc到激光雷达坐标系XYZ可通过旋转矩阵R和平移向0由上式得到激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及令由处理器加载并执行以实现如权利要求1至8之一所述的低线束激光雷达与相机融合方4法[0002]传统的感知技术通常使用单一传感器提供环境信息，比如纯激光雷达障碍物识[0009]S5、基于改进的自动驾驶框架autoware中的rangerfusion的后融合方式进行点[0010]首先根据S4的标定结果获取相机内参以及激光雷达坐标基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框匹配为一组，如果d>两个检测框的最大边长，则该L点所在激光雷达检测框无法进行融5[0016]优选地，S2所述利用深度学习框架pointpillar对三维点云中的障碍物进行检查[0017]载入深度学习框架pointpillar，订阅[0019]导入weight文件文件，将scorethreshold设定为0.5，NMSThreshold设定为[0021]雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光为世界坐标系，那么空间中的相机坐标系XcYcZc到激光雷达坐标系XYZ可通过旋转矩阵R6[0030]由上式得到激光点云与相机图像之间的投影关系，其中fu和fv为述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。方法是将三维的稀疏点云进行网络化分割，转化成2D密度较高的鸟瞰平面，随后利用71.200.100.20.20.2[0049]雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系XcYcZc到激光雷达坐标系XYZ可8[0058]由上式可得激光点云与相机图像之间的投影关系，其中fu和fv为[0060]本发明通过对自动驾驶框架autoware中的rangerfusion的后融合方式进行改进，现有的自动驾驶框架autoware中的rangerfusion的后融合方式是基于每个感知模块架autoware中的rangerfusion的后融合方[0061]首先根据S4的标定结果获取相机内参以及激光雷达坐标基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测[0063]如果重合度<