CN114937255B 一种激光雷达与相机融合的检测方法及装置 （北京经纬恒润科技股份有限公司）

一种激光雷达与相机融合的检测方法及装置本发明公开了一种激光雷达与相机融合的通过标定参数投影到相机图像像素坐标系得到相机图像目标检测得到相机检测目标的2D边界检测道路目标和交通目标三维信息合并得到激光雷达和相机在原始数据层面进行前融合以及2获取时间同步的激光雷达点云和相机图像，以及激光雷达坐对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2结合所述雷达检测目标的2D边界框对所述相机图像计算所述相机检测目标的2D边界框和所述雷达检测目标基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行2.根据权利要求1所述检测方法，其特征在于，所述对所述激光雷达点云进行点云检对所述激光雷达点云进行地面点分割得到非地将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，计算所有的所述初始2D边界框中任意两个初若所有的所述交并比中存在大于设定阈值的目标交并比，则对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标检测，将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分3基于所述激光雷达点云对应的深度图和所述标定参数，将所述交通将所述激光雷达点云通过所述标定参数投影到所述相机图像像所对所述中间深度图降低输出噪声和平滑局部平面，得到所述激光获取单元，用于获取时间同步的激光雷达点云和相机图像，以及激光第一检测单元，用于对所述激光雷达点云进行点云检测，投影单元，用于将所述道路目标初步检测结果通过所述标第二检测单元，用于结合所述雷达检测目标的2D边界框对所述相机图像进行目标检修正单元，用于计算所述相机检测目标的2D边界框和所述雷反向投影单元，用于基于所述激光雷达点云对应的深度图，结果融合单元，用于将所述激光雷达点云三维检测目标检测子单元，用于将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至4投影子单元，用于将所述道路目标初步检测结果通过所述标定参第一交并比计算子单元，用于计算所有的所述初始2D边界框中任边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交5[0008]将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标[0010]利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并6[0016]将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至Po[0018]将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界[0022]可选的，结合所述雷达检测目标的2D边界框所述对所述[0023]结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标[0024]将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进7[0052]边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交并8[0056]图2为本发明实施例公开的一种对激光雷达点云进行点云检测，得到包含类别和[0058]图4为本发明实施例公开的一种相机图像像素坐标系下雷达检测目标的2D边界框9PointPillar等对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检[0071]步骤S103、将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系[0094]步骤S203、将每簇点云的坐标位置与尺寸信息降采样后输入至PointNet神经网[0096]为进一步优化上述实施例，参见图4本发明实施例公开的一种相机图像像素坐标[0097]步骤S301、将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系的候选框(candidatebound)与原标记框(groundtruthbound)的交叠率，即它们的交集[0107]将相机图像检测提议框以及非遮挡2D边界框输入至感兴趣区域网络进行分类与[0109]为便于理解改进的FasterRCNN网络的工作原理，参见图5所示的传统的Faster中C1～C5和P2～P5)来构建各个尺寸的高层语义特征，能够较好地处理物体检测中多尺度变化问题。在FPN网络提取地特征图上的每个像素点上设置不同尺寸的锚框，利用RPN[0110]本发明中改进的FasterRCNN网络分为两个阶段，第一阶段得到可能存在目标的同非遮挡2D边界框一通输入至ROI(RegionofInterest，感兴趣区域)网络进行第二阶段[0115]本实施例主要利用相机目标检测结果(即相机检测目标的2D边界框)对激光雷达点云初步检测结果(即雷达检测目标的2D边界[0118]步骤S402、判断原始交通三维信息中是否具有不符合预设位置要求的目标三维达激光点云中无法检测的交通目标进行检测。由于步骤104中得到的是相机检测目标的2D[0127]与上述方法实施例相对应，本发明还公开了一种激光雷达与相机融合的检测装[0128]参见图7，本发明实施例公开的一种激光雷达与相机融合的检测装置的结构示意PointPillar等对对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步[0133]投影单元503，用于将所述道路目标初步检测结果通过所述标定参数投影到所述[0135]第二检测单元504，用于结合所述雷达检测目标的2D边界框对所述相机图像进行[0137]修正单元505，用于利用所述相机检测目标的2D边界框对所述雷达检测目标的2D[0140]结果融合单元507，用于将所述激光雷达点云三维检测道路目标和所述交通目标[0152]边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交并三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目[0171]对所公开的实施例的上述说明，使本领域专业技