CN115032651B 一种基于激光雷达与机器视觉融合的目标检测方法 （合肥工业大学）

US2020219264A1,2020.07.09一种基于激光雷达与机器视觉融合的目标本发明公开了一种基于激光雷达与机器视述相机采集到的图像信息进行处理输出视觉检2SurfaceVehiclesEnvironmenLidar.IEEEAccess.2021,第9卷63107-63121.3A、在车的前保险杠位置处安装有固态式的激光雷达，在车的前挡风玻璃处安装有相中心作为相机坐标系原点Oc建立相机坐标系Oc-ZcYcZc选取三维检测框中与激光雷达距离最近的二维检测框来表征所述第p帧中E2、初始化j＝1；以第i帧激光雷达的点云数据集中第j个投及尺寸信息作为第i帧的第j个雷达目标观测信息以所述第i帧的第j个雷达目标观测信息所对应的三维检测框作为第i帧聚类后的第j个4E4、计算第i帧的第j个激光雷达目标观测信息与第i帧的第k个相机目之间的欧氏距离E7、计算第i帧的第j个雷达目标观测信息与第i帧的第k个相机目标观测信息(x"l,y"',w"',h"',clsi,c)之间关联对的交并比并与所设置的交并比阈值之间是关联对，则先直接将第i帧的第m个雷达目标观测信息所对应的三维检测框中的x轴坐标y轴坐标z轴坐标长度h、宽度以及第n个相机目标观测信息中的类别置信度信息直接作为相应关联对的融合后的部分目标检所述E5中，若第i帧的第j个雷达目标观测信息与第i帧的任意一个相机目标观测信息(x"l,y"',w"',h"',clsi,c)之间的欧氏距离均大于rth，则将第i帧的第j个雷5若在第i+1帧中检测到对应的雷达目标观测信息且对应的雷之间的欧氏距离则认为第j个雷达目标观6空间中进行融合，预测最终的高分辨率视差并使用这种高分辨率的视差重建一个3D场景，该方法的局限性是需要大规模标记的立体激光雷达数据集。M.Liang等人通过一个连续的卷积融合层实现逐点融合，在网络的多个阶段中连接了不同尺度的图像和点云特征的作焦中心作为相机坐标系原点Oc建立相机坐标系Oc-7表示第p帧中第q个三维检测框中心点的x轴坐标，表示第p帧中第q个三维检测框中心点的高度；选取三维检测框中与激光雷达距离最近的二维检测框来表征所述[0011]C、采用卷积注意力模块构建yolov5模型，并利用道路车辆图像数据集对所述机采集到的每帧图像信息进行处理，并输出每帧图像信息中各个目标的检测框及其坐标、坐标及尺寸信息作为第i帧的第j个雷达目标观测信息以所述第i帧的第j个雷达目标观测信息所对应的三维检测框作为第i帧聚类后的第j个三维置信度信息作为第i帧的第k个相机目标观测信息(x"',y"g,w"g,h",clsi,c),其中，表示第k个检测框中心点的x轴坐标，y"表示第k个检测框中心点的y轴坐标，w"9表示8之间的欧氏距离标观测信息(x",y",w"',h"l,clsi,c)之间关联对的交并比并与所设置的交并比阈[0021]F、对第i帧中所有正确的关联对进行数据融合，得到第i帧融合后的目标检测信(x"%,y"⃞,w"s,h",cls,c)之间是关联对，则先直接将第i帧的第m个雷达目标观测信息所对应的三维检测框中的x轴坐标y轴坐标z轴坐标长度h、宽度w以及第n个相机目标观测信息中的类别置信度信息直接作为相应关联对的融合后的部分目标检标系下，从而获得第n个相机目标观测高度在雷达坐标系下的投影并作机目标观测信息(",y"g,w"',h",clsi,c)之间的欧氏距离均大于rth，则将第i帧的第j[0024]若在第i+1帧中检测到对应的雷达目标观测信息且对应之间的欧氏距离则认为第j个雷达目标观9[0027]2.本发明提出了一种数据融合过程中激光雷达与机器视觉无法匹配情况下的决采用激光雷达所获得的信息，高度信息采用像素框转换到雷达坐标系的方式进行动态补焦中心作为相机坐标系原点Oc建立相机坐标系Oc-每帧激光点云分割成多个区域，求取区域中最低高度点的平均值RPA(regionpoint检测框标识聚类后的各个目标；其中，第p帧聚类后的第q个目标利用第q个三维检测框插值方法时需要保证所选取的插值时刻与前后数据帧之间的间隔应不高于摄像头的采样内参，接着利用AUTOWARE中分离的CalibrationToolkit工具包获取雷达与相机之间的外后的二维检测框中心点的x轴坐标，y%表示第q个投影后的二维检测框中心点的y轴坐标，坐标及尺寸信息作为第i帧的第j个雷达目标观测信息的第i帧的第j个雷达目标观测信息所对应的三维检测框为第i帧聚类后的第j个置信度信息作为第i帧的第k个相机目标观测信息(x",y",w"',h",els,c:):其中，表机目标观测信息("%,y",w"',h",clsi,c)之间的欧氏距离dr:E5、判断是否成标观测信息与第i帧的第k个相机目标观测信息(x"',y",w"',h"',clsi,c)第i帧的任意一个相机目标观测信息("%,y",w"%,h",ctsi,ci)之间的欧氏距离均大于rth帧中检测到对应的雷达目标观测信息且对应的雷达目标观测信息与第i+1帧的第k个相机目标观测信息之间的欧氏距离则认为第j个雷达目标观测信息成功检测到目标观测信息(",y",w",h",cisi,c)之间关联对的交并比1ouie并与所设置的交并比阈[0064]F、根据不同传感器输出数据的特点对第i帧中所有正确信息，所以若第i帧的第m个雷达目标观测信息与第n个相机目标观测信对应的三维检测框信息中的x轴坐标y轴坐标z轴坐标长度宽度以及第n个相机目标观测信息中的类别置信度信息直接作为相应关联对的融合后的部分目标目标观测框装换到雷达坐标系下，从而获得第n个相机目标观测高度信息在雷达坐标系下的投影h%作为这一关联对的融合后的目标检测高度补偿信息输出，进而得到融合后的