CN114118254B 一种基于多任务融合的三维目标检测系统及其方法 （同济大学）

一种基于多任务融合的三维目标检测系统本发明涉及一种基于多任务融合的三维目激光雷达和融合算法感知模块，该检测方法包数据进行三维目标检测，输出三维目标检测结2在于，该三维目标检测系统包括RGB相机(1)和激光雷达(2)，所述RGB相机(1)和激光雷达(2)分别连接至融合算法感知模块(3)，所述RGB相机(1)用于采集车辆前方交通场景图像，S2、车辆前方交通场景图像传输给图像处理S3、车辆周围三维点云数据传输给点云处理单元，所述图像处理单元(301)用于对车辆前方交通场景图像进行语义分割，以输出对应语所述点云处理单元(302)用于给车辆周围三维点云数据添加对应语义信息，并对添加4.根据权利要求1所述的一种三维目标检测方法，其特征在于，5.根据权利要求1所述的一种三维目标检测方法，6.根据权利要求1所述的一种三维目标检测方法，37.根据权利要求1所述的一种三维目标检测方pospos尺寸(h,w,l)的定义和resf"类似；4σ2分别为对应3D目标检测任务和点云语义分割任务的同5[0004]目前主流的激光雷达和摄像头融合的方法之一是利用摄像头采集到的图像进行[0005]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多任务融所述RGB相机用于采集车辆前方交通场景图像，所述激光雷达用于采集车辆周围三维点云[0007]进一步地，所述融合算法感知模块包括依次连接的图像处理单元和点云处理单6[0019]进一步地，所述步骤S31中基于舍弃边界点的上色策略具体是在融合时舍弃所有像素点语义分割的不确定度，之后利用语义分割的类别和不确定度一起扩充三维点云信pospos[0028]所述3D目标检测任务采用基于基准单元bin的回归损失，以估计物体的三维边界7和bin")为沿X轴和Z轴的真值bin分布，和res")为基准单元内位置偏置的真[0037]其中，Npos为前景激光点的数量，Fcls为交叉熵损失，Freg为smoreg为所有前景激光点的平8维点云数据，融合算法感知模块3用于对车辆前方交通场景图像和车辆周围三维点云数据元301用于对车辆前方交通场景图像进行语义分割，以输出对应语义信息给点云处理单元[0056]点云处理单元302用于给车辆周围三维点云数据添加对应语义信息，并对添加了[0057]在实际应用中，RGB相机1和激光雷达2可通过数据线将各自采集的数据输入至融合算法感知模块3，RGB相机1和激光雷达2均安装于车辆顶部，激光雷达2的水平视野为9时舍弃所有的物体边界点：首先判断投射到图像平面上的点云是否属于物体边界点(边界点是指在图像平面上周围的八个像素点中存在语义分割类别与该点不同的点)，若不为边[0064]基于语义分割不确定性的上色策略具体为采用蒙特卡罗采样法得到语义分割不posposbin"和bin")为沿X轴和Z轴的真值bin分布，和res")为基准单元内位置偏置的真边界框尺寸(h,w,l)的定义和res"类似；[0078]式中，Npos为前景激光点的数量，Fcls为交叉熵损失，Freg为smoreg为所有前景激光点的平[0086]本技术方案考虑到点云语义上色检测方法中第二阶段的检测网络对于第一阶段[0088](2)图像数据输入到图像处理单元，通过已训练好的图像语义分割网络完成图像个激光点及其特征进行池化。对边界框进行1.2倍的放大，边界框内的点及其特征[0093](7)池化点及其相关特征都被送入第二阶段子网络，以优化3D边界框的位