CN114743079B 稀疏雷达和双目立体图像融合的3d目标检测方法及装置 （烟台大学）

稀疏雷达和双目立体图像融合的3D目标检本发明公开了一种稀疏雷达和双目立体图立体图像和稀疏LiDAR深度图分别进行特征编码息进行融合，所述融合是从LiDAR深度图到立体2基于立体区域提取网络输出相应的左右感兴趣区域，将左右将稀疏LiDAR特征加入到图像特征中，并为每个特征级别设置权重wi，通过计算稀疏)))2.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法，其特3.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法，其特4.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法，其特viel+l,…,L};vgeL-l+1l其中，Fi表示融合的特征，是编码器中每个阶段的最后一个块输出的特征，36.一种计算机可读存储介质，其特征在于，4[0004]Qi等人提出用于图像-深度数据的3D目标检测的视锥点云网络(Frustum学习点云网络(DeepLearningonPointSetsfor3DClassificationandSegmentation，PointNet)的块来分割锥体内的每个点以获得用于进一步回归的兴趣点。FrustumPointNets采用成熟的2D检测方法来提供先验知识，这在一定程度上减少了3D搜呈二次方增长，You等人提出了自动驾驶中3D目标检测的准确深度伪雷达++(Accurate远距离目标。Pseudo-LiDAR++的主要贡献在于它提出了一种基于图形的深度校正(Graph-5[0005]基于并行融合的方法：这些方法融合特征空间中的模态[0006]Chen等人提出用于自动驾驶的多视图3D目标检测网络(Multi-View3DObject来自视图聚合的联合3D建议生成和目标检测(Joint3DProposalGenerationand域，通过逐元素均值操作进行融合，然后AVOD将融合后的特征输入全连接层以检测目标。[0007]现有技术大多采用了32或64激光束的LiDAR和RGB图像进行融合的方式进行3D目度图的生成用到了64个激光束的LiDA6[0022]其中，是特征提取器中第i对立体图像特征图和稀疏LiDAR特征[0025]F=fa(F')[0028]上采样的特征图与相应的F'r特征图通过逐元素相加合并，在每个合并后的特征)储的程序指令以使装置执行第一方面中的任一项所述的[0036]3、本发明与无深度图监控的低成本传感器方法相比，该方法实现了最先进的性7[0042]本发明实施例提出了一种新颖的多模态融合架构，该架构利用了稀疏LiDAR和立融合模块，将两条路径的特征信息进行融合。该网络的下一个模块是立体区域提取网络(RegionProposalNetwork,RPN)，它可以输出相应的左右感兴趣区域(Regionof[0043]本发明实施例的目标是通过使用立体RGB图像和4光束LiDAR来检测和定位目标的[0045]为了丰富普通立体(RGBs)3D目标检测网络的表示，本发明实施例决定加入来自将4光束LiDAR扫描信息重投影到左右图像坐标来形成对应于立体图像的两个稀疏LiDAR深8码器是由一系列ResNet块和紧随其后的步长为2的卷积组成，将特征分辨率缩小到输入图指的是编码器的最后一个输出特征。更高分辨率的特征是通过对来自更高级别的用来自图像路径和LiDAR路径的特征来增强这些特征。每个连接合并相同空间大小的特征图。图像路径和LiDAR路径的特征图具有较低级别的语义，但因为它被二次采样的次数较稀疏LiDAR深度图的特征应该在解码器中提供更大的9[0060]其中，是特征提取器中第i对立体图像特征图和稀疏LiDAR特征×1卷积运算分别将Fir投[0062]r,=fu(r')(8)F's的通道被统一为256维。[0065]此外，上采样的特征图与相应的F'r特征图(经过1×1卷积层以减少通道维度)通[0071]本发明实施例采用立体RPN模块提取左右图像中每个目标的一对感兴趣区域入深度预测分支和立体回归分支。本发明实施例在深度预测分支中预测目标中心的3D深w×f大小的代价体积。为了从代价体积中学习并对来自代价体积的特征表示进行下采样，值的所有级别情况下都获得了显著的提高。与基于双目的方法相比，本方法在0.5IoU和[0084]具体来说，本方法在0.7IoU的中等和困难级别上的APbev分别优于之前最先进的[0087]本发明使用4光束LiDAR作为输入而不是64光束LiDAR作为输入或中间监督，将本为输入的Pseudo-LiDAR++方法进行了比较。由于Pseudo-LiDAR++并没有报告在无64光束中还报告了本方法与PL++(AVOD)方法的运行时间的比较。本方法在推理时具有每帧0.116秒的高速度，远远超过PL++(AVOD)方法。效率的提高主要归功于本方法的网络设计，与加权共享的ResNet-50结构分别作为立体图像和稀疏LiDAR的特征编码器。对于数据增强，[0100]进一步地，注意力融合模块将左稀疏LiDAR特征图与相应的左RGB特征图进行融[0109]其中，是特征提取器中第i对立体图像特征图和稀疏LiDAR特征[0115]上采样的特征图与相应的F'r特征图通过逐元素相加合并，在每个合并后的特征)[0118]这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述