CN115830423B 基于毫米波雷达与可见光图像融合的目标检测方法 （西安电子科技大学）

基于毫米波雷达与可见光图像融合的目标本发明公开了一种于毫米波雷达与可见光征提取子网络、图像融合子网络以及RetinaNet输入毫米波雷达与可见光图像融合的目标检测的雷达数据经过同样的预处理之后与可见光图2达数据进行预处理生成雷达图像，在目标检测网络中构建雷达与可见光图像融合子网络；将雷达图像与可见光图像均生成json格式的标注文件，将雷达图像搭建一个22层的可见光特征提取子网络，其结构依次为：第一规范化层参用FrozenBatchNor雷达与可见光图像融合子网络的结构依次为：第一多模第一至第三线性层的输出神经元个数均设置为256，将第二多模态融合模块的第一至第三的Stage3结构，第三卷积块使用Resnet50网络的Stage4结构；所述的Stage2，Stage3，3将雷达特征提取子网络与可见光特征提取子网络并联后，再与图像融合子网络，将训练集输入到基于毫米波雷达与可见光图像融合的目标检测网络中采用与步骤1相同的处理方法，将车载雷达传感器接收到的雷达回波信号数据进行预2.根据权利要求1所述的基于毫米波雷达与可见光图像融合的目标检测方法，其特征regpos其中，L表示融合目标检测网络的总损失函数，Lcls表示融合目regpos4特征与图像特征融合模块得到规范化后的雷达特征图，并将其与3D鸟瞰特征图进行融合，得到融合后的特征图；最后基于融合后的特征图对目标检测模块的目标检测网络进行训[0005]ShuoChang等人在其发表的论文“SpatialAttentionFusionforObstacleDetectionUsingMmWaveRadarandVisionSensor”(Sensors(Basel,Switzerland),2020,20(4))中提出了一种新的基于毫米波雷达点云数据和可见光图像的空间注意融合的5批规范化层参用FrozenBatchNorm6模块的第一至第三线性层的输出神经元个数均设置为256，将第二多模态融合模块的第一[0024]将雷达特征提取子网络与可见光特征提取子网络并联后[0028]采用与步骤1相同的处理方法，将车载雷达传感器接收到的雷达回波信号数据进[0034]图3为本发明基于毫米波雷达与可见光图像融合的目标检测网络中的多模态融合7[0039]雷达回波信号数据的表达式为128*128*2大小的矩阵A，对矩阵A进行取模后再归批规范化层参用FrozenBatchNorm8至第三线性层的输出神经元个数均设置为256，将第二多模态融合模块的第一至第三线性[0059]将雷达特征提取子网络与可见光特征提取子网络并联后9RetinaNet子网络依次级联，组成毫米波雷达与可见光图像融合的目标检测网络。所述[0074]在Python3.7的Pytorch下搭建基于毫米波雷达与可见光图像融合的目标检测网指，YizhouWang等人在“RODNet:RadarObjectDetectionusingCross_ModalSupervision，WorkshoponApplicationsofComputerVisionIEEE，2021”提出的83.7685.62准确率90.8提升了7.4相比于雷达目标检测的准确率83.76提升了14.44本