CN115082924B 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 （电子科技大学）

US2020140241A1,2020.05.07一种基于单目视觉和雷达伪图像融合的三本发明公开了一种基于单目视觉和雷达伪单目视觉和毫米波雷达点云数据对图像进行语于雷达点云和图像语义分割信息生成语义雷达明将光学图像与毫米波雷达点云信息进行有效2DetectionandClassificationTecUsingMillimeter-WaveRadarandWaveRadarwithaMonocularVisionSensforOn-RoadObstacle文.3从毫米波雷达处获取初始毫米波雷达点云数据；同时，从光学相机处获对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据；同时将单目视觉图像和语义雷达伪图像进行特征提取与融合得到数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷达的和光学相机进行配准实现毫米波雷达和光学相将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面达点云与掩码进行按位与操作，再保留下的非0的点云信息与单目视觉图像通过图像语义最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达点云先通过直通滤波删除深度超过最远探测距离以及小于预设过近阈度d分别转换三个通道的像素值与视觉图像尺寸相同的三通道雷达伪图像；再在三通道雷通道包含了雷达点云对应像素点在该分类类型上的分类得在直通滤波后的雷达点云中以其所在位置为中心绘制矩形框，4矩形框范围内填充对应雷达雷达点云携带的像素5[0002]雷达利用多普勒效应来精确估计所有被探测物体的速度，而不需要任何时间信波雷达点云信息能与光学图像有效地融合从而完成三维[0012]数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷6雷达和光学相机进行配准实现毫米波雷达和光的雷达点云与掩码进行按位与操作，再保留下的非0的点云信息与单目视觉图像通过图像[0015]最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达[0016]进一步的，本发明的方法使用GrabCut算法对MaskR-CNN网络输出的像素级分割7[0028]实施例使用的基于Ubuntu系统和ROS软件环境分别编写的光学相机和毫米波雷达作为信息采集设备。使用ROS提供的时间同步器订阅原始的视觉图像数据和毫米波雷达点首先将MaskR-CNN网络输出的掩码中所有大于0的值替换为3；其次将掩码输入至GrabCut次坐标变换将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上。影到图像平面的毫米波雷达点云与掩码进行按位与操作，即删除掩码值为0处对应的毫米8[0040]其中c的取值为纵向速度vx、横向速度vy或深度d，fc代表相机坐标系下纵向速度[0041]如图2所示为基于单目视觉图像和雷达伪图像的三维检测网络模型结构，该特征9图像特征IF_1至Fusion_1，Res-Stem接收雷达伪图像输出雷达特征RF_1至Fusion_1和输出融合特征IFR_2至Fusion_2，ModifiedResNet-50输出雷达特征RF_2至Fusion_2；[0042]第一雷达特征提取模块和第二雷达特征提取模块基于ResNet-50网络进行修改；[0044]1)图像特征提取模块与第一雷达特征提取模块分别接收时间同步的视觉图像和征图相乘再与原来的图像特征图相加得到融合雷达特征RF_1输入到第二雷达特征提取模块得到雷达特征RF_2，输出的图像特征IRF_2和[0048]5)将融合特征IRF_2和雷达特征RF_2输入到第二注意力特征融合子网络得到融合[0053]本发明运行的硬件平台为IntelXeonSilver4214R+NVIDIARTX3090+16GDDR4[0056]为了证明本发明的有效性，选择与单纯基于视觉图像的CenterNet基线模型进行像不包含语义信息时mAP值高于CenterNet网络0.052，提高9.2当雷达伪图像包含语义移误差和平均速度误差与CenterNet相比均有大幅降低，当使用包含语义信息的雷达伪图像时，平均偏移误差降低了19.4平均速度误差降低了73.6由于加入了雷达点云的深