CN114708585B 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 （电子科技大学）

US2021295090A1,2021.09.23一种基于注意力机制的毫米波雷达与视觉本发明提供一种基于注意力机制的毫米波达点云数据从雷达坐标系转换到相机坐标系实标点云的速度和深度信息构建雷达矩阵数据完分支卷积的输出信息进行解码后得到目标的类2YuweiCheng等.RobustSmallOFusionofCameraand15263-15272页.31.一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法，其特征在于，数据采集与处理步骤：采集毫米波雷达点云与视觉图融合步骤：将毫米波雷达点云数据从雷达坐标系转检测步骤：将融合特征图进行上采样输入至分支卷积网将转换到相机坐标系的毫米波雷达点云数据解析为(5,N)的矩阵xy)表示目标相对雷达的径向运动速度在相机坐标系X与Y方向的速度分量；利用点云库中的类提取欧式分割聚类后每个将坐标轴平行包围盒投影到图像平面进行目标关联米波雷达和摄像头相连的安装有机器人操作系统ROS的设备采集毫米波雷达点云数据和视通过以下步骤对毫米波雷达点云数据与视觉首先在ROS中回放保存为bag文件格式的毫米波雷达点云数据和视觉图像数据；创建4提取二维点云包围框内的点云构建与图像尺寸相同的3通道雷达矩阵数据，在与二维首先指定一个维度以及该维度下的值域范围，其中v为目标的径向运动速度在相机坐标系下X与Y方向依据点云与点云之间的距离将小于距离阈值的作为一个集群，使用Kd-Tree近邻搜索b1通过Kd-Tree近邻搜索算法在点云数据集P中找到k个离p_i最近的点组成点云集p_56精度不超过85基于视觉图像的三维目标检测的平均精度不超过60％。另外由于三维目7[0017]通过建立联合数据采集平台制作包含汽车和行人的视觉图像与毫米波雷达点云络相比，平均精度均值mAP(meanAveragePrecision)值提高了9.2平均偏移误差mATE降低了15.0平均速度误差mAVE降低了8[0028]步骤1：将毫米波雷达和摄像头同时连接到安装有机器人操作系统[0030]步骤2-1：首先在ROS中使用rosbag包提供的play命令回放保存为bag文件格式的阅数据后使用ROS提供的message_filters库中的ApproximateTime策略，该策略使用自适9c旋转矩阵的计算[0053]b1通过Kd-Tree近邻搜索算法在点云数据集P中找到k个离p_i最近的点组成点云MomentOfInertiaEstimation类提取欧式分割聚类后每个点云集群的三维的坐标轴平行包和v0分别表示相机感光板中心在像素坐标系下的坐标。将点云在相机坐标中Z轴的值记为获取点云区域在图像平面的位置以及宽和高。点云框是由坐标轴平行包围盒投影得到的，目标径向速度的x和y分量vx,vy)和距离信息构建雷达矩阵数据构建与图像尺寸相同的3通[0063]其中3个通道的取值nc包括相机坐标系下的目标距离d以及目标径向速度的x和y[0064]步骤6：在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力[0065]首先将尺寸均为1x3x512x512大小的图像和雷达矩阵信息分别输入到网络当中进[0066]注意力融合模块包含两个独立的卷积层，分别对雷达特征图进[0067]步骤7：将融合特征图进行DLAUp和IDAUp的上采样并利用分支卷积网络得到目标[0073]本发明运行的硬件平台为IntelXeonSilver4214R+NVIDIARTX3090+16GDDR4[0076]为了证明本发明的有效性，选择与单纯基于视觉图像的CenterNet基线模型进行mAP15.0由于加入了雷达点云速度信息，