CN119418300A 一种基于时空关联的多模态数据融合感知方法及系统 （北京工业大学）

一种基于时空关联的多模态数据融合感知本发明公开了一种基于时空关联的多模态像去噪模块，去除噪声后输入特征提取模块。分支的特征提取模块。提取后的图像特征和LiDAR特征在特征融合匹配模块中进行多模态特模态特征通过时空采样与混合模块进行时序上2提取后的图像特征和LiDAR特征在特征融合匹配模块中进行多模态特征的融合和匹将不同传感器采集的数据进行深度融合，能够生成准确的目标特征2.利用权利要求1所述系统的一种基于时空关联的多模态数据融合感知方法，其特征步骤1)数据采集与预处理：11)多视角摄像头图像数据与Li步骤2)特征提取：21)多视角摄像头图像特征首先经过ResNe步骤4)时空采样与混合：41)时空采样与混合模块基于步3公式(5)表示将三维LiDAR点云投影到图像平面的过程，公式(6)则展示了通过外参数4接着，在不同时间步中对采样点进行采样，并通过插值操作t生成时空特征矩阵后，对这些特征进行两个主在完成通道混合后，对采样点的特征进行自适应加权，确保融合后的特征通过前馈网络解码，完成3D目标检测和语义分割任通过对不同时间步的特征采样与混合，捕捉动态场景中的运动信5时空关联的多模态数据融合感知方法及系统。该方法通过融合多个传感器采集的时空数升系统安全性与环境感知能力方面发挥着关键作用。通过融合来自多个传感器的时空数6[0007]一种基于时空关联的多模态数据融合感知系统，包括多视角摄像头图像和LiDAR[0008]采集的交通图像数据首先进入图像去噪模块，去除噪声后输入特征提取模块。和LiDAR特征在特征融合(匹配)模块中进行多模态特征的融合和匹配。通过查询初始化模[0009]通过将不同传感器采集的数据进行深度融合，系统能够生成准确的目标特征表[0011]步骤1)数据采集与预处理：11)多视角摄像头图像数据与LiDAR点云数据作为输[0012]步骤2)特征提取：21)多视角摄像头图像特征首先经过ResNet(残差网络)和FPN[0013]步骤3)特征融合与匹配：31)在特征融合与匹配阶段，首先初始化一组查询7算法对场景中的不同目标进行分类与标记，为自动驾驶决策模块提供精确的环境感知数[0018]图1显示了实施本发明的多模态数据融合感知系统流程图。该图示展示了来自多视角摄像头的图像和LiDAR点云的输入，分别通过图像去噪模块和LiDAR分支进行特征提合模块和前馈网络完成3D目标检测与语义分[0019]图2显示了实施本发明的图像去噪模块结构图。该图示展示了来自多视角摄像头[0021]图4显示了实施本发明的时空采样与混合模块结构图。该图示展示了在时空维度[0022]图5显示了本发明在nuScenes数据集上的可视化结果。该图示展示了多个摄像头8像头和LiDAR)输入的初始感知特征，zt表示自动驾驶系统在第t个时间步中对目标物体的Σθt[0034]与此同时，LiDAR点云通过LiDAR分支提取场景中的空间深度信息，如图3所示。9[0036]公式(5)表示将三维LiDAR点云投影到图像平面的过程，公式(6)则展示了通过外的特征。采样后的特征在时间维度上进行堆叠，形成一个维度为(T×S)×D的时空特征矩辨率为704×256时，系统的NDS达到了56.4mAP为46.