CN119399570A 一种基于多尺度空间感知的智能体行动预测方法 （西北工业大学）

一种基于多尺度空间感知的智能体行动预本发明公开了一种基于多尺度空间感知的经网络对应用场景地图中的二维矢量地图数据史轨迹特征提取采用卷积神经网络和特征金字轨迹预测利用智能体轨迹融合特征进行预测回2所述地图空间结构建利用多尺度图卷积神经网络对应用场景地图中的二维矢量地图所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到的高所述多模态轨迹预测利用智能体轨迹融合特征进行预测回归和置信度述地图空间结构建利用多尺度图卷积神经网络对应用场景中的二维矢量地图数据进行地示地图数据中第i个车道中心线的初始和结束位置坐标，vi表示第i个车道中心点位置；MLPshape表示利用MLP网络对车道节点的长度进行特征提取；MLPloc表示利用MPL网络对车道(1_2)根据高维地图数据L，利用GCN网络学习高维地图数据节点之间的关联信息；其0+AjLWj(1_4)依据步骤(1_3)得到筛选的A,j后，最终的高维地图特征信息表示为：F=述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图内所有智能3采用CNN网络对场景内所有智能体的历史行为轨迹数据进行特征提取，得到历史轨迹,,维轨迹数据特征T由历史轨迹特征T中的不同节点信息通过拼接操作获得，表示为T,=MLP(tmj_tmi)表示采用MLP编码进行不同历史轨迹节点tmj、tmi的位置差特征信息的提取过,述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到的高维地图(3_1)将历史轨迹特征提取得到的历史轨迹融合信息T,通过自注意力机制进行特征融QK(3_2)将历史轨迹特征信息和高维地图特征信息F信息通过交叉注意力机制进行进一值向量VF进行加权从而输出具有方向信息的智能体轨迹融(4_1)将提取的智能体轨迹融合特征Z通过第一个MLP分支网络进行回归运算，形成多模态完整轨迹BEV坐标，表示为Bnreg=表示第m个智能m,regm,reg4序被处理器执行时，实现根据权利要求1_8中任一项所述基于多尺度空间感知的智能体行5[0003]目前主流的行动预测为基于栅格化地图数据特征为行动预测提供重要的几何信[0008]所述地图空间结构建利用多尺度图卷积神经网络对应用场景地图中的二维矢量[0009]所述历史轨迹特征提取采用卷积神经网络和特征金字塔网络提取应用场景地图[0010]所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到6[0012]进一步地，所述应用场景地图应能提供具有二维鸟瞰图矢量坐标格式的地图数示地图数据中第i个车道中心线的初始和结束位置坐标，vi表示第i个车道中心点位置；MLPshape表示利用MLP网络对车道节点的长度进行特征提取；MLPloc表示利用MPL网络对车道AjLWj[0016](1_3)选择车道节点是否具有地面标志标线作为附加权重对Aj进行限制处理，具A′jj[0019]采用CNN网络对场景内所有智能体的历史行为轨迹数据进行特征提取，得到历史MLP(tmj_tmi)表示采用MLP编码进行不同历史轨迹节点tmj、tmi的位置差特征信息的提取过7QK[0023](3_2)将历史轨迹特征信息和高维地图特征信息F信息通过交叉注意过对值向量VF进行加权从而输出具有方向信息的智能体轨迹融合[0025](4_1)将提取的智能体轨迹融合特征Z通过第一个MLP分支网络进行回归运算，形过第二个MLP分支网络形成K条行动预测的置信度评分，表示为Om，cls＝(cm，0，Cm，[0027]进一步地，在多模态轨迹预测的MLP训练过程中，依据多模态完整轨迹BEV坐标8有可解释可接受且更接近真实经验数据的K(K为可设置参数直接应用于具有二维矢量地图数据的应用场景。为了更具一般性，本发明方案采用开源预测涉及到不同智能体之间的复杂交互，且一般均在交通情况比较复杂的地方进行拍摄，[0042]所述地图空间结构建是利用多尺度图卷积神经网络(GCN)对应用场景中的二维矢[0043]所述历史轨迹特征提取采用高并行计算效率的卷积神经网络(CNN)和特征金字塔[0044]所述特征融合通过自注意力机制将地图空间结构建模和历史轨迹特征提取得到行动预测的多模态完整轨迹BEV坐标和对应的置信度评分，为智能体行动提供合理的辅助9等属性进行预处理；所述应用场景地图应能提供具有二维鸟瞰图(BEV)矢量坐标格式的地AjLWj0为车道节点原始信息权q和Ah通过单位矩阵向右上方和左下方移动一步得到，左邻和右邻是指在不违反[0051](1_3)针对步骤(1_2)得到的车道节点连接类型和方向，本方案筛选与F耦合的地j[0055]本发明通过多尺度操作技术将更长距离的前向车道节点且尺度因子越大(如上述尺度因子为5的车道节[0057]历史轨迹特征提取主要通过卷积神经网络(CNN)和特征金字塔(FPN)网络提取场[0058]首先采用具有高效并行计算效率的CNN网络对场景内所有智能体的历史行为轨迹tmi是T特征变量中的第mi个历史轨迹节点特征信息，Δmi,mj＝MLP[0060]在特征提取过程中，对场景内不同智能体的历史行动轨迹数据通过0数据补齐的数量的0/1掩码用于表示该坐标点是否为填充数据，因此形成维度为M×20×3的历史行为[0063]特征融合通过MLP网络层对轨迹位置差信息进行编码处理，然后通过自注意力网络进行历史轨迹融合，最后通过交叉注意力模块将提取的矢量地图高维特征信息F与高维QKV分别表示[0066](3_2)将步骤(3_1)得到的融合后的历史轨迹特征信息和步骤1得到的高维地图特征信息F信息通过交叉注意力机制进行进一步融合，能够编码不同历史轨迹节点与车道节点的相对位置信息，其重点是通过权重矩阵对轨迹和地图这两类节点信息进行统一编码，并可以通过掩码注意力机制将不可关联节点信息进行屏蔽，具体计算过程表示为：[0069]多模态轨迹预测模块利用步骤3得到的智能体轨迹融合特征Z进行轨迹预测回归[0070]所述多模态轨迹预测由两个训练好的MLP分支架构组成，每个MLP架构均由2组线[0071](4_1)提取的智能体轨迹融合特征Z通过第一个MLP分支网络进行回归运算，形成；过第二个MLP分支网络形成K条行动预测的置信度评分，表示为Om，cls＝(cm，0，Cm，[0073]在多模态轨迹预测的MLP训练过程中，依据步骤(4_1)和步骤(4_2)得到的多模态坐标真值，reg(x)=∑id(xi)，xi是x的第f个元素，d(xi)是平滑L1损失，定义为：维矢量地图数据和场景内的轨迹数据即可实现模型的部署应[0075]图6给出了本发明的实际应用流程图，该方法在加载数据集或实际场景中的地图采用多尺度GCN对矢量地图数据进行特征学习，将学习到的历史行为轨迹特征和地图元素[0079]首先利用Argoverse数据集地图文件中提供的车道中心线和地面标志元素的二维(GCN)和线性层对车道节点和地面标志信息进行建模，得到维度为N×128的高维地图特征[0080]采用Argoverse数据集中场景内所有智能体的前2s行动数据作为历史轨迹输入数时长—采样频率为10Hz下的20个点位移坐标数据。位移坐标数据后连接相同数量的0/1掩[0081]在上述高维地图和历史运动轨迹特征信息的基础上通过