CN115293428B 一种基于多模态数据融合的交通预测方法及应用 （中国科学技术大学）

一种基于多模态数据融合的交通预测方法本发明公开了一种基于多模态数据融合的发明能高效地结合多种模态的交通数据来实现2步骤1.1、构建一个有向的路网图S=(V,E,eA),其中，v是路网中所有交通传感器的集all中选取T个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据令第c个模态的子输入数据表示为置后的第c个模态的数据从而得到嵌入位置后的C个模态的数据并连接起矩阵SEeRO;T,<L；步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量Ee31与E(T)连接后，得到张量并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查络输出的张量Z3eRC'TO:张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据z5eRD;5和E(T9)进行连接后得到张量I:eR0,并输入到所述时间注意力层键、值三个张量分别为从而利用式(3)得到所述时间注意力层nA"v"(3)间步之间的注意力分数；表示第h个注意力头部对应的第x个交通传感器在第y个时间4中代表第x个交通传感器和第z个时间步的向到张量z7eR'D;7和E(T9)进行连接后得到张量并输入到所述空间注意力层键、值三个张量分别为从而利用式(6)得到所述时间注意力层通传感器之间的注意力分数，表示第h个注意力头部对应的第步骤7.4、将所述空间注意力层的输出张量Z8输入到第四前馈神经网络做进一步的处步骤8、所述张量Z9经过所述输出线性层的转化后得到多模态输入数据X的预测结果5步骤8.2、利用反向传播和梯度下降法对所述基于多模态数据融合的交通预测模型进器执行权利要求1所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程所述计算机程序被处理器运行时执行权利要求1所述方67入位置后的第c个模态的数据从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据Z1eRCTXO;嵌入矩阵SEeRO;TEeT,<L；[0025]步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量Ee[0033]步骤5.5、所述张量Z3依次再经过所述第二跨模态注意力层和第二前馈神经网络8度在C种模态上的拼接张量，从而得到D个维度在C种模态上的拼接张量并拼接为最终的交错拼接张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据E(T9)进行连接后得到张量IreRX20,并输入到所述时间注意Q",x",v"eRT⃞d:从而利用式(3)得到所述时间注意力na"v"(3)个时间步之间的注意力分数；表示第h个注意力头部对应的第x个交通传感器在第y个!e"是中代表第x个交通传感器和第y个时间步的向量，是中代表第x个交通传感器和第z个时间步的向量；[0044]步骤7.2、将所述时间注意力层输出的张量Z6输入到第三前馈神经网络中进行处E(T9)进行连接后得到张量1,eR2,并输入到所述空间注意9[0049]式(6)中，是注意力分数矩阵a"中在第a个时间步上第β个交通传感器和第γ个交通传感器之间的注意力分数，表示第h个注意力头部对应的第a个时间步上第β[0051]式(8)中，是中代表第a个时间步和第β个交通传感器的向量，是中代表第a个时间步和第γ个交通传感器的向量；[0052]步骤7.4、将所述空间注意力层的输出张量Z8输入到第四前馈神经网络做进一步[0058]步骤8.2、利用反向传播和梯度下降法对[0068]图3为本发明的最大池化融合模块中交错拼接操作的示意图，其中每个单元中的eRM是邻接矩阵，邻接矩阵CA中的元第c个模态的子输入数据表示为X。eR";T<C个模态的数据并连接起来，得到连接后的数据Z1eRCTXO;矩阵SEeRO;TEeT,<L；[0088]步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量Ee其中，包含历史时间步信息的时空嵌入子向量表示为E(7)eRTXD,包含未来层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查理后，进一步增强了数据的表示，得到张量Z4eR37XD并作后输入最大池化融合层中进行多模态融合，得到融合后的数据z5eRD;e0,并输入到图1中时间注意个时间步之间的注意力分数；表示第h个注意力头部对应的第x个交通传感器在第y个!e是中代表第x个交通传感器和第y个时间步的向量，是中代表第x个交通传感器和第z个时间步的向量；[0106]步骤7.2、将图1中时间注意力层输出的张量Z6输入到图1中第三前馈神经网络中[0111]式(6)中，是注意力分数γ个交通传感器之间的注意力分数，表示第h个注意力头部对应的第a个时间步上第β[0113]式(8)中，是中代表第a个时间步和第β个交通传感器的向量，是中代表第a个时间步和第γ个交通传感器的向量；[0114]步骤7.4、将图1中空间注意力层的输出张量Z8输入到图1中第四前馈神经网络做[0115]步骤8、张