CN113487088B 基于动态时空图卷积注意力模型的交通预测方法及装置 （哈尔滨工业大学（深圳））

基于动态时空图卷积注意力模型的交通预本发明公开了一种基于动态时空图卷积注历史时刻步长的时间相关性以及多步预测间的状态；解码器单元接收每个预测步长的隐藏状发明方法能有效得到未来一小时的交通预测结2(3)将步骤(2)得到的每个预测步长的隐藏状态输入解码器单元，采用调度采样策略，得到未来一小时所有传感器节点记录速度值的其中，所述动态时空图卷积注意力模型包括动态图卷积注意力力单元接收过去6个时间步的隐层向量并输出，所述全局注意力单元和局部注意力单元的所述动态空间相关性建模还包括预定义空间依赖性建模，所述预定义空2.根据权利要求1所述的一种基于动态时空图卷积注意力模型的交通预测方法，其特通过SoftMax归一化指数函数产生时变自适应矩阵，所述时变自适应矩阵可自适应的学习3.根据权利要求2所述的一种基于动态时空图卷积注意力模型的交通预测方法，其特34.根据权利要求3所述的一种基于动态时空图卷积注意力模型的交通预测方法，其特向量H中加入预先定义的位置编码向量PE,编码规动态时空图卷积注意力模型建模模块，用于利用道路交通网点间的动态空间相关性，捕获历史时刻步长的时间相关性以及多步预测间的时间相关性，交通预测模块，用于将动态时空图卷积注意力其中，所述动态时空图卷积注意力模型包括动态图卷积注意力力单元接收过去6个时间步的隐层向量并输出，所述全局注意力单元和局部注意力单元的所述动态空间相关性建模还包括预定义空间依赖性建模，所述预定义空45[0002]交通状态预测是智能交通领域(IntelligentTransportationSystem,ITS)中一常为5mins，由于道路的连通性及数据记录固有的序列相关性，交通数据是典型的时空数感器节点上进行单步预测，忽略了交通节点间的空间依赖性，也无法进行中长时段(30-[0003]随着机器学习和深度学习的发展以及硬件计算资源的持续升级，一些数据驱动域。在深度学习应用的初期阶段，一些研究者开始将基于CNN(ConvolutionNeuralNetwork卷积神经网络)的模型和基于RNN(RecurrentNeuralNetwork循环神经网络)的模感器并不能采用规则的栅格数据来对其空间依赖性建[0004]GNN(GraphNeuralNetwork图神经网络)擅长在非欧式空间提取数据特征，其可连通性视作边。在此我首先介绍一下前人的研究，一些模型例如DCRNN(DiffusionConvolutionRecurrentNeuralNetworkData-DrivenNetwork扩散卷积递归神经网络数据驱动网络)采用了扩散卷积及随机游走(RandomWalk)策略来捕捉节点间的空间相关性；STGCN(Spatial-TemporalGraphConvolutionNetwork时空图卷积网络)采用图卷积藏的空间依赖性；MRA-BGCN(Multi-RangeAttentiveBicomponentGraphConvolution采用了图注意力网络(GraphAttentionNetwork)来聚合节点特征并采用一维门控卷积网2020年7月发表的文章，是截止目前在两个公开数据集METR-LA和PEMS-BAY上的SOTA6[0005]然而上述的基于GCN的模型及其改进大都没有考虑动态的空间相关性，即使最新的研究中已经开始采用自适应邻接矩阵来建模隐藏的空间依赖性(无法根据传感器间距离及连通性来建模得到的)，但这个自适应矩阵在所有历史步长下是共享参数的即会导致训[0011](3)将(2)得到的每个预测步长的隐藏状态输入解码器单得到未来一小时所有传感器节点记录速度值的过SoftMax归一化指数函数产生时变自适应矩阵，所述时变自适应矩阵可自适应的学习节7门控循环单元(GRU)和融合注意力模块(FusionAttention)，将所述动态图卷积注意力网融合注意力模块包括全局注意力(GlobalAttention)单元和局部注意力(Local元和局部注意力(LocalAttention)单元的输出经过门控融合后送至第一个解[0017]进一步的，将输入融合注意力模块的隐层向量H1、H2...H12作项(item)，每个项8在被处理器执行时，使得所述处理器执行上述基于动态时空图卷积注意力模型的交通预[0033]1、将动态图卷积注意力网络(DGCAN)嵌入到门控循环单元(GRU)得到了DGAC-GCU模块，嵌入过程即将GRU最小单元中的全连接操作替换为本发明所述的动态图相关性特征间依赖性，从而使本发明的动态空间相关性建模可以更准确的捕捉节点间的实时空间依赖，并且在两个公开数据集METR-LA和PEMS-BAY上的实验证明，本发明所述模型超越了前模型难以推广至更长时段的序列预测任务，本发明所述模型不仅仅使用GRU来捕捉序列力(GlobalAttention)单元和局部注意力(LocalAttention)单元，并采用门控融合机制[0035]图1是本发明实施例中基于动态时空图卷积注意力模型的交通预测方法的流程[0039]图5是本发明实施例中基于动态时空图卷积注意力模型的交通预测装置结构示意[0040]图6是本发明实施例中基于动态时空图卷积注意力模型的交通预测装置的计算机9[0042]本发明实施例的一种基于动态时空图卷积注意力模型的交通预测方法，如图1所[0044]具体实施方式如下：在给定N个具有空间相关性的传感器节点所记录的历史速度段时间内所有传感器记录的速度。针对该项任务，将道路交通网络建模为有向图度预测任务用公式(1)来表示：明提出的动态时空图注意力卷积网络(DynamicSpatial-TemporalGraphAttention用GRU来捕捉序列间存在的上下文相关性，还加入了FusionAttention融合注意力模块来捕捉序列的全局时间依赖和最近序列段的局部相关性，融合注意力模块(FusionAttention)包含全局注意力(GlobalAttention)单元和局部注意力(LocalAttention)单[0049]本发明实施例中用于长时段交通速度预测的动态时空图卷积注意力模型的整体的与多步预测间的时间相关性，解码器单元将每个预测步长的输入值当做下一时刻的输入，由于多步预测会产生误差积累，因此在训练阶段采用了调度采样(scheduled[0050]本发明所提出的动态时空图卷积注意力模型从相关性建模的角度可以进一步拆模型中，针对道路交通网络图结构中每个节点在不同历史时段随机初始化两个嵌入Wk3目标节点在不同时段内关注到与自己真正相关的型的时序数据，具有很强的时间序列相关性。基于循环神经网络(RecurrentNeuralNetwork，RNN)结构的模型可应用于建模捕获时间相关性，将动态图卷积注意力网络H(t-1)])+bu)H(t-1)])+br)])+bc)种循环神经网络(RecurrentNeuralNetwork)更倾向于捕捉序列中时间上下文间的相关相关性更多的只能提取到相邻时间步的一种依赖关系。在本发明实施例模型中，如图2所Attention)的全局注意力(GlobalAttention)单元和局部注意力(LocalAttention)单元分别接收过去12个时间步的隐层输出和最近6个时间步的隐层输出，两个模块的输出经过自然语言处理领域(NLP)的机器翻译任务，针对句子中单词相关性的捕捉提出了点乘的自于每个item，我们与Transformer一样同时维护了Query、Key和Value三个向量，FusionAttention模块中注意力计算公式如式(7vexdr,dk表示输入item的隐层向量维度，W为可学习的参[0077]其中，WQedxdk、wkexdxdk、wveRdxdv为可学习的参数矩阵。注意力模块(FusionAttention)的每个输入item向量H中加入了预先定义的位置嵌入向量得到未来一小时所有传感器节点记录速度值的累，采用了调度采样策略，此外，本发明具体实施中模型的损失函数选择绝对平均误差道路交通网络建模模块101得到的图结构和图信号，对动态时空图卷积注意力模型进行建模，所述动态时空图卷积注意力模型建模包括序列时间相关性建模和动态空间相关性建[0084]基于动态时空图卷积注意力模型的交通预测装置100的具体工作过程参照上述基图6示出了该计算设备的架构。如图6所示，计算机系统201、系统总线203、一个或多个[0087]本发明提出的一种基于动态时空图卷积注意力模型的交通预测方法及装置在两个公开数据集PEMS-BAY和METR-LA上进行了验证，P