CN115688019B 基于异构数据关联挖掘与度量学习的智能体轨迹预测方法 （西安电子科技大学）

(19)国家知识产权局(12)发明专利(65)同一申请的已公布的文献号审查员王永贵(73)专利权人西安电子科技大学地址710071陕西省西安市太白南路2号黄晓悦(74)专利代理机构陕西电子工业专利中心专利代理师田文英(54)发明名称基于异构数据关联挖掘与度量学习的智能体轨迹预测方法本发明公开了一种基于异构数据关联挖掘与度量学习的智能体轨迹预测方法，主要解决了现有轨迹预测技术在编码时忽略了异构数据的关联性，以及在有监督训练时没用充分利用标签监督信息的问题。本发明通过构建异构数据关联挖掘的智能体轨迹预测网络，根据智能体历史轨迹计算其将要进入的活动区域的地图特征，避免了智能体已经经过的区域与不会进入的区域的地图特征带来的噪声，同时设计基于度量学习的损失函数训练网络，在度量空间计算未来轨迹预测结果和未来轨迹标签的相似度，从而充分利用标签监督信息，使本发明方法具有对异构数据关根据基于度量学习的损失函数计算未来轨迹预测结果和标签的损失值2分别构建历史轨迹图结构编码子网络、高清地图编码子网络、高维分布编码子网络和所述高清地图编码子网络由依次串联的三个模块组成，用于位置矩阵初始化模块、用于根据位置矩阵提取地图特征的Transformer网络模块和用于计算位置偏移量的第一全连接层，将Transformer网络模块的输入维度和输出维度分别设置为[[100×100×dis(M)],[32×2]]和32,dis(M)为高清地图的维度，第一全连接层的输入维度和输出维度分别设置为1和2;将智能体历史轨迹和其对应行动区域的高清地图数据设置为网络将训练集输入到异构数据关联挖掘的智能体轨迹预测网络中，历所述高清地图编码子网络挖掘智能体历史轨迹与其活动区域的关联性并计算地图特根据智能体的行动角度确定其将要进入的行动区域并在该区步骤4,根据下述的基于度量学习的损失函数，计算未来轨迹预测结果和标签的损失L(,)=log()-aDn(F,,F₃)-βDKz(z,z,)其中，L(y,为未来轨迹的预测结果y和未来轨迹的标签的损失值，log(·)为以10为3底的对数操作，α为未来轨迹的标签特征F,和未来轨迹的预测特征F的度量空间距离值D(F,F₃)的权重参数，所述度量空间使用余弦相似度空间，β为z和z的相对熵值DR(z,z)的权重参数，z为智能体综合特征F的高维分布，zt为智能体综合特征FA和签轨迹特征F,拼接后的高维分布；步骤5,优化异构数据关联挖掘的智能体轨迹预测网络：使用Adam优化算法迭代更新异构数据关联挖掘的智能体轨迹预测网络的参数，重复步骤3和步骤4直到未来轨迹预测结果和未来轨迹标签的损失值L(y,)收敛，得到训练好的网步骤6,使用训练好的网络进行预测：将待预测的智能体的历史轨迹信息和其活动区域的高清地图，输入到训练好的网络2.根据权利要求1所述的基于异构数据关联挖掘与度量学习的智能体轨迹预测方法，其特征在于：步骤1中所述的历史轨迹图结构编码子网络如下：历史轨迹图结构编码子网络由两个并行的模块组成，第一长短期记忆网络模块和第二长短期记忆网络模块，分别用于无向图节点编码和无向图边编码；将第一长短期记忆网络模块和第二长短期记忆网络模块中的输入维度和隐层维度均设置为2和32。3.根据权利要求1所述的基于异构数据关联挖掘与度量学习的智能体轨迹预测方法，其特征在于：步骤1中所述的高维分布编码子网络如下：高维分布编码子网络由三个并行的的模块组成，第一全连接层、第二全连接层和第三全连接层，用于生成历史轨迹图结构特征和地图特征的高维分布，第一全连接层的输入维度和输出维度分别设置为96和25,第二全连接层的输入维度和输出维度分别设置为2和1,第三全连接层的输入维度和输出维度分别设置为96+len(fut)和25,len(fut)为智能体未来轨迹的长度。4.根据权利要求1所述的基于异构数据关联挖掘与度量学习的智能体轨迹预测方法，其特征在于：步骤1中所述的特征解码子网络如下：特征解码子网络由三个串联的第一全连接层、第一长短期记忆网络模块和第二全连接层组成，用于解码高维分布并生成智能体的预测轨迹，将第一全连接层的输入维度和输出维度分别设置为1和1,1为预测未来轨迹的条数，第一长短期记忆网络模块的输入维度和隐藏维度分别设置为121和128,第二全连接层的输入维度和输出维度分别设置为128和2。4基于异构数据关联挖掘与度量学习的智能体轨迹预测方法[0002]智能体轨迹预测任务是根据智能体的历史运动轨迹对其未来的运动轨迹进行预[0003]Salzmann和Ivanovic等人在其发表的论文"Trajectron++:Dynamically-ConferenceonComputerVision'2020)中公开了一种基于异构数据融合的智能体轨迹预长短期记忆网络(LongShort-TermMemorynetworks,LSTM)对历史轨迹数据进行图结构特征；然后将图结构特征输入条件自编码器(ConditionalVariationAutoEncoder,5络和特征解码子网络；将历史轨迹图结构编码子网络与高清地图编码子网络组成并联网数的位置矩阵初始化模块、用于根据位置矩阵提取地图特征的Transformer网络模块和用于计算位置偏移量的第一全连接层，将Transformer网络模块的输入维度和输出维度分别设置为[[100×100×dis(M)],[32×2]]和32,dis(M)为高清地图的维度，第一全连接层的输入维度和输出维度分别设置为1和2;[0017]所述高清地图编码子网络挖掘智能体历史轨迹与其活动区域的关联性并计算地[0024]其中，L(v,为未来轨迹的预测结果y和未来轨迹的标签的损失值，log(·)为以6值DM(F,,F₃)的权重参数，所述度量空间z)的权重参数，z为智能体综合特征F的高维分布，zt为智能体综合特征FA和签轨迹特征F,拼接后的高维分布；[0025]步骤5,优化异构数据关联挖掘的智能体轨迹预测网络：[0026]使用Adam优化算法迭代更新异构数据关联挖掘的智能体轨迹预测网络的参数，重复步骤3和步骤4直到未来轨迹预测结果和未来轨迹标签的损失值L(v,,)收敛，得到训练好的[0027]步骤6,使用训练好的网络进行预测：[0028]将待预测的智能体的历史轨迹信息和其活动区域的高清地图，输入到训练好的网络中，输出智能体的未来轨迹预测结果。[0029]本发明与现有技术相比具有以下优点：[0030]第一，本发明通过构建异构数据关联挖掘的智能体轨迹预测网络，根据智能体历史轨迹计算其将要进入的活动区域的地图特征，进一步对智能体的未来轨迹进行预测，从而克服了现有技术对异构数据进行独立编码导致的智能体已经经过的区域与不会进入的区域的地图特征带来噪声的问题，使本发明构建的网络具有异构数据关联挖掘能力强，预测的智能体轨迹更接近其真实轨迹的优点。[0031]第二，本发明通过设计基于度量学习的损失函数，通过在度量空间计算未来轨迹预测结果和未来轨迹标签的相似度充分利用标签的监督信息，克服了现有技术在轨迹预测过程中有监督训练效果差的问题，使本发明训练好的轨迹预测网络具有准确性高，鲁棒性强的优点。附图说明[0033]图2是本发明的高清地图编码子网络矩阵初始化模工作机制说明图；[0034]图3是本发明与先进方法Trajectron++在不同场景进行智能体未来轨迹预测的结果对比图。具体实施方式[0035]下面结合附图和实施例，对本发明的技术方案和效果做进一步的详细描述。[0036]参照图1和实施例，对本发明的具体实现步骤做进一步的详细描述。[0037]步骤1,构建异构数据关联挖掘的智能体轨迹预测网络。[0038]分别构建历史轨迹图结构编码子网络、高清地图编码子网络、高维分布编码子网络和特征解码子网络；将历史轨迹图结构编码子网络与高清地图编码子网络组成并联网络，将并联网络与高维分布编码子网络、特征解码子网络依次串联，组成异构数据关联挖掘的智能体轨迹预测网络。[0039]历史轨迹图结构编码子网络由两个并行的模块组成，第一长短期记忆网络模块和第二长短期记忆网络模块，分别用于无向图节点编码和无向图边编码。将第一长短期记忆网络模块和第二长短期记忆网络模块中的输入维度和隐层维度均设置为2和32。7[0040]高清地图编码子网络由依次串联的三个模块组成，用于计算位置矩阵的无参数的位置矩阵初始化模块、用于根据位置矩阵提取地图特征的Transformer网络模块和用于计算位置偏移量的第一全连接层，将Transformer网络模块的输入维度和输出维度分别设置为[[100×100×dis(M)],[32×2]]和32,在本实施例中dis(M)为3,因此Transformer网络模块的输入维度和输出维度分别设置为[[100×100×3],[32×2]]和32,第一全连接层的输入维度和输出维度分别设置为1和2。[0041]高维分布编码子网络由三个并行的的模块组成，第一全连接层、第二全连接层和第三全连接层，用于生成历史轨迹图结构特征和地图特征的高维分布，第一全连接层的输入维度和输出维度分别设置为96和25,第二全连接层的输入维度和输出维度分别设置为2和1,第三全连接层的输入维度和输出维度分别设置为96+len(fut)和25,len(fut)为智能体未来轨迹的长度，在本实施例中len(fut)为8,因此第四全连接层的输入维度和输出维度分别设置为104和25。[0042]特征解码子网络由三个串联的第一全连接层、第一长短期记忆网络模块和第二全连接层组成，用于解码高维分布并生成智能体的预测轨迹，将第一全连接层的输入维度和输出维度分别设置为1和1,1为预测未来轨迹的条数，在本实施例中1为200,因此第五全连接层的输入维度和输出维度分别设置为1和200,第一长短期记忆网络模块的输入维度和隐藏维度分别设置为121和128,第二全连接层的输入维度和输出维度分别设置为128和2。[0043]历史轨迹图结构编码子网络和特征解码子网络中的每个长短期记忆网络模块结构相同，每个长短期记忆网络模块包括输入门单元、状态更新单元、遗忘门单元和输出门单[0044]每个单元按照下述公式，通过四个参数矩阵计算每个单元的输出矩阵：[0046]其中，Outputnit为第unit个单元的输出矩阵，input和hidden分别为输入状态矩阵和隐藏状态矩阵，W.,Wh,b和b分别为输入权重参数矩阵，隐藏权重参数矩阵，输入偏置参数矩阵和隐藏偏置参数矩阵。[0047]由于W和b与input进行矩阵计算，W和b,与hidden进行矩阵计算，因此长短期记忆网络模块的参数矩阵W,Wh,b和b的维度分别为[4×dim(hidden),dim(input)],[4×dim(hidden),dim(hidden)],[4×dim(hidden),1]和[4×dim(hidden),1],dim表示矩阵的维度。[0048]历史轨迹图结构编码子网络、高维分布编码子网络和高特征解码子网络中全连接层模块使用两个参数矩阵按照公式Output=W×input+b计算模块的输出矩阵，input为输入状态矩阵，W和b分别为输入权重参数矩阵和输入偏置参数矩阵，因此全连接层模块中的W和b的维度分别为[dim(input),dim(output)]和[dim(input),1]。[0049]步骤2,生成训练集。[0050]本发明实施例从公开的自动驾驶数据集nuScenes中提取7500个智能体的行动轨迹数据和其行动区域的高清地图数据，智能体的种类包含行人和车辆。[0051]智能体行动轨迹数据的采样时长为8秒，采样频率为2赫兹。将智能体8秒轨迹数据中前4秒和后4秒的数据分别设置为历史轨迹和未来轨迹。[0052]高清地图数据为标记了车辆可行驶区域，车辆可行驶区域道路边界和行人可行驶8区域的二值图像，车辆可行驶区域图像和行人可行驶区域图像中的可行驶位置的像素值设置为1,其他位置设置为0,车辆可行驶区域道路边界图像中的道路边界位置的像素值设置为1,其他位置设置为0。将高清地图数据中以每个智能体第4秒所在的位置为中心，长度和宽度分别为100的区域设置为每个智能体的行动区域。将每个智能体行动区域的车辆可行驶区域图像，车辆可行驶区域道路边界图像和行人可行驶区域图像拼接，得到每个智能体行动区域的高清地图数据，地图数据的维度为[100×100×3]。[0053]将智能体历史轨迹和其对应行动区域的高清地图数据设置为网络输入数据，将智能体的未来轨迹设置为标签。[0054]将网络输入数据与其对应的标签组成训练集。[0055]步骤3,利用训练集获得智能体的预测轨迹。[0056]将训练集输入到异构数据关联挖掘的智能体轨迹预测网络中，历史轨迹图结构编码子网络计算智能体历史轨迹的图结构编码，高清地图编码子网络挖掘智能体历史轨迹与其活动区域的关联性并计算地图特征，高维分布编码子网络计算历史轨迹图结构编码和活动区域地图特征的高维分布，特征解码子网络解码对高维分布、图结构特征和地图特征进行解码，得到智能体的200条可能预测轨迹。[0057]以智能体A的未来轨迹预测过程为例对步骤3作进一步的说明。[0058]将智能体A的历史轨迹设置维度为[8×2]的输入状态矩阵，零矩阵设置为隐藏状态矩阵，再将输入状态矩阵和隐藏状态矩阵输入到历史轨迹图结构编码子网络第一长短期记忆网络模块中，该网络模块输出维度为[1×32]的历史轨迹特征作为无向图节点特征Fnode当两个智能体A₁和A,在A的行动区域地图M₄中的距离小于10个像素值时，判定二者存在交互行为。将与A₁存在交互行为的智能体A;的历史轨迹与A的历史轨迹相加后设置维度为[8×2]的输入状态矩阵，零矩阵设置为隐藏状态矩阵，再将输入状态矩阵和隐藏状态矩阵输入到历史轨迹图结构编码子网络第二长短期记忆网络模块中，该网络模块输出维度为[1×32]的历史轨迹特征作为无向图边特征Fedge。将Fnode与Fedge拼接得到维度为[1×64]的历史轨迹图结构编码特征Fg。[0059]将智能体A第3.5秒和第4秒的历史位置输入位置矩阵初始化模块中，按照下述公式计算智能体A,的行动角度，[0061]其中，ordi和absc分别表示智能体A在M₄中的横坐标和纵坐标。根据行动角度确定A;将要进入的行动区域Rnt,并在Rnt中以高斯分布初始化32个位置构成初始位置矩阵B,B的维度为[32×2]。[0062]参照附图2对矩阵初始化模块的工作机制作进一步说明。[0063]图2中的红色箭头代表智能体A在第4秒的行动角度，黄色区域代表A将要进入的行动区域Rent,黄色圆圈代表初始位置矩阵B中的位置点。[0064]将更新4次后的位置矩阵B中的位置作为Rnt中对轨迹预测最有帮助的位置。在每次更新位置矩阵B时，将M和B输入到高清地图编码子网络Transformer网络模块中，该网9络模块输出M₄中的B中位置处的特征，得到维度为[32×1]的更新特征F。再将F输入到高清地图编码子网络第一全连接层中，该全连接层输出B的偏移向量offset,offset的维度为[32×2]。最后将offset与B相加对B中的位置进行更新。重复上述步骤对B中的位置更新4次得到最终的位置矩阵Bfinal,将M₄中的Bfinal中位置处的最终地图特征Fw,F的维度为[32×[0065]将F转置后与Fg拼接，得到维度为[1×96]的智能体综合特征FA。将FA输入到高维分布编码子网络第一全连接层中，该全连接层输出高维分布z,z的维度为[1×25]。[0066]将z与Fᴀ拼接并转置后输入特征解码子网络第一全连接层得到维度为[200×121]的特征FAz。将FA设置为输入状态矩阵，零矩阵设置为隐藏状态矩阵，再将输入状态矩阵和隐藏状态矩阵输入到特征解码子网络第一长短期记忆网络模块中，该网络模块输出解码特征Fde,再将Fe输入特征解码子网络第二全连接层中，该全连接层输出第4.5秒的200条可能的未来轨迹。在得到第4.5秒的200条可能的未来轨迹后，将FA设置为输入状态矩阵，Fle设置为隐藏状态矩阵，再将输入状态矩阵和隐藏状态矩阵输入到特征解码子网络第一长短期记忆网络模块中，该网络模块输出解码特征,再将入特征解码子网络第二全连接层中，该全连接层输出第5秒的200条可能的未来轨迹，重复上述步骤直至得到第4.5秒到第8秒的200条可能的未来轨迹预测结果。[0067]步骤4,根据下述的基于度量学习的损失函数，计算未来轨迹预测结果和标签的损失值。[0068]L(v,)=log()-αD(F,,F₃)-βDkZ(z,z,)[0069]其中，L(V,为未来轨迹的预测结果y和未来轨迹的标签的损失值，log(·)为以10为底的对数操作，α为未来轨迹的标签特征F,和未来轨迹的预测特征F的度量空间距离值DM(F,,F)的权重参数，所述度量空间使用余弦相似度空间，β为z和z的相对熵值D₁(z,拼接后的高维分布。[0070]在计算所述的F,和F₃时，将维度为[8×2]的y和分别输入到高维分布编码子网络第二全连接层中，该全连接层输出维度为[8×1]的F,和F₃。[0071]在计算所述的z时，将F,转置后与FA拼接得到维度为[1×104]的训练特征Fay,再将Fay输入到高维分布编码子网络第三全连接层中，该全连接层输出维度为[1×25]的高维分布z。[0072]步骤5,优化异构数据关联挖掘的智能体轨迹预测网络。[0073]使用Adam优化算法迭代更新异构数据关联挖掘的智能体轨迹预测网络的参数，重复步骤3和步骤4直到未来轨迹预测结果和未来轨迹标签的损失值L(,)收敛，得到训练好的[0074]步骤6,使用训练好的网络进行预测。