CN114155270B 行人轨迹预测方法、装置、设备及存储介质 （南方科技大学）

入到预先训练的交互类型估计模型得到交互类2将所述行人历史轨迹数据输入到预先训练的特征向量编码模型，得将所述行人轨迹特征向量输入到预先训练的交互类型估计模型得到交互类型潜变量将所述交互类型潜变量信息、所述行人轨迹特征向量和所述行人历史轨迹所述特征向量编码模型包括自编码模块、社会编码模块和特征向量时将所述行人历史轨迹数据输入到预先训练的所述自编码模块得到自将所述行人历史轨迹数据输入到预先训练的所述社会编码模块和所述特征向量时间模块得到社会编码特征向量，所述社会编码模块包括至少一个全连接层和多层注意力网将所述自编码特征向量和所述社会编码特征向量输入到所述特征向量时间所述交互类型估计模型包括：社会互动分类模型和潜变量估计模型，所将所述行人轨迹特征向量输入到所述感知器分类模型得到交互交互类型分布结果进行随机梯度估计得到所将所述交互类型分布结果输入到所述潜变量估计模型，得到所述交互类型潜变量信将所述行人历史轨迹训练数据和所述行人未来轨迹训练数据输入所述特征向量编码将所述行人历史轨迹特征向量输入所述社会互动分类模型得到先验交互类型分布结将所述行人未来轨迹特征向量输入所述社会互动分类模型得到后验交互类型分布结将所述先验交互类型分布结果和所述后验交互类型分布结果输入所述潜变量估计模根据所述先验交互类型分布结果和所述后验交互类型分布结果最小化社会互动分类3布结果和所述后验交互类型分布结果输入所述潜变量估计模型，最小化潜变量损失函数，将所述先验交互类型分布结果和所述后验交互类型分布结果输入所述潜变量估计模根据所述先验交互类型潜变量信息和所述后验交互类型潜变量行人轨迹特征向量获取模块，用于将所述行人历史轨迹数据输入到预先交互类型潜变量信息获取模块，用于将所述行人轨迹特征行人轨迹预测模块，用于将所述交互类型潜变量信息、所述行人所述特征向量编码模型包括自编码模块、社会编码模块和特征向量时将所述行人历史轨迹数据输入到预先训练的所述自编码模块得到自将所述行人历史轨迹数据输入到预先训练的所述社会编码模块和所述特征向量时间模块得到社会编码特征向量，所述社会编码模块包括至少一个全连接层和多层注意力网将所述自编码特征向量和所述社会编码特征向量输入到所述特征向量时间所述交互类型估计模型包括：社会互动分类模型和潜变量估计模型，所将所述行人轨迹特征向量输入到所述感知器分类模型得到交互交互类型分布结果进行随机梯度估计得到所将所述交互类型分布结果输入到所述潜变量估计模型，得到所述交互类型潜变量信所述处理器用于根据所述程序执行如权利要求1至4中任一项所述的行人轨迹预测方7.一种计算机可读存储介质，存储有计算机可4[0002]预测行人的轨迹是一个非常关键的问题，因为它在智能[0008]将所述行人轨迹特征向量输入到预先训练的交互类型估计模型得到交互类型潜和特征向量时间模块，所述将所述行人历史轨迹数据输入到预先训练的特征向量编码模[0011]将所述行人历史轨迹数据输入到预先训练的所述自编码模块得到自编码特征向5[0012]将所述行人历史轨迹数据输入到预先训练的所述社会编码模块和所述特征向量[0013]将所述自编码特征向量和所述社会编码特征向量输入到[0015]将所述行人轨迹特征向量输入到所述社会互动分类模型，得到交互类型分布结[0022]将所述行人历史轨迹训练数据和所述行人未来轨迹训练数据输入所述特征向量[0023]将所述行人历史轨迹特征向量输入所述社会互动分类模型得到先验交互类型分[0024]将所述行人未来轨迹特征向量输入所述社会互动分类模型得到后验交互类型分[0025]将所述先验交互类型分布结果和所述后验交互类型分布结果输入所述潜变量估[0027]根据所述先验交互类型分布结果和所述后验交互类型分布结果最小化社会互动[0029]将所述先验交互类型分布结果和所述后验交互类型分布结果输入所述潜变量估6所述行人历史轨迹数据输入到预先训练的行为预测模型，得到行人轨迹预测概率分布结[0039]所述处理器用于根据所述程序执行如第一方面中任一项所述的行人轨迹预测方7于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语强调。[0057]预测行人的轨迹是一个非常关键的问题，因为它在智能8设备也可以与服务器具有相似的功能，从而执行本发明实施例所提供的行人轨迹预测方[0067]本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施9的轨迹都是一个在x轴和y轴上位置坐标的联合状态序列，其中第i个行人的未来轨迹数据[0096]特征向量时间模块可以采用长短期记忆网络(LongShort-TermMe长短期记忆网络是一种特殊的循环神经网络(RNN)，能够解决长序列训练过程中的梯度消[0097]首先，将行人历史轨迹数据中的行人历史相对距离数据d和行人历史相对方向数"、,和分别表示第n个自注意力网[0109]最后，将上述得到的自编码特征向量hself和社会编码特征向量hsocial输入到特征[0119]步骤S1311，将行人轨迹特征向量输入到感知器分类模型得到先验交互类型分布的上述行人轨迹特征向量和第j个行人的上述行人轨迹特征向量进行有序串联，表[0123]将上述串联后的行人轨迹特征向量输入到感知器分类模型得到交互类型分布结类型数量H，该数量可以根据实际需要设定，例如可以将社会交互类型分为四个主要类型ij表示行人i和行人j之间的社会互动类型，因此通过条[0133]在一实施例中，潜变量估计模型可以是CVAE(ConditionalAutoEncoder)生成模[0142]ε~N(0,I)φ量分别输入社会互动分类模型(即图中的三层感知器分类模型TLP)后，分别进行gumbel-φ数得到：先验交互类型分布结果和后验交互类型分布结φ[0164]ε~N(0,I)+εσφ概率空间两个概率分布P和Q(即本实施例中先验交互类型分布结果和后验交互类型分布结φ该预测的行人轨迹预测概率分布结果与输入的标签值(实际参考的行人未来轨迹数据，表数据Ytrain分别输入社会互动分类模型得到先验交互类型分布结果p1θ(c|x)和后验交互类φ验交互类型潜变量信息zx和后验交互类型潜变量信息zy计算潜变量损失函数，对潜变量估时间段)，其中前3.2秒(8个时间段)被设定为行人历史轨迹，模型被训练来预测接[0192]接下来在上述数据集中，将本申请实施例提出的行人轨迹预测方法(对应的模型[0204]本实施例利用平均位移误差(ADE)和最终位移误差(FDE)来评估不同预测方法对是本申请实施例中Social-DualCVAE模型在CVAE模型基础上引入了一个无监督分类网络，Social-DualCVAE的ADE(H＝4)在所有比较的模型中取得了最好的性能，使得ADE比最先进的模型Social-STGCNN减少14FDE减少8％。而Social-DualCVAE架构在H＝2和H＝6时对使用adam优化器训练了60个epochs，初始学习率为0.001，在30个epochs之后将改为[0213]参照图8为本实施例中预测结果示意图。图8中前五副图是相关技术中Social-中Social-STGCNN得到的预测结果进行比较。图中分别示出了5个场景下的预测轨迹：[0214]与Social-STGCNN相比，本申请实施例的Social-DualCVAE更好地捕捉了社会互动。如场景2所示，Social-DualCVAE中的3号个体试图避免与4号个体发生碰撞。Social-DualCVAE还产生了较小的多模态未来轨迹的方差，预测区域更加集中。此外，在Social-[0215]为了通过社会交互分类更好地理解社会行为，本实施例进一步将Zara1场景中无9，为本实施例中预测结果又一示意图，其中超参数H的取值为4。在Zara1场景中存在的并能够验证了申请实施例的行人轨迹预测方法在具有各种社会互动的广泛场景中的良好可以根据实际的需要选择其中的部分或者全部模块来实现本[0226]实现上述实施例的行人轨迹预测方法所需的非暂态软件程序以及指令存储在存可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器