CN117473032B 基于一致扩散的场景级多智能体轨迹生成方法及装置 （上海人工智能创新中心）

基于一致扩散的场景级多智能体轨迹生成基于一致扩散的场景级多智能体轨迹生成方法程中通过时序一致性引导确保增强加噪轨迹序2对从高斯分布中采样获得的噪声序列进行移位和拼接处理，获得增强利用场景编码器提取所述训练集中智能体的历史轨迹与上下文信息得到智能体的向量表征，并将所述智能体的向量表征、所述增强加噪轨迹序列和扩散步骤输入基于利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息得到其中，在生成阶段，所述去噪网络在逐步高斯状态转移过所述利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息得到将所述未来轨迹序列中每个位置的元素进行移位，并将每个位将所述噪声序列中每个位置的元素进行移位，并将每个位置移所述利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息得到利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息得到将所述融合特征输入Transformer模块中，预测得到所述联合未来轨迹；其中，所述Transformer模块包括交替的时间自注意力机制和智能体3对所述联合未来轨迹中每条轨迹的相邻位置元素的差异所述时序一致性引导通过平均运算使得所述增强加噪轨迹序列中同一状通过计算所述联合未来轨迹中智能体边界框之间的重叠面积的方式计算智能体的碰通过计算所述联合未来轨迹中智能体通越过道路边界的次数，获得道路依从性度量根据所述安全验证度量值和所述道路依从性度量值获得所述联合未来轨9.一种基于一致扩散的场景级多智能体轨迹生成装轨迹增强模块，用于对预设训练集中真实的未来轨迹序列进行移位加噪模块，用于对从高斯分布中采样获得的噪声序列进轨迹序列；去噪模块，用于利用场景编码器提取所述训练集中智能体的历入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来得到未来轨噪声序列采集模块，用于将从高斯分布中采样获得的噪声序列进行移位和拼接处理，轨迹预测模块，用于利用优化后的场景编码器提取目标历史场景中智其中，在生成模块，所述去噪网络在逐步高斯状态转移过上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方4[0004]利用运动预测任务的成果来生成多模态交通场景，大多为单一类型轨迹生成方用高斯混合模型来刻画生成轨迹的多样性。采用门控循环单元(GatedRecurrentUnit，使用基于扩散模型的方法，如一种相关的技术中基于扩散模型的框架来实现行人轨迹预5[0011]对从高斯分布中采样获得的噪声序列进行移位和拼接处[0012]利用场景编码器提取训练集中智能体的历史轨迹与上下文信息得到智能体的向[0016]利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息[0020]轨迹增强模块，用于对预设训练集中真实的未来轨迹序到智能体的向量表征，并将智能体的向量表征、增强加噪轨迹序列和扩散步骤输入基于6扩散步骤输入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来络在逐步高斯状态转移过程中通过时序一致性引导确保增强加噪轨迹序列中同一状态的[0031]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0032]图1为本申请实施例提供的基于一致扩散的场景级多智能体轨迹生成方法在训练[0033]图2为本申请实施例提供的基于一致扩散的场景级多智能体轨迹生成方法在生成[0035]图4为本申请实施例提供的基于一致扩散的场景级多智能体轨迹生成装置在训练[0036]图5为本申请实施例提供的基于一致扩散的场景级多智能体轨迹生成装置在生成7[0042]下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技据分布转换为非结构化噪声的扩散过程和恢复数据分布的逆过程两部8元素具有相似性，本申请实施例对采样的噪声序列应用与未来轨迹序列相同的增强方法，[0054]步骤103，利用场景编码器提取所述训练集中智能体的历史轨迹与上下文信息得入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来得到未来轨图3，在编码阶段利用场景编码器提取训练集中智能体的历史轨迹与上下文信息得到智能噪轨迹序列和扩散步骤输入基于Transformer的去噪网络，以通过高斯状态转移逐步预测[0065]步骤202，利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上9序一致引导策略从去噪扩散隐式模型(DDIM，DenoisingDiffusionImplicitModels)推s=(yteR"It=1,2,…,T),wie{1,2,…,N}其中yt是一个H维[0069]本申请实施例中的方法可以为场景中各种类型的智能体生成具有场景一致性的扩散步骤输入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来络在逐步高斯状态转移过程中通过时序一致性引导确保增强加噪轨迹序列中同一状态的j=l',YI增和jt申请实施例中对采样的噪声序列应用相同的增强方法。具体来说，首先从N(0,I)中采样噪[0081]利用优化后的场景编码器提取目标历史场景中智能体的历史轨迹与上下文信息模块包括交替的时间自注意力机制和智能体自注意力[0084]本申请实施例中，在去噪网络中通过Transformer模块预测多个智能体的联合未来轨迹，Transformer模块中采用注意力机制来处理多智能体间的交互和轨迹的时序相关沿智能体维度的智能体自注意力机制)驱动模型刻画智能体之间的交互并生成一致的轨[0087]如图3所示，通过场景编码器获得的智能体的向量表征作为去噪网络的嵌入条件得的向量表征依次经过1×1卷积层和多层感知机后特征施加位置编码。然后，该特征被输入到由交替的时间和智能体注意层所组成的始序列数据(未进行增强和加噪处理的未来轨迹)的相邻位置元素(可以表示相邻运动状态)之间的差异，并且等效地是增强加噪轨迹序列中的元素的前半部分和后半部分之间的[0100]在去噪过程中，对于对应原始序列数据的增强加噪轨迹序列中同一状态的信息[0108]通过计算联合未来轨迹中智能体边界框之间的重叠面积的方式计算智能体的碰[0109]通过计算联合未来轨迹中智能体通越过道路边界的次数，获得道路依从性度量请实施例中计算穿透深度(penetrationdepth)以确定任意两个智能体之间的最大重叠距i的最终轨迹评分函数通过以下方式获得：施例中提出的方法在多智能体轨迹生成结果上取得了显著的提升。在WaymoSimAgents基[0120]轨迹增强模块401，用于对预设训练集中真实的未来轨迹序列进行移位和拼接处迹序列；[0122]去噪模块403，用于利用场景编码器提取训练集中智能体的历史轨迹与上下文信[0125]噪声序列采集模块501，用于将从高斯分布中采样获得的噪声序列进行移位和拼[0126]轨迹预测模块502，用于利用优化后的场景编码器提取目标历史场景中智能体的扩散步骤输入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来络在逐步高斯状态转移过程中通过时序一致性引导确保增强加噪轨迹序列中同一状态的[0129]本申请实施例提供的基于一致扩散的场景级多智能体轨迹生成装置能够实现图1[0130]本申请实施例的基于一致扩散的场景级多智能体轨迹生成装置可执行本申请实作是与本申请各实施例中的基于一致扩散的场景级多智能体轨迹生成方法中的步骤相对入基于Transformer的去噪网络，以通过高斯状态转移逐步预测所添加噪声来得到未来轨高斯状态转移过程中通过时序一致性引导确保增强加噪轨迹序列中同一状态的信息一致，(DigitalSignalProcessor，数据信号处理器)，ASIC(ApplicationSpecific可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(Extended息和指令的其他类型的动态存储设备，也可以是EEPROM(ElectricallyErasable