CN112418432B 分析多个物理对象之间的相互作用的系统、方法和装置 （罗伯特·博世有限公司）

Computing:TechniquesandAppPredictionofSurroundingVehicPredictionofSurroundingVehic涉及一种用于预测多个相互作用物理对象的对第一相互作用对象的要预测的对象特征向量序列指示的传播模型来确定从第二对象到第一对2BehaviorsOverAnExtendedHoriz31.一种用于预测多个相互作用物理对象的对象特征向量的系统(100)，其中在离散时间点处的每个相互作用对象的对象特征向量包括在各个离散时间点处的各个相互作用对观察数据(030)，其表示作为输入数据提供给所述系统的多个相互作用对象的观察对解码器模型数据(041)，其表示多个相互作用类型的集合的传播模型集合和预测模型处理器子系统(140)，被配置为通过以下方式确定对观察对象特征向量序列进行扩展对于第一相互作用对象的要预测的在离散时间点处的对象特征向量序述观察对象特征向量确定第一相互作用对象与第二相互作用对象之间在离散时间点处的对应成对相互作用类型的序列；其中所述编码器模型包括：递归神经网络，用于确定所述观状态确定所述第一相互作用对象和第二相互作用对象之间在所述离散时间点处的成对相其中传播模型是可训练的图神经网络，用于多个相互作通过解码器模型预测第一相互作用对象在当前时间点处的对其中从所述第二相互作用对象到所述第一相互作用对象的传播数据包括第二相互作用粒子与所述第一相互作用粒子的相互作用对所述第一相互作用粒子在当前时间点处的隐藏状态相对于所述第一相互作用粒子在先前时间其中通过所述解码器模型在当前时间点处对所述第一相互作用粒子的对象特征向量根据由所述编码器模型在所述当前时间点处针对所述对象特征向量相互作用对象和第二相互作用对象之间的所述对应成对相互作用类型的序列中的成对相通过基于所述第一和第二相互作用对象的先前对象特征向量的所确定的隐藏状态应基于所预测的对象特征向量确定控制信号，将所述控制信号提供给自主车辆的致动42.根据权利要求1所述的系统(100)，其中，解码作用类型被当前成对相互作用类型承接的转移概率集合，处理器子系统(140)被配置为通先前成对相互作用类型来预测第一与第二相互作用对象之间的成对相4.根据权利要求3所述的系统(100)，其中，解码器模型数，处理器子系统(140)被配置为通过将递归模型顺序地应用于相互作用对象的先前对象为通过至少基于所确定的传播数据应用预测模型来确定用于预测对象特征向量的概率分7.一种预测多个相互作用物理对象的对象特征向量的计算机实现的方法(800)，其中在离散时间点处的每个相互作用对象的对象特征向量包括在各个离散时间点处的各个相解码器模型数据，其表示多个相互作用类型的集合的传播模型集合和预测模型的参观察数据，其表示作为输入数据提供给系统的多个相互作用通过以下方式确定对观察对象特征向量序列进行扩展的多个相互作用对象的预测对对于第一相互作用对象的要预测的在离散时间点处的对象特征向量序述观察对象特征向量确定第一相互作用对象与第二相互作用对象之间在离散时间点处的对应成对相互作用类型的序列；其中所述编码器模型包括：递归神经网络，用于确定所述观状态确定所述第一相互作用对象和第二相互作用对象之间在所述离散时间点处的成对相其中传播模型是可训练的图神经网络，用于多个相互作通过编码器模型预测(830)第一相互作用对象在当前时间点处的对5传播模型，用于根据所述观察对象特征向量的所确定的隐藏状态从所述第二相互作用对象到所述第一相互作用对象的传播数据包括第二相互作用粒子与第一相互作用粒子的相互作用对所述第一相互作用粒子在当前时间点处的隐藏状态相对于所述第一相互作用粒子在先前时间点处的隐藏状态的其中由所述解码器模型在当前时间点处对所述第一相互作用粒子的对象特征向量的根据由所述编码器模型在所述当前时间点处针对所述对象特征向量相互作用对象和第二相互作用对象之间的所述对应成对相互作用类型的序列中的成对相通过基于所述第一和第二相互作用对象的先前对象特征向量的所确定的隐藏状态应用所选择的传播模型，来确定(834)从所述第二相互作用对象到所述第一相互作用对象的基于所预测的对象特征向量来确定控制信号，将所述控制信号提8.根据权利要求7所述的方法(800)，进一步包括使用预测的目标特征向量作为训练9.一种用于将多个物理对象之间的成对相互作用分类成多个相互作用类型的集合的解码器模型数据(042)，其表示多个相互作用类型的集合的传播模型集合和分类模型处理器子系统(240)，被配置为确定与观察数据相对应的相互作用对象对的成对相互理器子系统被配置为通过以下方式确定第一与第二相互作用对象之间的相互作根据第一与第二相互作用对象之间的紧接在前的相互作用类型从传播模型集合中选通过基于第一和第二相互作用对象的数据应用所选择的传播模型来确定从第二相互至少基于第一相互作用对象的先前隐藏状态和所确定的传播数据来确定第一相互作至少基于第一和第二相互作用对象的隐藏状态，使用分类模型来确定相互作用类型；6将所确定的相互作用类型提供给自主车辆的行为规划模块，并通过来选择最小化碰撞风险和/或确保与行人的符合社会规范的相互作用的操纵，并基于所选10.根据权利要求9所述的系统(200)，其中确定成对相互作用类型的序列进一步包括确定相互作用对象的另外隐藏状态的序列，处理器子系统(240)被配置为至少基于第一相11.一种将多个物理对象之间的成对相互作用分类成多个相互作用类型的集合的计算机实现的方法(900)，其中每个相互作用对象的对象特征向量包括各个相互作用对象的位察对象特征向量确定所述第一相互作用对象和第二相互作用对象之间在离散时间点处的编码器模型数据，其表示多个相互作用类型的集合的传播模型集合和分类模型的参确定与观察数据相对应的相互作用对象对的成对相互作用类根据第一与第二相互作用对象之间的紧接在前的相互作用类型从传播模型集合中选通过基于第一和第二相互作用对象的数据应用所选择的传播模型来确定(930)从第二至少基于第一相互作用对象的先前隐藏状态和所确定的传播数据来确定(940)第一相至少基于第一和第二相互作用对象的隐藏状态，使用分类模型来确定(950)相互作用将所确定的相互作用类型提供给自主车辆的行为规划模块，并通过来选择最小化碰撞风险和/或确保与行人的符合社会规范的相互作用的操纵，并基于所选7从训练数据中选择至少一个训练实例，训练实例包括多个相互作用征向量序列；基于编码器模型数据，根据权利要求11的方法，确定相互作用对象对的通过基于所确定的成对相互作用类型序列和解码器模型数据，根据权利要求7的方法化的解码器模型的参数包括用于预测相互作15.一种训练编码器模型和解码器模型的计算机实现的方法(1000)，编码器模型用于从训练数据中选择(1020)至少一个训练实例，训练实例包括多个相互对象特征向量序列；基于编码器模型数据，根据权利要求11的方法定(1900)相互作用对象对的成对相互作用类型的通过基于所确定的成对相互作用类型序列和解码器模型数据根据权利要求7的方法预解码器模型数据，其用于根据权利要求7的方法预测多个相互作用物理对象的对象特编码器模型数据，其用于根据权利要求11的方法将多个物8种计算机可读介质，其包括用于执行以上方法之一的指令和/或供以上方法和系统使用的以被认为是其中例如自主机器人的各种设备根据相互作用动力学而彼此相互作用的系统。相互作用，同时并举学习纯粹来自观察数据的动力学。NRI模型采用变分自动编码器的形通参与者变得更靠近彼此并且例如有与彼此碰撞的危险时，他们的行为将开始彼此影响，9第一相互作用对象与第二相互作用对象之间在离散时间点处的对应成对相互作用类型的状态确定所述第一相互作用对象和第二相互作用对象之间在所述离散时间点处的成对相递和信息共享；通过解码器模型预测第一相互作用对象在当前时间点处的对象特征向量，第二相互作用粒子与所述第一相互作用粒子的相互作用对所述第一相互作用粒子在当前时间点处的隐藏状态相对于所述第一相互作用粒子在先前时间点处的隐藏状态的变化的所述第二相互作用对象到所述第一相互作用对象的传播数据；至少基于所确定的传播数互作用对象的对象特征向量包括在各个离散时间点处的各个相互作用对象的位置、速度、第一相互作用对象与第二相互作用对象之间在离散时间点处的对应成对相互作用类型的状态确定所述第一相互作用对象和第二相互作用对象之间在所述离散时间点处的成对相递和信息共享；通过编码器模型预测第一相互作用对象在当前时间点处的对象特征向量，二相互作用粒子与第一相互作用粒子的相互作用对所述第一相互作用粒子在当前时间点中由所述解码器模型在当前时间点处对所述第一相互作用粒子的对象特征向量的预测包括以下步骤：根据由所述编码器模型在所述当前时间点处针对所述对象特征向量确定的，所述第一相互作用对象和第二相互作用对象之间的所述对应成对相互作用类型的序列中其中传播模型是可训练的图神经网络，用于多个相互作用对象之间的消息传递和信息共过基于第一和第二相互作用对象的数据应用所选择的传播模型来确定从第二相互作用对辆的行为规划模块，并通过所述行为规划模块来选择最小化碰撞风险和/或确保与行人的配置用于基于所述观察对象特征向量确定所述第一相互作用对象和第二相互作用对象之相互作用类型序列，所述确定包括确定与观察数据相对应的相互作用对象的隐藏状态序基于第一和第二相互作用对象的数据应用所选择的传播模型来确定从第二相互作用对象的行为规划模块，并通过所述行为规划模块来选择最小化碰撞风险和/或确保与行人的符成对相互作用类型的序列；通过基于所确定的成对相互作用类型序列和解码器模型数据，法中的由编码器模型执行的相应步骤，确定相互作用对象对的成对相互作用类型的序列；通过基于所确定的成对相互作用类型序列和解码器模型数据根据本发明的方法预测对象想了使用来自多个相互作用类型的集合的相互作用类型来捕获在特定时间点处的对象之接性动力学可以依据在每个时间点处的每对对象之间的相互作用类型来表述。有趣的是，[0008]如本文中提出的使用将潜在连接性动力学建模为成对相互作用类型序列的总体这样的潜在表示可以指示这两个对象在该时间点处根据相应的相互作用类型进行相互作数据确定相互作用类型的编码器模型和用于预测给定相互作用类型的对象特征向量的解基于一对对象之间例如在特定时间点处的当前相互作用类型来动力学地选择要应用的传的推断关系来训练和动力学地使用用于单独相互作用类型的单独传象集合之间的潜在连接性动力学，和/或允许预测与这样的连接性动力学相对应的这样的规划模块的输入，以便选择最小化与其他交通参与者碰撞的风险和/或确保与行人的符合和/或针对其难以获得训练数据的情形(例如危险的交通情形、天气和/或交通状况的罕见间的成对相互作用类型。确定表示和/或使用它们来预测相互作用类型可以利用作为解码以考虑使用概率分布来描述相互作用动力学的多个假设的模型可能比直接训练模型来进互作用类型的问题可以从贝叶斯角度表达为评估在相互作用对象的相互作用类型之上的例如，从第二对象到第一对象的传播数据可以包括如通过递归模型确定的对象的隐藏状使用诸如GRU或LTSM的递归模型来确定该另外隐藏状态。为了确定第一与第二相互作用对型可以包括用于确定相互作用对象的表示和/或基于这样的表示确定成对相互作用类型的[0029]可以由本领域技术人员在本描述的基础上施行任何计算机实现的方法和/或任何[0032]图2示出了用于将多个物理对象之间的成对相互作用分类成多个相互作用类型的[0035]图5示出了如何将多个物理对象之间的成对相互作用分类成多个相互作用类型的[0039]图9示出了将多个物理对象之间的成对相互作用分类成多个相互作用类型的集合[0043]图1示出了用于预测多个相互作用物理对象的对象特征向量的系统100。系统100部通信。数据接口120可以用于访问表示多个相互作用对象的观察对象特征向量序列的观[0044]处理器子系统140可以被配置为在系统100的操作期间并且使用数据接口120来访[0045]处理器子系统140可以被配置为在系统100的操作期间并且使用数据接口120，确征向量，处理器子系统140可以通过基于第一和第二相互作用对象的先前对象特征向量应用所选择的传播模型来进一步确定从第二相互作用对象到第一相互作用对象的传播数据。为了预测对象特征向量，处理器子系统140可以至少基于所确定的传播数据使用预测模型[0046]作为可选部件，系统100可以包括图像输入接口160或用于从诸如相机071的传感被配置为基于经由数据通信123从输入接口160获得的图像数据124来确定观察数据030的已经被下载和/或存储在对应的存储器中，所述对应的存储器例如诸如RAM的易失性存储统的功能单元可以以可编程逻辑的形式、例如作为现场可编程门阵列(FPGA)和/或图形处[0050]图2示出了用于将多个物理对象之间的成对相互作用分类成多个相互作用类型的型数据042表示多个相互作用类型的集合的传播模型集合和分类模型的参数。处理器子系一起训练编码器模型来获得编码器模型数据[0051]处理器子系统240可以被配置为在系统的操作期间，确定与观察数据相对应的相了确定相互作用类型，处理器子系统240可以通过基于第一和第二相互作用对象的数据应用所选择的传播模型来进一步确定从第二相互作用对象到第一相互作用对象的传播数据。为了确定相互作用类型，处理器子系统240可以至少基于第一相互作用对象的先前隐藏状[0052]作为可选部件，系统200可以包括图像输入接口260或用于从诸如相机072的传感被配置为基于经由数据通信223从输入接口260获得的图像数据224来确定观察数据030的成对相互作用类型序列来确定控制信号，并且经由数据通信225将控制信号作为控制信号情形基于确定的成对相互作用类型序列。如通过图2的系统200将多个物理对象之间的成对相互作用分类成多个相互作用类型的集信321进行内部通信。数据接口320可以用于访问表示解码器模型参数的解码器模型数据口320可以用于进一步访问表示多个训练实例的训练数据050。处理器子系统340可以被配[0057]处理器子系统340可以被配置为在系统的操作期间优化解码器模型和编码器模型以通过基于确定的成对相互作用类型序列和解码器模型数据041根据本文中描述的方法、[0058]作为可选部件，系统300可以进一步包括用于获得传感器数据以例如从传感器数[0059]图4示出了如何使用解码器模型预测多个相互作用物理对象的对象特征向量的详[0060]从数学上讲，多个相互作用对象的集合可以由N个相互作用对象的集合v来建象的索引集合可以标示为并且除了第j个对象之外的对象的集合可以标示为多个相互作用对象可以被认为形成完全连[0061]可以基于表示多个相互作用对象的观察特征向量序列的观察数据来预测多个相互作用对象的对象特征。观察到的特征向量可以一起被标示为可测量的特征轨迹集合X=xi]ey,其中表示个体相互作用对象的观察作用对象的数量随着时间保持恒定。表示第二相互作用对象的对象特征向量的圆码器模型能够最佳地基于相互作用类型预测对间t处对相互作用类型(例如，图的边(vi,vj)的类型)进行编码的离散变量。符号[0065]该图示出了可以如何使用解码器模型来预测在时间t=τ处相互作用物理对象集0t-10)和p(zt|zt-1)可以被视为描述特定相互作用类型发生的概率的的因子可以是在时间t处观察到的所有相互作用对象的特征之上的条件概率密度。一般而[0070]在各种实施例中，可以假定观察对象特征向量具有以zt为条件的马尔可夫动力[0072]特定地示出的是分别形成对象特征向量401和402的预测演变的第一和第二对象[0076]预测成对相互作用类型的第一可能性是基于先前成对相互作用类型被当前成对互作用类型411进行采样，可以基于在时间t=τ-1处相同相互作用对象之间的先前相互作用类型410来预测在时间t=τ处的成对相互作用类型411。先前相互作用类型410可能已经如本文中所述被预测，或者，如果先前相互作用类型410与观察数据存在于的时间点相对应，则编码器模型可以用于获得先前相互作用类型410，如例如参考图5和图7所描述的那[0082]预测成对相互作用类型的第二可能性可以牵涉基于相应相互作用对象的先前对地依赖于前一时间步的整个图配置的模型相比具有更了可学习函数和pu,它们有效地实现了单层图神经网络，以在节点之间共享关于过去轨迹的信息。在该示例中，使用softmax来获得预测相互作用类型的概率分[0090]已经获得了第一相互作用对象与第二相互作用对象之间的相互作用类型411，可以包括作为第一相互作用对象的先前对象特征向量的函数计算的第一输入和作为第二相f(v,v)es,,根据第k相互作用类型411，可以如下应用针对该特定相互作用类型的消息函数和[0093]在这种情况下，特定于相互作用类型411的两个消息函数被用于计算传播数据的[0096]其中和标示在类型k＝0的连接之下从节点i到节点j的消息。包括这样的相互作用类型可能是鼓励模型学习如何处置非相互作用对象的[0097]为了预测第一相互作用对象的对象特征向量404，一个或多个第二相互作用对象的传播数据PD可以被聚集成聚集传播数据。优选地，根据置换不变操作来执行聚集，相应的映射和可以应用于聚集的消息和为了帮助训练解码器模型，fd和代地提供概率分布的参数可能是有益的，从所述概率分布可以对预测的对象特征向量404进行采样。例如，以上消息传递函数可以用于计算正态分布的均值PEW"和协方差矩阵被应用于聚集的消息4"和以获得正态分布的参数μ和[0106]作为具体示例，图6示意性地示出了例如在图1和图5中使用的解码器模型的可能[0107]图神经网络(GNN)630可以用于确定用于预测对象特征向量的概率分布的参数。GNN可以将先前对象特征向量的序列嵌入与当前潜在图配置(例如相互作用类型)一起取作[0109]图5示出了如何使用编码器模型将多个物理对象之间的成对相互作用分类成多个互作用对象之间的相互作用类型580进行分类。该分类可以使用多个相互作用对象的观察可以在每个观察到的时间点针对每个相互作用对象确定相互[0111]编码器模型可以通过让分类模型CI570输出对潜在相互作用类型Z的后验分布进型可以被解释为对如例如通过变分推理而获得的真实后φtτ<tφ的变分因子ay(2flz",x)。具体地，近似后验可以建模为：于每个未来观察，可以为每个相互作用对象计算另外隐藏状态bf,并且基于未来观察的另类型580，分类CI可以计算以上作为相互作用对象的隐藏状态以及可选地还有另外前的时间点t=τ-1处，根据先前相互作用类型510的传播模型可以用于确定传播数据PD互作用类型k510的第j个相互作用对象的传播数据PD可以使用基于它们的先前隐藏状态的传播模型来被计算为其他相互作用对象的传播数据PD可以""可以可能地与当前观察到的对象特征向量相组合地被用作当于通过计算例如GRU或LTSM网络之类的递归模型的下一个另[0138]作为具体示例，图7示意性地示出了例如在图2和图6中作为解码器模型使用的神[0140]作为至前向传递730的输入，图神经网络(GNN)710可以用于确定在特定时间点处的相互作用对象的聚集传播数据、例如聚集到第一相互作用对象的传播数据，该第一相互作用对象通过应用例如的传播模型来确定，所述例如的传播模型是根据相互作用对象之间的相互作用类型、例如来选择f,在所述时间点内要确定相互作用类型。因此，可以针对两个相互作用对象确定隐藏状[0141]在后向传递780中，相互作用对象的另次应用递归模型——在这种情况下是GRU781——的相互作用对象的紧接在后的另外隐藏可以优化训练数据050相对于模型参数的边际似然性的变分下界。这些参数可以包括解码器模型的参数041和编码器模型的参数042。在各种实施例中，可以优化变分下界φφ返回的样本然后可以由解码器模型处理，以获得用于相应样本Z的条件概率分布p(X|Z)的可以评估所确定的成对相互作用类型序列(例如它们的变分后验分布)与通过应用解码器模型(例如先验模型)获得的预测相互作用类型之间的散度、例如库勒贝克-莱布勒[0158]的表达式可以推导如下。重建误差项可以通过替换来评估，以获