CN116348938B 用于预测动态对象行为的方法和系统 （华为技术有限公司）

2023.04.23PCT/CN2021/1033822021.06.30WO2022/100107EN2022.05.19公开了用于预测车辆(105)的环境(100)中征数据，所述时间序列特征数据表示所述环境(100)中对象的特征，所述对象包括感兴趣动态个定义的对象类别中的时间变化对所述共享表表示所述环境(100)中的所述对象的动态性的数据和表示所述车辆(105)的状态的数据一起用于生成表示所述感兴趣动态对象的预测未来行为2接收多个时间序列特征数据，每个时间序列特征数据表示所述环将每个时间序列特征数据分类为多个定义的对象类别中的一个，以个时间序列特征数据表示属于相应定义的对象类别的一个或将每个分类数据集编码为相应的分类表示，每个分类表示表示在所基于所述单个共享表示生成分类交互表示，所述分类交互表示基于所述分类交互表示、表示所述多个对象的动态性的数据和对于属于给定对象类别的给定分类数据集，将所述一个或多个时4.根据权利要求3所述的方法，其特征在于，所述经过训练的神经网络是递归神经网5.根据权利要求1至4中任一项所述的方法，其将所述时间序列传感器数据预处理为一个时间序列特征数据，将表示所述感兴趣动态对象的所述预测未来行为的所述预测数据提供给所述车辆的8.一种用于预测车辆的环境中感兴趣动态对接收多个时间序列特征数据，每个时间序列特征数据表示所述环将每个时间序列特征数据分类为多个定义的对象类别中的一个，以个时间序列特征数据表示属于相应定义的对象类别的一个或3将每个分类数据集编码为相应的分类表示，每个分类表示表示在所基于所述单个共享表示生成分类交互表示，所述分类交互表示是定义的对象类别中的时间变化对所述单个共享表示的最终时至少基于所述分类交互表示、表示所述对象的动态性的过根据时间步长级联所述分类表示以生成所述单个共享表示来组合所对于属于给定对象类别的给定分类数据集，将所述一个或多个时将所述时间序列传感器数据预处理为一个时间序列特征数据，接收表示所述感兴趣动态对象的预测未来行为的所述预测令当由计算系统的处理器系统执行时使所述计算系统执行根据权利要求1至7中任一项所由计算系统的处理器系统执行时使所述计算系统执行根据权利要求1至7中任一项所述的4法和系统(METHODSANDSYSTEMSFORPREDICTINGDYNAMICOBJECTBEHAVIOR)”的第17/097,840号美国专利申请的优先权的权益，所述美国专利申请的内容以引用的方式并入本[0004]许多现有的交互建模方法通常对感测环境中单个动态对象与其它对象(在某些上下文中也称为代理)之间的交互进行编码。对感测环境中的相应单个动态对象与其它动态动态对象与其它动态对象之间交互的编码数据生成对相应单个动态对象将如何行为的准口中)。用于根据感测环境中的单个动态对象与其它动态对象之间的交互生成单个动态对象将如何行为的准确预测的许多现有模型需要估计与单个动态对象交互的其它对象(包括5辆周围的环境)中不同类别的动态对象与静态对象之间的交互编码为感测环境中交互的单测环境中目标动态的预测未来行为可以进一步作为输入提供给车辆的自动驾驶系统(autonomousdrivingsystem，ADS)或高级辅助驾驶系统(advanced-assistivedriving规划。述环境中的多个对象在多个时间步长上的相应特征，所述多个对象包括感兴趣动态对象。每个定义的对象类别的分类数据集，每个分类数据集包括一个或多个时间序列特征数据，和表示所述车辆的状态的数据，生成表示所述感兴趣动态对象的预测未来行为的预测数别的给定分类数据集，将所述一个或多个时间序列特征数据提供给经过训练的神经网络，6述感兴趣动态对象的所述预测未来行为的所述预测数据提供给所述自动驾驶车辆的运动交互表示、表示所述多个对象的动态性的数据和表示所述车辆的状态的数据生成预测数7[0025]图4是本发明的一些实施例提供的用于生成对象行为预测的示例性子系统的框[0026]图5是本发明的一些实施例提供的用于预测动态对象的行为的示例性方法的流程汽车称为自动驾驶车辆，但本发明的教导可以在其它形式的自动或半自动驾驶车辆中实用于半自动驾驶车辆的高级驾驶员辅助系统(advanceddriver-assistancesystem，示例性方法和系统可以适用于在感测环境(也称为感测场景)中准确预测一个或多个感兴和/或使用更少的内存资源来实现经过训练的对象8感兴趣对象的行为的行为预测模型中的挑战是如何对感测环境中不同对象之间的交互进[0034]一些现有的技术方案通过考虑所有单个动态对象(例如，道路使用者，如单个车所有单个对象之间的交互进行建模可能是困难的(例如，需要过于复杂的机器学习模型)基于单个对象交互的方法需要估计交互对象的数量，并且计算复杂性(因此所需的内存资对进行交互建模而非对环境中的相应单个对象与其它对象之间的交互进行建模的示例性9经网络相关的一些概念和可能与预测本文公开的感兴趣对象的动态对象行为的示例性神解为包括第一层(通常称为输入层)、多个隐藏层和最后层(通常称为输出层)的神经网络。个神经元必须连接到第(i+1)层中的每个j.[0043]由于DNN中有大量的层，因此也有大量的权重W和偏移向量DNN中的这些参数的第四神经元到第三层的第二神经元的线性权重表示为上标3表示权重W的层(即，本示的目的是获得经过训练的权重矩阵，该经过训练的权重矩阵由DNN所有层的学习权重W组以被视为使用可训练滤波器对二维(two-dimensional，2D)输入图像或卷积特征图执行卷使用卷积核在同一特征图中的神经元之间共享权重的一个优点是，CNN的卷积层之间的连[0049]反向传播是一种训练DNN的算法。反向传播用于调整(也称为更新)DNN中参数(例[0050]递归神经网络(recurrentneuralnetwork，RNN)是一种神经序列上的数据的时间数据集中，或在信息按文本中单词的顺序编码的文本数据集中)。例导致隐藏层根据序列中的先前输入生成不同的输出。RNN可以被设计成处理任何期望长度105包括车辆控制系统115。车辆控制系统115连接到车辆105的驱动控制系统和机械系统，[0054]车辆105可以包括传感器，本文中示出为收集关于车辆105周围外部环境100的信条件的信息并生成指示这种信息的车辆数据的多个车辆传感器111。可以有不同类型的环传感器数据指示由环境传感器110收集的关于车辆105的外部环境100[0055]车辆传感器111实时或接近实时地将指示关于车辆105的操作条件的收集信息的辆传感器111提供的关于车辆105的操作条件的信息的车辆数据来确定车辆105的线速度、可以使用无线WAN210通过一个或多个通信网络220(例如互联网)访问服务器240(例如驾[0057]一个或多个无线收发器130还可以包括无线局域网(wirelesslocalarea信。WLAN可以包括符合IEEE802.11x标准(有时称为wi-Fie)或其它通信协议的Wi-F移动计算设备(例如智能手机或平板电脑)进行通信。一个或多个无线收发器130还可以包[0058]通信系统100还包括有包括多个卫星的卫星网络260。车辆控制系统115可以使用星是至少一个全球导航卫星系统(globalnavigationsatellitesystem，GNSS)的一部卫星的集合。示例性GNSS包括美国NAVSTAR全球定位系统(globalpositioningsystem，[0059]图2示出了本文描述的一些示例提供的车辆105的选定组件。车辆105包括车辆控115还被连接以接收来自环境传感器11[0061]车辆传感器111可以包括例如惯性测量单元(inertialmeasurementunit，IMU)[0062]车辆控制系统115还可以使用通过卫星接收器132从卫星网络260接收的信号收集onlymemory，ROM)124、闪存可擦除可编程只读存储器(erasableprogrammableread或多个中央处理单元(centralprocessingunit，CPU)、一个或多个图形处理单元(graphicalprocessingunit，GPU)、一个或多个张量处理单元(tensorprocessing[0064]驱动控制系统150向机电系统190提供控制信号，以实现车辆105的物理控制。例[0066]车辆控制系统115的存储器126在其上存储了可由处理器系统102执行的软件指的任务级规划被认为是更高(或更全局)的规划级别，由运动规划子系统315进行的运动级规划被认为是更低(或更局部)的规划级别，并且由行为规划子系统310进行的行为级规划[0069]任务规划子系统305的规划(更简单地称为任务规划)涉及在高或全局级别上规划动规划子系统315的输入的一部分提供。运动规划子系统315涉及基于车辆105的直接环境(或预测)变化的运动规划。[0070]从环境传感器110接收的传感器数据和从车辆控制传感器111接收的车辆数据(以及可选地还从卫星网络260收集的定位数据)可以被ADS和ADAS的感知系统178使用以生成表示环境100的特征的经处理数据(例如，特征向量、占用网格图(occupancygridmap，[0071]感知系统178可以包括任何数量的独立或互连的系统或功能，并且可以例如包括[0073]图3是分类交互子系统400的示例性细节的框图。分类交互子系统400可以是对象子系统400也可以在对象行为预测子系统320之外、规划系统300之外和/或自动驾驶车辆联。预测动作可能不提供关于感兴趣动态对象为执行预测动作而将执行的特定运动(或轨迹)的数据。预测轨迹可以是预测感兴趣动态对象在未来时间间隔内的运动或位置的较低则预测动作可以是向另一车辆行走的行人(这可能与另一车辆将开始移动的未来事件相关联)或穿过道路的行人，则预测轨迹可以是行人到达另一车辆或到达道路另一侧所走的路[0075]输入到分类交互子系统400的特征数据是表示车辆105的环境100的数据。在一些生成的时间序列数据。输入到分类交互子系统400的特征数据可以包括具有不同格式的时如，输入到分类交互子系统400的特征数据可以包括一个或多个特征向量、对象分类数据括表示从较早时间步长到当前时间步长的环境100的各种特征的时间序列数据。特征数据间长度可以适合于缓慢变化的动态环境)。移动时间窗口可用于确保特征数据的时间序列表示所需的时间长度，并且/或者衰减因子(或折扣因子)可用于确保较旧的数据从特征数被分配标识定义的对象类集中的一个对象类的标签)，以将给定时间序列特征数据转换为分类表示。对于每个分类数据集，通过将每个分类数据集(可能包含多个时间序列特征数组合分类表示以形成单个共享表示，该单个共享表示是每个类别中时空变化的单个表示。间步长的数量，n是特征点的数量，则分类表示可以根据从1到m的时间步长索引级联在一起，以获得尺寸为m×5n的单个共享表示(其中，5对应于图3示例中定义的对象类别的数下文向量和注意力向量。例如，Luong等人在“基于注意力的神经机器翻译的有效方法(Effectiveapproachestoattention-basedneuralmachinetranslation)”(arXiv:量生成器424和分类交互编码器426。在其它示例中，可以不存在单独的功能块422、424、[0085]序列注意力分数生成器422为单个共享表示的每个时间步长生成相应的权重分[0086]由序列注意力分数生成器422生成的注意力分数被提供给上下文向量生成器42示的每个特征点对时间序列中的时间变化(即，对单个共享表示的最后一个时间步长的特[0088]分类交互表示是分类交互子系统400的输出。分类交互表示是大小为ci的统一表变化对在最后一个时间步长的所有对象类别的特征的410中的经过训练的RNN，并且经过训练的全连接网络可以包括在交互注意力子系统420或用于提取特征数据的神经网络)可以离线训练(例如，在被包括在对象行为预测子系统练数据(例如感测环境(通常称为场景)的图像序列)。在时空编码器410中实现的任何神经具有梯度下降的反向传播，以便学习(即优化)[0090]由分类交互子系统400生成的分类交互表示可以提供给对象行为预测子系统[0091]图4是对象行为预测子系统320的示例性细节的框图。对象行为预测子系统320可神经网络等)，该神经网络可以被训练以生成表示一个或多个感兴趣动态对象的预测行为[0096]图5是用于基于分类交互生成感兴趣动态对象的行为预测(例如，预测的行为)的传感器110在多个时间步长上生成的传感器数据可以被预处理成多个2D地图(