CN113971433B 预测对象的轨迹的方法和系统 （Aptiv技术股份公司）

US2020057141A1,2020.02.20ZhihuiWang,et.al.Robust_Vehicle_Turn-counts_at_Intersectionan_Integrated_Solution_from_DeIEEE/CVFConferenceonComputeandPatternRecognitionTsung-YiLin,et.al.Focal_LDense_Object_Detection.IEEETRANSAONPATTERNANALYSISANDINTELLIGENCE,VOL.42,NO.2,FEBRUARYHaoXue,et.al.Pedestrian_Tracand_Stereo_Matching_of_TracklAutonomous_Vehicles.IEEE.2019,第I-2022.01.25本发明提供了一种预测对象的轨迹的方法2其中，使用所述递归分量的所述残差骨干包括如下残差骨其中，使用所述递归分量的所述残差骨干包括如下递归7.根据权利要求1所述的计算机实现方法，所述计算机实现方法还包括由所述计算机8.根据权利要求1所述的计算机实现方法，所述计算机实现方法还包括由所述计算机3组件被配置成执行根据权利要求1至13中任一项所16.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含执行根据权利4[0003]通过雷达数据进行多对象跟踪的常规方法执行聚类以将单点检测组合到对象提噪声量(noisiness)和稀疏性，常规方法通常存在将目标与背景区分开以及正确估计目标到递归卷积一步特征金字塔网络(recurrentconvolutionalone-stagefeature5类头可以只参与预测/轨迹片段(tracklet)的生成，只要它指示回归头的输出图内的哪些该方法中使用的网络)可以学习使用来自任意远的时间点的信息，并且不需要缓冲和堆叠[0025]根据另一方面，所述方法的训练包括将训练数据集划分成多个子集和/或保留优6数的多项式的多项式空间的基的元素相关的多个系数。该方法可以为DeepTracker提供多直[0041]根据另一个方面，计算机实现方法还可以包括由计算机硬件组件执行的以下步[0042]回归头可以提供连续的信息(诸如对象的精确位置、尺寸7该方法中使用的网络)可以学习使用来自任意远的时间点的信息，并且不需要缓冲和堆叠[0050]根据另一方面，所述方法的训练包括将训练数据集划分成多个子集和/或保留优序用于指示计算机例如使用所述处理单元和所述至少一个存储单元来执行本文所描述的算机可读介质可以被配置成：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器算机可读介质可以被配置成可以经由诸如互联网连接的数据连接来访问的数据存储装置。[0056]根据各个方面或实施方式的方法和装置提供了一种用于雷达的深度多对象跟踪8[0067]图7是根据各种实施方式的在训练配置中使用多项式表示的DeepTracker的例示[0068]图8是例示了根据各种实施方式的用于确定对象的预测轨迹的参数化的多个参数雷达数据的检测和跟踪问题。各种实施方式可以使用或增强深度学习方法，例如，[0070]基于锚的一步检测网络RetinaNet使用在ResNet骨干之上进行高效多尺度检测的[0071]Fast&Furious跟踪器是被设计用于对LiDAR(光检测和测距)数据进行操作的基于执行跟踪。Fast&Furious通过对多个数据帧的堆叠表示执行3D(三维)卷积来利用时间信9[0073]根据各种实施方式，可以将前述方法混合到递归卷积一大，经典方法可以在不需要复杂的滤波方法或明确的运动模型的情况下取得显著的效果，[0075]图1示出了根据各种实施方式的网络架构的例示图100。递归层堆栈102之后是残[0076]图2示出了根据各种实施方式的网络架构的例示图200。递归残差骨干202之后是特征金字塔106(该特征金字塔可以与图1所示的特征金字塔106相似或相同)。特征金字塔[0082]可以将输入数据302提供给卷积LSTM(长短期记忆网络)304(例如，具有N个滤波方式，可以修改回归头以按照Fast&Furious的方式执行运动预测。由此，可以将Fast&[0085]根据各种实施方式，前向预测是由回归头来处理的(而不是像DeepTracking那样由递归循环来处理的)。操作递归层的这种方式可以容易且高效地以各个帧来生成运动预域中至关重要的时间相关性进行建模方面可[0088]根据各种实施方式，可以将特征金字塔中的最近邻上采的信息分布在较高分辨率输出图中。这可以在如何排列和组合信息方面提供更大的自由，[0089]根据各种实施方式，可以使用在多个旋转时使用边界框先验(boundingbox[0092]图5示出了根据各种实施方式的如何例如基于如图1和图2所示的回归头108和分于多个轨迹片段(具有不同的起始时间步)，可以确定或解码轨迹(多于所述少量时间步的(508)，来自第一轨迹片段、第二轨迹片段以及第三轨迹片段的信息可用。在且可以(进一步)基于第三中间数据来预测且可以(进一步)基于第四中间数据来预测[0106]根据各种实施方式，所述方法的训练可以包括将训练数据集划分成多个子集和/[0108]在欧洲专利申请20187694.3中，公干帧)运动预测的深度神经网络的方法的改进，出于所有目的将该欧洲专利申请的全部内容并入本文并且其可以被称为雷达的深度多对象跟踪器(简称DeepTracker)。运动预测可[0113]在欧洲专利申请19219051.0中给出了一种用于将时间连续的网络输出公式化的于现有的检测在对象自身坐标系内对各个对象执行长期(例如几秒长[0114]根据各种实施方式，DeepTracker被修改成使得其将系数提供给时间连续多项式[0116]2)虽然网络仍然不限制于特定运动模型，但是它被限制于产生时间上平滑的预[0118]图7示出了根据各种实施方式的在训练配置中使用多项式表示的Deeptracker的[0119]位置系数704可以经历多项式求值706以获得位置时间序列708，该位置时间序列可以经历多项式求值712以获得速度时间序列714，该速度时间序列714也可以是回归损失[0121]方向系数716可以经历多项式求值718以获得方向时间序列720，该方向时间序列用标准损失来训练端到端网络。边界框可以从多项式函数计算(例如经由简单的多项式求[0127]许多专用于多项式函数优化的技术(特别是在联合检测和跟踪网络的背景下)是[0128]这些技术可以提高神经网络中基于多项式的运动预测和这些技术可以应用于结合有基于多项式的运动预测和速度估计的[0132]根据各种实施方式的连续网络输出可以应用于多个传感器之间的同步/融合。传[0133]图8示出了例示根据各种实施方式的用于确定对象的预测轨迹的参数化的多个参包括或可以是与预定次数的多项式的多项式空间[0139]根据各种实施方式，使用递归分量的残差骨干可以[0144]根据各种实施方式，该方法的训练可以包括将训练数据集划分成多个子集和/或[0194]800例示了根据各种实施方式