CN113326719B 一种用于目标追踪的方法、设备及系统 （华为技术有限公司）

方法包括：通过传感器获取初始追踪目标(例如行人)的运动轨迹和初始追踪目标所在场景中其踪目标的运动轨迹以及场景中其他目标的运动2通过传感器获取第一目标所在场景包含的目标的运动轨迹，所述根据所述第一目标的运动轨迹以及所述至少一个其他目标的运动轨迹确定第二目标，所述根据所述第一目标的运动轨迹以及所述至少一个其他目标的运动轨迹确定第二对于每一个所述候选目标，将所述第一目标的运动轨迹和所述候选根据所述候选目标的运动轨迹和所述第一目标的运动轨迹建立至少一组轨迹特征对，将所述至少一组轨迹特征对输入至所述第一神经网络，获得所述候选将所述视频帧输入至预训练的第二神经网络，根据输出结果确将所述视频帧输入至预训练的卷积神经网络，输出所述视频根据所述视频帧中所包含的目标的特征以及包围框将所述图模型输入至预训练的图卷积神经网络，3对于所述至少两组传感器中每一组传感器，根据该组传感器所采集的至少两类传感器包括摄像机以及如下两类传感器中的至少一类：毫米波雷达和激光雷达，对于所述该组传感器中的每一类传感器，根据该类传感器所采集的根据所述第一目标的运动轨迹确定所述第一目标轨迹消失的初始时刻为第一所述根据所述第一目标的运动轨迹确定所述第一目标轨迹消失的初始时刻为第一时将所述视频帧输入至预训练的第二神经网络，根据输出结果确定所将所述视频帧输入至预训练的卷积神经网络，输出所述视频根据所述视频帧中所包含的目标的特征以及包围框将所述图模型输入至预训练的图卷积神经网络，所述获取模块，用于获取第一目标所在场景包含的目标的感应数据，所述处理模块，用于根据所述感应数据生成所述第一目标和所述至4所述处理模块具体用于，确定一组候选目标，所述候选目标为对于每一个所述候选目标，将所述第一目标的运动轨迹和所述候选对于每一个候选目标，根据所述候选目标和所述第一目标的运动将所述至少一组轨迹特征对输入至所述第一神经网络，获得所述候选将所述视频帧输入至预训练的第二神经网络，根据输出结果确将所述视频帧输入至预训练的卷积神经网络，输出所述视频根据所述视频数据中所有目标的特征以及所述包围框将所述图模型输入至预训练的图卷积神经网络，对于所述至少两组传感器中每一组传感器，根据该组传感器所采集的述至少两类传感器包括摄像机以及如下两类传感器中的至少一类：毫米波雷达和激光雷5对于所述该组传感器中每一类传感器，根据该类传感器所采集的感所述获取模块用于，通过传感器获取第一目标的感应数据，所述第一目所述处理模块用于，根据所述感应数据生成所述第一目标的运动轨迹；所述处理模块还用于，判断所述第一目标在所述初所述处理模块还用于，将所述视频帧输入至预训练的第二神经网络将所述视频帧输入至预训练的卷积神经网络，输出所述视频数根据所述视频帧中所包含的目标的特征以及包围框将所述图模型输入至预训练的图卷积神经网络，所述处理器执行所述存储器存储的计算机指令，以实现如权利要求1-7中任一项所述所述处理器执行所述存储器存储的计算机指令，以实现如权利要求8-9中任一项所述6对行人或车辆进行追踪，当目标消失后(譬如遮挡)，通过行人重识别(PersonRe-identification，PersonRe-ID，简称为Re-ID)算法在该镜头内对该目标重新进行追踪。[0004]除了上述针对同一目标的追踪场景之外，实际场景中还[0006]本申请提供一种用于目标追踪的方法、设备及系统，在追踪目标更换交通工具7以是北-东-地坐标系下的坐标。本发明的所有实施例对于具体的坐标系类型不做具体限8这一组轨迹特征对输入进神经网络，即可得到当前时刻下该候选目标为第二目标的概率。上述方法将第一目标的轨迹数据分别和各个其他目标的轨迹数据建立轨迹特征对作为神[0015]在另一种可能的实现方式中，第二神经网络包括卷积神经网络和图卷积神经网目标的特征以及所述包围框构建图模型；将所述图模型输入至预训练的图卷积神经网络，选取一段上车的视频并且将这些视频输入至上述卷积神经网络中提取目标的特征以及生9如下两类传感器中的至少一个：毫米波雷达和激光雷达，且两类传感器处于相同的方位。这组传感器包括摄像机和毫米波雷达，这两类传感器安装在街道上的同一电线杆上。本申请实施例对于同一组的至少两类传感器之间的距离不做具体限定，只要保证两类传感器的应范围指的就是它所能拍摄的场景的空间范围；当传感器为雷达时，它的感应范围指的就是它所能探测到的实际场景的空间范围。对于同一组传感器中的每一类传感器，根据该类传感器所采集的感应数据生成对应该类传感器的所述目标的监测轨迹，从而获得目标的至个目标，融合不同类传感器采集的轨迹数据可以采用创新的卡尔曼融合方法：采用统一的先验估计值(上一时刻的最优估计值)，依次与当前时刻不同类传感器的测量值进行卡尔曼新后的追踪目标。上述方法通过分析轨迹的特点去寻找原始追踪目标可能发生切换行为[0023]在另一种可能的实现方式中，第二神经网络包括卷积神经网络和图卷积神经网据生成对应该组传感器的第一目标的运动轨迹，从而获得第一目标的至少两条运动轨迹；如下两类传感器中的至少一个：毫米波雷达和激光雷达，且两类传感器处于相同的方位。这组传感器包括摄像机和毫米波雷达，这两类传感器安装在街道上的同一电线杆上。本申请实施例对于同一组的至少两类传感器之间的距离不做具体限定，只要保证两类传感器的应范围指的就是它所能拍摄的场景的空间范围；当传感器为雷达时，它的感应范围指的就是它所能探测到的实际场景的空间范围。对于同一组传感器中的每一类传感器，根据该类传感器所采集的感应数据生成对应该类传感器的所述第一目标的监测轨迹，从而获得第一值，每个时刻的最优估计值形成了第一目标的运动轨迹。上述方法融合了相邻位置的至少踪效率。[0031]在另一种可能的实现方式中，第二神经网络包括卷积神经网络和图卷积神经网前后一段时间的视频数据，所述视频数据包括所述第一目标可能更新为第二目标的画面；[0037]在另一种可能的实现方式中，第二神经网络包括卷积神经网络和图卷积神经网器(read-onlymemory，ROM)、可编程ROM(programmableROM，PROM)、可擦除的PROM器(read-onlymemory，ROM)、可编程ROM(programmableROM，PROM)、可擦除的PROM使得计算机执行上述第一方面及可能实现方式使得计算机执行上述第二方面及可能实现方式[0053]图8是本申请实施例提供的LSTM神经网络输出的每个时刻下各个其他目标为切换16的前方以及斜后方各有一组监控设备。前方的监控设备10包括监控摄像头11以及雷达本申请提出的方案是：首先根据追踪目标16以及周围目标(例如公交车17或者更多其他的目标)的运动轨迹去判断追踪目标16(原追踪目标)是否发生切换行为(切换交通工具)，如[0069]端侧节点21(TNode)可以用于融合同一感应范围下的视频轨迹以及雷达轨迹。端(摄像机和/或雷达)直接将采集到的感应数据传输至服务侧节点23，由服务侧节点23执行他目标可以是与追踪目标16之间的距离小于20米的交通工具。如果传感器是监控摄像机，数据即为该毫米波雷达所探测到的目标与雷达之间的距离数据；如果传感器是激光雷达，二者采集到的针对追踪目标16的感应数据进行卡尔曼融合，可以得到从方位1这个位置感可以利用车的局部贴地特征或者前后车轮来判断质心以提高视[0083]下面以获取追踪目标16在感应范围1下的运动轨迹为例，融合摄像机11和雷达12下的的运动轨迹。在融合之前，必然需要将追踪目标16的雷达数据(位置)和视频数据(位有一个最优估计位置Ft-1，根据这个上一时刻的最优估计位置Ft-1可以预测得到t时刻的预置A，根据雷达数据可以得到追踪目标的位置B,直接将位置A和位置B进行加权平均计算即[0090]因为在每一个感应范围内都有多个目标(追踪目标16、其他在融合目标在不同感应范围下的轨迹之前需要先将同一目标在不同感应范围下的轨迹关联起来，也就是要确保在融合多个感应范围的轨迹前获得的运动轨迹是属于同一个目标目标轨迹位置P和目标特征C组对其中，代表t时刻目标n在视角k下的轨迹位过聚类算法对各个目标在不同的感应范围下检测到的特征和轨迹位置对进行聚类关联，如果能聚在同一个类别的就判定这些特征和轨迹位置对应属于同一个物体。聚类算法可以是基于密度的聚类算法(DBSCAN，Density-BasedSpatialClusteringofApplicationswithNoise)，本申请实施例对于关联同一目标使用的聚类算如果某个类内有这几个组对信息，那么这几个组对就属[0091]如图6所示，整个表格都是经过聚类算法关联之后追踪目标16在不同时刻以及不方向)和位置推算当前时刻的位置。将目标预测位置和选定的t＝1时刻下的目标测量位置角下的目标测量位置和t＝2时刻下的目标预测位置(根据t＝1时刻的最优估计位置进行预[0095]根据步骤S42可以获得原始追踪目标和其他目标的连续运动轨迹，将原始追踪目标和其他目标的连续运动轨迹输入进预训练的神经网络模型可以判断原始追踪目标是否离L可以采用欧式距离计算公式：滤除过后剩下[0098]LSTM网络是一种时间递归神经网络。LSTM网络(如图10(a)所示)中包括LSTM单元的LSTM单元的输出会集中输入到全连接层(Fullyconnection)，然后通过softmax层输出中Xt-1tXt+1分别为的一组特征对输入进如图10(a)所示的LSTM神经网络模型，即可判断该组特征对是否包含采样时间间隔为1秒，人工找到一段视频，人上车的时刻为11点01分25秒(图11中的01′Vt2Ptt]VtPt3Ptt]Pt2Pt2Vt表示的是候选目标2在t时刻的速率；据速度的方向也可算出目标与目标之间的夹的特征对分别输入至预训练的神经网络，例如长短期记忆网络(LSTM，LongShort-Term至t＝4时刻目标1和2的4个特征对(一组特征对)输入至图10(a)所示的LSTM神经网络，(1)建立的t＝1至t＝5时刻目标1和2的4个特征对(另一组特征对)输入至图10(a)所示的用步骤S42中选取的最佳视角下的视频以外，还可以选取多段包含原始追踪目标发生切换网络(CNN，ConvolutionalNeuralNetworks)、三维卷积神经网络(3DCNN，3D了一张图片的像素矩阵；卷积层中的每一个节点的输入只是上一层神经网络中的一小块，示的是当前帧目标的bbox与下一帧目标的bbox之间的重合度，即IoU(intersectionof[0116]步骤S44是可选的，因此存在如下两种情况：(1)执行步骤S43之后直接执行步骤[0117]步骤S41-S45主要以人上车的场景为例，将追踪目标从追踪目标16切换成了公交模型，采用预训练的图卷积神经网络对视频中的目标是否发生跨目标行为进行二次判断。方法融合单视角下的视频和雷达轨迹；(2)采用卡尔曼滤波方法融合多个视角下同一目标通过原始追踪目标的轨迹去调取相关视频进行行为分析，在一定程度上减少了算力的占取第一时刻前后的视频数据，所述视频数据包括所述第一目标可能发生切换行为的画面；[0139]图16中提到的系统总线可以是外设部件互连标准(peripheralcomponentinterconnect，PCI)总线或扩展工业标准结构(extendedindustrystandard可能包含随机存取存储器(randomaccessmemory，RAM)，也可能还包括非易失性存