CN114972418B 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 （北京航空航天大学）

基于核自适应滤波与YOLOX检测结合的机动本发明公开了一种基于核自适应滤波与用基于YOLOX的目标检测网络对视频序列当前帧然后利用运动相似度与外观相似度对检测结果果继续采用完全交并比指标CIoU进行第三重匹以上过程完成对整个视频序列中的多目标的持2US10762644B1,2020.09.01US2020051250A1,2020.02.13TrackingwithSiameseRegionPComputerVisionandPatternReco3步骤1：通过YOLOX目标检测网络对待跟踪视频步骤32：提取第一重匹配中未能正确匹配的跟踪步骤33：计算第二重匹配中未能正确匹配的跟踪框和步骤5：提取所述待跟踪视频序列的下一帧，并重复所2.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，步骤11：根据训练视频序列生成目标检测数据集，并将所述目标3.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，4步骤24：根据输入的待跟踪训练视频序列，利用4.根据权利要求3所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，步骤211：预设核自适应滤波器在当前时刻n的输入X(n)由目标在前k个时刻的目标状核自适应滤波器输出为(n),用来估计n时刻的目标状态信息x(n)；k取值为小于m的正整步骤212：采用核自适应滤波器通过学习非线性映射f(·)构建相应的输出f(X(n))作为n时刻状态信息x(n)对应的估计值(n),f(·)表示成如下的线性形式：f()='p()Q=21ap(x())(2)5.根据权利要求4所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，其特征在于，所述步骤23中预设核自适应滤波器的步长参数μ、核函数的参数、训练的5根据每一步迭代的误差e来更新核自适应滤波器的权重矢量Ω,不断更新调整非线性6.根据权利要求1所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，步骤311：计算当前帧检测框与由上一帧预测得到的跟踪框之间的平方马氏距离作为网络检测得到的第j个目标检测框的位置与尺寸信息；为由目标多模态运动状态预测模型预测估计得到的第i个目标跟踪框的位置与尺寸信息，使用4维向量[x,y,测与检测到的位置与尺寸信息；Si为目标多模态运动状态预测模型预测得到的第i个跟踪步骤312：计算外观与运动特征判别矩阵B(1)使用行人重识别网络提取固定长度的外观特征向量表示第i个跟踪框的前面个目标的最近Mk个成功关联的轨迹跟踪结果之间的外观特征向量间的最小余弦距离d2(i,6功匹配到跟踪框的检测框UD和未能成功匹配到7.根据权利要求6所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，步骤321：计算跟踪框以及检测框所包含图像的方向颜色空间特征向量p由从HSV色彩空间提取的特征向量phist与方向梯度直方图提取的特跟踪框i与检测框j提取的颜色空间特征向量分别为pi与pj，计算跟踪框i与检测框j之间的颜色空间特征向量的余弦相似度作为余弦相似度矩阵Q的8.根据权利要求7所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，跟踪框Bp与检测框Bg的左上角坐标分别为与右下角坐标分别为7计算CIoU指标判别矩阵B(3)，B(3)(i,j)用9.根据权利要求6所述的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，将处于MTD状态的目标检测框的信息加入对应核自适应滤波器的输入集合，用于预测lostUD状态说明当前的检测框是新出现目标，没有任何一个已有目标的跟踪框能与之匹8[0001]本发明涉及计算机视觉技术领域，更具体的说是涉及一种基于核自适应滤波与仅对单帧图像进行目标检测或者是对视频序列所有帧使用单目标跟踪的效果都无法满足时去找寻与初始化的标注最相似的区域作为跟踪的依据，但是此种方法的缺点也相对明9[0005]有鉴于此，本发明提供了一种基于核自适应滤波与YOLOX检测结合的机动多目标踪结果进行第一重匹配。对未匹配成功的结果采用颜色空间特征相似度进行第二重匹配。[0009]在训练阶段，构建YOLOX目标检测网络，利用视频序列生成目标检测数据集并对[0011]根据训练视频序列获取YOLOX目标检测网络的目标检测数据集；所述目标检测数随机排布的方式进行拼接，增强网络对小目标的检测效果，处理通过自顶向下的方式将高层的特征信息通过上采样的方式进行传递融合，PAN则把浅层的[0019]步骤13：网络参数更新；利用所述测试集计算所述YOLOX目标检测网络的损失函出与目标检测数据集中记载的图像的真实标注值计算损失函数，包括置信度损失将当前帧图像送入训练完成的YOLOX-S目标检测网络，可以得到当前帧中的目标位置与尺[0023]对于出现在第一帧(或者小于等于k帧时)的目标，为其分配输入仅为上一帧的核置与尺寸信息来预测当前时刻的状态信息，假设核自适应滤波器在当前时刻n的输入X(n)构建相应的输出f(X(n))作为n时刻状态信息x(n)对应的估计值(n),f(·)可以表示成如[0031]f()='p(·)以将核自适应滤波器分为核递归最小二乘算法(KernelRecursiveLeastSquares，续多帧的检测框的中心位置以及尺寸大小，提取训练视频序列当中的不同目标的标注结自适应滤波与YOLOX检测结合的机动多目标跟踪方法非线性预测的鲁棒性与泛化性能；合[0043]根据每一步迭代的误差e来更新核自适应滤波器的权重矢量Ω,进而不断更新调整映射f(·)，映射将输入X(t)映射到特征空间结果为o(x(r)),则第t次迭代的误差e标检测网络检测得到的第j个目标检测框的边框位置与尺寸信息；为由目标多模态运动状态预测模型预测估计得到的第i个目标跟踪框的位置与尺[0057]使用行人重识别网络(ReID)提取固定长度的外观特征向量表示第i个跟踪框的前面第k帧的外观特征向量，将前k帧的目标跟踪框提取的外观特征向量形成集结果与第i个目标的最近Mk个成功关联的轨迹跟踪结果之间的外观特征向量间的最小余弦[0068]步骤321：计算跟踪框以及检测框所包含图像的方向梯度直方图(Histogram[0069]颜色空间向量p可以由从HSV色彩空间提取的特征向量phist与方向梯度直方图HOG测框j之间的颜色空间特征向量的余弦相似度作为余弦相似度矩阵Q的第i行第j列元素Q[0080]设跟踪框Bp与检测框Bg的左上角坐标分别为与右下角坐标分[0088]步骤332：根据步骤33中未能正确匹配的UD与UT状态下的跟踪框与检测框，计算CIoU指标矩阵O，它的第i行第j列元素O(i,j)为第j个目标边框与第i个跟踪框之间CIoU指[0093]将处于MTD状态的检测框信息加入对应核自适应滤波器的输入集合，用于预测目lost应滤波与YOLOX检测结合的机动多目标跟踪方法，针对基于检测的机动多目标跟踪方法在运动跟踪器和数据关联匹配的三个关键环节进行了相应改进。本发明引入YOLOX目标检测方面的预测准确度；针对线性滤波模型在预测非线性的运动模态存在估计精度不足的问关联匹配方法的匹配精度问题，从HSV色彩空间和梯度方向直方图这两个维度对图像进行[0107]图7附图为本发明提供的本发明在第430和441帧的黑夜密集多目标场景下跟踪结[0108]图8附图为本发明提供的原始DeepSORT方法在第430和441帧的黑夜密集多目标场[0110]图10附图为本发明提供的原始DeepSORT方法在红外场景下第231和239帧跟踪结[0111]图11附图为本发明提供的本发明在机动大场景下第163和175帧的跟踪结果示意[0112]图12附图为本发明提供的原始DeepSORT方法在大机动场景下的第163和175帧的[0114]本发明实施例公开了一种基于核自适应滤波与YOLOX检测结合的机动多目标跟踪[0119]对VisDrone2019与MSCOCO数据集当中不同视角与场景下的小目[0130]前景判断输出主要判断目标框是前景还是背景，因此经过Sigmoid处理后变为20[0134]通过YOLOX-S的实际输出与图像的真实标注值计算损失函数，包括置信度损失用阶段使用离线训练得到的基于核自适应滤波器的目标状态预测模型进行当前帧的预测，测试数据集的长度分别为4000与250，转弯数据集的训练与测试数据集的长度分别为4000[0168]计算当前帧检测框与由前k帧预测得到的跟踪框之间的平方马氏距离作为运动匹检测网络检测得到的第j个目标检测框的位置与尺寸信息；为由目标多模态运动状态预测模型预测估计得到的第i个目标跟踪框的位置与尺寸信息，使用4维向量[x,y,w,h]来表示预测与检测到的位置与尺寸信息；Si为目标多模态运动状态预测模型预测得到的第i个[0174]使用行人重识别网络提取固定长度为128的外观特征向量表示第i踪目标的前面第k帧的外观特征向量，将前边一段时间保留的目标跟踪框提取的外观特征[0177]计算Pi集合中特征向量与当前帧第j个检测结果的外观特征向量间的最小余弦距实验验证，普通场景取γ=0.5，红外场景取γ=D;[0184]3)从刚匹配成功的跟踪框循环遍历到最多已经有Amax次没有匹配的跟踪框，优先[0185]4)逐一计算第i个目标跟踪框历史中的所有特征向量与第j个物体检测框之间的[0186]5)更新M,加入匹配成功的检测框与跟踪框；[0192]颜色空间向量p可以由从HSV色彩空间与提取的特征向量phist与方向梯度直方图[0195]计算跟踪框i与检测框j之间的颜色空间特征向量的余弦相似度作为Q的第i行第j[0199]遍历S31未能正确匹配的UD与UT状态下的跟踪框与检测框，根据得到的跟踪框与[0204]设跟踪框Bp与检测框Bg的左上角上标分别为与右下角坐标分[0213]根据S32中未能正确匹配的UD与UT状态下的跟踪框与检测框，计算CIoU指标矩阵[0218]将处于MTD状态的检测框信息加入对应核自适应滤波器的输入集合，用于预测目[0222]UD状态说明检测框是新出现目标，没有任何一个已有目标的跟[0224]本发明方法与原始DeepSORT(SimpleOnlineandRealtimeTrackingwithaMOTA反映目标跟踪准确性，取值越大则代表跟踪效果越好；MT表示匹配成功时长高于80%[0232]图7-8分别为本发明与原始DeepSORT方法在夜晚密集多目标场景下第430帧与441[0233]图9-10分别为本发明与原始DeepSORT方法在红外场景下第231帧与239帧的目标[0234]图11-12分别为本发明目标追踪效果图与原始DeepSORT方法在大机动场景下第测能力优于DeepSORT方法所采用的卡尔曼滤波，同时本发明从HSV色彩空间和梯度方向直[0236]本发明的基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，相对于原[0237](1)本发明的目标检测效率