CN115035159B 一种基于深度学习和时序特征增强的视频多目标跟踪方法 （浙江大学）

一种基于深度学习和时序特征增强的视频于深度学习和时序特征增强的视频多目标跟踪模型结构应用到多目标跟踪的数据关联匹配过2S4、模型的后处理推理，将所述改善后的模型S311、通过数据集的标注信息获取上一帧中特征图进行相似度计算得到上一帧中每一个物体与当前帧每一个S321、利用热度图中得到上一帧可能存在的目标数目，并S322、设置一个阈值，若上一帧的中心点与2.根据权利要求1所述的一种基于深度学习和时序特征增强的视频多目标跟踪方法，3.根据权利要求1所述的一种基于深度学习和时序特征增强的视频多目标跟踪方法，S21、将模型上的骨干网络的解码器改为两个相同结构的解码器分别用于目标检测与S23、将提取到特征同时输入所述两个结构相同的解码器中分别进行目标检测与ReID4.根据权利要求3所述的一种基于深度学习和时序特征增强的视频多目标跟踪方法，5.根据权利要求1所述的一种基于深度学习和时序特征增强的视频多目标跟踪方法，3S44、将第三帧中未匹配上的物体与上一帧的物体进行iou4年也出现了很多基于中心点的目标检测anchor-free算法，例如CenterNet，FCOS，标检测算法进行结合完成多目标跟踪任务。同样可以基于anchor-free框架实现多目标跟需要最大化同一类别的所有物体之间的距离，因而如果两种子任务在训练时共享较多参5[0017]S21、将模型上的骨干网络的解码器改为两个相同结构的解码器分别用于目标检[0018]S22、模型输入改为双帧输入并将两帧图像进行参数共享后通过编码器进行特征[0019]S23、将提取到特征同时输入所述两个结构相同的解码器中分别进行目标检测与征图进行相似度计算得到上一帧中每一个物体与当前帧每6[0035]本发明提供的一种基于深度学习和时序特征增强的视频多目标跟踪方法可以实两种任务在训练时可能存在一定冲突的问题进行改善，将目标检测和ReID分支进行了分心点特征并添加了特征加强模块，从而去改善模型在无人机视频序列上的多目标跟踪性型的ReID分支的训练效率以及保证了跟踪匹配7多类别。[0055]本发明以FairMOT作为原始的基准结构，FairMOT是基于CenterNet所构建的端到FairMOT网络框架的特征提取部分，考虑到目标检测与ReID任务在训练时存在一定程度上[0056]S21、将模型上的骨干网络的解码器改为两个相同结构的解码器分别用于目标检8有的FairMOT上的这两块结构的功能是通过四个分支实现，而这些分支共享同个编码器与解码器。本发明的模型在这方面的结构调整主要是将骨干网络DLA34的解码器部分进行改[0058]S22、模型输入改为双帧输入并将两帧图像进行参数共享后通过编码器进行特征[0060]S23、将提取到特征同时输入所述两个结构相同的解码器中分别进行目标检测与[0061]将得到的特征同时输入到两个解码器中，分别进行目标检测时序信息构建ReID任务模块改善模型结构，如图2所示为本发明第一种利用时序信息构建[0063]第一种利用时序信息构建ReID任务模块改善模型结构分征图进行相似度计算得到上一帧中每一个物体与当前帧每9[0072]由于在推理阶段中存在上一帧出现的物体可能在当前帧消失的情况，针对该情[0073]第二种利用时序信息构建ReID任务模块改善模型结构具体为将上一帧的热度图、上一帧的特征图以及当前帧的特征图进行特征融合；如图3所示为本发明第二种利用时序[