CN114998780B 基于时空交互注意力机制的行人多目标跟踪计算方法 （南昌航空大学）

号基于时空交互注意力机制的行人多目标跟本发明公开了一种基于时空交互注意力机对提取到的第一帧的融合特征图同时输入检测的预测轨迹位置，获得第二帧的边界框和Re-ID融合,对高层特征进行优化增强,得到更加鲁棒23)对提取到的第一帧的融合特征图同时输入检测分支和Re-ID分支，分别用于检测对4)在检测分支，输入的融合特征图xeRct分别通过3×3卷积与1×1卷积生成热6)将xeRC"输入到通道交互注意力机制中，利用不同通道之间有效信息的交互式(1)中，将先通过全局平均池化AvgPool获得聚合特征3xeR,8)对时空交互注意力机制的输出使用1×1卷积得到行人重识别特征从而提取每个以(x,y)为中心点的对象的128维特9)将步骤4)生成的热图、物体中心偏移量和边界框的大小与步骤8)得到的Re-ID特征4特征更准确的提取Re-ID特征，有望提高在遮挡和强光照情况下多目标跟踪的准确性和鲁和强光照情况下行人多目标跟踪的准确性和鲁棒[0008]3)对提取到的第一帧的融合特征图同时输入检测分支和Re-ID分支，分别用于检[0009]4)在所述检测分支，输入的融合特征图分别通过3×3卷积与1×1卷xaneR"xneR,5次利用组卷积dk×k的方式确定交互的覆盖范围，从而得到通道权重，然后使用σ激活函数[0023]7)经过通道交互注意力机制获得的特征图输入到空间注意力机来聚合一个特征映射的信道信息，生成两个二维映射xweR和f7×7表示[0026]8)对时空交互注意力机制的输出X,eR"的"使用1×1卷积得到行人重识别特征从而提取每个以(x,y)为中心点的对象[0027]9)将步骤4)得到的边界框与步骤8)得到的Re-ID特征使用卡尔曼滤波进行数据关框和Re-ID特征，使用卡尔曼滤波将第二帧的预测轨迹位置与第二帧的边界框进行数据关[0030]本发明通过在多目标跟踪的Re-ID子任务中引入一种新的跨通道协作网络，对高多目标跟踪中检测和Re-ID子任务的协作能力，对于行人被遮挡和强光照区域多目标跟踪6计算具有更高的准确性和更强的稳定性；利用不同通道之间有效信息的交互融合,对高层特征进行优化增强,得到更加鲁棒的全局特征，显著提高遮挡和强光照区域行人多目标跟[0039]请参阅图1-图8，本发明提供了一种基于时空交互注意力机制的行人多目标跟踪[0040]1)输入图1和图2是MOTChallenge数据集中MOT17-03-DPM图像序列的连续两帧图[0042]3)如图4所示，对提取到的第一帧的融合特征图同时输入检测[0049]6)如图6所示，将xeRC输入到通道交互注意力机制中，利用不同通道之间7[0058]7)如图7所示，经过通道交互注意力机制获得的特征图输入到空间注[0061]8)对时空交互注意力机制的输出使用1×1卷积得到行人重识别特征从而提取每个以(x,y)为中心点的对象[0062]9)将步骤4)得到的边界框与步骤8)得到的Re-ID特征使用卡尔曼滤波进行数据关[0064]11)利用匈牙利算法匹配关联结果，从而获得MOT17-03-DPM图像序列第63帧的跟[0065]如图8所示,本发明方法对于跟踪目标在遮挡和强光照情况下具有较高的精度与帧的融合特征图同时输入检测分支和Re-ID分支，其中在检测分支完成跟踪对象的位置检8