CN113807187B 基于注意力特征融合的无人机视频多目标跟踪方法 （北京工业大学）

WO2020155873A1,2020.08基于注意力特征融合的无人机视频多目标本发明公开了基于注意力特征融合的无人计的多尺度信息融合通道更有利于对无人机航无人机视频中多目标轨迹预测的精准度进一步2S1：选取大量无人机航拍视频，并对其中多目标进S2：构建无人机多目标跟踪算法网络模型并进行训S4：利用训练好的算法模型提取对于第一帧的目S11：重复S5-S10直到处理完全部无人机视频帧，得到并输出视频多目标跟踪轨迹结2.根据权利要求1所述的基于注意力特征融合的无人机视频多目标跟踪方法，其特征3.根据权利要求1所述的基于注意力特征融合的无人机视频多目标跟踪方法，其特征3要体现在多目标检测网络性能的不断提高与数据关联模型的不断致无人机视觉多目标跟踪的应用场景的相较于固定场景的人员车辆的多目标跟踪较为复4在无人机应用场景中会以为物体被频繁遮挡而使跟踪轨迹碎片化，且对目标外观特征变[0006]现有无人机多目标跟踪算法针对固定拍摄角度下的多个人物目标或车辆目标都征使关联算法对无人机视频中多目标轨迹预测的精准度进[0007]为达到上述目的，本发明提出基于注意力特征融合的无人机视频多目标跟踪算5[0019]S7：将当前帧重识别特征组与上一帧的卡尔曼滤波预测结果进行匈牙利算法匹成是否含有目标中心点的概率值，计算概率值与真实值的差得到模型损失并优化损失函于无人机采集视频中由于目标背景复杂、单个目标占比较小和拍摄角度高度多变等问题。[0026]本发明上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明[0027]图1为本发明实施例的基于注意力特征融合的无人机多目标跟踪算法的流程图；6而另外两个部分则是替代了原本CBAM中的通道注意力模块。将ChannelAttention中对于输入卷积块进行的全局最大池化(Globalmaxpooling，GMP)与全局平均池化(Globals.-丽丽而(1)[0040]同理把特征块按照H维度在(C×W)平面上进行降维，提取通道维与宽度维的关联顺序还原得到三元组注意力中的像素横向位置与通道的联合注意力7征可以使其在通道上包含更多的跨纬度特征响应，为了最大优化跟踪任务中的重识别特TA-ResNet提取网络得到的注意力特征，其中第一层的为网络经过4x快速下采样得到初级语义特征层，后三层分别为输入图像依次通过特征提取网络得到的采样倍率分别为{8x,、[0052]1)将下采样层得到的输出特征C4经过保持特征尺度的可变形卷积层[0055]2)将P4与C3经过上采样Deform-conv层得到的输出P34进行加权融合，并经过转置8[0064]为了避免特征信息冗余，同时为了后续分组关联任务所过学习中心点及中心点附近的特征来预测中心点位置。使用改进的FocalLoss[12]来优化9应点之间不同的能力，对此选择交叉熵损失函数尽可能的最大化响应点特征之间的差异，为4x的输出特征，再将网络输出特征进行分组预测以得到两帧间数据关联任务所需要的预测的中心点位置。目标框大小的形状(B-boxsize)与中心点偏移(Centeroffset)特征头的形状均为(2,H,W)，框大小回归给出了热图中每个位置上目标框的宽高(W,H)预测值，[0088]S7：将当前帧重识别特征组与上一帧的卡尔曼滤波预测结果进行匈牙利算法匹的匹配附加上惩罚项，组成代价矩阵(costmatrix)。而后利用匈牙利算法结合cost