CN118887257B 一种红外弱小目标跟踪方法、系统、设备和介质 （江南大学）

得到检测帧图像的特征图；将第T帧检测帧图像的特征图与所述模板帧图像的特征图进行特征帧检测帧图像中红外弱小目标的位置及尺寸大2步骤S1：选取待跟踪红外图像序列中的第一帧图像作为步骤S2：依次加载待跟踪红外图像序列中除第一帧图像以外的第T帧图像作为检测帧步骤S3：将第T帧检测帧图像的特征图与所述模板帧图像的特征图进行特征增强与融z1和fx1作为两个分支分别输入Transformer特征融合模块中的双重注意过Transformer特征融合模块中的两个CFA模块同时接收各自分支的双重注意力模块和另一个分支的双重注意力模块输出的特征图，CFA模块并通过自带的多头交叉注意力机制融ij为fz1和fx1中位置(i,j)在不同膨胀率下的像素集合构成特征ij表示fz1和fx1中位置(i,j)处的查询，Kr和Vr分别表示从K和V中选择的键和值，3步骤S4：判断第T帧检测帧图像是否为所述待跟踪红外图像序列的最后一帧图像；若选取待跟踪红外图像序列的第一帧图像作为依据模板帧图像的标签，计算红外弱小目标的中心坐标，并以该将处理后的模板帧图像进行侧窗滤波后输入红外弱小目标跟踪模型中，利用提取待跟踪红外图像序列除第一帧图像以外的第T帧图像作为检测帧图像，依据上一帧图像中目标的位置信息确定第T帧检测帧图像中目标的检测区域，以检测区域所对应的将固定大小的检测帧图像输入被模板帧图像初始化过的红外弱小目标跟踪定义模型参数的集合Θ,其中包括Transformer特征融合模块和resnet50网络中的所更新ΘEMA中的参数，对于每个属于Θ4其中，t表示当前的迭代次数，ln表示以e为底的对数计算，表示第t轮迭代属于边界框随机扰动：对给定目标的边界框进行随机扰动，该随机扰动6.一种红外弱小目标跟踪系统，用于实现如第一获特征图取模块：用于选取待跟踪红外图像序列中的第一帧图像作为模板帧图第二特征图获取模块：用于依次加载待跟踪红外图像序列中除第一帧图像以外的第T融合与检测模块：用于将第T帧检测帧图像的特征图与所述模板帧图像的特征图进行判断模块：用于判断第T帧检测帧图像是否为所述待跟踪红外图像序列的最后一帧图7.一种电子设备，包括存储器、处理器及5[0003]现有技术中，例如哈佛大学的LucaBertinetto等人在发表的文献“Fully_[0007]步骤S2：依次加载待跟踪红外图像序列中除第一帧图像以外的第T帧图像作为检[0008]步骤S3：将第T帧检测帧图像的特征图与所述模板帧图像的特征图进行特征增强6[0013]将处理后的模板帧图像进行侧窗滤波后输入红外弱小目标跟踪模型中，利用[0014]在本发明的一个实施例中，所述步骤S2中得到得到检测帧图像的特征图的方法[0015]提取待跟踪红外图像序列除第一帧图像以外的第T帧图像作为检测帧图像，依据上一帧图像中目标的位置信息确定第T帧检测帧图像中目标的检测区域，以检测区域所对应的预测框的中心为裁剪中心，将预测框面积四倍的正方形区域进行模板裁剪与图像填[0016]将固定大小的检测帧图像输入被模板帧图像初始化过的[0017]在本发明的一个实施例中，所述步骤S3中将第T帧检测帧图像的特征图与所述模再通过Transformer特征融合模块中的两个CFA模块同时接收各自分支的双重注意力模块和另一个分支的双重注意力模块输出的特征图，CFA模块并通过自带的多头交叉注意力机iii表示第i个头对应的特征图ij为fz1和fx1中位置(i,j)在不同膨胀率下的像素集合构成7)＝C(Hi)Wo**[0036]定义模型参数的集合Θ,其中包括Transformer特征融合模块和resnet50网络中8二参数来实现，再将计算得到的中心点最大偏移量乘以随机向量得到最终的中心点位置，[0052]融合与检测模块：用于将第T帧检测帧图像的特征图与所述模板帧图像的特征图[0053]判断模块：用于判断第T帧检测帧图像是否为所述待跟踪红外图像序列的最后一[0057]本发明构建的红外弱小目标跟踪模型对红外目标的红外弱小目标有较好的目标[0058]本发明构建的双重注意力模块融入了多尺度注意力模块和自注意力模块可以同决了传统单一尺度特征提取在不同距离和视角下[0059]本发明为应对模型训练中的参数波动问题，本实施例中使用移动指数平均EMA方9[0064]图4是本发明实施例中红外弱小目标图像序列经过跟踪后的标签与预测框示意图像使用侧窗滤波(SWF)进行保边降噪，将滤波后的模板帧图像输入红外弱小目标跟踪模标跟踪模型中的Transformer特征融合模块，然后使用框回归网络对红外弱小目标进行检四倍的正方形区域进行模板裁剪与图像填充化过的红外弱小目标跟踪模型，利用resnet50网络对固定大小的检测帧图像进行特征提[0076]If"=F(q,r,[0082]为了深化特征融合效果，将第T帧检测帧图像的特征图与所述模板帧图像的特征再通过Transformer特征融合模块中的两个CFA(cross_featureaugment)模块同时接收各自分支的双重注意力模块和另一个分支的双重注意力模块输出的特征图，CFA模块并通过[0087]本实施设计的双重注意力模块使得跟踪系统能够对目标的多尺度表征进行有效[0088]本实施例通过多次堆叠两个双重注意力模块与两个CFA模块，构建了深度特征融[0089]本实施例中的双重注意力模块包括依次连接的多尺度注意力模块和自注意力模iii表示第i个头对应的特征图像素和中心像素周围的8个像素)，r为2对应中心像素和5*5边缘像素中的8个像素(相当于)＝C(Hi)Wo**[0105](a)定义模型参数的集合Θ,其中包括resnet50网络和Trans外，由于SWF的原因，基线算法在FPS方面比本文算法高。但本实施例方法在总体精度[0129]融合与检测模块：用于将第T帧检测帧图像的特征图与所述模板帧图像的特征图[0130]判断模块：用于判断第T帧检测帧图像是否为所述待跟踪红外图像序列的最后一计语言Java和直译式脚本语言JavaScr现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0137]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或