CN117274744B 基于图注意力网络的小目标检测方法 （西安电子科技大学）

本发明提出了一种基于图注意力网络的小这种像素之间的潜在相关性可以被用来提高模过交叉注意力机制学习从不同网络层获取的目标轮廓特征的多尺度相似性并且输出细化的目标轮廓特征来约束预测，能更好地聚合信息特2获取包括多个目标类别的N幅红外小目标图像，并对每幅红外小目标图像中的小目标对象进行标注，再将每个目标类别中半数以上的总共K幅小目标及其对应的标签组成训练和以包括M个级联的门控交叉注意力特征聚合模块GCFA和与每个GCFA连接的head块为分支的输出端相连；M个GCFA分别连接在PGA和解码器中第一到第M_1上采样反卷积模块的输出t＝O；从训练样本集R中随机有放回的选取P个训练样本作为小目标检测网络模型O的输入进通过步骤(4)获得的P个小目标检测结果，对小目标检测网络模型Ot的权值、偏置参数wt将测试样本集E作为训练好的小目标检测网络模型O*的输入进行前向传播，得到N_K个像素到图的注意力模块PGA，包括并行排布且输出端相连的图注意力模块和空间注意活函数的1x1卷积层和一个深度卷积层。3.根据权利要求2中所述方法，其特征在于，步pp3pp行图谱特征提取、空间特征提取，得到Fp的图谱特征图F"、空间特征图F;,注意力模块对(4c)解码器中的M个上采样反卷积模块对每个细化语义特征F'p上采样得到的M个不同深度的局部特征图分别与编码器输出的F的M个不同深度的局部特ppp分支网络的两个分支结构中的M个GCFA对其两路输入进行预处理和深度卷积得到两个采用Dice损失函数LDice，并利用通过分支网络中的head块获取的多个GCFA模块输出结果的预测值和实际值计算分支结构输出的轮廓损失值同时采用BCE损失函数LBCE并利用通过分支网络中的head块获取的多个GCFA模块输出结果的预测值和实际值以及权重系通过解码器head块获取的全局特征图的预测值和实际值计算主干网络Dice损失利用从PGA模块输出结果的预测值和实际值得到的BCE损失将主干网络Dice损失PGA4(5b)通过链式法则计算Lt对权值参数wt和偏置参数bt的偏导和并根据tt5[0007]获取包括多个目标类别的N幅红外小目标图像，并对每幅红外小目标图像中的小目标对象进行标注，再将每个目标类别中半数以上的总共K幅小目标及其对应的标签组成训练样本R，将剩余N_K幅小目标图像及其对应的标签组成测试样本集E，其中N≥500,6[0009]构建包括以包括顺次级联的编码器、像素到图的注意力模块PGA和解码器为主干网络，和以包括M个级联的门控交叉注意力特征聚合模块GCFA和与每个GCFA连接的head块支网络加载在主干网络中编码器的输入端与head块的输入端之间；编码器中的第一残差积模块的输出端相连；M个GCFA分别连接在PGA和解码器中第一到第M_1上采样反卷积模块t＝O；[0013]从训练样本集R中随机有放回的选取P个训练样本作为小目标检测网络模型O的输[0017]将测试样本集E作为训练好的小目标检测网络模型O*的输入进行前向传播，得到[0019]本发明在对小目标检测网络模型进行训练以及获取小目标检测结果的过程中，模块通过交叉注意力机制学习从不同网络层获取的目标轮廓特征的多尺度相似性并且输7[0027]获取IRSTD_1k数据集包含的多个目标类别的N幅小目标图像，输入图像大小为半数以上的总共K幅小目标及其对应的标签组成训练样本R，将剩余N_K幅小目标图像及其[0029]构建包括主干网络和分支网络的小目标检测网络模型O；其中主干网络包括顺次[0031]三个GCFA模块用于获取目标轮廓特征的多尺度相似性并且输出细化的目标轮廓t＝O；[0036]从训练样本集R中随机有放回的选取P个训练样本作为图注意力网络模型O的输入8[0038](4b)像素到图的注意力模块PGA将深度为3的32幅特征图输入图注意力模块和空[0039]在空间注意力模块中32幅特征图先后通过最大池化层MaxPool和平均池化层AveragePool以及带有3×3卷积核的卷积层Conv提取出32幅特征信息，32幅细化特征图输入解码器第一层反卷积层之后与深度为2的32幅特征图结合输入第二层反卷积层，输出结果再与最大池化层输出的深度为1的32幅特征图结合输入第三反卷积层，输出结果再与编码器第一残差块输出端深度为1的32幅特征图结合得到最终[0042](4d)分支网络的两个分支结构中的3个GCFA对其两路输入进行预处理和深度卷积行交叉注意力融合得到3个细化的轮廓特征F",:head块对M个细化的轮廓特征F",进行融合[0043]第一个GCFA模块获取输入样本用拉普拉斯核提取的轮廓特征和PGA模块输出的细出的三组注意力图谱，再进入交叉注意力模块进行交叉注意力融合，得到输送到下一个注意力融合，得到32个门控特征和当前32个轮廓特征；3个GCFA得到3个细化的轮廓特征；head块对3个细化的轮廓特征进行融合得到分支结构输出[0044](4e)32幅全局特征图与三个GCFA模块得到的32个轮廓特征相乘再与自身相加得wt块输出结果的预测值和实际值计算分支结构输出的轮廓损失值引r:同时采用BCE损失函数LBCE并利用通过分支网络中的head块获取的多个GCFA模块输出结果的预测值和实际值以及权重系数计算分支结构输出的轮廓损失值再将和相加得到轮廓损失值Lcon；再利用通过解码器head块获取的全局特征图的预测值和实际值计算主干网络Dice损失利用从PGA模块输出结果的预测值和实际值得到的BCE损失将主干网络Dice9[0055](5b)通过链式法则计算Lt对权值参数wt和偏置参数bt的偏导和并根据