CN118261853B 基于去重叠和关联注意力机制的x光图像违禁品检测方法 （杭州电子科技大学）

基于去重叠和关联注意力机制的X光图像违本发明公开了基于去重叠和关联注意力机制的X光图像违禁品检测方法，该方法首先获取含有目标边界框和类别标注的X光图像数据集。并在网络主干与颈部之间添加自顶而下的去重叠模块，输出特征图集合f。然后将YOLOv7颈部双向融合特征金字塔结构中的特征融合模块替特征图集合N，输出模型预测的目标边界框和类2步骤2、在YOLOv7的网络主干部分末尾添加分类器CLS，机制处理过的上层的特征F+1以及分类特征图Fcls，输入TD_DOM后得到三个特征图所对应的通道描述符Low＝Sig(PWC(GAP(Fi)))、Mid=sig(PWC(GAP(Ft+2)))以及High＝Sig(PWC对当前层特征Fi进行通道加权得到Fi;相应的空间位置权重sanr=Dwdconv,(Dwconv,(F'));其中的DWdConv7(·)为7x7逐深优化后的输出特征图F;对于主干部分的特征图集合f={FiFie步骤3、将YOLOv7颈部双向融合特征金字塔PANet结构中的特征融合模块FFM替换为增3_1、将PANet中自底向上融合路径中的特征融合模块FFM替换为增强特征融合模块N4、N5层的输出特征图集合N={N'IN'eRsi⃞,i=33特征输入到增强特征融合模块EFFM中：首先输入到特征融合模块FFM得到不同层的特征图集合和最后聚合层的特征图",其中下标j表示为多层串联的卷积结构中该层为最终聚合层之前的第j层；然后将c+a和输所述关联注意力RA由桥接注意力模块BA和桥接空间注意力模块BSA两部分组成，具体同通道的特征权重u:-sig(conv,(Relu(sum(Iconv"(CAP(f";E:")1)))),其中，213_2_3、对于特征图集合X进行步骤3_2_2的操作，得到颈部最终的特征图集合步骤4、在YOLOv7网络头部添加额外的无需锚框的检测头，将4_1、在YOLOv7网络头部添加额外的无需锚框的检测头AF_He44_2、通过OTA标签分配策略对AB_Head得到的特征图HAB进行筛选，得到正样本，使用CIOU损失函数计算正样本中预测框和真实框的误差使用交叉熵损失函数计算预测类4_3、通过TAL标签分配策略对AF_Head得到的特征图HAF进行筛选，得到正样本，使用CIOU损失函数和DFL损失函数计算正样本中预测框和真实框的误差使用BCE损失函数3.根据权利要求2所述的基于去重叠和关联注5[0004]随着卷积神经网络的发展，基于深度学习的X射线安检图像违禁品检测方法取得使用高级语义作为引导信号来反向过滤掉中级特征中的不相关信息；Wei等人强调了违禁出了全过程特征融合和局部_全局语义依赖交互的新思想来改进违禁物品的自动检测，设[0005]针对上述问题，本发明提出一种基于去重叠和关联注意力机制的X光图像违禁品目标识别的准确率，而且使用的DFL损失函数通过灵活建模边界框来有效应对显著的类内6[0009]步骤(3)将YOLOv7颈部双向融合特征金字塔PANet结构中的特征融合模块FFM替换为增强特征融合模块EFFM，将自顶而下的去重叠模块TD_D[0010]步骤(4)在YOLOv7网络头部添加额外的无需锚框的检测头AF_Head。将步骤(3)输和3,4,5},使用回归[0015](2_3)在网络主干与颈部之间添加三个用于去除复杂背景与目标物体重叠带来的TD_DOM机制处理过的上层的特征Fi+1以及分类特征图Fcls，输入TD_DOM后先得到三个特征图所对应的通道描述符Low＝Sig(PWC(GAP(Fi)))、Mid=sig(PWC(GAP(F+4)))以及High[0017](2_3_2)将通道选取部分得到特征图Ft输入到空间激活部分，其经过空间激活部分得到相应的空间位置权重sasr=Dwdconv,(Dwconv,(FF));其中的DWdConv7(·)为7RC",7[0019](3_1)将PANet中自底向上融合路径中的特征融合模块FFM替换为增强特征融合模[0020](3_2)将步骤(2)得到的优化特征图集合RC"i,和低级特征fi,上标i表示在第i层。高级特征fiC,特征Xi+1和低级特征Xi，低级特征经过均值始低级特征输入到增强特征融合模块EFFM中：首先输入到特征融合模块FFM得到不同层的特征图集合和最后的聚合层的特征图2,其中下标j表示为多层串联的卷积结构中该层为最终聚合层之前的第j层。然后将c+1和输入到关联注意力机制RA中得到Ni+1。关联注意力RA由桥接注意力模块BA和桥[0023](3_2_2_1)BA模块桥接特征融合模块FFM中最后聚合层的特征图以及多层串联的卷积结构中的不同层的特征图集合将特征图集合和输入到BA模块中，数，conf"为1×1卷积，j表示第j层的卷积，e表示为最后聚合层的卷积，Sig(·)为[0024](3_2_2_2)将特征图集合ct1和输入到BSA模块，得关联空间注意力权重721为Sigmoid激活函数。对(3_2_2_1)的输出Lmia进行增强，得到最终的模块输出特征图[0026](3_2_3)对于特征图集合X进行步骤(3_2_2)的操作得到颈部最终的特征图集合8和其中输出用CIOU损失函数计算正样本中预测框和真实框的误差使用交叉熵损失函数计算预测用CIOU损失函数和DFL损失函数计算正样本中预测框和真实框的误差使用BCE损失函[0031]进一步，步骤(5)训练过程中，根据(4)中计算方式，计算目标分类损失Lcts=[0033]本发明提出一种基于去重叠和关联注意力机制的X光图像违禁品检测方法，该方[0041]本实例提出了一种基于去重叠和关联注意力机制的X光图像违禁品检测方法。首9测头AF_Head，无需锚框的设置增加了小目标的正样本数目，从而提高小目标识别的准确[0044](1_1)将获得到X光图像数据集划分为训练集1,2…,N}[0045](1_2)每个训练图像样本If都有相应的标签yi=vio=(cio,bi,0)lD=1,…,NO3;其中Ng表示图像样本中包含的目标数，cioEf1,2,…,c}表示中第0个目标的真实类别[0047]步骤(2)构建额外的分类器CLS和解决重叠问题的自顶而下去重叠模块TD_DOM，DOM过滤的优化特征图集合F,具体是：ci,重叠带来的噪声影响的TD_DOM机制，将网络主干部分得到的特征图集合F输入到TD_DOM。块TD_DOM处理过的上层的特征以及分类特征图Fcls，输入TD_DOM后先得到三个特征图所对应的通道描述符Low＝Sig(PWC(GAP(Fi)))、Mid=sig(pwc(GAP(Ft+)))以及High=维度串联。再对当前层特征Fi进行通道加权得到Fi,从而达到去除复杂背景与目标物体重[0052](2_3_2)将通道选取部分得到特征图Fi输入到空间激活部分，其经过空间激活部应优化的特征图集合F=tF'lF'eRC",i=3,4,5}。[0053]步骤(3)构建如图4所示的增强特征融合模块EFFM，替换颈部中的特征融合模块[0055](3_2)将步骤(2)得到的优化特征图集合输入到改字塔中得到颈部N3、N4、N5层的输出特征图集合N=(W'WW'e具体如X={x'IxieRii,始低级特征输入到增强特征融合模块EFFM中：首先输入到特征融合模块FFM得到不同层的特征图集合和最后的聚合特征图其中下标j表示为多层串联的卷积结构中该层为最终聚合层之前的第j层。然输入到关联注意力机制RA中得到Ni+1。关联注意力RA由桥接注意力模块BA和桥接空间注意[0058](3_2_2_1)BA模块桥接特征融合模块FFM中最后聚合层的特征图以及多层串联的卷积结构中的不同层的特征图集合Li+1。将特征图集合ct1和输入到BA模块中，数，conv"为1×1卷积，j表示第j层的卷积，e表示为最后聚合层的卷积，Sig(·)为[0059](3_2_2_2)将特征图集合ci+1和输入到BSA，得到关联空间注意力权重721为Sigmoid激活函数。再对(3_2_2_1)的输出Lmia进行增强，得到最终的模块输出特征图[0061](3_2_3)对于特征图集合X进行步骤(3_2_2)的操作得到颈部最终的特征图集合[0063](4_1)在YOLOv7网络头部添加额外的无需锚框的检测头Anchor_freeHead，简称检测的Anchor_BasedHead(AB_Head)和无需锚框检测的AF_Head。输出得到最终的预测输用CIOU损失函数计算正样本中预测框和真实框的误差使用交叉熵损失函数计算预测