CN114782798B 一种基于注意力融合的水下目标检测方法 （杭州电子科技大学）

本发明公开了一种基于注意力融合的水下的水下目标检测网络。本发明使用Vision-Transformer模块提取输入图像的自注意力信2所述的基于注意力融合的目标检测网络包括主干特征提取网络、PAFPN路径增强特征之后进行注意力信息融合，通过级联的方式传递特征，并根据不同类型所述的区域推荐网络用于对PAFPN输出的每一层特征图做初步检测，检测出可能存在所述的检测头的个数由PAFPN路径增强的特征金字塔模块的层数确定在实际水下场景下拍摄含有感兴趣目标的图片或视频，采用目通过预训练数据集预训练基于注意力融合的目标检测网络的主干特征提取网3构建位置回归损失函数和分类预测损失函数；其中位置回归损失函数采用smoothL1设计基于注意力融合的水下目标检测网络，采用Adam优化器更新模型使用基于梯度下降的Adam优化算法更新水下目标检型梯度的一阶矩和二阶矩；β1和β2分别表示一阶动的PAFPN路径增强的特征金字塔模块中的M取值为5，PAFPN路径增强的特征金字塔模块分54[0007]3、现阶段，基于卷积神经网络的深度学习模型只能用于图像领域，而Vision-Transformer为深度学习计算机视觉领域和自然语言处理领域的大一统提供了有效的标准5[0017]所述的基于注意力融合的目标检测网络包括主干特征提取网络、PAFPN路径增强[0018]图片输入到目标检测网络中，通过主干特征提取网络提取自注意力信息，通过PAFPN路径增强特征金字塔模块提取空间注意力信息，通过检测头内部的SE模块(Squeeze[0025]通过预训练数据集预训练基于注意力融合的目标检测网6vt-1分别表示在t阶段和t-1阶段目标检测模型的7[0054]所述的基于注意力融合的目标检测网络包括主干特征提取网络、PAFPN路径增强[0055]图片输入到目标检测网络中，通过主干特征提取网络提取自注意力信息，通过PAFPN路径增强特征金字塔模块提取空间注意力信息，通过检测头内部的SE模块(Squeeze[0059]所述的区域推荐网络用于对PAFPN输出的每一层特征图做初步检测，检测出可能存在目标的区域并推荐给对应的检测头。区域推荐网络包括分类分支和定位分支两个分8[0062]通过预训练数据集(例如ImageNet数据集)预训练通用目标检测网络的主干特征vt-1分别表示在t阶段和t-1阶段目标检测模型的二阶9[0081]所述的基于注意力融合的目标检测网络包括主干特征提取网络、PAFPN路径增强[0089]根据感兴趣区域划分提取到的多层空间注意力信息，分别输入到对应层的检测的SmoothL1损失函数和Focalloss损失函数衡量定位损失和分类损失，并用梯度下降算[0096]202表示Vision-Transformer模块，通过Vision-Transformer模块对输入的分块[0097]203表示特征金字塔模块，路径增强的特征金字塔模块能够输出多尺寸的特征和[0098]204表示区域推荐网络，通过区域推荐网络做第一次粗糙地检测，输出感兴趣区[0099]205表示检测头，通过检测头对感兴趣区域内的空间注意力信息提取通道间注意接的形式像素级相加，得到单个Vision-Transformer模块的输出。经过多个Vision-Transformer得到主干特征提取网络提取用SE模块(SqueezeExcitationBlock)提取通道间注意力信息。SE模块包括压缩和扩展两表示提取到重要的通