CN116152650B 基于CNN和Transformer双向协同指导网络的海洋生物检测方法 （宁波大学）

基于CNN和Transformer双向协同指导网络本发明公开了一种基于CNN和Transformer尺度的特征的双分支跨层级渐进特征融合模块三部分组成的深度神经网络，作为基于CNN和Transformer的双向协同指导网络；使用扩展训测试集中的每幅图像对应的伪装海洋生物检测2始图像；然后对数据集中的每幅原始图像进行预处理，使预处理后的图像的尺寸为H'xW'向协同指导网络；骨干网络包括用于提取图像的高层语义信息的基于CNN的Resnet50_backbone网络和用于提取图像的空间和纹理信息并将提取的空间和纹理信息补充到Resnet50_backbone网络所捕获的特征图上的Transformer_backbone网络，Resnet50_backbone网络共具有依次连接的五层，Transformer_backbone网络共具有依次连接的两层，Transformer_backbone网络由基于Transformer的PVT网络中的第一层和第二层构成；Resnet50_backbone网络的第一层的输入端和Transformer_backbone网络的第一层的输入端同时接收一幅尺寸为HxWx3的图像，在Resnet50_backbone网络中第二层的输入端接收寸为的特征图R3、第五层的输入端接收第四层的输出端输出的尺寸为的特征图R4、第五层的输出端输出尺寸为的特征图R5，在Transformer_backbone网络中第二层的输入端接收第一层的输出端输出的尺寸为通道个数为1的卷积层得到的尺寸为HxWx1的用于辅助训练的特征图P1；双分支跨层级渐的输出端输出对P2'进行四倍上采样操作后3步骤4：使用扩展训练集对步骤2搭建的深度神经束深度神经网络输出扩展训练集中的每幅图像对应的用于辅助训练的特征图P1和用于训wbce步骤5：按照步骤4的过程共进行150个epoch2.根据权利要求1所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方3.根据权利要求1所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方4一个特征增强模块进行特征增强，该特征增强模块的输出端输出尺寸为的特1、输入通道个数为6、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图R57；通过通道拼接的方式对R57与T2进行特征融合，得到尺寸为输入模块的输出端输出尺寸为的特征图f2'3；将f2'3通过一个卷积核大小为3x3、5为HxWx1的用于辅助训练的特征图P1。4.根据权利要求3所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图s11；将输入通道个数为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图6图s31层，该卷积层的输出端输出尺寸为的特征图s51；通过通道拼接的方式对s14、输出端输出尺寸为的特征图s1'234；通过特征相加的方式对s1'5.根据权利要求3或4所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方法，其特征在于所述的基于Transformer的Transf模块由基于Transformer的PVT网络中的第一层构成，其输入的特征图的尺寸为其输出的特征图的尺寸为6.根据权利要求3所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方7 对T2'进行两倍上采样操作后得到的尺寸为的特征图和P1'通过跨层特征融合模块进行跨层级的特征融合，该跨层特征融合模块的输出端输出尺寸为的特7.根据权利要求6所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方8填充8.根据权利要求6所述的基于CNN和Transformer双向协同指导网络的海洋生物检测方9基于CNN和Transformer双向协同指导网络[0001]本发明涉及一种目标检测技术，尤其是涉及一种基于CNN(卷积神经网络)和Transformer双向协同指导网络[0003]海洋经济发挥着越来越重要的作用，水下海洋生物检测也受到了越来越多的重提升水下图像的能见度，以及如何提升水下海洋生物检测的准确度等都是值得研究的方下伪装目标检测更适用于水下海洋生物检测。水下海洋生物检测作为新的领域备受关注，物的检测方法显得尤为重要。经过调研，目前已经存在规模比较大的数据集，主要是以这些数据集的提出极大地促进了伪装目标检测和海洋生物检测U_Net网络的出现，因其采用多级特征重建高分辨率预测结果的能力而受到广泛关注。最[0007]本发明所要解决的技术问题是提供一种基于CNN和Transformer双向协同指导网×W'×3，且使预处理后的图像的R通道的所有像素点的像素值的均值为0.485和方差为练集和测试集中均包含海洋生物图像和非海backbone网络和用于提取图像的空间和纹理信息并将提取的空间和纹理信息补充到Resnet50_backbone网络所捕获的特征图上的Transformer_backbone网络，Resnet50_backbone网络共具有依次连接的五层，Transformer_backbone网络共具有依次连接的两层，Transformer_backbone网络由基于Transformer的PVT网络中的第一层和第二层构成；Resnet50_backbone网络的第一层的输入端和Transformer_backbone网络的第一层的输入第一层的输出端输出的尺寸为的特征图R1、第三层的输入端接收第二层的输尺寸为的特征图R3、第五层的输入端接收第四层的输出端输出的尺寸为的特征图R4、第五层的输出端输出尺寸为的特征图R5，在Transformer_backbone网络中第二层的输入端接收第一层的输出端输出的尺寸为[0011]步骤3：以训练集中的每幅图像的尺寸为基准，对训练集中的每幅图像分别缩小练结束深度神经网络输出扩展训练集中的每幅图像对应的用于辅助训练的特征图P1和用wbce试集中的每幅图像对应的伪装海洋生物检测图为64的卷积层，该卷积层将R41的通道个数降为64维，该卷积层的输出端输出尺寸为个数为64的卷积层，该卷积层将f1'的通道个数降为64维，该卷积层的输出端输出尺寸为64的卷积层，该卷积层将R52的通道个数降为64维，该卷积层的输出端输出尺寸为寸为的特征图R57；通过通道拼接的方式对R57与T2进行特征融合，得到尺寸为输入模块的输出端输出尺寸为的特征图f2'3；将f2'3通过一个卷积核大小为3x3、尺寸为HxWx1的用于辅助训练的特征图P1。卷积层的输出端输出尺寸为的特征图s12；将s12通过一个卷积核大小为3x1、通道个数为64、输出通道个数为64的空洞卷积层，该空洞卷积层的输出端输出尺寸为输入通道个数为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图s31层，该卷积层的输出端输出尺寸为的特征图s51；通过通道拼接的方式对s14、s24输出端输出尺寸为的特征图s1'234；通过特征相加的方式对s1'234与s51进行特[0021]所述的基于Transformer的Transf模块由基于Transformer的PVT网络中的第一层为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图块进行跨层级的特征融合，该跨层特征融合模块的输出端输出尺寸为的特征装目标无关的噪声信息，该伪装目标识别模块的输出端输出尺寸为的特征图2'进行两倍上采样操作后得到的尺寸为的特征图和P1'通过跨层特征融合模块进行跨层级的特征融合，该跨层特征融合模块的输出端输出尺寸为[0025]通过特征相加的方式对P'21与P'22进行特征融合，得到输入输入间注意力模块的处理过程为：对”i,11按通道求平均值和最大值，对应得到平均值特征图[0029]1)本发明方法利用一路基于CNN的Resnet50_backbone网络对输入的图像进行语[0030]2)本发明方法利用CNN和Transformer双路编码以及利用Transformer的全局信息[0031]3)本发明方法利用全局特征增强模块GFEM对骨干网络输出的信息进行全局信息[0032]4)本发明方法利用双分支跨层级渐进特征融合模块DPFFM对骨干网络的输出特征[0035]图2为本发明方法构建的基于CNN和Transformer双向协同指导网络的总体网络框[0036]图3为本发明方法构建的基于CNN和Transformer双向协同指导网络的网络结构[0037]图4为本发明方法和现有方法在MAS3K和COD10K数据集上的部分数据的检测效果[0041]本发明提出的一种基于CNN和Transformer双向协同指导网络的海洋生物检测方的方式融合不同尺度的特征的双分支跨层级渐进特征融合模块DPFFM三部分组成，以此形义信息的基于CNN(卷积神经网络)的Resnet50_backbone网络和用于提取图像的空间和纹理信息并将提取的空间和纹理信息补充到Resnet50_backbone网络所捕获的特征图上的Transformer_backbone网络，Resnet50_backbone网络共具有依次连接的五层，Transformer_backbone网络共具有依次连接的两层，Transformer_backbone网络由基于Transformer的PVT(PyramidVisionTransformer)网络(共有五层)中的第一层和第二层构成；Resnet50_backbone网络的第一层的输入端和Transformer_backbone网络的第一层的输入端同时接收一幅尺寸为HXWX3的图像，在Resnet50_backbone网络中第二层的输入端接收第一层的输出端输出的尺寸为的特征图R1、第三层的输入端接收第二Transformer_backbone网络中第二层的输入端接收第一层的输出端输出的尺寸为通道个数为1的卷积层得到的尺寸为HXWX1的用于辅助训练的特征图P1；双分支跨层级渐的输出端输出对P2'进行四倍上采样操作后再通ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,2016,pp.770–778.2(用于图像识别的深度残差学习)中已公开，基于Transformer的PVT(PyramidVisionTransformer)网络在“Pvtv2:Improvedbaselineswithpyramidvisiontransformer”，ComputationalVisualMedia,vol.8,no.3,pp.415–424,2022.III_B(基于金字塔视觉Transformer的提升基行结构，由于骨干网络中的Resnet50_backbone网络的前三层所获取的特征图所含的需要[0046]步骤3：以训练集中的每幅图像的尺寸为基准，对训练集中的每幅图像分别缩小练结束深度神经网络输出扩展训练集中的每幅图像对应的用于辅助训练的特征图P1和用Liouwbce物体尺寸不同对分割性能带来的消极影响，主损失函数Lmain和辅助损失函数Laux都是使用试集中的每幅图像对应的伪装海洋生物检测图为64的卷积层，该卷积层将R41的通道个数降为64维，该卷积层的输出端输出尺寸为个数为64的卷积层，该卷积层将f1'的通道个数降为64维，该卷积层的输出端输出尺寸为f1'2通过一个特征增强模块FEM进行特征增强，该特征增强模块的输出端输出尺1、输入通道个数为64、输出通道个数为3的卷积层，该卷积层的输出端输出尺寸为64的卷积层，该卷积层将R52的通道个数降为64维，该卷积层的输出端输出尺寸为为的特征图R57；通过通道拼接的方式对R57与T2进行特征融合，得到尺寸为输入强模块的输出端输出尺寸为的特征图f2'3；将f2'3通过一个卷积核大小为3x八倍上采样操作，得到尺寸为HxWx64的特征图月:将月通过一个卷积核大小为3x3、填出尺寸为HxWx1的用于辅助训练的特征图P1。输入通道个数为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图图s31[0055]进一步限定基于Transformer的Transf模块由基于Transformer的PVT(PyramidVisionTransformer)网络(共有五层)中的第一层构成，其输入的特征图的尺寸为其输出的特征图的尺寸为为64、输出通道个数为64的卷积层，该卷积层的输出端输出尺寸为的特征图块进行跨层级的特征融合，该跨层特征融合模块的输出端输出尺寸为的特征装目标无关的噪声信息，该伪装目标识别模块的输出端输出尺寸为的特征图2'进行