CN115311468B 融合注意力机制的目标检测方法、装置及电子设备 （中国兵器工业计算机应用技术研究所）

本发明公开了一种融合注意力机制的目标对所述输入图像进行特征提取，得到第一特征图；所述预设的仿初级视觉感知皮层模型包括块用于提取坐标通道注意力特征和空间注意力通过使用融合注意力模块来提取通道注意力和2通过预设的仿初级视觉感知皮层模块对所述输入图像进行特征提取，得到第一特征通过预设的目标检测模型对所述第一特征图进行目标检测，得到三所述坐标通道注意力模块用于提取原始特征图的坐标通道注意力特所述空间注意力模块用于对所述经过坐标通道注意力处理的特征图提取空间注意力其中，所述坐标通道注意力模块用于提取原始特征对原始特征图各个通道的X方向和Y方向分别进行池化，得到X方向对所述二维通道权重特征图依次进行二维卷积、归一化与非线性根据所述优化后的特征图得到X方向通道注意力特征图和Y方向通道注根据所述X方向通道注意力特征图、所述Y方向通道注意力特征图以及所述原始特征其中，所述空间注意力模块用于对所述经过坐标通道注意力所述空间注意力模块对所述坐标通道注意力模块输出的特征图在通道方向上进行池根据所述空间注意力权重特征图和所述坐标通道注意力模块输出的特征图得到空间通过所述骨干网络对所述第一特征图进行多次尺寸压缩和特征提取将所述多个不同尺寸的骨干特征图输入所述头部网络，得到所述块包括设置在所述第一C3层之后的第一CCASA注意力层、设置在所述第二C3层之后的第二3所述通过所述骨干网络对所述第一特征图进行多次尺寸压缩和特征提取通过所述第一Conv层对所述第一特征图进行特征图尺寸压缩，通过所述述第一Conv层输出的特征图进行特征提取，通过所述第一CCASA注意力层对所述第一C3层输出的特征图进行感兴趣特征提取，通过所述第二Conv层对所述第一CCASA注意力层输出通过所述第二CCASA注意力层对所述第一骨干特征图进行感兴趣特征提取，通过所述第三Conv层对所述第二CCASA注意力层输出的特征图进行特征图尺寸压缩，通过所述第三通过第三CCASA注意力层对所述第二骨干特征图进行感兴趣特征提取，通过所述第四Conv层对所述第三CCASA注意力层输出的特征图进行特征图尺寸压缩，通过所述第四C3层个特征聚合模块、SPPF层以及第四CCASA注意力层，所述FPN模块包括依次连接的Conv层、将所述第一特征图和所述多个不同尺寸的骨干特征图输入所述头部网通过所述SPPF层对所述第三骨干特征图进行空间信息融合，通过所述第四CCASA注意第一FPN模块接收所述第四特征图和所述第二骨干特征图作为输将所述第一目标特征图和所述第二FPN模块的Conv层输出的特征图输入第一特征聚合将所述第二目标特征图和所述第一FPN模块的Conv层输出的特征图输入第二特征聚合预处理模块，用于通过预设的仿初级视觉感知皮层模块对所述输入图像进行特征提4所述坐标通道注意力模块用于提取原始特征图的坐标通道注意力特所述空间注意力模块用于对所述经过坐标通道注意力处理的特征图提取空间注意力其中，所述坐标通道注意力模块用于提取原始特征对原始特征图各个通道的X方向和Y方向分别进行池化，得到X方向对所述二维通道权重特征图依次进行二维卷积、归一化与非线性根据所述优化后的特征图得到X方向通道注意力特征图和Y方向通道注根据所述X方向通道注意力特征图、所述Y方向通道注意力特征图以及所述原始特征其中，所述空间注意力模块用于对所述经过坐标通道注意力所述空间注意力模块对所述坐标通道注意力模块输出的特征图在通道方向上进行池根据所述空间注意力权重特征图和所述坐标通道注意力模块输出的特征图得到空间骨干网络模块，用于对所述第一特征图进行多次尺寸压缩和特征头部网络模块，用于接收所述多个不同尺寸的骨干特征上运行的程序，所述程序被所述处理器执行时实现如权利要求1_4任一项所述的融合注意5Module)实现了通道注意力和空间注意力，由于该模块的通道注意力对该通道元素进行了[0008]对所述三个不同尺寸的目标特征图进行目标分类和坐标定位，得到目标检测结[0011]所述空间注意力模块用于对所述经过坐标通道注意力处理的特征图提取空间注[0012]可选地，所述坐标通道注意力模块用于提取原始特征图6[0016]根据所述优化后的特征图得到X方向通道注意力特征图和Y方向通道注意力特征[0019]所述空间注意力模块对所述坐标通道注意力模块输出的特征图在通道方向上进[0020]根据所述空间注意力权重特征图和所述坐标通道注意力模块输出的特征图得到对所述第一Conv层输出的特征图进行特征提取，通过所述第一CCASA注意力层对所述第一C3层输出的特征图进行感兴趣特征提取，通过所述第二Conv层对所述第一CCASA注意力层[0027]通过所述第二CCASA注意力层对所述第一骨干特征图进行感兴趣特征提取，通过所述第三Conv层对所述第二CCASA注意力层输出的特征图进行特征图尺寸压缩，通过所述[0028]通过所述第三CCASA注意力层对所述第二骨干特征图进行感兴趣特征提取，通过所述第四Conv层对所述第三CCASA注意力层输出的特征图进行特征图尺寸压缩，通过所述7[0031]通过所述SPPF层对所述第三骨干特征图进行空间信息融合，通过所述第四CCASA[0032]所述第一FPN模块接收所述第四特征图和所述第二骨干特征图作为输入，所述第[0033]将所述第一目标特征图和所述第二FPN模块的Conv层输出的特征图输入第一特征[0034]将所述第二目标特征图和所述第一FPN模块的Conv层输出的特征图输入第二特征[0038]目标检测模块，用于通过预设的目标检测模型对所述第[0043]根据本公开的一个实施例，本发明通过在目标检测模块8[0057]在计算机视觉中能够把注意力聚集在图像重要区域而丢弃掉不相关的方法被称面积小于32*32个像素值时可以认为该目标区域是小目标。从相对尺度的角度来对小目标9感知皮层模型反映了输入图像和第一特征图之间的映射关[0072]S203：通过所述特征融合层对所述第二特征图和所述第三特征图进行特征值融融合层，其中VOneBlock层和Conv层并联。输入图像作为VOneBlock层和Conv层的输入，VOneBlock层对输入图像进行特征提取和尺寸压缩后得到第二特征图，Conv层对输入图像[0075]本发明仿初级视觉感知皮层模型中仅仅将VOneBlock层与一个Conv层并联，不仅模块和空间注意力模块；所述坐标通道注意力模块用于提取原始特征图的坐标通道注意和Y方向通道注意力特征图，将上述X方向通道注意力特征图和Y方向通道注意力特征图分[0079]所述空间注意力模块对所述坐标通道注意力模块输出的特征图在通道方向上进[0080]如图4所示，在本发明一种实施方式中，所述预设的目标检测模型包括骨干网络101和头部网络102，所述骨干网络101和所述头部网络103中均设有所述融合注意力模块，置在所述第一C3层之后的第一CCASA(Coordinatechannelattentionmeetingspatial一C3层对所述第一Conv层输出的特征图进行特征提取，通过所述第一CCASA注意力层对所述第一C3层输出的特征图进行感兴趣特征提取，通过所述第二Conv层对所述第一CCASA注[0086]S3012：通过所述第二CCASA注意力层对所述第一骨干特征图进行感兴趣特征提[0087]S3013：通过所述第三CCASA注意力层对所述第二骨干特征图进行感兴趣特征提第一C3层输出的特征图进行感兴趣特征提取，第二Conv层对第一CCASA注意力层输出的特[0089]第二CCASA注意力层对第一骨干特征图进行感兴趣特征提取，第三Conv层对第二CCASA注意力层输出的特征图进行尺寸压缩，将第三Conv层输出的特征图输入到第三C3层[0090]第三CCASA注意力层对第二骨干特征图进行感兴趣特征提取，第四Conv层对第三CCASA注意力层输出的特征图进行尺寸压缩，将第四Conv层输出的特征图输入到第四C3层个特征聚合模块、SPPF层以及第四CCASA注意力层，所述FPN模块包括依次连接的Conv层、[0094]S3022：所述第一FPN模块接收所述第四特征图和所述第一特征聚合模块，所述第一特征聚合模块对输入的多个特征图进行尺寸压缩和通道聚合，二特征聚合模块，所述第二特征聚合模块对输入的多个特征图进行尺寸压缩和通道聚合，[0098]在将第一特征图输入骨干网络后，骨干网络会输出三个[0100]第一FPN模块的输出作为第二FPN模块的输入，将第一FPN模块输出的特征图输入的特征图以及第一FPN模块的第六Conv层输出的特征图进行通道聚合，第一特征聚合模块合模块中的第七C3层输出的特征图即为第二目标融合注意力机制的目标检测装置200用于实现本发明任一实施例所述的融合注意力机制的[0105]预处理模块202，用于通过预设的仿初级视觉感知皮层模型对所述输入图像进行[0106]目标检测模块203，用于通过预设的目标检测模型对所述第一特征图进行目标检[0108]在本发明一种实施方式中，所述目标检测模块203包括骨干网络模块和头部网络所述存储器302存储可在所述处理器301上运行的程序，所述程序被所述处理器301执行时实现如本发明任一实施例所述的融合注意力机制的目[0111]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0112]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如处理装置的处理器执行时，产生了实现流程图和/或框图中