CN119418182A 一种基于特征融合的高分遥感影像目标检测方法及系统 （湖州师范学院）

一种基于特征融合的高分遥感影像目标检本申请提出一种基于特征融合的高分遥感的EfficientNetv2网络对所述高分遥感影像进部特征；将第一局部特征输入MobileViT网络对2采用改进的EfficientNetv2网络对所述高分遥感影像进行局部特征提所述第一上采样模块与第一连接模块连接，所述第一连接模块与第一C连接模块与第四C3模块连接，所述第四C3模块分别与第二卷积模块以及第二ASFF模块连将所述第二局部特征分别输入到第一上采样模块以及第将第一ASFF模块的输出输入到检测端进行检测得到第一将第二ASFF模块的输出输入到检测端进行检测得到第二3将第三ASFF模块的输出输入到检测端进行检测得到第三将第四ASFF模块的输出输入到检测端进行检测得到第四所述改进的EfficientNetv2网络中采用EMA模块代替融合混合卷积层以及混合卷积层中的所述特征提取层与注意力权重提取层连接，所述注意力权重提取层所述特征提取层用于采用并行结构提取EMA模块的输入所述注意力权重提取层用于提取输入数据的特征的注所述跨空间学习层用于在不同空间维度方向上对带有注意力权重的输入数据的特征所述特征结合层用于将聚合结果以及输入数据的特征进行融合，将融所述高度方向平均池化层、宽度方向平均池化层分别与拼接卷积层所述高度方向平均池化层用于在高度方向对输入数据的特征进行编所述宽度方向平均池化层用于在宽度方向对输入数据的特征进行编所述拼接卷积层用于将第一特征向量以及第二特征向量进行拼接，并将所述第一sigmod激活函数用于采用sigmod激活函数计算第一新特征所述第二sigmod激活函数用于采用sigmod激活函数计算第二新特征所述权重输出层用于将输入数据的特征分别与第一新特征向量的所述第二卷积层用于将输入数据的特征进行卷积，再将卷积后后关系矩阵中每个元素表示对应通道在全局4局部特征提取模块，用于采用改进的EfficientNetv特征融合模块，用于将全局特征以及第二局部特征输入权利要求1～7任一权利要求所述的基于特征融合的高分遥感影像目标检行时使得处理器执行权利要求1～7任一权利要求所述的基于特征融合的高分遥感影像目5[0002]高分遥感影像(High_ResolutionRemoteSensingImagery，HRRI)具有分辨率取深层次和高鲁棒性特征仍是目前HRRI目标检测研究中[0003]近年来深度学习模型受到了关注。最流行的深度学习方法是像的本质特征。使用CNN获得的目标特征对于不同的目标检测任务具有良好的通用性和鲁6[0011]所述MobileViT网络包括：第一MobileViT块、第二MobileViT块以及第三[0013]所述第一上采样模块与第一连接模块连接，所述第一连接模块与第一C3模块连[0023]在所述改进EfficientNetv2中采用EMA模块代替融合混合卷积层以及混合卷积层7[0028]所述跨空间学习层用于在不同空间维度方向上对带有注意力权重的输入数据的[0035]所述第一sigmod激活函数用于采用sigmod激活函数计算第一新特征向量的映射[0036]所述第二sigmod激活函数用于采用sigmod激活函数计算第二新特征向量的映射一化后关系矩阵中每个元素表示对应通道在全局8处理器执行所述的基于特征融合的高分遥感影像目令当被执行时使得处理器执行所述的基于特征融合的高分遥感结果(c)RetinaNet检测结果(d)DETR检测结果(e)YOLOv5s检测结果(f)本实施例方法检测第二混合卷积层、第三混合卷积层以及空间金字塔池化层(SPPF，SpatialPyramid9和分辨率，并引入新模块Fused_MBConv和渐进性学习策略来减少模型的参数量和复杂度，卷积模块，包括：第一融合混合卷积层、第二融合混合卷积层、第三融合混合卷积层)和块堆叠而成，每个Fused_MBConv和MBConv模块中都含有SE模块(SE，Squeeze_and_入高效多尺度注意力EMA(EfficientMulti_ScaleAttention，EMA)模块对遥感影像小目标的检测性能。将主干特征提取网络EfficientNetv2_s中Fused_MBConv4模块和MBConv6模块内的SE注意力模块替换为EMA模块，融合EMA的Fused_MBConv4模块和[0068]本实施例中，第一卷积层采用Conv3×3，第一融合混合卷积层采用Fused_MBConv13×3，第二融合混合卷积层采Fused_MBConv43×3，第三融合混合卷积层采用ViT(VisionTransformer)能够在图像中建立全局依赖关系，更好地捕捉图像中的上下文和MBConv4模块后引入轻量化MobileVIT模块来增加模型提取全局[0070]在MobileViT(移动视觉Transformer)块的TransformerEncoder中并不是对所有[0072]MobileViT(移动视觉Transformer)采用基于多头自注意力机制的视Transformer宽度)。最后对于所有的p∈{1,2,…,P}通过Transformer将图像块间关系编码为YG∈Rd。[0074]Transfomer编码器内主要有两个层结构：多头自注意力机制层(multi_head局特征信息，而MLP层负责对对每个向量进行非线性变换，便于更好的捕捉不同位置的信[0087]其中，Conv1×1为1×1标准卷积，Concat为级联运算，Conv3×3为3×3卷积，Z为[0088]本实施例中，低层次细节信息和高层次语义信息的融合模块(ActiveScaleFilterFeature)自适应空间特征融合方法是一种用于目标检测的特征融合技术，它旨在量。为3个不同级别到第l层特征图的可学习参数。三个权重参数为Level1、[0093]所述第一上采样模块与第一连接模块连接，所述第一连接模块与第一C3模块连[0103]在所述改进EfficientNetv2中采用EMA模块代替融合混合卷积层以及混合卷积层一个多尺度并行子网络和跨空间学习方法来建立特征之间的长短依赖关系，其结构如图8学习的注意力权重描述符将用于增强每个子特征中感兴趣区域的特征[0108](2)注意力权重提取层：所述注意力权重提取层用于提取输入数据的特征的注意量的映射矩阵；所述权重输出层用于将输入数据的特征分别与第一新特征向量的映射矩所述第一归一化后关系矩阵以及第二归一化后关系矩阵中每个元素表示对应通道在全局[0116]concat函数拼接高度方向和宽度方向的特征向量得到特征向量hw，然后使用1x1度方向和宽度方向拆分开来得到新的特征向量X_h和X_w，经过sigmod激活函数得到X_h和[0118]最后通过2D全局平均池化和非线性Softmax函数对GN组归一化后的特征X1进行操作运算，得到归一化后的关系矩阵关系矩阵中的概率值表示了每个组内的通道在全局[0123](3)跨空间学习层：所述跨空间学习层用于在不同空间维度方向上对带有注意力间信息进行编码，在最小分支的输出的信道特征转换为相应的维度形状，即R1×C//G×RC卷积层的输出输入到第二平均池化层，将第二平均池化层的输出输入到第四激活函数层，将融合后的数据作为EMA模块的输出三条路线的输出特征被计算为两个空间注意力权重值第六层初步提取特征，使用Concat拼接将颈部网络结构中提取的浅层特征与EAM注意力机迭代次数epoch，批次样本数量batchsize、窗口大小windowsize会影响检测效果，当层、第二混合卷积层、第三混合卷积层以及空间金字塔池化层(SPPF，SpatialPyramid[0146]所述处理器可以是专用集成电路(ApplicationSpecificIntegrat简称ASIC)、数字信号处理器(DigitalSignalProcessor，简称DSP)、可编程逻辑器件DigitalMemoryCard安全数字存储卡)或DX(为MemoryDataRegis基于特征