CN120298667A 一种基于Mamba特征融合的目标检测方法 （重庆理工大学）

本发明公开了一种基于Mamba特征融合的目型能够全面感知图像中不同方向的空间依赖关2步骤四：特征解码，采用堆叠的多个解码器对MAFE编2.根据权利要求1所述的一种基于Mamba特首先进行归一化处理，使像素值标准化到统一的范围，确保接下来，对图像数据应用一系列随机变换进行数据增强，所述通过上述的处理步骤，确保输入的图像信息更具代表性和多样性，从3.根据权利要求1所述的一种基于MambaVSSA模块作为嵌入到主干网络中，旨在增强图像的空间特征表达能力3SS2D层通过扩展卷积操作、自注意力机制的处4.根据权利要求1所述的一种基于Mamba特征融合的目5.根据权利要求4所述的一种基于Mamba输入特征图处理：在MTMHSA模块中，首先经过MSC模块对输入的多尺度卷积与特征重排：扩张卷积有助于捕捉更大理更广泛的全局上下文，通过多尺度卷积得到的特征图kv与原始特征图x被重排为适合计将注意力结果attn与通道注意力c_attn相加，这有助于保留输入46.根据权利要求1所述的一种基于Mamba特征融在训练过程中，解码器会通过计算预测框坐标和预测类别，得所述解码器的输出包括预测框坐标和预测类别；此外，如果启用辅助损失会使用解码器中的多个输出7.根据权利要求1所述的一种基于Mambai,c)+qiGlou(B,B)Ltotal=λVFLLVFL+λL1LL1+λGIoULGVFLL1和λGIoU为调节系数。5[0001]本发明涉及图像目标检测技术领域，具体为一种基于Mamba特征融合的目标检测征提取上的不足。Transformer的自注意力机制使得网络能够在较大的感受野内进行特征虑水平和垂直方向的空间关系，这导致在处理具有复杂二维结构的视觉数据时效果不佳。虽然这类模型在NLP等序列任务中表现出色，但直接迁移到计算机视觉领域时面临适应性[0007]当前的混合架构尝试通常只是简单地堆叠不同模块，未能有效整合各自的优但往往是在CNN特征提取器之上简单添加Transformer层，这种设计未能充分利用CNN和6[0008]本发明的目的在于提供一种基于Mamba特征融合的目标检测方法，通过设计骨干[0011]步骤二：特征提取，采用创新的主干网络Mamba_R对预处理后的图像进行特征提取，得到多个尺度的特征图，Mamba_R网络包括VSSA(VisualSelectiveState_Space对特征图的浅层语义特征信息和深层语义特征信息进行特征融合，所述MAFE(MultiscaleAttentionFusionEncoder)编码器通过结合混合拓扑多头自注意力模块，即MTMHSA7特征S4该特征图包含了更丰富的空间信息，能够帮助模型更好地捕捉目标的空间依赖性，够处理更广泛的全局上下文，通过多尺度卷积得到的特征图kv与原始特征图x被重排为适8[0043]进一步地，所述特征解码通过将编码器的输出与目标查询结合，经过多层[0045]然后将其与参考点进行交叉注意力计算，进一步增强目标位置与特征之间的关[0055]其中，pi,c为预测类别的logits值，qi为预测框与真实框的IoU值[0058]其中，Bi和B1分别是真实框和预测框的坐标，‖.‖1表示L1范数；绝对误差；是真实框和预测框的GIoU值；和λGIoU为调节系数。9[0063]本发明利用VSSA(VisualSelectiveState_SpaceAttenti明提出的基于Mamba特征融合的目标检测方法，不仅提升了目标检测在多尺度和复杂背景[0076]步骤二，特征提取；采用创新的主干网络Mamba_R对预处理后的图像进行特征提[0077]Mamba_R网络由多个残差块(ResidualBlock)堆叠而成，有效提取图像中的基本够处理更广泛的全局上下文，通过多尺度卷积得到的特征图kv与原始特征图x被重排为适[0110]特征解码通过将编码器的输出与目标查询结合，经过多层Transformer解码器层[0111]首先通过自注意力更新目[0112]然后将其与参考点进行交叉注意力计算，进一步增强目标位置与特征之间的关i,c)+qi[0126]其中，Bi和分别是真实框和预测框的坐标，‖.‖1表示L1范数；绝对误差；是真实框和预测框的GIoU值；和λGIoU为调节系数。S[0156]混合拓扑多头自注意力MTMHSA(Mixed_TopologyMulti_HeadSelf_[0158]本发明采用上述方法训练得到基于Mamba特征融合的目标检测模型，模型包括创利用VSSA(视觉空间特征增强)模块对特征进行增强处理，该模块基于状态空间模型原理，[0164]本发明的方法与基准RT_DETRV2算法相比较，不仅在参数量与计算量小浮动减少[0167]本发明在传统目标检测框架基础上，通过整合Mixed_TopologyMulti_HeadSelf_Attenti