CN119516187A 一种多模态无人机图像分割方法 （西安电子科技大学）

本发明公开了一种多模态无人机图像分割义分割base网络；步骤2：通过卷积神经网络过变压器模块中的多头自注意力机制从图像的2步骤5：对步骤1和步骤2通过结合卷积和变压器构建的基础特征提取框架做优化特征2.根据权利要求1所述的一种多模态无人机图人机图像语义分割base网络用于提取无人机图像中的全局和局部特征、处理多尺度目标、局部特征的提取用于精确捕捉图像中的小目标和所述特征提取网络分为四个阶段，前两个阶段利用卷积提取局部特征，后两3接着，通过第三个阶段，即PatchEmbedding阶段，使用卷积操作对输入进行展平Embeddings表示经过网络特征提取后的嵌入特征，包括积操作得到的第一层特征，其空间分辨率是输入图像分辨率的四分之一，特征维度为C1：reF2表示通过卷积操作得到的第二层特征，其空间分辨率是输入图像分辨率的十六分之F3表示通过深层卷积和变压器操作得到的第三层特征，其空间分辨率也是输入图像的3是深层特征的通道数；4积模块(CNT)和多头自注意力(MSHA)机制共享同一输入fi，然后分别在不同的分支中对特fiWQiWKiWV表示缩放点积注意力机制(ScaledDot_ProductAttention)，该公式对QKT进行式(seq2img)，随后通过卷积操作提取空间局部信息，并将卷积结果再次转换为一维序列其中CNTi(·)表示并行卷积模块，由一个img2seq(·)、三个连续的卷积层和一个通过将多头自注意力模块(MHSA)产生的全局特征和并行卷积模块(CNT)提取的局部特figlil表示通过并行卷积模块(CNT)提取的局部特征。5全局特征的融合：通过变压器块提取的全局特征，通过交叉注交叉注意力机制通过将RGB图像的查询(Query)与T图像的键(Key)和值(Value)进行关交叉注意力可以动态地调整RGB和T图像之间的信息通过直接将MHSA后的全局特征与CNT后的局部特征以及通过CA后的多模态特征相加，10.根据权利要求1所述的一种多模态无人机图像分割方法，其特征在于，所述步骤5所述位置注意力模块(PAM)能够捕捉特征图中任意两点之间的空间依赖关系，通过对CxHxW使用softmax函数将矩阵S中的元素归一6所述CAM(通道注意力)中，直接将原始特征A∈RCxHxW重塑为RCxN然后在A和其转置之间7人员在卷积神经网络(CNN)的基础上针对无人机图像的特性进行了特定改进。虽然取得了并通过跳跃连接将所述局部特征与通过变压器模块中的多头自注意力机制从图像的深层8[0012]步骤5：对步骤1和步骤2通过结合卷积和变压器构建的基础特征提取框架做优化[0022]所述步骤1中基于UNet模型构建的无人机图像语义分割base网络通过卷积和变压9W分别是输入图像的高度和宽度，C2是该行卷积模块(CNT)和多头自注意力(MSHA)机制共享同一输入fi，然后分别在不同的分支中[0047]所述多头自注意力机制中，首先通过投影矩阵将输入标记fi投影到查询(Q)、键iWQiWKiWVvER分别表示Q，K，V的投影矩[0050]表示缩放点积注意力机制(ScaledDot_ProductAttent[0056]通过将多头自注意力模块(MHSA)产生的全局特征和并行卷积模块(CNT)提取的局il表示通过并行卷积模块(CNT)提取的局部特征。图像的细节信息与T图像中在弱光或复杂背这些信息通过交叉注意力机制进行模态间的信息互补。RGB图像提供了可见光条件下的全[0062]交叉注意力机制：交叉注意力机制通过将RGB图像的查询(Query)与T图像的键[0069]通过直接将MHSA后的全局特征与CNT后的局部特征以及通过CA后的多模态特征相的输出特征。这是经过全局特征和局部特征融合，并通过前馈神经网络(FFN)处理后的结续步骤中进行处理。步骤3并行卷积模块提取的局部特征与步骤4的RGB_T多模态融合的特精度，位置注意和通道注意机制确保了融合特征的最优表达。在步骤5中，双注意力模块[0077]所述位置注意力模块(PAM)能够捕捉特征图中任意两点之间的空间依赖关系，通C"B.使用softmax函数将矩阵S中的元素归一化为注意力权重：[0091]2.通过U_Net结构的跳跃连接机制，[0110]设计一种RGB_T多模态融合注意力机制，通过交叉注意力机制将T图像信息与RGB整合到RGB_T多模态中，实现了全面且强大的特征提取器，解决了在无人机图像数据集上卷积模块位于整个网络的前端和特征提取的初始阶段，同时与后续的变压器模块并行工够同时捕捉全局和局部信息。Transformer块的作用是将局部卷积特征与全局注意力特征[0120]PCAM模块(位置注意力模块和通道注意力模块)通过从空间位置和通道维度强化[0124]所述步骤2中的结构直接解决了无人机图像的分割需求，尤其是应对无人机图像[0126]为了充分利用卷积在捕获浅层特征时的优势以及变压器在深层特征全局建模中批量归一化(BatchNormalization)不同，层归一化是针对单个样本内的所有神经元进行[0138]MHSA是Multi_HeadSelf_Attention(多头自注意力机制)的缩写，它是变压器(Transformer)模型中的核心组件之一，用于捕捉输入序列中不同位置之间的依赖关系。iWKiWV[0159]通过直接将MHSA后的全局特征与CNT后的局部特征以及通过CA后的多模态特征相C"B.使用softmax函数将矩阵S中的元素归一化为注意力权重：然后在A和其转置之间进行矩阵乘法M=AAT。接着，应用so[0193]对附图1进一步解释说明，整个多模态无人机图像分割方法的网络架构分为多个[0195]左侧模块显示了RGB_Transformer编码器的工作流程。该模块包含了12层的Transformer层，通过多头自注意力机制(MHSA)和交叉注意力机制(CA)来建模输入序列的[0203]图中展示了经过12层Transformer层后特征的进一步处理。通过上采样和下采样[0212]附图1展示的网络架构通过结合卷积神经网络(CNN)和Transformer的全局建模能[0214]通过融合这两种模态的信息，RGB_T多模态图像分割能够在保持目标外观信息的陆程序的安全性。该图像描绘了在距地面5至30米的高度从最低点(鸟瞰)视角拍摄的20多[0219]自制无人机图像RGB_T数据集包括使用无人机在5到100米的高度范围内捕获的图图像的像素分布从RGB转换为RRRGGG“RonnebergerO，FischerPimagesegmentation[C]//Medicalimagecomputingandcomputer_assistedS，etal.Comparisonofmulti_sourcesatelliteimagesforclassifyingmarshvegetationusingDeepLabV3Plusdeeplearningalgorithm[J].Ecologicalmakestrongencodersformedicalimagesegmentation[J].arXivpreprintarXiv:visiontransformerusingshiftedwindows[C]//ProceedingsoftheIEEE/CVFinternationalconferenceoncomputer分测试集上进行mAP@50的测试。RGB_TransUNet网络在SemanticDrone数据集上的平均精度为82.6