CN119399473A 一种基于Kan-Mamba模型的遥感图像语义分割方法及装置 （中国矿业大学）

号一种基于Kan-Mamba模型的遥感图像语义分本发明公开了一种基于KAN_Mamba的多源遥语义分割的准确度，包括KAN_Mamba特征提取网网络包括一个Stem卷积神经网络和四阶段的征融合单元进行逐级的特征融合，接着通过2xHxW；将Otrain输入到KAN_Mamba特征提取网络，经Stem卷积神经网络进行四倍下采样后得到在二阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature11，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列在三阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature12，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列在四阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature13，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列输入Uper_Head解码器进行特征融合；对于OutO__0、OutO_1、OutO__2，先分别进行侧边特征构建，再分别进行1x1卷积得到输出特征OutU_3；对OutU_3进行上采样后，再与ou;进行加法操作得到输出特征OutU_2；对与ou;进行加法操作得到输出特征OutU_0；对OutU_0、OutU_1、OutU_2、OutU_3进行拼接得到32.根据权利要求1所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：3.根据权利要求2所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：所述Group_RationalKAN层包括一个输入层、两个线性层、两个Group_KAN层和一个输出0m和b00m4.根据权利要求3所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：5.根据权利要求1所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：其中H和W分别为Step1处理后得到的融合遥感图像的高度与宽其中C是Uper_Head解码器设置的输出通道数；Outconcat的尺寸为最后通过3x3卷积和分类层输出Outtrain，Outtrain的尺寸为K表示6.根据权利要求1所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：7.根据权利要求1所述的基于KAN_Mamba的多源遥感图像语义分割方法，其特征在于：4所述多源遥感图像获取单元，用于获取尺寸相同且几何对齐的融合所述KAN_Mamba特征提取网络包括一个Stem卷积神经网络和四阶段的KAN_Mamba特征到融合特征；所述BottleNeck层对输入特征进行3x3卷积所述训练单元，使用损失函数对KAN_Mamba特征提取网络和Uper_He所述测试单元，使用训练好的KAN_Mamba特征提取网络和Uper_Hea9.根据权利要求8所述的基于KAN_Mamba的多源遥感图像语义分割装置，其特征在于：在二阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature11，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列在三阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature12，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列在四阶段KAN_Mamba特征提取模块中，先使用该阶段的下采样模块对得到卷积特征feature13，再经该阶段所有串联的VSS_KAN特征提取模块后得到特征序列5左下、右下到左上四个不同的遍历路径将归一化操作后的输入图像展开为四个扫描序列S6模块中，使用S6模块中的Mamba离散化状态空间方程进行特征提取得到输出特征；所述6[0001]本发明涉及计算机视觉与图像处理技术，尤其涉及一种基于Kan_Mamba模型的多[0006]科尔莫戈洛夫_阿诺尔德表示定理(Kolmogorov_Arnoldrepresentation7个权重参数均由一个参数化为样条线的可学习一维函数替代。KAN的节点仅需对输入信号[0007]现有的遥感图像分割方法仍面临众多困难：1、多源数据可能包含冗余或无关信[0014]将Otrain输入到KAN_Mamba特征提取网络，经Stem卷积神经网络[0015]在一阶段KAN_Mamba特征提取模块中，feature10经该阶段所有串联的VSS_KAN特采样得到卷积特征feature11，再经采样得到卷积特征feature12，再经采样得到卷积特征feature13，再经8Ou;、ouc'、Ou;:对于OutO_3，先进行多尺度池化或平均池化处理，再通过卷积降维得到输出特征OutU_3；对OutU_3进行上采样后，再与ou;进行加法操作得到输出特征OutU_2；对与our;进行加法操作得到输出特征OutU_0；对OutU_0、OutU_1、OutU_2、OutU_3进行拼接得到[0021]Step5：对比OutKAN_Mamba特征提取模块、三阶段KAN_Mamba特征提取模块和四阶段KAN_Mamba特征提取模个四通道向量输入到S6模块中，使用S6模块中的Mamba离散化状态空间方程进行特征提取刺激，为t时刻的输出响应；Aec"⃞"、Bec"、cec"为状态空间方程权重矩化为关于m阶多项式P(x)和n阶多项式Q(xm和b0b19其中H和W分别为Step1处理后得到的融合遥感图像的高度其中C是Uper_Head解码器设置的输出通道数；Outconcat的尺寸为最后通过3×3卷积和分类层输出Outtrain，Outtrain的尺寸为K表示[0042]所述KAN_Mamba特征提取网络包括一个Stem卷积神经网络和四阶段的KAN_Mamba由4C转换为C，C为Uper_Head解码器设置的输出通道数；所述分类层对输入特征进行[0048]在一阶段KAN_Mamba特征提取模块中，feature10经该阶段所有串联的VSS_KAN特采样得到卷积特征feature11，再经采样得到卷积特征feature12，再经采样得到卷积特征feature13，再经个四通道向量输入到S6模块中，使用S6模块中的Mamba离散化状态空间方程进行特征提取[0054]有益效果：本发明提供的基于Kan_Mamba模型的多源遥感图像语义分割方法及装训练完成的KAN_Mamba特征提取网络和Uper_Head解码器KAN_Mamba特征提取网络对融合遥感图像进行分阶段的特征提取，获取多尺度特征；所述[0060]如图2所示，为使用图1所示的基于KAN_Mamba的多源遥感图像语义分割装置进行[0068]KAN_Mamba特征提取网络包括一个Stem卷积神经网络和四阶段的KAN_Mamba特征一个四通道向量输入到S6模块中，使用S6模块中的Mamba离散化状态空间方程进行特征提刺激，为t时刻的输出响应；Aec""、Bec"、cec"为状态空间方程权重矩m和b0b1[0080]将Otrain输入到KAN_Mamba特征提取网络，经Stem卷积神经网络[0081]在一阶段KAN_Mamba特征提取模块中，feature10经该阶段所有串联的VSS_KAN特采样得到卷积特征feature11，再经采样得到卷积特征feature12，再经采样得到卷积特征feature13，再经别进行1×1卷积得到OU;、OUC'、OU;:对于OutO_3，先使用PPM多尺度池化单元进行多尺输出特征OutU__1；对ouc'进行上采样后，再与ou;进行加法操作得到输出特征OutU_0；对OutU_0U_1U_2U_3进行拼接得到Outconcat，再通过BottleNeck层进行3×3卷积操[0091]所述训练单元使用损失函数对KAN_Mamba特征提取网络和Uper_Head解码器进行Head解码器输出的Outtrain使用双线性插值法将尺寸调整到与Mtrain一致，再使用交叉熵损失函数loss计算O