CN120298906A 一种融合Mamba增强的双流遥感影像变化检测方法 （湘潭大学）

一种融合Mamba增强的双流遥感影像变化检本发明公开了一种融合Mamba增强的双流遥集和测试集；设计一种融合Mamba增强的双流变变化检测网络模型进行训练，直到整个模型收2S31：构建双流特征预处理器LightWeightEncoder，将双时相遥感影像输入轻量级S5，模型验证推理：将测试集数据输入训练好的域，计算预测的变化区域与真实变化区域之间的交并比IOU，并根2.根据权利要求1所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，;3.根据权利要求2所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，;;;3S23：数据集划分：将样本数据集按照8:1:1的4.根据权利要求3所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，先将遥感影像等比划分为多个1024×1024像素的单元网格，如果遥感影像不能;对于图像边缘区域，采用镜像填充方式确保边缘区域被完整采样，5.根据权利要求4所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，t1时期的图像It1、t2时期的图像It2及两者对应的标签数据labeif"2)经过双流特双流特征预处理器LightweightEncoder经过轻量级MobileNet进。6.根据权利要求5所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，行序列建模增强；序列化处理，将二维特征图F重排为一维序列F'，FeRHXVXC，4;再将输出序列Y逆映射为二维特征图FFeRHXWXC；通过对增强后的特征进行归一化并与输入残差连接，输出第i级增强特征Ft，将各层级7.根据权利要求6所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，对经过特征增强模块FRM增强后的双时相多尺度特征进行差异计算，通过公式D'=S&A(Rt,,Riz)得到第i级差异特征Di，其中S&A(-)表示逐元素相减后取绝对值的D3作为低级差异特征Di，第4级差异特征D4作为高级差异特征Dh；将第4级差异特征D4和第5级差异特征D5输入到语义分割聚合模块SSAM，首先将D5进行双线性上采样，使D5分辨率与D4相同，然后两者直接逐元素相加，得到粗全局语义特征；接着通过Conv3×3卷积操作扩展通道数，在通道维度上平均分割为四个子特征,每个子特征分别通过不同空洞率的膨胀卷积进行多尺度特征学习；8.根据权利要求7所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，将得到的低级差异特征Di、高级差异特征Dh和全局语义特征Dg输入到通道交互模块于计算注意力权重的向量ki、Qh和Qg；然后对、Qh和Qg进行维度重塑，使与Qh、9.根据权利要求8所述的融合Mamba增强的双流遥感影像变化检测方法，其特征在于，双线性上采样使Dh和Dg的分辨率与相同，将、Dh和Dg逐元素相加后输入DSConv35;;其中r表示解码器的层级，对应p1到D4的差异特征经过解码后的预测结果；Lce、Laice分别表示解码器r层级的二元交叉熵损失函数和骰子损失函数；其中l1和LZ分别是输入遥感影像的宽度和高度，表示坐标(ly,l2)处像素的真实;其中Iynypl表示真实标签Y和预测结果的交集大小，IYI表示Y的大小，Iyol表示在迭代优化训练过程中，使用验证集实时验证模型训练精度6[0001]本发明涉及图像处理领域，特别涉及一种融合Mamba增强的双流遥感影像变化检[0005]本发明解决上述技术问题的技术方案是：一种融合Mamba增强的双流遥感影像变[0008]S3，模型建立：设计一种融合Mamba增强的双流变化检测网络模型RFAMNet，RFAMNet采用轻量级MobileNet作为骨干网络，构建双流特征预处理器LightWeight7[0021]对遥感影像数据集变化区域的目标类别标注，得到标注后的遥感影像数据集s'[0025]对s'采用滑动窗口法进行影像切分，切分为1024×1024大小的图像及标签数据[0028]其中，表示通过滑动窗口法切分的第份1024×1对比变化区域标签图；[0033]I=(x,y,stride)8[0037]t1时期的图像It1、t2时期的图像It2及两者对应的标签数据labeif"2)经过双网络采用权重共享机制Weights_Sharing，通过Conv3×3的卷积操作、BatchNorm归一化、征表示为5个不同尺度的特征，其中mE{t1,t2}；[0041]hk=Ahk-1十BXK,yk=chk十DXK[0043]再将输出序列Y逆映射为二维特征图FFeRHXWXC；通过对[0045]对经过特征增强模块FRM增强后的双时相多尺度特征进行差异计算，通过公式D'=S&A(Rt,R⃞)得到第i级差异特征P'，其中S&A()表示逐元素相减后取绝对值9征D3作为低级差异特征Di，第4级差异特征D4作为高级差异特征Dh；[0046]将第4级差异特征D4和第5级差异特征D5输入到语义分割聚合模块SSAM，首先将义特征；接着通过Conv3×3卷积操作扩展通道数，在通道维度上平均分割为四个子特征,每个子特征分别通过不同空洞率的膨胀卷积进行多尺度特征学习；i与函数生成注意力权重；将重塑后与进行矩阵乘法，再经过Conv1×1卷积、批量后经双线性上采样使Dh和Dg的分辨率与相同，将、Dh和Dg逐元素相加后输入[0054]S43：采用二元交叉熵损失函数Lbce和骰子损失函数Laice构建总损失函数Ltotal[0059]其中L1和LZ分别是输入遥感影像的宽度和高度，表示坐标(ly,l2)处像素的保证检测精度的同时提高了模型的运行效率；2）引入MambaBlock和语义分割聚合模块[0069]图4为i区域t1时期的5张遥感图像示意图。[0070]图5为i区域t2时期的5张遥感图像示意图。[0081]对遥感影像数据集变化区域的目标类别标注，得到标注后的遥感影像数据集s'[0085]对s'采用滑动窗口法进行影像切分，切分为1024×1024大小的图像及标签数据[0088]其中，表示通过滑动窗口法切分的第份1024×1对比变化区域标签图；[0091]I=(x,y,stride)[0097]S3，模型建立：设计一种融合Mamba增强的双流变化检测网络模型RFAMNet，RFAMNet采用轻量级MobileNet作为骨干网络，构建双流特征预处理器LightWeight[0100]t1时期的图像It1、t2时期的图像It2及两者对应的标签数据labeif"2)经过双网络采用权重共享机制Weights_Sharing，通过Conv3×3的卷积操作、BatchNorm归一化、征表示为5个不同尺度的特征，其中mE{t1,t2}。级特征的特征和先通过最大池化下采样至目标分辨率，再经Conv1×1卷积对齐通FeRHXWXC，[0105]hk=Ahk-1十BXK,yk=chk十DXK[0107]再将输出序列Y逆映射为二维特征图FFeRHXWXC；通过对[0110]对经过特征增强模块FRM增强后的双时相多尺度特征进行差异计算，通过公式D'=S&A(Rt,R⃞)得到第i级差异特征P'，其中S&A()表示逐元素相减后取绝对值征D3作为低级差异特征Di，第4级差异特征D4作为高级差异特征Dh；[0111]将第4级差异特征D4和第5级差异特征D5输入到语义分割聚合模块SSAM，首先将义特征；接着通过Conv3×3卷积操作扩展通道数，在通道维度上平均分割为四个子特征,每个子特征分别通过不同空洞率的膨胀卷积进行多尺度特征学习；i与函数生成注意力权重；将重塑后与进行矩阵乘法，再经过Conv1×1卷积、批量后经双线性上采样使Dh和Dg的分辨率与相同，将、Dh和Dg逐元素相加后输入[0122]S43：采用二元交叉熵损失函数Lbce和骰子损失函数Laice构建总损失函数Ltotal[0127]其中L1和LZ分别是输入遥感影像的宽度和高度，表示坐标(ly,l2)处像素的[0149]t1时期的图像It1、t2时期的图像It2及两者对应的标签数据labeif"2)经过双网络采用权重共享机制Weights_Sharing，通过Conv3×3的卷积操作、BatchNorm归一化、征表示其中mE{t1,t2}；经过Conv卷积和下采样操维特征图F重排为一维序列F'，FeRHXVXCR为实数域，H、W、C[0154]hp=Ahp-1+BXP,yr=chp+DXP[0156]再将输出序列Y逆映射为二维特征图FFeRHXWXC；通过对[0157]对经过特征增强模块FRM增强后的双时相多尺度特征进行差异计算，通过公式D3作为低级差异特征Di，第4级差异特征D4作为高级差异特征Dh；[0158]将第4级差异特征D4和第5级差异特征D5输入到语义分割聚合模块SSAM，首先将义特征；接着通过Conv3×3卷积操作扩展通道数，在通道维度上平均分割为四个子特征,每个子特征分别通过不同空洞率的膨胀卷积进行多尺度特征学习；i与函数生成注意力权重；将重塑后与进行矩阵乘法，再经过Conv1×1卷积、批量后经双线性上采样使Dh和Dg的分辨率与相同，将、Dh和Dg逐元素相加后输入双时相遥感图像及其对应的真实标签数据；[0166]