CN119478384A 一种面向遥感图像语义分割的空间光谱上下文特征增强方法及装置 （河海大学）

号一种面向遥感图像语义分割的空间光谱上本发明公开了一种面向遥感图像语义分割网络编码模块在进入解码阶段前对特征进行高不丢失；通过Softmax层将特征图映射为像素级2将预处理后的所述遥感图像数据集输入至所述深度视觉特征优化基于输出的所述语义分割结果与真实标签计算损失值，更2.根据权利要求1所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方获取遥感图像数据集并划分为训练数据集和测试数据3.根据权利要求2所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方4.根据权利要求3所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方将中间特征经过位置自注意力模块处理，与中间特征以及输入特征进行像5.根据权利要求4所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方将输入特征图通过离散小波变换投影至频域内，得到四个独捕获每个频域分量中的上下文信息，将频域分量重塑为垂直特征FireR""""和水平初始注意力图AM,和；分别将初始注意力图与卷积特征逐元素相乘得到特征图和Fh，再与输入特征图应36.根据权利要求5所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方意力图A,eR"；将第三分支投影后的结果重塑为FeR"，将A,与进行矩阵相乘并将结果重塑回CXHXW的形状即；7.根据权利要求6所述的一种面向遥感图像语义分割的空间光谱上下文特征增强方;i表示第i个编码块和解码块，F(i)表示第i个编码块的特征图，F(i+1)表示第i+l个解码块的特征图，F(i)和F(i+1)的尺寸是一致的。8.一种面向遥感图像语义分割的空间光谱上下文现权利要求1至7任意一项所述的面向遥感图像语义分割的空间光谱上下文特征增强方法，深度视觉特征优化神经网络模型，用于提取遥感图像特征并进行光训练模块，用于基于所述遥感图像数据集对所述深预测模块，用于将待测试的遥感图像输入所述训练好的语义分割9.根据权利要求8所述的一种面向遥感图像语义分割的空间光谱上下文特征增强装4结果输出模块，用于将每个像素的特征映射到对应的10.根据权利要求8所述的一种面向遥感图像语义分割的空间光谱上下文特征增强装将输入特征图通过离散小波变换投影至频域内，得到四个独捕获每个频域分量中的上下文信息，将频域分量重塑为垂直特征FireR""""和水平初始注意力图AM,和；分别将初始注意力图与卷积特征逐元素相乘得到特征图和Fh，再与输入特征图应意力图A,eR"；将第三分支投影后的结果重塑为FeR"，将A,与进行矩阵相乘并将结果重塑回CXHXW的形状即；5同的生态环境或受到不同的气候条件影响，其表面纹理和颜色属性可能会发生显著的变[0010]将预处理后的所述遥感图像数据集输入至所述深度视觉特征优化神经网络模型6[0028]捕获每个频域分量中的上下文信息，将频域分量重塑为垂直特征FreR""和得到初始注意力图AM,和；[0030]分别将初始注意力图与卷积特征逐元素相乘得到特征图和Fh，DS)eR""；7的注意力图A,eR""；回CXHXW的形状即；i表示第i个编码块和解码块，F(i)表示第i个编码块的特征图，F(i+1)表示第i+l个解码块的特征图，F(i)和F.(i+1)的尺寸是一致的。8[0057]捕获每个频域分量中的上下文信息，将频域分量重塑为垂直特征FireR"""得到初始注意力图AM,和；[0059]分别将初始注意力图与卷积特征逐元素相乘得到特征图和Fh，DS)eR""；的注意力图A,eR""；回CXHXW的形状即；9[0080]这里需要强调的是，在下文中提及的各步骤标记并不是对各步骤先后顺序的限[0082]本实施例1提供一种面向遥感图像语义分割的空间光谱上下文特征增强方法，参学习和强调对具体任务至关重要的特征的能力。SYA模块还通过全局残差连接进一步强化[0098]协同注意力模块通过连续部署频谱注意力和空间位置自注意力来全面建模[0103]（21）输入特征图F,(FSA)eR"通过离散小波变换将其投影至频域内，得到四形状为CXH的矩阵堆叠。故初始注意力图计算可表达成W次CXH矩阵与HXC的矩阵相DS)eR""，[0108]conv(F,(DDSA))表。i表示第i个编码块和解码块，F(i)表示第i个编码块的特征图，F(i+1)表示第i+l个解码块的特征图，F(i)和F.(i+1)的尺寸是一致的。[0140]令输入特征图F,(FSA)eR""通过离散小波变换将其投影至频域内，得到四个[0142]使用一个3×3的卷积层，将输出特征F,(DDSA)的通道数扩展为4C，得到更全面;初始注意力图AM,和；[0148]分别将初始注意力图与卷积特征逐元素相乘得到特征图和Fh，应。i表示第i个编码块和解码块，F(i)表示第i个编码块的特征图，F(i+1)表示第i+l个解码块的特征图，F(i)和F.(i+1)的尺寸是一致的。