CN116524189B 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 （大连海事大学）

US2020026953A1,2020.01.23一种基于编解码索引化边缘表征的高分辨本发明公开了一种基于编解码索引化边缘获取并扩增遥感图像集，对遥感图像进行归一取经过处理的遥感图像并输入到训练后的分割感图像中小尺寸对象和复杂边界信息的识别精21.一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法，其特征在于，步骤二、构建基于编解码索引化边缘表征的遥感图像语于编解码索引化边缘表征的遥感图像语义分割模型进行训练后获取遥感图像中每个像素所述基于编解码索引化边缘表征的遥感图像语义分割模型包括多尺所述多尺度特征编码器用于根据遥感图像的尺寸h生成四个初始特征矩阵，四个初始所述可分离金字塔单元用于根据遥感图像的四个初始特征矩阵获取四个上下文特征所述编解码索引化边缘表征单元用于根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索引，根据尺寸为h/4的上下文特征矩阵获取第二编码索引和第二解码索所述上采样解码器用于按照尺寸从小到大的顺序对所述四个上下文特征矩阵进行解步骤三、获取经过处理的遥感图像并输入到训练后2.根据权利要求1所述的一种基于编解码索引化边缘表征的高分辨率遥感图像语义分采样，得到尺寸为h/8的输出特征矩阵xd1，将xd1与尺寸为h/8上下文特征矩阵使用torch.cat函数沿着维度1拼接成一个新的特矩阵xm2进行矩阵乘积运算后输出特征矩对xn3进行解码上采样，得到尺寸为h的特征矩阵xd4，对xd4进行一次卷积后输入至33.根据权利要求1所述的一种基于编解码索引化边缘表征的高分辨率遥感图像语义分4.根据权利要求1所述的一种基于编解码索引化边缘表征的高分辨率遥感图像语义分注意力特征提取支路用于提取遥感图像的全局特征信息，所述融合支路用于根据公式(2)y＝sigmoid(Conv2d(ReLU(Conv2d(Adap5.根据权利要求1所述的一种基于编解码索引化边缘表征的高分辨率遥感图像语义分i输入Conv2d函数中得到xi1，将xi1输入Bati2i34沿着维度1拼接为新的矩阵并传递到S15、使用pixel_shuffle函数对调整后的初始解码索4缘处如果分割不理想也会导致整个对象分割[0004]本发明提供一种基于编解码索引化边缘表征的高分辨率对基于编解码索引化边缘表征的遥感图像语义分割模型进行训练后获取遥感图像中每个[0008]所述基于编解码索引化边缘表征的遥感图像语义分割模型包括多尺度特征编码5[0009]所述多尺度特征编码器用于根据遥感图像的尺寸h生成四个初始特征矩阵，四个[0010]所述可分离金字塔单元用于根据遥感图像的四个初始特征矩阵获取四个上下文[0011]所述编解码索引化边缘表征单元用于根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索引，根据尺寸为h/4的上下文特征矩阵获取第二编码索引和第二解[0012]所述上采样解码器用于按照尺寸从小到大的顺序对所述四个上下文特征矩阵进[0014]优选地，所述上采样解码器用于对尺寸为h/16的上下文特征矩阵进行解码上采[0018]优选地，所述根据每个像素的真值标签和预测标签计算损失包括根据公式(1)计意力特征提取支路用于提取遥感图像的全局特征信息，所述融合支路用于根据公式(2)对6示自适应池化函数，sigmoid(*)表示sigmoid激活函数，ReLU(*)表示ReLU激活函数，[0026]优选地，所述根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索4沿着维度1拼接为新的矩阵并传[0032]本发明提供一种基于编解码索引化边缘表征的高分辨率通过基于编解码索引化边缘表征的遥感图像语义分割模型中的多尺度特征编码器提取图缘的准确语义分割。7对基于编解码索引化边缘表征的遥感图像语义分割模型进行训练后获取遥感图像中每个[0043]所述基于编解码索引化边缘表征的遥感图像语义分割模型包括多尺度特征编码[0044]所述多尺度特征编码器用于根据遥感图像的尺寸h生成四个初始特征矩阵，四个[0045]所述可分离金字塔单元用于根据遥感图像的四个初始特征矩阵获取四个上下文[0046]所述编解码索引化边缘表征单元用于根据尺寸为h/2的上下文特征矩阵获取第一编码索引和第一解码索引，根据尺寸为h/4的上下文特征矩阵获取第二编码索引和第二解[0047]所述上采样解码器用于按照尺寸从小到大的顺序对所述上下文特征矩阵进行解根据训练集对基于编解码索引化边缘表征的遥感图像语义分割模型进行训练后获取遥感8[0054]所述基于编解码索引化边缘表征的遥感图像语义分割模型包括多尺度特征编码[0055]所述多尺度特征编码器用于根据遥感图像的尺寸h生成四个初始特征矩阵，四个力特征提取支路用于提取遥感图像的全局特征信息，所述融合支路用于根据公式(2)对局示自适应池化函数，sigmoid(*)表示sigmoid激活函数，ReLU(*)表示ReLU激活函数，[0060]使用轻量级特征提取模型EfficientNet_B5其中的前五个阶段作为空间特征提取支路提取遥感图像局部特征信息，EfficientNetB_5是卷积神经网络结构的一种，属于[0061]使用SwinTransformer作为自注意力特征提取支路提取SwinTransformer是一种新型的神经网络架构，它采用了基于Transformer的方法来解决[0062]所述可分离金字塔单元用于根据遥感图像的四个初始特征矩阵获取四个上下文构图4所示，可分离金字塔单元的功能是使用具有不同扩张率的可分离扩张卷积并行捕获9[0063]所述编解码索引化边缘表征单元用于根据尺寸为h/2的上下文特征矩阵获取第一4沿着维度1拼接为新的矩阵并传[0069]根据尺寸为h/4的上下文特征矩阵获取第二编码索引和第二解码索引，对于尺寸为h/4的上下文特征矩阵也可以按照步骤S11_S16进行处理后得到第二编码索引和第二解[0070]将第一编码索引与尺寸为h/2的上下文特征矩阵进行融合，将第二编码索引与尺[0077]所述上采样解码器用于按照尺寸从小到大的顺序对上下文特征矩阵进行解码上通过具有不同扩张率的扩张卷积的可分离金字塔单元并行捕获初始特征图的多个尺度的[0083]本实施例采用真实遥感图像数据进行实验，采用两组公开真实的遥感图像数据[0085]本实施例使用ISPRS2D语义标注大赛中两个公开的高分辨率遥感影像数据集[0087]ISPRSPotsdam数据集则包含38幅像素大小均为6000×6000的图像，图像空间分[0092]F1得分和mF1得分是衡量分类模型性能的指标，常用于评估二分类或多分类模型的准确性。交并比(IntersectionoverUnion，IoU)和平均交并[0094]本实施例提供的一种基于编解码索引化边缘表征的遥感图像语义分割模型在使[0099]实验引入了基于DCNN的模型UNet和SegNet，基于Transformer的改进模型[0100]从表中可以看出，分割模型可以达到最好的效果。由于遥感影像数据量有限，的远程依赖关系，并通过跳过连接向解码器中的特征映射添加低级细节信息。但由于解码索引化边缘表征的遥感图像语义分割模型。对比测试基于