CN118314353B 一种基于双分支多尺度特征融合的遥感图像分割方法 （长春理工大学）

一种基于双分支多尺度特征融合的遥感图一种基于双分支多尺度特征融合的遥感图像分CNN和Transformer两个并行分支来替代，CNN和Transformer分别提取不同分辨率下的局部特征和融合高分辨率遥感图像的局部信息和多尺度2所述步骤1中编码器路径的双编码器由CNN的主编码器、基于transformer的辅助编码节保留模块，这有助于模型在保留原始图像细节的同时提取更丰富的特征表示，在Transformer编码器后引入空间特征增强模块，通过在水平方向和垂直方向上的池化卷积运算来收集不同空间维度的上下文信息，多尺度特征融合模块用于将transformer支路的所述步骤1中解码器路径的四个解码器由批量归一化模块、多头注意力模块、残差模练次数达到设定阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完所述步骤4中整个网络训练过程主损失函数中的交叉熵损失函数是通过模型的输出概最小化交叉熵损失来训练模型；Dice系数损失函数基于Dice系数来预测区域与真实区域3的交集与它们的平均大小的比率，衡量模型预测的分割结果与真实分割之间的重叠程度；辅助损失采用交叉熵损失来优化Transformer块，采用主损失和辅助损失这种多头设计对所述步骤4中整个双分支网络训练过程中使用两类评价指标来判断分割模型的好坏，编码器解码器架构来实现高效的搜索远程特征和更4景物不相关区域的干扰和地物空间分布的复杂性，导致了遥感图像中的类间相似性问题，[0004]该方法实现的遥感图像分割无法有效地处理不同尺度的地物特征、计算复杂度[0009]步骤2，准备数据集：本方法使用38幅高分辨率图像组成的城市场景数据集5于CNN的主编码器和基于Transformer的辅助编码器组成，捕获并融合全局和局部上下文，双编码器解码器架构来实现高效的搜索远程特征和更精确地捕获transformer的辅助编码器和多尺度特征融合模块组成，CNN的主编码器具体包括四个残差块、四个激活函数、三个池化模块；Transformer的辅助编码器具体包括多头自注意力化卷积运算来收集不同空间维度的上下文信息，多尺度特征融合模块用于将transformer解码器层的输入进行归一化处理；输入图像经过双分支编码器路径后产生丰富的特征信[0016]进一步地，所述步骤4中整个网络训练过程主损失函数中的交叉熵损失函数是通化算法一起通过最小化交叉熵损失来训练模型；Dice系数损失函数基于Dice系数来预测[0017]进一步地，所述步骤4中整个双分支网络训练过程中使用两类评价指标来判断分割模型的好坏，一种是总体准确性（Overal和Transformer两个并行分支来替代，CNN和Transformer分别提取不同分辨率下的局部特6[0020]本发明利用细节结构保持模块来减轻Transformer下采样引起的细节和结构信息每个比例尺的大小重塑成特征映射，使得CNN分支和Transformer分支之间可以相互交互，并在特征空间中进行对齐和融合，有效提高双分支多尺度遥感图像模型的性能和泛化能Transformer分支并行的编码器模块，输出再由多尺度特征融合模块将不同的分辨率和语义级别的特征进行维度匹配，同时Transformer块之前放置一个细节保留模块，在Transformer编码器后引入空间特征增强模块，使模型在保留原始图像细节的同时提取更7输入到步骤1中构建好的网络模型中进行训练，获取训练权重，进一步对遥感图像进行分阈值或损失函数的值达到设定阈值范围内即可认为模型参数已预训练完成，保存模型参支网络采用编解码器结构，编码器部分分为CNN的主编码器和Transformer的辅助编码器，[0035]给定图像x∈RH×W×C，将其送入CNN的主编码器和基于Transformer的辅助编码8[0043]Transformer的编码器块前引入的细节保留模块，首先将向量重塑为特征映射形[0046]Transformer的编码器块前引入的特征增强模块，首先通过添加ReLU激活函数和[0049]多尺度特征融合模块通过将两个路径中的每个特征映射通过3×3卷积和残差两个特征对分割精度的贡献选择性地对其进行加权，从而学习更广义的融合特征,加权和9[0052]所述步骤2中Potsdam数据集是通过飞行器在德国波茨坦市上空采集的包含38张[0053]所述步骤4中损失函数的设计是为了衡量网络预测值与标签之间的相似度，损失+y"和表示语义标签的编码及其对应的网络[0061]所述步骤4中选择两类评价指标来判断分割模型的好坏，一种是总体准确性别定义如下：[0065]其中TPX表示正确分割的以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行