CN115049921B 基于Transformer边界感知的光学遥感图像显著目标检测方法 （安徽大学）

基于Transformer边界感知的光学遥感图像本发明公开一种基于Transformer边界感知过基于Transformer全局上下文信息模块来建模2i将浅层融合特征ffuse分别与f1'和f2'通过元素级加法进行融合实现共有区域特征的提fS4.2、在边界感知解码器中，输入通过编码器得到的各层级特征F1～F4以及边界特征边界特征F1'～F3'和F1～F4进行交互融合，逐渐细化生成更加完整且边缘解码器中的每个边界模块均包括两个分支，一个分支将边界特征二倍上3将关注边界的特征图上采样到边界真值图的分辨率大小，再通过二元交叉熵2.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方4法，其特征在于：所述步骤S1中特征编码器采用Swin-Transformer部分结构，包括3个windowattention和shiftwindowattention；并且每个stage均可缩小所输入的特征图3.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方分支一通过Transformer层得到具有全局分支二通过平均池化得到的全局特征G2对分支一进行补充和增强5基于Transformer边界感知的光学遥感图[0001]本发明涉及计算机视觉处理技术，具体涉及一种基于Transformer边界感知的光遥感图像下的显著目标检测仍有待探索。光学遥感图像显著目标检测有很强的实用价值，Transformer中提取的特征比从卷积神经网络中提取的特征具有更多的全局信息，而全局接地融合多层显著目标的边界信息对光学遥感图像显著检测效6[0009]技术方案：本发明一种基于Transformer边界感知的光学遥感图像显著目标检测[0012]步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处[0015]进一步地，所述步骤S1中特征编码器采用Swin-Transformer部分结构，包括3个包括核心的windowattention和shiftwindowattention；并且每个stage均可缩小所输[0016]进一步地，所述步骤S2中先将浅层特征f1和f2通过空间注意力Asi[0029]步骤S3.1、将较高层特征f3下采样至f4相同的分辨率并将71F′1～F4进行交互融合，逐渐细化生成更加完整且边缘较清晰的显著F28[0066]Dice损失函数能处理由于数据集中包含很多小目标引起的前景和背景区域之间[0070]p(s)=,FF[0073]将关注边界的特征图上采样到边界真值图的分辨率大小[0080](1)本发明首次将Transformer引入遥感显著性的任务，并且设计了基于Transformer全局上下文模块来解决远距离特征不一致性的问题，从而检测到完整的显著[0081](2)本发明的边界感知解码器能够有效地利用边界信息，在关注显著区域的同时9[0082](3)本发明采用一个新的联合损失函数来缓解前景背景之间地类别不均衡问题，包括多层重复的transformer模块，每个transformer模块中均包括windowattention和[0090]先将浅层特征f1和f2通过空间注意力以自适应调制的操作对细节信息进行优化，Asi[0102]步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处F′31～F4进行交互融合，逐渐细化生成更加完整且边缘较清晰的显著性F2[0125]另一个分支将特征F3上采样与相同大小，然后将除去边界的区域和特征F3相乘[0144]p(s)=,FF[0146]将关注边界的特征图上采样到边界真值图的分辨率大小，再通过二元交为使本发明的光学遥感图像显著目标检测网络收敛，本实施例的目标检测网络在NVIDIATITANXpGPU上以8的批量大小训练了55次。网络的骨干参数采用Swin-B的参数，使用r[0170]比较方法不仅包括自然场景图像方法，还包括光学遥感图像方法。具体包括[0173]在ORSSD数据集上，与次优的MCCNet方法进行比较，在五个评估指标上分别有[