CN117078943B 融合多尺度特征和双注意力机制的遥感影像道路分割方法 （太原理工大学）

号US2023267615A1,2023.08.24WO2019153245A1,2019.08.15融合多尺度特征和双注意力机制的遥感影本发明提供了一种融合多尺度特征和双注遥感影像中道路时由于道路被物体遮挡导致提取的道路出现断连的问题；对RGB三通道的高分21816.C028-261.1-18.mechanismforretinalvess.2020,第93卷1-10.DecoderNetworkWithMulti-ScaleContextAggregationforLandCoverSegmentation.attentionU-Netforroadsegmentation.2019(05)期),506-515.20.3步骤一：将高分辨率遥感图像数据集随机划分为训练所述前景特征增强模块对编码器模块第一阶段输出的特征图进行过所述融合多尺度特征的双注意力模块包括多个双注意力模块，双注意力器模块各个阶段处理过后的特征图通过跳跃连接，传递到多尺度解码器模块的对应阶段，所述上下文信息提取模块设置在编码器模块和多尺度解码器之间，所述多尺度解码器模块使用反卷积来对特征图进行上采样，并在步骤三：将预处理过的训练集数据输入至搭建的遥感图步骤四：将经过处理的实时的遥感道路数据输入到训练好的遥感图像道路分割网络2.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方3.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方所述编码器模块在第二层最大池化层后，放置四个由残差块堆叠而层池化层输出的特征图称为最浅层特征图，最后一个模块输出的特征图称为最深层特征44.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方首先将深层特征图经过空间全局平均池化处理，然后使用1x1卷积块来将特征图通道同理，将未处理过的深层特征图经过通道全局平均池化层处理，然后使用两个1x1的然后将经过空间注意力和通道注意力加权后的两个特征图相加，并使用1x1卷积块进为了融合编码器模块各个阶段的特征，使模最后将经过双注意力模块加权后的深层特征图与处理后的浅层特征图将编码器模块各个阶段经过双注意力机制处理过后的特征图通过跳5.根据权利要求4所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方第二条分支由三个卷积块构成，前两个卷积块由空洞率为3和5的3x3空洞卷积构成，第三个卷积块为1x1卷积；特征图在经过前两个卷积块后与第一条分支输出的特征图相加，然后再使用一个1x1第三条分支的前两个卷积块是由空洞率为5和8的5x5卷积构成，特征图经过这两个卷前景特征增强模块将编码器第二层最大池化层输出的特6.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方首先将输入特征图划分为16x16个不重叠5在经过4条Swin_Transformer块构成的支路后，使用MLP对第2_4条支路输出的特征图7.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方经过上下文信息提取模块后的特征图通过使用反卷积块进然后将这三个特征图进行拼接，之后采用1x1的卷积块进行特征融合，最终输出经过8.根据权利要求1所述的一种融合多尺度特征和双注意力机制的遥感影像道路分割方6[0004]本发明为了解决目前采用深度学习方法提取遥感影像中道路时由于道路被物体7大小为3×3，步长为2的卷积块来进一步学习上一个双注意力模块处理后的浅层特征图的[0028]最后将经过双注意力模块加权后的深层特征图与处理后得到经过双注意力机制加权并融合多尺度信8[0040]在经过4条Swin_Transformer块构成的支路后，使用MLP对第2_4条支路输出的特9用该模块可以对编码器各个阶段输出的特征图同时从空间和通道两方面进行注意力加权，窗口大小的Swin_Transformer块，从不同尺度对特征图的全局和局部依赖关系进行建模，[0064]如图1，本发明提供了一种融合多尺度特征和双注意力机制的遥感影像道路分割[0065]步骤一：将1024×1024大小的高分辨率遥感图像数据集按照8:2划分为训练集和将经过上一层注意力机制处理的浅层特征图和经过本层注意力机制处理的深层特征图进[0070]将经过前景特征增强模块的特征图以及编码器模块第2_5个阶段输出的特征图输到上下文信息提取模块和对应阶段的解码器[0073]将第5阶段的编码器输出的深层特征图和包含多尺度特征经过双注意力模块加权感图像道路分割网络的参数进行初始化，采用ResNet_34网络在ImageNet数据集上预训练×1的卷积块进行特征融合。第三条分支的前两个卷积块是由空洞率为5和8的5×5卷积构后将处理后的特征图输入到第一个双注意力Transformer块堆叠组成。首先将输入特征图X划分为16×16个不重叠的patch块，每个[0103]使用深度学习框架Pytorch1.12搭建遥