CN114943876B 一种多级语义融合的云和云影检测方法、设备及存储介质 （南京信息工程大学）

本发明公开了一种多级语义融合的云和云数据进行特征提取，整体采用编码器-解码器的2从谷歌地球上直接获取到的原始图片，大小为4800×2742像素，之后构建多级特征上下文语义融合网络以及三个所属所述多支路残差上下文语义模块采用残差结构的形式，主体部分采用所述多尺度卷积子通道注意力模块用于提取深层通道互相之间的提取不同尺度的信息后经过改进的金字塔池化模块进一步提取深输入一张彩色图片，将彩色图片经过训练后的多级特征上下文语义首先将输入张量经过一个1x1的卷积进行通道压缩，将通道多支路残差上下文语义模块中引入了上下文语义与query进行concat并且进行了两次连续的卷积操作后得到每个像素点的权重Attention3A＝Conv(Conv(concat[K其中Conv(.)表示卷积操作，concat(.)表示将多个张量进最后将具有局部上下文信息的K与具有全局上下文信息的X相加便得到左边支路的输右边支路引入了1×3和3×1这一组条状卷积块，通过分别使用3×3，1割边界粗糙的问题，使用多尺度卷积来提取不同尺度的信息以此来提升模型的表达能力，i＝0,1,2,3i＝0,1,2,3其中通道注意力模块允许对每个通道的重要性进行评估，的与大多数通道注意力一样首先使用一个自适应全局平均池化层对特征图进行通道信息道的压缩再还原能够更有效的组合通道间的相互关系，有利于维度之间的信息交互，GAP4通过主支路的强化特征提取与辅助支路的通道权重计算得的同时将深层信息与浅层信息进行聚合使得网络中的上下文信息传播到更高分辨率的层5现如权利要求1-8中任一所述的一种多级语义融合的云计算机处理器执行时用于执行如权利要求1-8中任一所述的一种多级语义融合的云和云影6[0001]本发明属于图像处理技术领域，具体涉及一种多级语义融合的云和云影检测方行精确分割对遥感图像的后期使用具有重要的作[0003]现有技术中对云的检测方法主要是通过人工根据云和云影不同波段的阈值或者[0009]将数据集中的图片进行数据增强操7量进行一个捷径连接的方式实现恒等映射，既没有引入额外的参数也没有引入计算复杂个强化特征提取支路，在使用3x3卷积块的同时引入了两个条状卷积，用于强化特征的提[0018]多支路残差上下文语义模块中引入了上下文语义支路，将卷积与注意力结合起key与query进行concat并且进行了两次连续的卷积操作后得到每个像素点的权重[0020]其中Conv(.)表示卷积操作，concat(.)表示将多个张量[0022]最后将具有局部上下文信息的K与具有全局上下文信息的X相加便得到左边支路[0024]进一步地，所述多尺度卷积子通道注意力模块用于提取深层通道互相之间的联用多尺度卷积来提取不同尺度的信息以此来提升模型的表达能力，在主支路中首先使用18)i＝0,1,2,3[0032]其中通道注意力模块允许对每个通道的重要性进行评估同样的与大多数通道注意力一样首先使用一个自适应全局平均池化层对特征图进行通道[0039]通过主支路的强化特征提取与辅助支路的通道权重计算得到特征图中的重要信将两边结果进行相加后经过1×1卷积对通道进行[0042]进一步地，所述多级特征上下文语义融合网络主要采取先使用残差网络ResNet-18作为主干网络并采用逐层下采样方式进行特征提取，接着将输出特征分别经过多支路残差上下文语义模块与多尺度卷积子通道注意力模块进行上下文91x1卷积操作提取通道之间的相互信息，主要关注不同的特征信息在不同通道之间的重要[0074]一种基于多级特征上下文语义融合网络的遥感图像云和云影的检测方法的结构(MRCS),多尺度卷积子通道注意力模块(MCSA)，多尺度卷积子通道注意力模块(MCS特征进行融合并加入注意力机制，总体是一个编码器-解码器的结构。该网络首先使用ResNet-18作为主干网络采用逐层下采样方式进行特征提取，接着将输出特征分别经过个强化特征提取支路，在使用3x3卷积块的同时引入了两个条状卷积，用于强化特征的提[0078]多支路残差上下文语义模块中引入了上下文语义支路，将卷积与注意力结合起key与query进行concat并且进行了两次连续的卷积操作后得到每个像素点的权重[0080]其中Conv(.)表示卷积操作，concat(.)表示将多个张量[0082]最后将具有局部上下文信息的K与具有全局上下文信息的X相加便得到左边支路)i＝0,1,2,3[0092]其中通道注意力模块允许对每个通道的重要性进行评估同样的与大多数通道注意力一样首先使用一个自适应全局平均池化层对特征图进行通道[0099]通过主支路的强化特征提取与辅助支路的通道权重计算得到特征图中的重要信可以很好的提取出不同空间位置之间的特征交互信息以及通道之间多尺度卷积子通道注意力模块(MCSA)，整个模块不仅可以提取深层通道互相之间的联系，通过分组卷积提取不同尺度的信息后经过改进的金字塔池化模块进一步提取深层语义信[0105]最后在解码器上采样输出云和云影的分割图像时加入特征融合上采样模块[0107]本发明采用有监督训练的训练模式，首先将数据集中的签转换为张量作为输入序列并将输入将每次的批量大小设置为8，采用等间隔调整学习率(StepLR)策略随着训练次数的增大相应的减小学习率