CN115601549B 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 （山东锋士信息技术有限公司）

基于可变形卷积和自注意力模型的河湖遥本发明涉及基于可变形卷积和自注意力模经网络构建的编码器结构进行多层次图像特征面可充分结合CNN提取局部特征和Transformer提取全局信息的优势并利用跳跃连接实现多级2S3.将编码器结构最后一层输出的特征图输入Transformer层捕获全局语义信息，进S4.对经Transformer层提取后的特征图进行解码器结构的上采样，上采样时在具有2.根据权利要求1所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，其特征是，步骤S1所述的预处理为将图像数据增强，然后将图像随机裁剪为固定的256x3.根据权利要求1所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，其特征是，步骤S2使用Resnet_50为特征提取网络构建编码器结构进行多层次图像特征的4.根据权利要求1所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，5.根据权利要求4所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，效建立图像中的长距离依赖关系，输出的结果由MLP模块进一步处理得到具有更强表示能6.根据权利要求1所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，其特征是，步骤S5所述的边界细化分支网络采用了堆叠3个卷积层从原始图像中提取低层含1个1x1卷积、1个BatchNorm层和1个ReLU激活函数，然后是一个1x1卷积用于线性分类，将分类结果上采样得到大小为HxWx1的边界图；方向头包含1个1x1卷积、1个7.根据权利要求1所述的基于可变形卷积和自注意力模型的河湖遥感图像分割方法，,3CEdir分别是预测图和方向图的交叉熵损失函数，Lbound为边界图的二值交叉熵存储有计算机程序用于实现如权利要求1_7任一项所述的基于可变形卷积和自注意力模型9.一种基于可变形卷积和自注意力模型的河程序时实现如权利要求1_7任一项所述的基于可变形卷积和自注意力模型的河湖遥感图像4留详细的局部信息，但大多数方法仅在下采样和上采样路径之间直接建立多个跳跃连接，[0006]由于CNN模型缺乏对长距离空间依赖性的提取能力，导致模型性能降低。尽管直接应用于高分辨率的遥感图像的密集预测任务。此外，大多数方法并未考虑到[0007]本发明的目的是针对现有分割方法语义分割准确性不够、广泛存在边界预测错5[0012]S3.将编码器结构最后一层输出的特征图输入Transformer层捕获全局语义信[0013]S4.对经Transformer层提取后的特征[0017]上述步骤S2使用Resnet_50为特征提取网络构建编码器结构进行多层次图像特征[0018]上述步骤S3所述的Transformer层由堆叠的Transformer块组成，每个最后一层输出的特征图通过扁平化操作得到Xo，并将可学习的位置嵌入Epos添加到一维特征中，最后输入序列可表示为Zo=Xo+Epos。Transformer块将输入到具有更强表示能力的全局特征。Transformer层提取的全局特征（全局信息特征）采用Reshape操作将一维序列转换为特征图用于后续的解可变形卷积和残差连接组成；其中两个3×3的卷积用于调整编码器输出特征图的通道数，[0022]上述步骤S5所述的边界细化分支网络采用了堆叠3个卷积层从原始图像中提取低类，将分类结果上采样得到大小为H×W×1的边界图。方向头包含1个1×1卷积、1个6[0024]LS=2,tst:txat7sta机可读存储设备上存储有计算机程序用于实现如上所述的基于可变形卷积和自注意力模所述程序时实现如上所述的基于可变形卷积和自注意力模型7用了timm库公开提供的在ImageNet数据集上训练得到的权重对模型参数进行初始化以获高度和宽度。[0048]S3.将编码器结构最后一层输出的特征图输入Transformer层捕获全局语义信致模型无法学习到全局的语义信息，而这对于语义分割等密集预测任务来说是至关重要8相对或绝对位置信息。位置嵌入与扁平化的特征具有相同的维度即最终[0063]S4.对经Transformer层提取后的特征9目标的各种变换，从而解决遥感图像中广泛存在的多尺度和不规则物体带来的巨大挑战，[0069]本发明在具有相同大小的编码器和解码器输出的特征图之间建立了3个跳跃连[0075]本发明采用了混合损失函数监督网络进行训练，分别对训练过程中输出的预测[0076]LS=2,tst:txat7sta计算机程序用于实现如实施例1所述的基于可变形卷积和自注意力模型的河湖遥感图像分现如实施例1所述的基于可变形卷积和