CN113688813B 多尺度特征融合遥感影像分割方法、装置、设备和存储器 （长沙理工大学）

SegmentationfromaSequence-to本申请涉及一种多尺度特征融合遥感影像多尺度特征融合遥感影像分割网络，该网络包其展开成一维向量并嵌入位置编码得到输入序列的输入网络；用于利用多层Transformer模块2构建多尺度特征融合遥感影像分割网络；所根据所述训练样本的标注和将所述训练样本输入到所述多尺度特征融合遥感影像分获取待测遥感影像，并将所述待测遥感影像输入其中，步骤：根据所述训练样本的标注和将所述将所述训练样本输入到所述输入网络中，将所述训练将所述不同层次的特征输入到基于多尺度特征图融合的解码器中，得到样本预测结将所述输入序列输入到第一个Transformer模块中，经过层标准化模块进行处理后得机模块中，并将得到的感知机输出特征与所述注意力融合特征融合，得到第一个将所述第一个Transformer模块输出特征作为第二个Tra其中，所述基于多尺度特征图融合的解码器由多尺度特3步骤：将所述不同层次的特征输入到基于多尺根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割其中，所述不同层次的特征包括：第s个Transformer模块输出特征、第2s个步骤：将所述不同层次的特征输入到所述多尺将第s个Transformer模块输出特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征输入到所述多尺度特征融合模块中，分别将第3s个Transformer模块输出特征和第b个Transformer模块输出特征采特征图和所述b层的第一特征图是大小为的特征图，其中K为向量长度,H分别将第b个Transformer模块输出特征、第s个Transformer模块输出特以及第2s个的特征图大小为的特征图，所述2s层的特征图大小为的特征将所述s层的特征图、2s层的特征图、3s层的特征图以将所述s层的卷积特征图、2s层的卷积特征图、3s层的卷积将所述多尺度融合特征图输入到所述图像尺寸恢复模块4Transformer模块提取输入序列不同层次的特征；所述解码器用于将不同层次的特征经过调整形状后通过卷积操作得到不同尺度的特征，并通过拼接操作来融合不同尺度的特征，度特征融合遥感影像分割网络进行训练，得到训练好的多尺度特征融合遥感影像分割网待测遥感影像的预测结果确定模块，用于获取其中，多尺度特征融合遥感影像分割网络训练模步骤：多尺度特征融合遥感影像分割网络训练模块，还5其中，所述基于多尺度特征图融合的解码器由多尺度特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个输出特征、第s个Transformer模块输出特以及第2s个Transformer模块输出特征采用第二将所述s层的卷积特征图、2s层的卷积特征图、3s层的卷积处理器执行所述计算机程序时实现权利要求1至6[0003]目前大部分的针对遥感图像的分割研究使用了全卷积网络（FCNFCN是将CNN应码得到输入序列；所述编码器用于利用多层Transformer模块提取输入序列不同层次的特征；所述解码器用于将不同层次的特征经过调整形状后通过卷积操作得到不同尺度的特7[0008]根据所述训练样本的标注和将所述训练样本输入到所述多尺度特征融合遥感影特征图融合的解码器；所述输入网络用于将所述训练样本分割成固定大小的多个小块图用多层Transformer模块提取输入序列不同层次的特征；所述解码器用于将不同层次的特影像输入到训练好的多尺度特征融合遥感影像分割网络中，得到待测遥感影像的预测结8一维向量并嵌入位置编码得到输入序列；编码器用于利用多层Transformer模块提取输入[0028]具体的，多尺度特征融合遥感影像分割网络（SEgmentationTRansformer-码器通过融合不同层提取的图像特征来给出样本预SETR使用ViT提取图像的特征，通过将图像特征变换形状的方式将其还原成多通道的特征[0031]步骤104：根据训练样本的标注和将训练样本输入到多尺度特征融合遥感影像分9固定大小的多个小块图像，并将小块图像展开成一维向量编码器用于利用多层Transformer模块提取输入序列不同层次的特征；解码器用于将不同个Transformer模块输出特征；将第一个Transformer模块输出特征作为第二个图像尺寸恢复模块组成；步骤104还包括：将不同层次的特征输入到多尺度特征融合模块第3s个Transformer模块输出特征和第b个Transformer模块输出特征采用第一特征变换方出特征、第s个Transformer模块输出特以及第2s个Transformer模块输出特征采用第二特后将其展开成一维向量并嵌入位置编码后输入至由b个Transformer模块组成的编码器中[0045]Transformer网络中使用的自注意力机制能够很好地整合输入序列的局部和全局四个维度为49,152的一维向量。而Transformer使用的多层感知机（Multilayerx,ei"""768的一维向量所构成的序列，记为其中i代的形状调整变得困难。所以只在输入向量中嵌入位置编码，最终的输入可以表示为[0050]本实施例中的方法将图像序列化后得到初始输入Z0，将使用Transformer网络作为编码器，用来提取图像的特征。一个Transformer网络由多个Transformer模块串联组个模块由多头自注意力（multiheadself-attention简称：MSA）模块，layer过LN模块得到zrei"，如式1所示：[0057]其中concat代表将h个大小为Nxd矩阵按照行维度拼接得到一个大小为Nxhd的矩阵，代表可以训练的权重参数，通常将d的值设置为N/h，s,代表第i个self-attention模块的输出其中WQ、w"、w"表示施例设计了一个与特征金字塔网络类似的多层次特征融合解码器，解码器的结构如图3所[0067]本实施例选择Transformer网络提取的4个不同层次的特征z},ie{s,2s,3s,b}，s决并且能被K整除。对于深层特征，使用图4中(a)所示的方法将其调整为大小为的特征图。对于z,，还会通过图4中(b)所示的方法将其调整为大小为而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部像展开成一维向量并嵌入位置编码得到输入序列；编码器用于利用多层Transformer模块入序列输入到第一个Transformer模块中，经过层标准化模块进行处理后得到标准化输入块输出特征作为第二个Transformer模块的输入序列，并将输入序列输入到第二个度特征融合遥感影像分割网络进行训练，得到训练好的多尺度特征融合遥感影像分割网模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征输入到多尺度特征融合模块中，分别将第3s个Transformer模块输出特征和第b个量长度,H和W分别为特征图的高度和宽度；第一特征变换方法是将特征图的每个列向量调[0080]关于多尺度特征融合遥感影像分割装置的具体限定可以参见上文中对于多尺度通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机$$[0089]本实施例选择语义分割任务中常用的PixAccuracy（PAMeanIntersection[0095]本实施例使用交叉熵作为损失函数，选用SGD作为优化器，初始学习率设置为[0096]本实施例在GF2-CZ数据集上进行了对比实验，对比了STER-MFPD与FCN-8s，的解码器在对目标整体分类时更准确。DeeplabV3虽然使用了ASPP模块，但是其准确率(89.20%)和mIoU(50.6