CN116343058B 基于全局协同融合的多光谱和全色卫星影像地表分类方法 （同济大学）

WO2023000159A1,2023.01基于全局协同融合的多光谱和全色卫星影本发明涉及一种基于全局协同融合的多光究区的多光谱卫星遥感影像和全色卫星遥感影构建全局协同的多光谱和全色卫星遥感影像地2S1：获取研究区的多光谱卫星遥感影像和全色S3：将步骤S1获取的研究区的多光谱卫星遥感影S4；获取待分类的研究区多光谱卫星遥感影像和全所述两个单源分支包括单源多光谱深浅特征融合分支和单源全色深浅特征融合分支，地表要素分类深度卷积神经网络还包括三个网络分支的自适应加权交所述全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络整体的total为全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络所述三个网络分支的自适应加权交叉熵损失的计算式中，C为研究区所标注的地表要素类个数，H和W分别为多光谱卫星遥感影像的高和2.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方3.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方3模块包括依次连接的解码卷积层MS1、解码上采样层MS1、解码卷积层MS2、解码上采样层所述单源全色深浅特征融合分支包括全色编码模块和全色解码模块，所4.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方5.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方6.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方所述多光谱分支的浅层特征和全色分支的浅层特征后添加侧边连接卷积层来调整浅7.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方所述相加操作层1包括解码卷积层MS1+解码卷积层PAN1，所述相加操积层MS2+解码卷积层PAN2+上采样层Fusion1，所述相加操作层3包括解码卷积层MS3+解码8.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方4在所述最终的地表要素概率分类图的每个像素位置上，5[0002]随着遥感平台和传感器类型的不断丰富，融合多模态遥感影像(如高光谱和[0008]S2：构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网[0011]S5：通过概率加权的方式对步骤S4中三个网络分支的概率分类图进行决策级融6W和B分别为多光谱影像的高、宽和波段数，n为全色影像尺寸相对于多光谱影像尺寸的倍色卫星遥感影像地表要素分类深度卷积神经网络还包括三个网络分支的自适应加权交叉码模块包括依次连接的全色输入层、编码卷积块PAN1、编码下采样层PAN1、编码卷积块[0019]所述多光谱分支的浅层特征和全色分支的浅层特征后添加侧边连接卷积层来调码卷积层MS2+解码卷积层PAN2+上采样层Fusion1，所述相加操作层3包括解码卷积层MS3+解码卷积层PAN3+上采样层Fusio7各分支最后一个卷积输出层在图像位置(u,v)上第j个通道属于类别C的概率，且[0029]将BS,BW和分别记为单源多光谱深浅特征融合分支、单源全色深浅特征融合分支和多尺度多光谱和全色交叉特征融合分支的地表要素概率分类[0037](1)本发明不同于现有的仅使用多光谱和全色波段像素级或两者融合特征进行分[0039](3)本发明在训练过程中同时使用了样本区和非样本区数据，可以更全面地对影8[0040]图1为本发明提供的一种基于全局协同融合网络的多光谱和全色卫星遥感影像地[0045]图6为本发明实施例中DMIL(Deepmultipleinstancelearning)方法的地表要[0046]图7为本发明实施例中MultiResoLCC(Multi_Resolutionlandcovervlassification)方法的地表要[0048]图9为本发明实施例中GAFnet(Groupattentionfusionnetwork)方法的地表要[0054]如图1所示，本实施例提供一种基于全局协同融合的多光谱和全色卫星影像地表[0056]其中多光谱卫星遥感影像的尺寸大小为H×W×B，全色卫星遥感影像的尺寸大小[0057]S2、构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网9[0058]其中两个单源分支分别是单源多光谱深浅特征融合分支和单源全色深浅特征融[0059]该全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络示意[0064]多尺度多光谱和全色交叉特征融合分支依次包含相加操作层1(卷积层MS1+卷积各分支最后一个卷积输出层在图像位置(u,v)上第j个通道属于类别C的概率，且[0072]网络训练采用Adam(AdaptiveMomentumEstimation)优化器，学习率设置为[0075]具体的通过概率加权的方式对所述步骤S4中三个网络分支分类图进行决策级融值代表标准差，可以看出本发明所提出的方法标准差与最低CRHFF(FEMAP*PAN)方法的标准差