CN119399522A 一种基于模态信息约束的多模态遥感图像地物分类方法 （北京理工大学）

号一种基于模态信息约束的多模态遥感图像本发明提供一种基于模态信息约束的多模态遥感图像地物分类方法，首先采用MDF解码器自适应学习模态共享与模态差异特征的融合权采用MSIE解码器引导模态差异特征与多模态特2采用OPT编码器获取光学图像Xopt五种不同尺度的学图像Xopt与SAR图像Xsar为对同一场景拍采用MSIE_OPT解码器融合光学多模态投影特征和模态差异特征得到光学融合分类结果采用MSIE_SAR解码器融合SAR多模态投影特征和模态差异特征得到SAR融合分类结果根据模态融合分类结果光学融合分类结果i、SAR融合分类结果构建损失函基于损失函数L对多模态分类模型进行监督训练，直到得到损失函2.如权利要求1所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特各个尺度的光学多模态投影特征和SAR多模态投影特征分别别用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态共享特征还用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态差异特3征然后各层网络的MDF_VSS模块还用于融合自身获取的模态共享特征与模态差各层网络的VSS模块分别用于提取与自身同属一层网络的MDF_VSS模块输出的初始融网络的求和模块用于将第2层网络的VSS模块输出的上下文特征与来自第1层网络且经第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行二倍上采样；第3层～第5层网络的求和模块分别用于将与自身同属一层网络的VSS模块输出的上下文特征与来自上一层网络且经过二倍上采样后的二次融合特征进行相加，得到求3.如权利要求2所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特其中，为第i个尺度的光学多模态特征投影到设定维度后的光学多模态投影特征，为第i个尺度的SAR多模态特征投影到设定维度后的SAR多模态投影特征，VSS4.如权利要求1所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特4将各尺度的光学多模态特征投影到设定维度后，得到光学多模态投影特各个尺度的光学多模态投影特征和模态差异特征按照小尺层网络的残差模块分别用于对与自身同属一层网络的第一求和模块输出的第一和值特征第2层网络的采样模块用于对来自第1层网络的初始2层网络的第二求和模块用于将第2层网络的第一残差模块输出的初始光学融合特征与来第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行二倍块输出的初始光学融合特征与来自上一层网络且经过二倍上采样后的二次融合特征进行为最终的光学融合分类结果ine5.如权利要求1所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特将各尺度的SAR多模态特征投影到设定维度后，得到SAR多模态投影特征各个尺度的SAR多模态投影特征和模态差异特征按照小尺度络的第一残差模块分别用于对与自身同属一层网络的第一求和模块输出的第一和值特征第2层网络的采样模块用于对来自第1层网络的初始SAR融合特征层网络的第二求和模块用于将第2层网络的第一残差模块输出的初始SAR融合特征与来自5第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行二倍块输出的初始SAR融合特征与来自上一层网络且经过二倍上采样后的二次融合特征进行相6.如权利要求1所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特7.如权利要求6所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特8.如权利要求6所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特9.如权利要求6所述的一种基于模态信息约束的多模态遥感图像地物分类方法，其特6物的特征多样性。最近，许多研究集中于使用光学和SAR数据进行多模态遥感图像地物分态专有信息代表每种模态中对于准确描述地物至关重要的独特属性，如光谱和散射特征。目前多模态遥感图像融合方法主要基于深度特征级融合，这些方法通常会对光学和SAR的[0004]然而，在例如光学图像中的复杂地物分布或SAR图像中的斑点噪声等具有挑战性7[0009]采用SAR编码器获取SAR图像Xsar五种不同尺度的SAR多模态特征其opt与SAR图像Xsar为对同一场景拍摄得到；[0011]采用MDF解码器融合和得到模态融合分类结果ie:同时，采用MDF解码器获取和之间的差异，得到模态差异特征[0012]采用MSIE_OPT解码器融合光学多模态投影特征和模态差异特征得到光学融合分类结果i:[0013]采用MSIE_SAR解码器融合SAR多模态投影特征和模态差异特征得到SAR融合分类结果[0014]根据模态融合分类结果光学融合分类结果iw、SAR融合分类结果构建损块分别用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态共享特征还用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态差异特征然后各层网络的MDF_VSS模块还用于融合自身获取的模态共享特征与模态差[0019]各层网络的VSS模块分别用于提取与自身同属一层网络的MDF_VSS模块输出的初[0020]第2层网络的采样模块用于对来自第1层网络的上下文特征进行二倍上采样；8第2层网络的求和模块用于将第2层网络的VSS模块输出的上下文特征与来自第1层网[0021]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行二倍上采样；第3层～第5层网络的求和模块分别用于将与自身同属一层网络的VSS模块输出的上下文特征与来自上一层网络且经过二倍上采样后的二[0025]其中，为第i个尺度的光学多模态特征投影到设影特征，为第i个尺度的SAR多模态特征投影到设定维度后的SAR多模态投影特征，[0033]将各尺度的光学多模态特征投影到设定维度后，得[0034]各个尺度的光学多模态投影特征和模态差异特征按照别用于对自身接收到的光学多模态投影特征和模态差异特征进行相加，得到第一和值特9[0035]第2层网络的采样模块用于对来自第1层网络的初始光学融合特征进行二倍上采[0036]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行差模块输出的初始光学融合特征与来自上一层网络且经过二倍上采样后的二次融合特征[0039]将各尺度的SAR多模态特征投影到设定维度后，得到SAR多模态投影层网络的第一残差模块分别用于对与自身同属一层网络的第一求和模块输出的第一和值[0041]第2层网络的采样模块用于对来自第1层网络的初始SAR融合特征进行二倍上采样；第2层网络的第二求和模块用于将第2层网络的第一残差模块输出的初始SAR融合特征与来自第1层网络且经过二倍上采样后的初始SAR融合特征进行相加，得到第二和值特征；[0042]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行差模块输出的初始SAR融合特征与来自上一层网络且经过二倍上采样后的二次融合特征进[0056]本发明提供一种基于模态信息约束的多模态遥感图像地物分类方法，首先采用MDF解码器自适应学习模态共享与模态差异特征的融合权重，从多尺度角度自适应地控制差异特征与多模态特征开展多模态辅助分类任务，以增强有利于分类的光学和SAR专有信opt与SAR图像Xsar为对同一场景拍摄得到；合分类结果i:[0071]各个尺度的光学多模态投影特征和SAR多模态投块分别用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态共享特征还用于获取自身接收到的光学多模态投影特征和SAR多模态投影特征的模态差异特征然后各层网络的MDF_VSS模块还用于融合自身获取的模态共享特征与模态差[0075]其中，为第i个尺度的光学多模态特征投影到设影特征，为第i个尺度的SAR多模态特征投影到设定维度后的SAR多模态投影特征，VSS(·)表示采用共享参数，也即参数完全一样的VSS模块进行上下文特征提取操作，[0076]然后，对于每一层获得的多模态投影特征和使用减法计算多模态特征的[0081]各层网络的VSS模块分别用于提取与自身同属一层网络的MDF一VSS模块输出的初式的二倍上采样；第2层网络的求和模块用于将第2层网络的VSS模块输出的上下文特征与来自第1层网络且经过二倍上采样后的上下文特征进行相加，得到求和[0083]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行二倍上采样；第3层～第5层网络的求和模块分别用于将与自身同属一层网络的VSS模块输出的上下文特征与来自上一层网络且经过二倍上采样后的二次融合特征进行相加，得得到光学融合分类结果[0089]将各尺度的光学多模态特征投影到设定维度后，得到光学多模态投[0090]各个尺度的光学多模态投影特征和模态差异特征按照别用于对自身接收到的光学多模态投影特征和模态差异特征进行相加，得到第一和值特[0091]第2层网络的采样模块用于对来自第1层网络的初始光学融合特征进行二倍上采[0092]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行差模块输出的初始光学融合特征与来自上一层网络且经过二倍上采样后的二次融合特征最终的光学融合分类结果iwe这些特征通过双线性插值并与相邻较高分辨率的特征相加，最后通过第二残差模块融合；[0094]S5：采用MSIE_SAR解码器融合SAR多模态投影特征模态差异特征得到SAR融合分类结果[0097]将各尺度的SAR多模态特征投影到设定维度后，得到SAR多模态投影层网络的第一残差模块分别用于对与自身同属一层网络的第一求和模块输出的第一和值[0099]第2层网络的采样模块用于对来自第1层网络的初始SAR融合特征进行二倍上采样；第2层网络的第二求和模块用于将第2层网络的第一残差模块输出的初始SAR融合特征与来自第1层网络且经过二倍上采样后的初始SAR融合特征进行相加，得到第二和值特征；[0100]第3层～第5层网络的采样模块分别用于对来自上一层网络的二次融合特征进行差模块输出的初始SAR融合特征与来自上一层网络且经过二倍上采样后的二次融合特征进[0116]表1在DFC20数据集上多种现有多模态遥感图像地物分类