CN117173418B 一种基于对比学习预训练的遥感图像描述生成方法 （西北工业大学）

WO2023093574A1,2023.06.01WO2020232905A1,2020.11一种基于对比学习预训练的遥感图像描述本发明公开了一种基于对比学习预训练的2获取公开的具有英文文本描述的遥感图像数据集，利用机器翻在对比表征空间中的表征向量fq和fkt,其过程表示为如将步骤2中预训练得到的查询编码器和键编码器的参数初始化当前模型中的视觉特征3z·)表示由卷积层_批归一化_激活函数组成将特征向量fg∈cxhxw展平并进行位置嵌入转换为fs∈cxhw，应用注意力机制对展f=Attention(f;WQi,f;wki,f;w"i)2.根据权利要求1所述的一种基于对比学习预训练的遥感图像描述生成方法，其特征利用Transformer解码器将视觉特征i，j代表模型j时刻生成的第i个单词的概率，取最大值对应的索引即得到j时刻3.根据权利要求1所述的一种基于对比学习预训练的遥感图像描述生成方法，其特征4.根据权利要求1所述的一种基于对比学习预训练的遥感图像描述生成方法，其特征4等要素进行理解，并且要求算法以符合人类语法规则的自然语言进行描述。一种常见的方法是将遥感图像与大规模标注的遥感图像数据集配对，并使用卷积神经网络(CNN)提取图X,WANGX,TANGX,etal.Descriptiongenerationforremotesensingimagesusing“LUX,WANGB,ZHENGX.Soundactiveattentionframeworkforremotesensingimagecaptioning[J].IEEETransactionsonGeoscienceandRemoteSensing,2019,捕获解译人员感兴趣的对象来生成句子。Wang等人在文献“WANGQ,HUANGW,al.GLCM:Global–localcaptioningmodelforremotesensingimagecaptioning[J][0004]然而上述遥感图像描述生成方法都是利用在ImageNet上预训练的卷积神经网络在国内的应用。5语言特征之间的映射并解码；本发明方法有效提升了模型对遥感图像特征的理解和提取，两个在对比表征空间中的表征向量fq和fkt,其过程表示为如下形式：[0022]将步骤2中预训练得到的查询编码器和键编码器的参数初始化当前模型中的视觉6gg对展平后的特征向量fs进行增强得到视觉7升了模型对遥感图像特征的理解和提取，进而提升了模型对遥感图像的描述生成的准确8q的表征向量f和其过程可以表示为q网络E将数据投影到对比表征空间，使得正样本之间距离比较近，负样本之间的距离比较9时冻结其中前三个阶段的参数不参与下游任务训练，以保持提取器对低级特征的提取能gg机制对展平后的特征向量fs进行增强得到视觉特[0088]本发明是在Linuxversion5.0.0_23_generic(build[0089]实验中的中文数据集构建基于公开英文遥感图像描述数据集NWPU_Captions，用[0091]本