CN115346130B 一种提升遥感下游任务性能的知识迁移方法 （北京理工大学）

号AKnowledgeTransferLearningStrwithRelevantUnlabeledDatafoSensingDomain.ComputerVisionaPatternRecognition.一种提升遥感下游任务性能的知识迁移方法本发明涉及一种计算机视觉领域知识迁移的自监督代理任务在大规模自然场景数据集上对基于Transformer网络结构的自编码器进行自经完成大规模自然场景数据预训练的模型参数继续在遥感场景下游任务数据上进行持续自监结构中的编码器模型作为基础特征提取骨架网过有监督的方式在相应的下游任务数据集上进2步骤1，利用重建随机遮罩图像的建模方式在大规模自然场景数据集上对基于Transformer特征提取网络的自编码器进行第一阶段的无标注的自监督预训练，得到预训步骤3，使用步骤1获取的模型参数在步骤2得到的第二阶段的无标注持续自监督预训步骤4，将步骤3获取的自编码器中编码器部分的模所述的步骤1中，基于Transformer特征提取网络的自编码器，包括编码器部分采用8层具有多头注意力机制的TransformerBlock的轻量级网络3.根据权利要求1或2所述的一种提升遥感下游任务性能的知识迁移方法，其特征在被设置为零的部分用X,表示；像素信息设置为零的部分即被遮罩的部分XM去除，然后将保留图像像素信息的补丁块xa3针对遥感下游任务，通过人工评估与该遥感下游任务具有相与遥感下游任务相关的无标注遥感数据与遥感下游任务自身的数据进行结合是指与遥感下游任务相关的无标注遥感数据与遥感下游任务自身的数网络，将编码器的模型和参数Ft,t∈T替换为骨架网络，同时，将编码器模型的12个4感场景智能解译领域的影像样本库规模较小难以形成大规模高质量标注数据支撑算法模任务数据上进行微调训练的迁移学习方式，将难以避免数据域差异对基础特征表征的影遥感下游任务数据之间的领域差距制约现有知识迁移模型训练精度的问题和有监督知识[0008]步骤1，利用重建随机遮罩图像的建模方式在大规模自然场景数据集上对基于Transformer特征提取网络的自编码器进行第一阶段的无标注的自监督预训练，得到预训[0009]其中，基于Transformer特征提取网络的自编码器，包括编码器和解码器两个部5分，编码器部分采用12层具有多头注意力(Multi_headAttention)机制的TransformerBlock的网络结构；解码器部分采用8层具有多头注意力机制的TransformerBlock的轻量合是指与遥感下游任务相关的无标注遥感数据与遥感下游任务自身[0012]步骤3，使用步骤1获取的模型参数在步骤2得到的第二阶段的无标注持续自监督的是在连续的预训练阶段实现大规模自然场景到[0013]所述的步骤3中，可以不断增加训练的迭代次数或持续加入更多任务相关的无标息设置为零的部分即被遮罩的部分XM去除，然后将保留图像像素信息的补丁块X,输入到机初始化的特征向量与中间隐式特征R按照原始补丁块的顺序进行拼接，得到补全后的中[0019]图像重建的方法为：该图像重建任务的监督信号是被遮罩补丁块的原始像素信[0022]步骤1.3，预训练步骤1.2得到的图像重建任务过程中得到的自编码器的模型参6[0025]与遥感下游任务相关的无标注遥感数据与遥感下游任务自身的数据进行结合的以无标注的数据形式与所得的Datau进行合并获得数据集合Dataa，来提高第二阶段预训练[0029]步骤3.3，根据自监督预训练过程中的迭代次数设置固定间隔T＝{800，1600，[0031]将基于Transformer的自编码器的模型参数Wt中的编码器部分参数单独提取，作和头网络，在利用该知识迁移技术时，仅需将编码器的模型和参数Ft,t∈T替换为骨架网[0037]将模型参数Ft,t∈T分别应用到遥感场景分类和目标检测两种任务后，通过遥感[0039](1)本发明的方法可以将大规模自然场景数据预训练所得的泛化知识有效迁移到[0040](2)本发明的方法采用无标注自监督预训练技术，可以通过在大量无标注图像数[0041](3)本发明的方法采用任务不可知的重建随机遮罩图像的自监督代理任务，可以有效地避免预训练阶段的任务目标和模型微调阶段的知识迁移方式中存在的自然场景与遥感场景之间领域差距制约预训练模型迁移性能的问[0043](5)本发明的方法在预训练阶段即可初步进行大规模自然场景数据到遥感下游任7务数据的知识迁移，不仅可以避免通过有限标注数据进行模型微调易出现过拟合的问题，[0044](6)本发明的方法仅需要在第二阶段预训练步骤中以较低成本收集任务相关的无标注数据以及等待更多的训练迭代次数即可获得优于现有基于人工标注大规模数据集的[0059]步骤1.2：使用Transformer网络作为编码器对未被遮罩的区域进行深层特征提8[0073]解码器采用8层具有多头注意力(Multi_headAttention)机制的Transformer一个输入维度为512输出维度为768的全连接层，同时去掉classtoken维度，得到最终的shipship[0083]步骤3：使用步骤1获取的模型参数在步骤2得到的第二阶段的