CN115019106B 基于对抗蒸馏的鲁棒无监督域自适应图像分类方法及装置 （中山大学）

基于对抗蒸馏的鲁棒无监督域自适应图像本发明公开了一种基于对抗蒸馏的鲁棒无练的非鲁棒源域模型对非鲁棒目标域教师模型2构建鲁棒无监督域自适应图像分类框架；所述鲁棒所述鲁棒无监督域自适应图像分类框架的目标函数是基于间隔差异散度在无源域数其中是一个理想间隔损失，er,u是得分函数f在目标对抗域上基于0-1损失的分类误差，err:"(f)是得分函数f在源域s上以常数ρ为间隔的是以常数ρ为间隔的目标域T;和目标对抗域T"的间隔差异散度；令在目标对抗域T"上基于0-1损失的分类误差em;:us)达到最小的最优得分函数f，故在源域数据完全缺失的条件下可知，得分函数f在源域上以常数ρ为间隔的分类误差使用预训练的非鲁棒源域模型对非鲁棒目标域教师模型的采用不使用源域数据的无监督域自适应学习模型进行使用预训练的非鲁棒源域模型的参数对非鲁棒目标域教师模型的将无监督目标域自然样本集输入非鲁棒目标域教师模基于训练好的非鲁棒目标域教师模型构造鲁棒目标域学生模型，采用和非鲁棒目标域教师模型相同的结构构造鲁棒目标域根据鲁棒目标域学生模型的参数信息，对无监督目标域自32.根据权利要求1所述的基于对抗蒸馏的鲁棒无监督域自适应图像分类方法，其特征所述对抗蒸馏损失函数根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模型的3.根据权利要求2所述的基于对抗蒸馏的鲁棒无监督域自适应图像分类方法，其特征所述对抗蒸馏损失函数根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模型的4.基于对抗蒸馏的鲁棒无监督域自适应图像分类系统，其1-3中任一项所述的基于对抗蒸馏的鲁棒无监督域自适应图像分类方法，包括数据获取模所述数据获取模块用于获取无监督目标域自然样所述分类框架构建模块用于构建鲁棒无监督域自适应图像分类框域自适应图像分类框架包括非鲁棒目标域教师模型和鲁棒目标所述鲁棒无监督域自适应图像分类框架的目标函数是基于间隔差异散度在无源域数其中是一个理想间隔损失，er,u0是得分函数f在目标对抗域T"上基于0-1损失的分类误差，是得分函数f在源域s上以常数ρ为间隔的4是以常数ρ为间隔的目标域和目标对抗域的间隔差令在目标对抗域上基于0-1损失的分类误差达到在源域数据完全缺失的条件下可知，得分函数f在源域上以常数ρ为间隔的分类误差所述教师模型训练模块用于使用预训练的非鲁棒源域模型对非鲁棒目标域教师模型采用不使用源域数据的无监督域自适应学习模型进行使用预训练的非鲁棒源域模型的参数对非鲁棒目标域教师模型的将无监督目标域自然样本集输入非鲁棒目标域教师模所述学生模型训练模块用于基于训练好的非鲁棒目标域教师模型构造鲁棒目标域学采用和非鲁棒目标域教师模型相同的结构构造鲁棒目标域根据鲁棒目标域学生模型的参数信息，对无监督目标域自现权利要求1-3任一项所述的基于对抗蒸馏的鲁棒无监督域自适5域自然样本分类性能的同时，有效地提升了对目标域对抗样本的分类性能和模型的鲁棒[0006]一方面，本发明提供了一种基于对抗蒸馏的鲁棒无监督6自然样本集上进行对抗蒸馏训练，得到训练好的鲁棒目标域学生模型并输出图像分类结[0014]其中是一个理想间隔损失，er,u0是得分函数f在隔的分类误差，是以常数ρ为间隔的源域s和目标域T的间隔差异散度，是以常数ρ为间隔的目标域T和目标对抗域Te的间隔差异散度；[0015]令在目标对抗域上基于0-1损失的分类误差em,us)达到最小的最优得分函数误差err:"()是常数，故根据(2)式推导出鲁棒无监督域自适应图像分类框架的目标函数[0021]采用不使用源域数据的无监督域自适应学习模型进行标准的无监督域自适应学[0022]使用预训练的非鲁棒源域模型的参数对非鲁棒目标域教师模型的参数进行初始[0023]将无监督目标域自然样本集输入非鲁棒目标域教师模型中进行端到端的迭代训7[0031]所述对抗蒸馏损失函数根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模[0037]所述对抗蒸馏损失函数根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模监督域自适应图像分类框架包括非鲁棒目标域教师模型和鲁棒目标[0043]所述教师模型训练模块用于使用预训练的非鲁棒源域模型对非鲁棒目标域教师[0044]所述学生模型训练模块用于基于训练好的非鲁棒目标域教师模型构造鲁棒目标[0046]采用不使用源域数据的无监督域自适应学习模型进行标准的无监督域自适应学[0047]使用预训练的非鲁棒源域模型的参数对非鲁棒目标域教师模型的参数进行初始[0048]将无监督目标域自然样本集输入非鲁棒目标域教师模型中进行端到端的迭代训8[0059]图1为本发明实施例中基于对抗蒸馏的鲁棒无监督域自适应图像分类方法的流程[0060]图2为本发明实施例中基于对抗蒸馏的鲁棒无监督域自适应图像分类方法的结构[0061]图3为本发明实施例中基于对抗蒸馏的鲁棒无监督域自适应图像分类系统的结构9况下更合理有效的学习目标；本实施例中的鲁棒无监督自适应图像分类框架的目标函数，[0073]其中是一个理想间隔损失，err(s)是得分函数f在隔的分类误差，d?(S,T)是以常数ρ为间隔的源域S和目标域T的间隔差异散度，是以常数ρ为间隔的目标域和目标对抗域的间隔差异散度；[0079]由于本发明的最终目标是通过对抗蒸馏训练来获得具有良好图像判别能力的鲁棒目标域学生模型，故需令在目标对抗域上基于0-1损失的分类误差达到最小误差是常数，故根据(2)式推导出鲁棒无监督域自适应图像分类框架的目标函数[0084]S3、使用预训练的非鲁棒源域模型对非鲁棒目标域教师好的非鲁棒目标域教师模型是根据非鲁棒目标域教师模型的学习目标函数的鲁棒目标域学生模型是根据鲁棒目标域学生模型的学习目标函数基于[0097]采用和非鲁棒目标域教师模型相同的结构(包括骨干网络和分类器)构造鲁棒目[0101]根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模型的输出进行建立对抗[0105]采用和非鲁棒目标域教师模型相同的结构(包括骨干网络和分类器)构造鲁棒目[0109]根据非鲁棒目标域教师模型的输出和鲁棒目标域学生模型的输出进行建立对抗域数据完全缺失的情况下使用预训练的非鲁棒源域模型对非鲁棒目标域教师模型的参数根据教师模型对目标域的自然样本的输出和学生模型对相应的对抗样本的输出建立蒸馏[0113]本实施例中，基于对抗蒸馏的鲁棒无监督域自适应图像分类方法的实验细节如[0114]1、本发明在四个自然样本数据集上进行大量实验并得到有效验证，分别为：[0116]3、使用随机梯度下降法，初始学习率为0.1并使用余弦退火方法逐渐降低；在VisDA-C数据集上训练的迭代轮数为50轮，在其余三个数据集上的训练迭代轮数为100轮；[0120]基于与上述实施例中的基于对抗蒸馏的鲁棒无监督域自适应图像分类方法相同[0121]如图3所示，本发明另一个实施例提供了一种基于对抗蒸馏的鲁棒无监督域自适[0123]分类框架构建模块102用于构建鲁棒无监督域自适应图像分类框架，包括非鲁棒[0124]教师模型训练模块103用于使用预训练的非鲁棒源域模型对非鲁棒目标域教师模[0125]学生模型训练模块104用于基于训练好的非鲁棒目标域教师模型构造鲁棒目标域[0127]采用不使用源域数据的无监督域自适应学习模型进行标准的无监督域自适应学[0128]使用预训练的非鲁棒源域模型的参数对非鲁棒目标域教师模型的参数进行初始[0129]将无监督目标域自然样本集输入非鲁棒目标域教师模型中进行端到端的迭代训的鲁棒无监督域自适应图像分类方法的实施例阐述的技术特征及其有益效果均适用于基述基于对抗蒸馏的鲁棒无监督域自适应图像分类系统的内部结构划分成不同的程序模块，自然样本集上进行对抗蒸馏训练，得到训