CN114972964B 一种基于对比学习的域适应物体检测方法及装置 （中国科学院信息工程研究所）

US2021034913A1,2021一种基于对比学习的域适应物体检测方法本发明公开一种基于对比学习的域适应物图像数据有标注而目标域图像数据没有标注的情况下匹配源域和目标域中的特征并从中解耦目标域特征的对齐，提高了解耦后特征的一致2构造由特征解耦提取模块、物体检测模块和对比学习模块组成的域适应物体检测网对于输入的图像数据，该特征解耦提取模块通过浅层特征提取利用有标注的源域图像数据集和无标注的目标域图像数据集对域适应物体检测网络进行训练；特征解耦提取模块根据有标注的源域图像数据集计算域相关特征和域无关特所述源域图像数据集经特征解耦提取模和物体检测模块处理所得到的特征以及对应的标将待检测的目标域图片输入到训练完成的域适应物体检测网络，对构成的回归模块和由两个全连接层构成的分类模块，该RPN网络负责从特征中筛选出潜在Lrc=lA,-Aaillrc是一致性损失，Ab和Adi分别是深层特征图和深层域无关特征图中物体特征的3使用局部极大值抑制算法筛选上一步所得回归结果，去除对同一物体的多个检测框，浅层特征解耦模块负责对浅层特征图进行解耦，得到浅层的域相关特征和域无关特深层特征提取模块负责结合浅层特征图和域无关特征并从中提取出深深层特征解耦模块负责从深层特征图中解耦出深层域相关特征和用于物体检测的深对比学习模块负责在训练阶段辅助有标注的源域图像数据和无标注的目标域图像数4[0003]域适应物体检测方法的主要难点在于正确地找到源域和目标域之间相似之处并训练一对特征提取器和领域判别器，前者试图从来自不同域中的样本中提取出不变的特5[0010]利用有标注的源域图像数据集和无标注的目标域图像数据集对域适应物体检测存所述源域图像数据集经特征解耦提取模和物体检测模块处理所得到的特征以及对应的全连接层构成的分类模块，该RPN网络负责从特征中筛选出潜在的物体备选区域并得到用6[0031]深层特征解耦模块负责从深层特征图中解耦出深层域相关特征和用于物体检测[0032]物体检测模块负责利用深层域无关特征进行物体检测，输出分类结果和回归结[0033]对比学习模块负责在训练阶段辅助有标注的源域图像数据和无标注的目标域图[0034]本发明采用了深度神经网络中的ResNet网络，配合对比能够在数据集中只有源域图像数据有标注而目标域图像数据没有标注的情况下匹配源域7[0040]本发明的基于对比学习的域适应物体检测方法，主要分块包含一个由两层全连接网络和正则化构成的映射分支，以及一个可以存储“特征-标签”对的内存队列。8的域相关特征和域无关特征计算互信息损失函数，以此对浅层特征解耦模块进行参数优[0048]在训练流程中，将上一步使用的RPN网络输出的特征配合对应的标签送入对比模的自相关矩阵。前述物体特征是RPN网络使用在前述步骤中获得的备选区域从对应特征图[0052]对比学习模块的输入是RPN网络输出的特征和标签。对于有标注的源域图像数据9[0057]其中，N是内存库的容量，zi是内存库中编号为i的特征，yi是该特征的标签，[0075]本发明和现有的主流预测方法SCDA(参见Zhu,XingeandPang,JiangmiaoandYang,CeyuanandShi,JianpingandLin,Dahua,“AdaptingobjectdetectorsviaandZhang,Lei,“Domainadaptiveobjectdetectionviaasymmetrictri-way133.8238.7338.6439.8[0078]从表1中可以清楚看到，本发明域适应物体检测网络比现有的文字检测方法SCDA和ATF的准确率有很大提升，并且加入了对比学习模块进行训练的方法得到的网络模型在人员对