CN113807420B 一种考虑类别语义匹配的域自适应目标检测方法及系统 （湖南大学）

AU2020103905A4,2021.02.11DE102018126664A1,2019US2019325299A1,2019.10.24一种考虑类别语义匹配的域自适应目标检本发明公开了一种考虑类别语义匹配的域骤2，使用源域带标签图像训练得到经过预训练签图像和目标域无标签图像训练得到经过训练23类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类别在c表示属于类别c的所有源域目标类别样本集合；表示第i个源域目标类别样使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签，伪标签4类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数根据公式(7)在训练过程中对阈值τ进行动态调整；对于中的每个目标域类别别的目标域目标类别样本集合的集合，7:表示经过选取的属于类别c'的所有目标域目标类别样本计算对应类别的中心点特征表示得到目标域所有目标类别在嵌入空间中的使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点特征初始目标类别中心点特征表示u0:根据公式(9)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξS；根据公式(5表示经过第iter次迭代后源域目标类别中心点特征表示；目标域目标类别样本集合T:,根据公式(8)对目标类别中心点特征表示进行初始化，得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξg'=cos;"","-))(11)对不同域的目标类别与对应目标类别中心点特征表示之间进行双向对齐样本目标域对应的目标类别中心点特征表示根据公式(13)计算得到源域匹定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式(14)计6源域记为其中对表示第i张源域带标签图像，表示第i张源域归一化和等比例缩放的预处理操作，通过主干网络G的系列卷积块对预处理后的图像进行运算，再经过两个1×1卷积层分别预测特征图在当前窗口位置框回归参数；通过先验框模板生成特征图对应源域带标签图像上的所有先验框；将预测的边界框回归参数应用到先验框上以获得候选框，移除小于指定尺寸的候选框后，7域生成网络的损失Lnw包括分类损失项Las和回归损失项Lregs小候选框内的候选区域经过兴趣区域头部网络的兴趣区域对齐后都转变成维度固定的特区域头部网络的损失Lroi包括分类损失项is和回归损失项使用随机梯度下降算法对基础目标检测器损失Laet进行优化，优化过程多次遍历数据骤2中预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化，输入图像依块对预处理后的图像进行特征提取，得到源域带标签图像的特征图目标域无标签图像的特征图G():模型的损失Ltotai包括基础目标检测器损失Laet、全局特征判别损失Lgb类别语义匹配损失如公式(18)所示；使用随机梯度下降算法对公式(18)示出的域自适应目标检测模86.一种使用权利要求1-5任一所述考虑类别语义匹配的域自适应目标检测方法的系所述预训练模块由域自适应目标检测模型由基础目标检测器、全9目标检测域自适应问题的研究也得到了越来越多质)的专利文献先后使用局部特征模型和全局特征模型分别对局部特征和全局特征进行对质)的专利文献在进行全局特征弱对齐和局部特征强对齐后，通过特征解耦的方式分离出[0006]授权公告号为CN111950608B(一种基于对比损失的域自适应物体检测方法)的专而促使目标检测模型在目标域上的检测性能像和目标域无标签图像训练得到经过训练的域[0018]源域记为其中对表示第i张源域带标签图像，表示第i张特征归一化和等比例缩放的预处理操作，通过主干网络G的系列卷积块对预处理后的图像进行卷积运算，再经过两个1×1卷积层分别预测特征图G(ri)在当前窗口位选框，区域生成网络的损失Lep包括分类损失项Las和回归损失项Lreg;[0024]步骤2.3，通过兴趣区域头部网络(RoIHe结果：不同尺寸大小候选框内的候选区域经过兴趣区域头部网络的兴趣区域对齐(RoI测和边界框回归参数预测；兴趣区域头部网络的损失Lroi包括分类损失项和回归损失项基础目标检测器的损失Laer为区域生成网络损失Lnew和兴趣区域头部网络损失L[0030]步骤3.2，使用源域带标签图像和目属于类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类[0042]使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签，伪目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性个类别的目标域目标类别样本集合的集合，7:表示经过选取的属于类别c'的所有目标域目标类别样本计算对应类别的中心点特征表示得到目标域所有目标类别在嵌入空间[0052]使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点源域初始目标类别中心点特征表示根据公式(9)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξs；根所有目标域目标类别样本集合7:,根据公式(8)对目标类别中心点特征表示进行初始化，得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度类别样本目标域对应的目标类别中心点特征表示根据公式(13)计算得到源[0064]当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时，给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式[0066]根据公式(15)和公式(16)，分别计算源域匹配目标域相似性概率分布的熵用步骤2中预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化，输入图卷积块对预处理后的图像进行特征提取，得到源域带标签图像的特征图目标域检测模型的损失Loal包括基础目标检测器损失全局特征判别损失Egb类别语义匹配损失如公式(18)所示；使用随机梯度下降算法对公式(18)示出的域自适应目标检[0086]一种上述考虑类别语义匹配的域自适应目标检测方法的系统，包括图像存储模[0088]所述预训练模块由域自适应目标检测模型由基础目标检测器、全局特征判别组[0092](1)本发明提供的考虑类别语义匹配的域自适应目标检测方法及系统，除了从宏[0093](2)本发明提供的考虑类别语义匹配的域自适应目标检测方法及系统，在使用源[0094]图1为本发明实施例1提供的一种考虑类别语义匹配的域自适应目标检测方法的[0098]图5为本发明实施例1提供的一种考虑类别语义匹配的域自适应目标检测方法的[0100]图7为本发明实施例1提供的类别空间中源域和目标域目标类别样本分布的示意[0102]图9为本发明实施例2提供的一种考虑类别语义匹配的域自适应目标检测系统的[0109]进一步的，将步骤1中获取源域带标签图像和目标域无标签图像分为以下几个步[0112]方便起见，将带标签的源域记为其中表示第i张源域图[0113]进一步的，将步骤2中使用源域带标签图像训练基础目标检测器分为以下几个步一化和等比例缩放操作。通过系列主干网络G的系列卷积块对预处理后的图像进行特征提分类结果和边界框回归结果。不同尺寸大小的候选区域经过兴趣区域对齐(RegionofInterestAlign,RoIAlign)后都将转变成维度固定的特征向量，随后经过两个全连接层分别进行目标类别概率预测和边界框回归参数预测。RoIHead的损失Lroi包括分类损失项区分主干网络G输出的特征图来自源域还是目标域。为了促使源域和目标域全局特征的混样本靠近域判别器D的决策边界。如果直接使用交叉熵损失(Cross-EntropyLoss,CEL)作失计算域判别器D对源域样本的分类损失公式(3)为使用焦点损失计算域判别器D对目标域样本的分类损失公式(4)为域判别器D对源域和目标域样本的总分类损失，即[0130]由于目标域图像缺少标签信息，因此直接对齐两域的类别分布存在较大的困为保证源域和目标域每个类别的语义得到合适的匹配，可以使用步骤2中预训练得到基础标域类别样本远离分类器的决策边界，而难分类的目标域类别样本靠近分类器的决策边后得到的伪标签仍普遍存在噪声，错误的伪标签将在目标类别对齐过程中引入错误的信别c的源域目标类别样本计算对应类别的中心点特征表示可以得到源域所有目标类别[0134]使用步骤2中预训练得到基础目标检测器为目标域所有无标签图像赋予伪标签，域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似σ持续增加。在训练初期被视为难分类的目标类别样本随训练过程的推进将会逐渐过渡为固定的阈值τ进行易分类的目标类别样本的选取。由于训练过程中会有越来越多难分类的目标类别样本转变为易分类的目标类别样本，固定的阈值τ无法适应易分类样本的增长速率而造成选取的易分类样本中混入错误伪标目标类别样本计算对应类别的中心点特征表示可以得到目标域所有目标类别在嵌入空间中的中心点特征表示进行动态更新。当对源域目标类别中心点特征表示进行更新时，进行初始化，得到源域初始目标类别中心点特征表示根据公式(9)计算新一轮迭代所有目标域目标类别样本集合T:,根据公式(8)对目标类别中心点特征表示进行初始化，得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示进行覆盖，以保证新的中心点特征表示既包含当前类别信息又包含此前类别信心点特征表示的单向对齐时，给定源域目标类别样本目标域对应的目标类别中心点特[0156]当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时，给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式[0163]进一步的，将步骤3.2中使用源域和练得到的基础目标检测器的权重对域自适应目标检测模型进行初始化，其余过程与步骤目标检测模型的损失Liotal包括基础目标检测器损失全局特征判别损失Lgib类别语义匹配损失如公式(18)所示。使用随机梯度