CN114091510B 基于领域自适应的跨域车辆重识别方法 （南京信息工程大学）

(12)发明专利(22)申请日2021.09.17(43)申请公布日2022.02.25(72)发明人孙伟胡亚华张小瑞徐凡代广昭左军纪锦公司32224GO6V20/58(2022.01)GO6V10/44(2022.01)GO6V10/762(2022.01)GO6V10/774(2022.01)GO6V10/82(2022.01)(56)对比文件胡亚华.“基于领域自适应的车辆重识别研究”.《中国优秀硕士学位论文全文数据库(信息科技辑)》.2024,全文.审查员岳春阳权利要求书2页说明书6页附图2页得三条Mean-Net网络模型；将源域图片输入Mean-Net网络模型中输出的预测值标记为软伪标签；将目标域图片通过聚类算法得到硬伪标网络模型的软分类损失函数和硬分类损失函数；应的软分类损失函数和硬分类损失函数构建循概率软伪标签练NET1,2.3硬伪标签循环平均学习2将图片输入预先训练好的三条Net网络模型中，对三条Net网络的参数进行加权平均得通过软伪标签和硬伪标签分别计算三条Net网络模型的软分类损失函数和硬分类损失通过三条Net网络模型，即Net1,Net2和Net3,对应的软分类损失函数和硬分类损失函将swin-transformer作为特征提取网络，将预先训练好的SNR模块和多分类器插入特输入源域图片经过实例归一化，然后将实例归一化的特征图与原特征图做差值，在差将实例归一化的特征图与提取的信息特征图相加得到的特征图再通过群归一化处理2.根据权利要求1所述的基于领域自适应的跨域车辆重识别方法，其特征在于，实例β是与身份相关的特征信息，R⁻是与特征无关的信息，并且根据差异对各部分进行不同恢3F+=F+R+(3)。4.根据权利要求1所述的基于领域自适应的跨域车辆重识别方法，其特征在于，在风选择基于概率密度的聚类方法对目标域样本进行聚类，确定目标域样本的初始伪标用初始伪标签监督网络在目标域上学习，在共有特征分布上提取高置信样本，从而提4基于领域自适应的跨域车辆重识别方法技术领域[0001]本发明涉及基于领域自适应的跨域车辆重识别方法，属于图像处理技术领域。背景技术[0002]车辆重识别是指利用计算机视觉技术判断图像或视频序列中是否存在某一特定车辆的技术，该技术在视频监控、智慧交通、维护社会治安等方面发挥着重要的作用。然而实际交通场景中车辆重识别仍存在着较大挑战，例如，训练时在源域使用的车辆图片数据集跟测试时在目标域使用的车辆图片数据集不同，而且目标域和源域中的车辆图片特征往往分布不一致，具有差异性；此外，同一车辆的外观在不同的监控视角下存在明显的差异，而不同车辆的外观在某些情况下会比较相似，这给车辆重识别带来了极大的挑战。[0003]无监督领域自适应方法可将一个交通场景下训练的模型应用到新的场景，可以在一定程度上解决跨域车辆重识别问题。该方法可以被粗略地分为两类：基于风格迁移的方法和基于伪标签的方法。前者利用生成对抗网络等方式来实现不同车辆数据集之间风格的迁移，以提升车辆重识别技术在不同场景下的应用能力。但是在风格迁移的过程中往往会丢失一些有用的特征信息。后者提出了自适应模块来生成“伪目标图像”,该模块学习未标记域的风格并保留标记域的身份信息，利用动态采样策略，从聚类结果中选择可靠的伪标签数据，结合“伪目标图像”和可靠的伪标签数据用于训练重识别模型，以适应新领域数据集的变化。但是模型的训练往往受到伪标签噪声的干扰，严重者会导致训练崩溃。其中伪标签的噪声主要来自未知的目标类别数、源域预训练的网络在目标域上表现力较弱、聚类算法本身生成正确标签的概率较低等。发明内容[0004]本发明的目的在于提供基于领域自适应的跨域车辆重识别方法，以解决现有技术目标域和源域中的车辆图片特征往往分布不一致，具有差异性导致重识别准确率低的缺[0005]基于领域自适应的跨域车辆重识别方法，所述方法包括：[0006]将图片输入预先训练好的三条Net网络模型中，对三条Net网络的参数进行加权平均得三条Mean-Net网络模型；[0007]将源域图片输入Mean-Net网络模型中输出的预测值标记为软伪标签；[0008]将目标域图片通过聚类算法得到硬伪标签；[0009]通过软伪标签和硬伪标签分别计算三条Net网络模型的软分类损失函数和硬分类损失函数；[0010]通过三条Net网络模型，即Net1,Net2和Net3,对应的软分类损失函数和硬分类损失函数构建循环平均学习框架；[0011]将车辆数据图片输入构建循环平均学习框架输出相同车辆图片。[0012]进一步地，Net网络模型的训练方法包括：5[0016]将实例归一化的特征图与提取的信息特征图相加得到的特征图再通过群归一化将提取的身份相关的特征信息R增添到下得到模块的最终输出；6[0029]用初始伪标签监督网络在目标域上学习，在共有特征分布上提取高置信样本，从而提取了标签样本，[0030]标签样本采用聚类算法生成初始硬伪标签。[0031]与现有技术相比，本发明所达到的有益效果：本发明通NET过网络模型进行风格转换，通过Mean-Net网络模型输出伪标签法，既消减了源域和目标域之间的风格差异又考虑了目标域置性度高的样本并补充了数据分布；循环平均学习框架模型中的概率软标签有效的减少了伪标签噪声对车辆重识别影响，提高了车辆识别准确度。附图说明[0032]图1是本发明基于领域自适应跨域车辆重识别流程图；[0035]图4是本发明循环平均学习框架。具体实施方式[0036]为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。[0037]如图所示，公开了基于领域自适应的跨域车辆重识别方法，其特征在于，所述方法[0038]将图片输入预先训练好的三条Net网络模型中，对三条Net网络的参数进行加权平均得三条Mean-Net网络模型；[0039]将源域图片输入Mean-Net网络模型中输出的预测值标记为软伪标签；[0040]将目标域图片通过聚类算法得到硬伪标签；[0041]通过软伪标签和硬伪标签分别计算三条Net网络模型的软分类损失函数和硬分类损失函数；[0042]通过三条Net网络模型，即Net1,Net2和Net3,对应的软分类损失函数和硬分类损失函数构建循环平均学习框架；[0043]将车辆数据图片输入构建循环平均学习框架输出相同车辆图片。[0045]构建SNR模块，使得它将输入的源域图片在照明、色调、色彩对比度和饱和度等风格与目标域图片风格归一化。将SNR模块插入到特征提取主干网络(swin-transformer)的block层后就能转换风格，即插即用非常便捷。[0047]步骤一：首先搭建风格规划化部分，图像输入到以swin-transformer为主干的特征提取网络的过程中，把特征提取后的输出进行实例归一化(IN),把每个HW(H,W分别特征图的长度和宽度)单独拿出来标准化处理、压缩和平移，将源域的图片风格与目标域图片风格基本一致并保持了每个图像的独立性，从而减少特征的域差异；具体数学表达式如下：7将提取的身份相关的特征信息R增添到F得到模块的归一化(GN)降低批量大小(batchs[0059]采用基于聚类的伪标签法来解决目标域没有标签的问题。通过聚类生成伪标签8域样本事先没有任何类别标签，选择基于概率密度的聚类方法(Density[0063]步骤1:将3条以swin-transformer为骨干的网络在ImageNet[0070]步骤3:车辆重识别网络通过损失函数的收敛来达到训练效果。在发明中，使用F[0077]与硬伪标签不同，软分类损失中的软伪标签为平均模型的分类预测值为9C′(F(x'|E①[θ])。为减小两个分布间的距离，软伪标签分类损失为下式：[0080]测试时，去除训练阶段使用的数据增强，如图片反转，裁剪等。将测试的车辆数据图片输入训练好的车辆重识别模型中，然后经过网络的计算输入图片中车辆与图库集图片中车辆的相似度，由网络最后的softmax层输出相同车辆的概率。[0082]其中z是神经网络最后全连接层的输片与输入图片的相似度。由此神经网络模型识别出与之相似度高的所有车辆图片。[0083]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的