CN113901922B 一种基于隐式表征解耦网络的遮挡行人重识别方法及系统 （北京大学深圳研究生院）

一种基于隐式表征解耦网络的遮挡行人重一种基于隐式表征解耦网络的遮挡行人重征，并使用Transformer在语义偏好对象查询的相关的特征与ID无关特征进行相反的判别性约束，将遮挡物及背景噪声从行人特征中分离出使用行人ID相关特征计算查询图像和图像库中本发明方法可以自动解耦出行人语义特征同时2S4.行人图像检索：使用所述行人ID相关特征计算查询图像和图像库中图像之间的相D2.对输入网络的图片数据进行预处理，所述预处理包括尺度归一化以及随机水平翻5.一种基于隐式表征解耦网络的遮挡行人重识别行人特征的提取和语义解耦模块，用于首先将预处理好的图片输入卷3语义偏好引导对比特征学习模块，用于所述行人ID相关特征和I4[0002]行人重识别(PersonRe-identification)是在图片或者视频序列中搜索与查询与[0003]遮挡行人重识别算法主要面临的挑战是遮挡物和背景的干扰和行人身体部位的一种基于隐式表征解耦网络的遮挡行人重识别方法及系统，利用深度自注意力变换网络(Transformer)架构和对比特征学习技术，通过对被遮挡行人图像的局部特征进行全局推5网络(Transformer)的编码器和解码器中；以及D4.深度自注意力变换网络(Tran图像特征之间的相似度矩阵，并根据行人重识别评价指标计算得到累积匹配特征曲线用基于深度自注意力变换网络(Transformer)的隐式表征学习网络，不需要额外的语义监征解耦网络(DRL-Net)设计了一种对比度特征学习技术和相对应的数据增强策略，有效地6[0023]为了增强每批训练数据中遮挡样本的多样性，采用提出的遮挡样本增强(OSA)的[0026]1.3用原始训练数据和遮挡物合成[0027]D2.对输入网络的图片数据(即行人凑的行人全局特征拉平成一维序列并辅以可学习的位置编码，输入到Transformer的编码7[0034]在D4中，Transformer的编码器-解码器层遵循标准的结构[1]，其中，使用置编码和卷积神经网络提取出的特征g一起添加到每个编码器注意层的输入；为了产生语qq将输入的行人图片特征解耦得到相应的语义部件的特征其中qN-1个人体相关语义部件的特征拼接成ID相关特征1个利q用遮挡语义查询引导生成的ID无关特征=f。eRe[0035]为了在没有外部监督的情况下使Transformer解耦不同语义部件的特征，提出一象查询集对象查询去相关约束损失的计算公[0039]D5.利用语义偏好对比特征学习方法，所提出的遮挡样本增强(OSA)的方法可以构造出xn的对比三元组，包括xn本身作为锚点8行人图片的ID相关特征fn+/fn-，采[0044]对于锚点图像xn的ID无关特征以及与xn不同/相同遮挡物的行人图片的ID无关特征采用所提的反向对比三元组损失对其进行相反的判别性约束即提出一种反向[0046]其中是锚点图像xn的ID无关特征，分别表示与xn不同/相同遮挡物的行[0047]D6.在模型的训练过程中，使用常用[0054]S4.行人图像检索，使用行人ID相关特征9[0056]图2为本发明的基于隐式表征解耦网络的遮挡行人重识别系统所涉及的模型框与原始图像共享同一个标签yi，遮挡增强数据和原始数据一起作为当前批次的网络输入qqq的行人图片特征解耦得到相应的语义部件的特征其中N-1q个人体相关语义部件的特征拼接成ID相关特征以及[0061]为了在没有外部监督的情况下使Transformer解耦不同语义部件的特征，提出一象查询集Q'eRad,对象查询去相关约束损失的计算公式如下：[0064](3)语义偏好引导对比特征学习模块，用于对行人ID相关特征与ID无关特征进行[0065]具体操作为：对于给定的一个行人图片xn，利用步骤D1所提出的遮挡样本增强本；对于锚点图像xn的ID相关特征fn，fn+/fn关特征，采用对比三元组损失对其进行判别性约束；对于锚点图像xn的ID无关特征分别表示与xn不同/相同遮挡物的行人图片的ID无关特征，采用所提的反向对[0071]其中是锚点图像xn的ID无关特征，分别表示与xn不同/相同遮挡物的行[0072]本发明设计了一个基于Transformer的隐式表征学习网络，不需要严格的人体部有在语义特征提取和长距离特征捕获等方面表现出更优秀的性能。本发明将Transformer个行人图片的相似性。同时包含一种对比特征学习技术(CFL)来更好地分离遮挡特征和目“End-to-endobjectdetectionwithtransformers,”inProceedingsofthe