CN115376159B 一种基于多模态信息的跨外观行人重识别方法 （南开大学）

一种基于多模态信息的跨外观行人重识别本发明提供了一种基于多模态信息的跨外对四个特征矩阵，分别进行池化下采样获取特发明有效地缓解了网络过于关注行人外观信息2步骤2：使用预训练的轮廓识别网络和语义分割网络分别从预处理过的图像中获取行步骤10：查询图像和图库图像输入完成训练的模型2.如权利要求1所述的基于多模态信息的跨3.如权利要求1所述的基于多模态信息的跨外观4.如权利要求1所述的基于多模态信息的跨外观行人重识3i分别表示图像及其身份类别，p(yi|xi)表示图像xi被模型识别为身份类别yiL=λ1LHardTri+λ2LID和λ2分别表示最难三元损失和身份分类损失的权重参数；4[0003]目前监控环境中采集的跨外观行人重识别公开数据集主要包含NKUP+和PRCC，分换到极坐标系中以获取更加精细的轮廓特征，最后加之ASE注意力机制就获得了较为完整[0007]步骤2：使用经过公开数据集预训练的轮廓识别网络和语义分割网络分别从预处[0008]使用预训练的轮廓识别网络和语义分割网络分别从预处理过的行人的视觉图像中分别提取出轮廓图像和部件语义图像，三种不同模态的图像均使用RGB彩色图像进行表56[0023]其中，λ1和λ2分别表示最难三元损失和身份分类损失的权重参数；λ1和λ2均为多模态信息对行人检索的促进作用。息策略可以降低单一视觉RGB图像中外观敏感型信息在特征中的权重，融合的两种对外观变化相对鲁棒的模态信息则可以促进网络学习对于外观鲁棒的行人特征,最终促进模型7[0040]跨外观行人重识别数据集主要包含NKUP+和PRCC，分别包含40217和33698张行人[0045]步骤2：使用公开轮廓识别数据集(BSDS500)和行人语义分割数据集(LIP)训练的轮廓识别网络R(RCFNet)和语义分割网络P(PSPNet)从行人的视觉图像XRGB中分别提取出P＝P(XRGB)[0047]步骤3：使用在公开数据集(ImageNet)训练的三个非共享权重的特征提取Densenet121网络模型：轮廓特征义三种不同模态信息的高维特征矩阵：高维轮廓特征矩阵ff、高维视觉特征矩阵和[0049]步骤4：将行人视觉、轮廓和部件语义三种不同模态信息的高维特征矩阵拼接8廓特征矩阵ff、高维视觉特征矩阵高维语义特征矩阵和融合特征矩阵下采样为相应的高维特征：高维轮廓特征ff、高维视觉特征高维语义特征和融合特征E。[0052]fE"=Gempool(ff""),ff=Gempool(ff),E=Gem[0054]步骤6：对行人的高维轮廓特征ff、高维视觉特征高维语义特特征分别首先采用批次归一化(BatchNormalization[0055]高维轮廓推理特征ff、高维视觉推理特征高维语义推理特征f"和融合推理特征ff,然后使用全连接层(FullyConnectedlayer,FC)获取身份分类特征：高维轮廓分类特征高维视觉分类特征f8"、高维语义分类特征和融合分类[0064]其中，λ1和λ2分别表示最难三元损失和身份分类损失的权重参数；λ1和λ2均为9[0073]步骤9：多模态模型在行人重识别数据集上优化训练120轮，网络初始学习率为91轮分别衰减为当前值的0.1倍以微调网络权重。完成模型训练，得到训练好的多模态模图像输入到多模态模型进行前向传播，并使用融合特征的归一化推理特征ff作为最终的越低。计算每一张查询图像与所有的候选图像之间的距离并按照相似度从大到小进行排[0075]图5和图6展示了基准网络模型Densenet121和多模态模型M2Net在NKUP+跨外观子侧的为检索图像,查询图像按照相似度从高到低进行排列，黑色和灰色边界框分别表示正[0076]表3和表4中量化的列出了实验Rank_k和mAP指标，该指标是行人重识别领域的两