CN113887353B 一种可见光-红外的行人重识别方法及系统 （山东师范大学）

本公开提供了一种可见光-红外的行人重识络模型对图像对进行特征提取得到局部特征与点积运算后再与全局特征连接后，得到图像特征；根据获取的图像特征和预设关节点邻接矩别图像的最终特征与候选图像库中的对应图像2根据得到的图特征与预设图卷积网络，得到待识别图像的最具体的，获取图卷积网络每一层的输出表示；根据得到的输出表最终的语义表示矩阵；根据语义表示矩阵与原始图像对应的语义表示矩阵的余弦相似度，深度网络模型和姿态估计网络模型均采用三元组损失和交叉熵损失来3具体的，获取图卷积网络每一层的输出表示；根据得到的输出表最终的语义表示矩阵；根据语义表示矩阵与原始图像对应的语义表示矩阵的余弦相似度，现如权利要求1-2任一项所述的可见光-红外的行人重识别方4[0001]本公开涉及跨模态图像识别技术领域，特别涉及一种可见光-红外的行人重识别ReID方法大多采用深度学习方法提取图像特征进行直接匹配，忽略了特征之间的潜在关[0004]可见光-红外行人重识别(VI-ReID)的目标是在相互没有关联的不同模态相机中起来人们极大的研究兴趣，但是目前对可将光-红外行人重识别的很多研究处理方法的都线不足的情况下摄像机也可以正常工作，目前大部分的监控摄像机可以从可见光(RGB)模式自动切换成近红外(IR)模式从而拍摄行人的红外图像，但目前对可见光-红外行人重识个通道的颜色信息，而在近红外模式下拍摄的IR图像只包含了一个通道的不可见光信息，受到GenerativeAdversarialNetworks(GAN)网络的启发，采用GAN生成图像的方式来将[0006]为了解决现有技术的不足，本公开提供了一种可见光-红外的行人重识别方法及56理器执行时实现如本发明第一方面所述的可见光-红外的行人重识别方法中[0045]图1为本发明实施例1提供的基于关键点特征提取的可见光-红外的行人重识别方[0046]图2为本发明实施例1提供的基于关键点特征提取的可见光-红外的行人重识别算[0047]图3为本发明实施例1提供的特征学习网络(图卷积网络与动态特征更新层)示意7[0053]本公开实施例1提供了一种基于关键点特征提取的可见光-红外的行人重识别方[0054]在特征提取部分采用了两个独立不同的网络分别提取图片的特征与位置信息并相似性传入损失函数中来更新网络参数，通过一定次数的迭代训练使得网络达到最佳效考虑在内，并且在图卷积之后添加了匹配与更新层对图卷积学习到的特征进行有目的筛[0062]整体网络的两个子网络和一个负责预测与更新的模块(特征提取网络、特征学习8网络和匹配与更新模块)在匹配与更新模块中包含两个子网络对应的损失函数，子网络参[0067]人体关键点的数量和类别通过预先人工划分得到并将其利用一个邻接矩阵进行行在NVIDIATitanRTX249一列用于表示全局特征，最后一列值全为1，通过邻接矩阵可以将互不相干的特征联系起api重用于动态的给不同的卷积层输出赋予不同[0086]本实施例提出的图卷积网络利用局部特征和全局特征结合而成为图特征作为输[0099]动态特征更新层主要包含两个步骤，首先使用式(11)对输入的语义特征进行处f2表示两个参数不共享的全连接层，FT表示求特[0103]语义表示矩阵M是综合考虑图卷积中每一层学习到的语义信息并结合动态更新机2表示二范式。[0112]具体来说，对于输入的图片首先在程序中对图片进行放缩，使图片统一为256×128，并对图片进行随机水平反转、随机裁剪，并将可见光图片转换为灰度图片。在CNN[0114]RegDB是由一个可见光摄像机和一个近红外摄像机拍摄共计412个不同行人的正[0115]SYSU-MM01包含了六个摄像头(4个红外摄像机和2个近红外摄像机)所采集到的图为了single-shotandmulti-shot两种模式，single-shot中查询的目标只有1个，而程中根据场景与样本数量的不同分为了四种集上预训练的Resnet50预训练模型和在COCO数据集上预训练的HR-Net预训练模型加载到mAP92.377.491.276.894.284.994.485.5器执行时实现如本发明实施例1所述的可见光-红外的行人重识介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0175]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程