CN115527233B 一种姿态引导注意力的抗遮挡行人重识别方法 （浙江工业大学）

attentionnetworkforPatternRecognitionandCompute一种姿态引导注意力的抗遮挡行人重识别本发明公开了一种姿态引导注意力的抗遮全局特征图通过姿态引导空间注意力模块得到间注意力特征图通过姿态引导通道注意力模块2获取行人图像，分别通过姿态估计网络提取关节点热力图及关节将全局特征图与关节点热力图进行元素间相乘，得到关节点局部特点局部特征图和全局特征图通过姿态引导空间注意力模将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注在关节点置信度大于等于预设的阈值时，将关节点置信度作为关节点特根据待检索行人图像的全局特征图、关节点局部特征图和通道注意pgatotal表示待检索行人图像与图库图像之间的相似度距离，",vg分别表示待检库图像之间全局特征的距离，d表示待检索行人图像和图库图像之间通道注意力特征的pga将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图，将关节点局部特征图中每个通道中的像素点进行最大池化与ReLU激活将全局特征图进行卷积操作后，在通道维度上进行全局平均池将拼接后的空间姿态引导特征图，通过卷积操作和Sigmoid函数，得到空间注意力掩将空间注意力掩码与全局特征相乘得到空间注将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力将关节点局部特征图中每个空间上的像素点进行最大池化与ReLU激活3将空间注意力特征图进行卷积操作后，在空间维度上进行全局平将拼接后的通道姿态引导特征图，通过卷积操作和Sigmoid函数，得到通道注意力掩将通道注意力掩码与全局特征相乘得到通道注意力特征的距离、待检索行人图像和图库图像之间第i个关节点的距离均采用余弦距离进4要在特征学习的阶段去学习行人未被遮挡的部位特征以及在相似性度量阶段去进行特征5关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意[0010]将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通[0011]在关节点置信度大于等于预设的阈值时，将关节点置信待检索行人图像与图库图像之间的相似度距离，选择最相似的图库图像作为最终识别结pga和图库图像之间全局特征的距离，d表示待检索行人图像和图库图像之间通道注意力特pga[0017]将关节点局部特征图中每个通道中的像素点进行最大池化与[0022]将关节点局部特征图中每个空间上的像素点进行最大池化与6像和图库图像之间通道注意力特征的距离、待检索行人图像和图库图像之间第i个关节点[0036]本申请采用训练好的全局特征提取网络和姿态估计网络来提取全局特征图和关[0041]高分辨率网络HRNet_W32如图2所示，将高分辨率网络HRNet_W32的输出经过卷积7然后将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特[0045]如图3所示，首先将全局特征图与关节点热力图进行点乘，得到关节点局部特征[0046]本实施例对全局特征图与关节点热力图进行点乘，得到N个关节点局部特征{F1,[0049]将每个关节点局部特征图看作为具有C个通道，尺寸为H×W×1大小的特征图集[0053]为每个关节点局部特征都生成空间注意力图，得到集合"[0057]其中ψs表示全局特征F的嵌入函数，通过在空间上使用1×1的卷积以及批量归一化(BatchNormalization，BN)[0063]最后将空间注意力掩码as与全局特征F相乘实现在空间层面上更加关注行人的关8c2,…,cM}上的每个空间上的像素点进行最大池化，并使用ReLU激活函数去设置非线性映[0074]与姿态引导空间注意力类似，使用空间注意力特征图Fs作为全局特征F去产生具[0082]最后将通道注意力掩码as与作为全局特征图F的空间注意力特征图Fs相乘实现在9[0096]其中的分别为查询图像与图库图像的全局特征向量，[0099]其中dtotal表示查询图像与图库图像之间的相似度距离，v",vg分别为查询图像[0101]在本申请中，还通过实验对本申请技术方案进行了实验验证。实验时，基于Occluded_DukeMTMC数据集、Partial_ReID数据集，与当前主流的行人重识别算法进行比[0107]表1和表2分别是Occluded_Du