CN114120363B 基于背景及姿态归一化的行人跨镜重识别方法及系统 （上海市刑事科学技术研究院）

号基于背景及姿态归一化的行人跨镜重识别一种基于背景及姿态归一化的行人跨镜重原始图像的背景归一化图像中提取出关键点局习策略训练的Transformer编码模型，得到不同2关键点的坐标和类别信息融入关键点特征后，将其输入采用对比学习策略训练的的分辨率放大的特征超分辨率模块以及用于热图预测和热图融合的多分辨率热图聚合模所述的Transformer编码模型，其训练阶段采用随机抽取的方式将输入的不同关键点out＝exp(Zout)。目标的分割结果；将分割后的行人目标从原始图片中抠取出来，嵌入填充色为RGB(255,所述的多分辨率热图聚合模块包括：用于实现热图预测的包含20个1×3S1，对原始监控视频进行解码，提取出不同场景S3，将背景归一化图片集输入一个训练好的双S4，将第一特征集中的关键点局部特征和全S22，根据潜在目标矩形边界框信息，采用训练好的包含两个图卷积层的实例分割模4S31，构建不包含末端聚合层的HRNet作为主干网络，其S32，作为第一路后置网络的全局特征聚合模块S33，第二路后置网络中的特征超分辨率模块将临时特征集中各分支的输出的特征图S34，第二路后置网络中的多分辨率热图聚合将第二临时特征集中的四路特征图通过一个包含20个1×1卷积的卷积层进行通道合并和预测四路特征图上各元素的处于各关键S35，第二路后置网络中的关键区域选取模块按照数值大小对各关键点平均特图进行ii)采用正方形框框选出对每张热图中的连通热度块，正方形框的边长为对应连通热S36，将归一化后的关键点区域中的热度值与背景归一化的原图中对应区域进行逐像10.一种实现权利要求1～9中任一所述基于背景及姿态归一化的行人跨镜重识别方法5[0002]行人重识别是利用计算机视觉算法检测图像或者视频中是否存在特定行人的技码，Transformer编码模型能够捕获输入特征之间的关联关系，各关键点局部特征在关键点的坐标和类别信息融入关键点特征后，将其输入采用对比学习策略训练的6ω特征图的分辨率放大至原来的4倍的特征超分辨率模块、用于热图预测和热图融合的多分[0017]所述的Transformer编码模型，其训练阶段采用随机抽取的方式将输入的不同关用基于不同样本特征相似度的交叉熵损失，训练目标为使同一行人不同图像的相似度更[0018]本发明涉及一种实现上述基于背景及姿态归一化的行人7特征提取结构，通过特征超分辨率等方式提取了行人画面的全局特征以及关键点区域特8所涉及的模型均在本地人工标注的数据上训练得行100轮次的微调训练，得到训练好目标检测模型。此步骤输出为潜在目标矩形边界框信区别在于此步骤的输入为潜在目标区域特征子图与前置的图神经网络处理后的特征相加9标注的数据上训练得到。[0049]S33，第二路后置网络中的特征超分辨率模块将临时特征集中各分支的输出的特[0050]S34，第二路后置网络中的多分辨率热图聚合将第二临时特征集中的四路特征图通过一个包含20个1×1卷积的卷积层进行通道合并和预测四路特征图上各元素的处于各[0051]S35，第二路后置网络中的关键区域选取模块按照数值大小对各关键点平均特图[0053]ii)采用正方形框框选出对每张热图中的连通热度块，正方形框的边长为对应连[0054]S36，将归一化后的关键点区域中的热度值与背景归一化的原图中对应区域进行为28×28×3的关键点局部特征图，随后将局部特征图的各行各列按照首尾相接的方式进28×3的全局特征的各行各列按照首尾相接的方式进行拼接，得到长度为2352的全局特征[0062]所述的坐标嵌入矩阵得维度为21×2，分别为20个关键点和全局特征在背景归一用对比学习策略训练的Transformer编码模型还包括数据随机掩模模块和多头自注意力编[0064]所述的数据随机掩模模块以15％的概率对最终嵌入矩阵中的各行特征置为高斯35.426.531.242.730.336.3[0072]与现有技术相比，本发明对于真实监控画面中的低质量样本具有较好的识别效[0073]上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明