CN116935438B 一种基于模型结构自主进化的行人图像重识别方法（西北工业大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN116935438B(65)同一申请的已公布的文献号(73)专利权人西北工业大学(74)专利代理机构西安凯多思知识产权代理事务所(普通合伙)61290专利代理师刘涛(54)发明名称一种基于模型结构自主进化的行人图像重识别方法(57)摘要本发明公开了一种基于模型结构自主进化的行人图像重识别方法，主要结构分为三个功能模块：基本特征提取模块、自进化多尺度特征强化模块、多部位细粒度对齐模块。在基本特征提取模块中，使用视觉卷积神经网络来提取图像的基本特征。此后，将自进化多尺度特征强化模块插入基本特征提取模块中，采用动态路由机制负责多尺度的视觉特征增强，利用基本特征提取模块提取的深层和浅层特征，通过逐层尺度变换和特征精炼，引导模型学习如何从基本视觉特征到自适应多尺度特征的进化。最后，在多部位细粒度对齐模块中，利用外部语义知识引导模型提取2步骤1:构建基于模型结构自进化的目标重识别网络，包括基本特征提取模块、自进化步骤1-1:所述基本特征提取模块由残差网络构成；将残差网络根据中间特征的尺度大 用于后续的进化，对应特征大小分别为(C,H/2,W/2)、(C,H/4,W/4)、(C,H/8,W/8),其中C和(H步骤1-2:所述自进化多尺度特征强化模块以基本特征提取模块的特征为输入，并利用在训练过程中，通过不断进化深层和浅层语义的交互融合方式步骤1-2-1:所述进化单元包括进化门控函数和进化精炼操作，进化门控函数负责在身fL将首先被送入进化门控函数中，通过卷积和自适应最大池化得到B×3×1的特征所述进化精炼操作是重复利用先前的特征fL,并将其送入3*3卷积层G₃×3中，通过批3其中Tscale代表对应激活的尺度转换操作；步骤1-2-2:得到进化单元后，将其逐层排列构成路由层，每层路由层是由三个进化单元构成，分别负责处理不同的尺度特征输入，路由层之间的相互连接通过进化单元的相互激活实现，首先将输入第一个路由层对应尺度的进化单元,并将处理结果送入当前路由层激活的下一个路由层中，通过逐层尺度特征进化和精炼，得到最终的自进化的多尺度特征；步骤1-3:多部位细粒度对齐模块用于提取图像级部件掩码过滤视觉无关的背景区域；利用外部语义知识引导模型提取多部位的行人特征，实现局部特征的匹配；步骤1-3-1:多部位细粒度对齐模块的输入为步骤1-2中生成的自进化的多尺度特征，复制残差网络的最后一层，用于生成粗粒度部件特征;引入轻量级语义分割头，利用语义分割头生成行人部件掩码mi,使用额外的预先训练的人体语义解析模型来生成部分行人部件掩码和完整行人掩码作为监督信息，引导模型进行训练，提取细粒度部件特征Fi,缓解背景噪音带来的影响；具体用公式表示为：最终并行得到头部特征Fhead、上半身特征Fupper、下半身特征Flower、脚部特征Ffoot、全身特征Fglobal,在计算图像对之间的相似性时，利用部件级特征实现对齐和匹配；引入可见阈值vi判断图像对的共同可见部位，只将共同可见的特征作为输入进行匹配，具体地，只有掩码中存在可见概率大于0.5的点时，才能视为该部步骤2:使用行人重识别数据集训练网络，设置训练超参数，使用Adam优化器完成训练；测试网络时，使用欧氏距离作为相似度的评估指标对计算视觉特征距离进行评估；步骤3:组合上述步骤建立的各模块，输入待检索的行人图像，根据相似性对图像进行排序，若给出的查询结果与实际行人ID相同，则认为查询成2.根据权利要求1所述的一种基于模型结构自主进化的行人图像重识别方法，其特征在于，所述行人重识别数据集为Market1501数据集。3.根据权利要求1所述的一种基于模型结构自主进化的行人图像重识别方法，其特征在于，所述训练网络时采用余弦退火的方式，学习率设定为1.0×10-4,迭代轮次为1000轮，λ=0.1,采样方式选择离散采样。4.根据权利要求1所述的一种基于模型结构自主进化的行人图像重识别方法，其特征4一种基于模型结构自主进化的行人图像重识别方法5[0014]f将首先被送入进化门控函数中，通过卷积和自适应最大池化得到B×3×1的特代表对应的卷积层参数；批归一化和正切激活函数对特征的非线性分布进行重新映射，生成精炼进化特征frefine,[0020]在得到精炼进化特征frefine和尺度进化分数a后，生成当前层进化单元的最终输出h,具体由公式表示为：相互激活实现，首先将输入第一个路由层对应尺度的进化单元6化和精炼，得到最终的自进化的多尺度特征；[0024]步骤1-3:多部位细粒度对齐模块用于提取图像级部件掩码过滤视觉无关的背景区域；利用外部语义知识引导模型提取多部位的行人特征，实现局部特征的匹配；[0025]步骤1-3-1:多部位细粒度对齐模块的输入为步骤1-2中生成的自进化的多尺度特征，复制残差网络的最后一层，用于生成粗粒度部件特征fRes4;引入轻量级语义分割头，利用语义分割头生成行人部件掩码m¹,使用额外的预先训练的人体语义解析模型来生成部分行人部件掩码和完整行人掩码作为监督信息，引导模型进行训练，提取细粒度部件特征F¹,缓解背景噪音带来的影响；具体用公式表示为：全身特征F⁸lobal,在计算图像对之间的相似性时，利用部件级特征实现对齐和匹配；[0028]引入可见阈值v¹判断图像对的共同可见部位，只将共同可见的特征作为输入进行匹配，具体地，只有掩码中存在可见概率大于0.5的点时，才能视为该部位可见；公式表示[0030]步骤2:使用行人重识别数据集训练网络，设置训练超参数，使用Adam优化器完成[0031]测试网络时，使用欧氏距离作为相似度的评估指标对计算视觉特征距离；[0032]步骤3:组合上述步骤建立的各模块，输入待检索的行人图像，根据相似性对图像进行排序，若给出的查询结果与实际行人ID相同，则认为查询成功。[0033]优选地，所述数据集为Market1501数据集。[0034]优选地，所述训练网络时采用余弦退火的方式，学习率设定为1.0×10⁻⁴,迭代轮次为1000轮，λ=0.1,采样方式选择离散采样。[0035]优选地，所述部分行人部件掩码包括头部、上半身、下半身和脚部。[0036]本发明的有益效果如下：[0037]本发明利用模型结构自进化的目标重识别方法，可以有效地依据部分行人图像对行人图像的视觉特征进行自适应的进化加强，能够通过逐层精炼和自主尺度进化，提取自适应的进化多尺度语义特征，从而动态强化视觉信息，又能提取多部位的细粒度行人特征，解决图像对之间的信息不对称问题，有助于计算正确的图像相似度，从而进一步提高局部行人图像检索任务的准确率。特别地，在国际基准数据集Partial-ReID上达到88.7%的rank-1和81.5%的map、在Partial-ilids-0数据集上达到84.9%的rank-1和86.5%的map、在Partial-ilids-0数据集上达到74.8%的rank-1,是截至目前国际上最高的精度。附图说明[0038]图1为关键视觉信息的尺度偏差图示。[0039]图2为本发明方法结构图。[0040]图3为本发明方法进化单元图解。[0041]图4为本发明方法路由层连接样例。7同尺度特征用于后续的进化，对应特征大小分别为(C,H/2,W/2)、(C,将上一个路由层的对应输出h并求和作为输入f¹,f将首先送入进化门控函数中，通过卷8代表对应的卷积层参数。[0053]进化精炼操作则是在当前激活的进化单元中，负责进化特征的语义丰富度，引导和正切激活函数对特征的非线性分布进行重新映射，生成精炼进化特,由公式可以表示为：[0056]在得到精炼进化特征和尺度进化分数α后，可以生成进化单元的最终输出,具体由公式可以表示为：[0059]步骤1-2-2:所述路由层则是由三个进化单元构成，分别负责处理不同的尺度特征输入，路由层之间的相互连接通过进化单元的相互激活实现，首先第一个路由层对应尺度的进化单元(,并将处理结果送入当前路由层激活的下一个路由层中，通过逐层尺度特征进化和精炼，得到最终的自进化的多尺度特征，缓解先前静态网络难以适应不同尺度的输入问题，具体来说，在图4中给出一个进化样例，L-1层的进化单通过下采样和保持分辨率操作，将其所进化的尺度特征送入L层的进化单元c3,在c3中进化多尺度语义信息后，选择上采样操作并激活0[0060]步骤1-3:所述在多部位细粒度对齐模块致力于提取图像级部件掩码过滤视觉无关的背景区域。与完整图像相比，局部图像会无可避免的缺失信息，导致信息不对称问题，使图像匹配显著复杂化。因此，在计算图像对之间的相似性时，关注共同可见的人体部位的特征变得至关重要。为了识别每个身体部位的存在并准确提取相应的部位级特征，利用外部语义知识引导模型提取多部位的行人特征，实现局部特征的匹配。[0061]步骤1-3-1:本模块的输入为1-2中生成的自进化的多尺度特征，复制残差网络的最后一层，用于生成粗粒度部件特征fRes₄。此外引入轻量级语义分割头，利用语义分割头生成行人部件掩码m²,使用额外的预先训练的人体语义解析模型来生成部分行人部件掩码(包括头部、上半身、下半身和脚部)和完整行人掩码作为监督信息，引导模型进行训练，提取细粒度部件特征F¹,缓解背景噪音带来的影响。具体来说可以用公式表示为：[0062]F=MaxPo全身特征F⁸lobal,在计算图像对之间的相似性时，利用部件级特征实现对齐和匹配。[0064]此后，为了解决信息不对称问题，引入可见阈值v¹判断图像对的共同可见部位，只将共同可见的特征作为输入进行匹配，具体地，只有掩码中存在可见概率大于0.5的点时，9才能视为该部位可见。公式表示为：[0065]v=max(0,sum(m²>0[0066]步骤2:使用行人重识别Market1501数据集训练网络，设置训练超参数，使用Adam优化器完成训练；[0067]测试网络时，使用欧氏距离作为相似度的评估指标对计算视觉特征距离；[0068]步骤3:组合上述步骤建立的各模块，输入待检索的行人图像，根据相似性对图像进行排序，若给出的查询结果与实际行人ID相同，则认为查询成功。[0070]本发明提供了一种基于模型结构自主进化的行人图像重识别方法，该方法利用自主进化机制，通过进化单元实现对自适应多尺度特征的自主进化，并逐层精炼丰富特征的语义信息，实现模型自主进化；动态提取多部位的局部细粒度特征，过滤无关视觉噪声并解决信息不对称问题，提升行人图像检索的性能。[0071]步骤1:数据处理和优化器设置；[0072]将原始行人图像统一缩放为384*128大小，训练图像使用随机水平翻转、随机填充、随机裁剪、随机擦除等操作进行数据增强，设置优化器，将优化器动量调整为0.9,权重衰减设置为1e-4,学习率采用余弦退火的方式进行衰减，使用market1501数据集训练网络，[0073]步骤2:网络训练[0074]步骤2-1:首先建立基本特征提取模块，将自进化多尺度特征强化模块插入基本特征提取模块的第三层和第四层之间，用于自适应进化多尺度特征，复制语义分割头和基本特征提取模块的第四层组成多部位细粒度对齐模块，利用基本特征提取模块提取的不同尺度视觉特征，逐层尺度特征进化和语义特征丰富性进化。最后，在多部位细粒度对齐模块中，利用外部语义知识引导模型提取多部位的行人特征，实现局部特征的匹配。[0075]步骤2-2:利用外部语义分割模型提取market1501的人体语义标签，使用行人身份优化，引导模型学习如何从基本视觉特征到自适应多尺度特征的进化。利用基本特征提取模块的深层和浅层特征，通过自进化多尺度自适应地进化多尺度特征，具体来说，为每一层特征生成自适应的尺度进化路径，并通过逐层精炼的方式提高语义丰富性，动态提取多尺度特征。对于局部图像和完整图像之间信息不对称的问题，利用人体部位掩码，生成细粒度的多部位人体局部特征，并选取局部图像和完整图像之间共同可见的行人部位用于计算相[0076]本发明使用最难抽样的方式为每个图像抽取一个来自同ID的样本和一个来自不同ID的样本，分别构造正样本对和负样本对。然后计算待比较图像部件级特征之间的细粒度像素级相关性。最后，在上述三种损失的监督下优化模型参数。在