CN119445621A 一种基于小波变换的跨模态行人重识别方法及系统 （浙江理工大学）

一种基于小波变换的跨模态行人重识别方本发明公开了一种基于小波变换的跨模态模块融合两流ResNet_50主干网络浅层的特征，得到融合特征；通过WEB分支模块对融合特征进过双分支中心引导损失优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征得到双分支中心引导损失来引导网络挖掘小波子图2通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块输出述ICB模块用于融合两流ResNet_50主干网络的浅层特征，ICB模块将自注意学习与小波变;将每一个ResnetBlock前后的特征分别作为浅层特征和深层特征，并一对缩小特征使用haar离散小波变换分解为n个小对haar离散小波变换的输出和浅层特征进行卷积来捕捉局部区域的特征，并设计DWT_Conv_IDWT结构，将注意力输出与DWT_Conv_IDWT结构的输出进行拼对小波注意力块的输出进行卷积恢复通道数，并与最初输入的深层特征进行述通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态3将扩展结果输入到BottleNeck卷积块中进行细微模态一致特征学习，最后，对述通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块输出的设置双分支中心引导损失的准则，并通过欧几里得距离衡量特征的相似度分别定义n根据定义的n组特征的中心的距离损失的均值得到双分支主干网络构建模块：用于采集VI_ReID的待测图像，并以此构建特征融合模块：用于通过ICB模块融合两流ResNet_50主干特征提取模块：用于通过WEB分支模块对所述融合特征进行特征提取得到高低频部分优化模块：用于通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以4智能视频监控领域中发挥着越来越重要的作用。现有的ReID方法主要集中在RGB图像之间[0003]VI_ReID的主要挑战是如何提取与模态无关的人的身份特征信息，以抵抗可见光5通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态共享特通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块与浅层特征进行自注意学习，将结果与经过逆小波变换的深层特征进行拼接得到融合特;[0009]可选的，所述将结果与经过逆小波变换的深层特征对缩小特征使用haar离散小波变换分解为n个小设计DWT_Conv_IDWT结构，将注意力输出与DWT_Conv_IDWT结构的输出进行拼接，[0011]可选的，所述通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的将扩展结果输入到BottleNeck卷积块中进行细微模态一致特征学习，最后，对6[0013]可选的，所述通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征根据定义的n组特征的中心的距离损失的均值得到双分支特征提取模块：用于通过WEB分支模块对所述融合特征进行特征提取得到高低频优化模块：用于通过双分支中心引导损失来优化WEB分支模块输出的模态共享特分的模态共享特征；通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以7通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态共享特通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块它能够从小波分解的特征图中学习判别信息，并挖掘其中包含的各种细微模态共享特征，8过将当前特征与前一个阶段特征进行信息融合来补偿网络特征提取过程中丢失有价值的计了WEB分支模块，该分支在分解后的小波子图上进行特征提取来挖掘高低频部分的模态二维图像本质上是二维离散的非平稳信号，包含不同的频率范围和空间位置信;1）将每一个残差块前后的特征分别作为浅层特征和深层特征和高通滤波器将X编码为两个子带X.和X。9。;ylQ;将注意力矩阵A与convv相乘得到注意力输出。;;;将原来的block3的输出特征与WEB模块的输出特征拼接在一起输入到最后一个;;与原始可见模态特征之间的距离，有助于模型在WEB模块挖掘不同的跨模态共享特征，;。特征提取模块：用于通过WEB分支模块对所述融合特征进行特征提取得到高低频优化模块：用于通过双分支中心引导损失来优化WEB分支模块输出的模态共享特SYSU_MM01是一个大型数据集，其中包括来自4个可见光摄像机和2个红外摄像机[0054]RegDB是一个小型数据集，其中的图像由一个可见光摄像机和一个红外摄像机拍集包含351个身份的8680张VIS图像和710.9。总训练次数设置为150次，所有实验都是用PyTorch在单个NVIDIARTX309将WFM模型与最先进的VI_ReID方法在公共VI_ReID数据集SYSU_MM01、RegDB和式下达到78.02%的Rank_1和74.16%的mAP，在室内搜索模式下达到87.68%的Rank_1和SPOT为structure_awarepositionaltransformer(SPOT)netwo和85.70%。结果表明，该方法在可见光到红外光(Visibletoinfrared)和红外光到可见光(Infraredtovisible)两种模式下都具有优异的性能，在可见光到红外光模式下Rank_1和mAP高于DEEN1.13%和1.06%，在红外光到可见光模式下Rank_1和mAP高于DEEN2.44%和为了探索每个模块对网络的影响变化，展示了加入了各个模块后网络的热力图，;这表明各个模块都加强了同类特征的聚集，有效减小了同类行人VIS和IR图像之间的模态[0077]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发