CN119495110A 一种基于图像对齐和通道增强的跨模态行人重识别方法 （四川大学）

一种基于图像对齐和通道增强的跨模态行本发明公开了一种基于图像对齐和通道增随机通道交换增强来生成与颜色无关的行人图像；(2)使用空间变换网络对存在错位的可见光和红外行人图像进行自适应对齐调整；(3)用嵌有CBRnon_local注意力的ResNet50网络分别提取可见光行人图像和红外行人图像的特征；(4)见光_红外共享损失对模型进行约束。本发明主21.一种基于图像对齐和通道增强的跨模态行人重识别方法，其特征在于包括以下步(1)利用随机通道交换增强(RandomChannelExchangeableEnhancement,CE)来生成(2)使用空间变换网络(SpatialTransformerNetwork,STN)对存在错位的可见光和(3)用嵌有CBRnon_local注意力的ResNet50网络分别提取可见光行人图像和红外行Tripletloss)和可见光_红外共享损失(Visible_Infraredloss)对模型进行约束，实现其中表示红外行人图像，表示三通道RGB可见光图像或者其经过CE处理的可见光i和yj表示每张图片的标签信息，fv和fr分别表示可见光和红外图像的特征提取网3.根据权利要求1所述的方法，其特征在于，所述步骤(2)将ResNet50中第五残差块conv_5x的输出特征作为STN(SpatialTransformerNetwork)模块的输入，线性回归出一其中是对齐图像的规则网络中的目标坐标，是3四个CBR组件，由1X1卷积层，批归一化层和非线性激活函数leakyrelu组成；Cjj5.根据权利要求1所述的方法，其特征在于，所设p:"和分别代表身份为i时输入的可见光图像和红外图像的标签信息，则4假设一个训练批次中的可见光图片和红外图片的锚点特征分别为f。"和J。",以为5[0002]行人重识别(Re_ID)是Gheissari等人于2006年首次提出的跨摄像机行人图片检设计一个双通道的网络，使用空间变换模块对图像进行自适应对齐处理，用经典的[0006](1)利用随机通道交换增强(RandomChannelExchangeableEnhancement,CE)来[0007](2)使用空间变换网络(SpatialTransformerNetwork,STN)对存在错位的可见[0008](3)接着用嵌有CBRnon_local注意力的ResNet50网络分别提取可见光行人图像6[0009](4)联合使用身份损失(IDloss)、加权正则化三元组损失(WeightedregularizationTripletloss)和可见光_红外共享损失(Visible_Infraredloss)对模合原始图像和变换后的图像，并将融合的可见光和红外图像分别送入嵌有CBRnon_local失(IDloss)、加权正则化三元组损失(WeightedregularizationTripletloss)和可见光_红外共享损失(Visible_Infraredloss)[0017]随机通道交换增强(RandomChannelExchangeableEnhancement,CE)的主要思过分解颜色通道来均匀生成三通道可见光图像，有助于模型f学习单通道红外图像与可见7[0023]将ResNet50中第五残差块conv_5x的输出特征作为STN(SpatialTransformer的图像对应坐标关系：23控制变换图像的偏移。由于仿射变换矩阵A,包含连续可微的小数，而目标坐标pqmnpqmnjj)和g(Xj)定义如下：[0036]其中i代表待计算响应的输出位置的索引，j代表枚举的所有可能位置的索引。f(Xi,Xj)用于计算i和所有可能的关联位置j之间的关系。g(Xj)计算j位置处输入信号的表8[0044]设和分别代表身份为i时输入的可见光图像和红外图像的标签信息，9Y)(20)[0058]假设一个训练批次中的可见光图片和红外图片的锚点特征分别为J,"和以[0063]Lvis惩罚Dintra和Dcross之间的差异。当判别特征仅出现在一种模态中时，Dintra和[0067]为了验证本发明所述的基于图像对齐和通道增强的跨模态行人重识别方法的有RTX2080GPU。采用的深度学习框(meanaverageprecis