CN118799919B 一种基于模拟增广与原型学习的全时段多模态行人重识别方法 （芜湖辛巴网络科技有限公司）

新技术产业开发区科技产业园7号楼一种基于模拟增广与原型学习的全时段多本发明公开一种基于模拟增广与原型学习来提高在各种多变光照场景下多模态行人重识别模型的精度；利用数据增广与原型学习的思一个光照模拟增广模块来生成多种光照条件下在全时段多模态行人重识别数据集上取得了较2NReRN对最终特征ffinal使用交叉熵分类损失Lce与三元组损失2.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，3.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，4.根据权利要求1或3所述的基于模拟增广与原型学习的全时段多模态行人重识别方3如果采集时间是上午，则将原始可见光图像保持不变，并如果采集时间是下午，则先使用提高亮度的子函数min_brighten_如果采集时间是夜晚，则先使用提高亮度的子函数min_brighten_trans和max_5.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，其特征在于，所述步骤3特征编码器包括光照敏感编码器DS与光照不敏感编码器DU,光照6.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，首先计算当前实例特征与对应模态原型的余弦相似度，然后基于余7.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，48.根据权利要求1所述的基于模拟增广与原型学习的全时段多模态行人重识别方法，ce5[0006]本发明旨在通过基于光照变化的数据增广以及多模态原型与实例交互学习来指6模块、以及特征fT和模态PT送入IMTIR交互模块，进而实现三个特征原型实例特征的信息交7个子函数min_dim_trans和max_dim_trans对其进行调整，则得到模拟下午较暗场景图像、[0027]如果采集时间是夜晚，则先使用提高亮度的子函数min_brighten_trans和max_[0028]进一步地，所述步骤3特征编码器包括光照敏感编码器DS与光照不敏感编码器感编码器提取可见光图像的特征，光照不敏感编码器提取近红外图像和热红外图像的特[0033]为确保交互后的特征能够同时保持模态一致性和信息丰富性，步骤6同一个子空8[0048](1)本发明采用了模拟光照增广来改变输入样本的亮度，可以生成复杂光照情况[0049](2)本发明采用了子空间约束来保证特征增广的多样性以及多模态特征对光照的[0050](3)本发明设计了多模态原型来学习模态域信息并采用原型实例交互向实例特征[0051](4)本发明利用不完整信息恢复将已有模态的实例特征与预训练好的模态原型结9模块、以及特征fT和模态PT送入IMTIR交互模块，进而实现三个特征原型实例特征的信息交骤2模拟光照增广模块来调整原始可见光图像IR的光照强度，模拟光照增广模块中设有亮个子函数min_dim_trans和max_dim_trans对其进行调整，则得到模拟下午较暗场景图像、[0076]如果采集时间是夜晚，则先使用提高亮度的子函数min_brighten_trans和max_成不同亮度级别，最终产生一个包含两个模拟光照图像和一个原始图像的图像列表[IRm,特征编码器包括光照敏感编码器Dis与光照不敏感编码器DU,光照敏感编码器与光照不R的过程公式化为：[0088]在完成实例特征与相应模态原型之间的交互后，特征中同时份用于测试。AllDay843_G数据集：为了与现有的单模态和多模态方法进行比较，利用cycleGAN补全缺失数据，并将AllDay843扩展为AllDay843_G。与AllDay843相比，觉transformer作为特征编码器，这些编码器是参数独立的，并在ImageNet上进行了预训练。在经过基本的数据增广和提出的模拟光照增广后，图像被调整大小成统一尺寸256×一种用于评估在给定候选列表中期望正确匹配的累积概率指标，而mAP综合考虑了所有相[0108](1)CMC(CumulativeMatchingCharacteristics)曲线的横坐标为排名(rank)，考虑了所有相关样本的查准率(precision)和查全率(recall)。对于每一次查询(query)，计算其查准率_查全率(precision_recall)曲线下面积，得到该查询的AP(Averag