CN115455226B 一种文本描述驱动的行人搜索方法 （中山大学）

本发明公开了一种文本描述驱动的行人搜Transformer编码器和一个文本Transformer编图片块进行图像块的线性映射后与位置编码相加作为输入视觉Transformer编码器的第一编码再经过词的线性映射并加上位置编码后作为输入文本Transformer编码器的第二编码向量；将视觉Transformer编码器输出的图像全局特征和文本Transformer编码器输出的文本全局特征逐似度最高的图像，即可实现基于文本的行人搜2构建基于对称Transformer的双流模型，所述的双流模型包括一个视觉对于图片，先将图片进行均分切分，将每个图片块进行图像块的线性映对于文本，将每个词语先进行向量化编码，再经过词的线性映将视觉Transformer编码器输出的图像全局特征和文本Transformer编码器输出的文将第一损失函数和第二损失函数两者之和构建双流模型3采用包括随机连续多单词删除、随机单词删除、随机同义词替换几种将两张不同的图片通过插值后得到新的图片，将两个不同的句8.一种计算机系统，包括存储器、处理器及存储在4种模态的语义信息的分数得到与文本最相似的k张图作为返回结果。大部分方法采用卷积[0008]局部特征的引入首先需要设计非常复杂的模型结构，这就引入了更多复杂的计5Transformer编码器和一个文本Trans置编码相加作为输入视觉Transformer编码器的第一编码向量；所述的第一编码向量为N1后作为输入文本Transformer编码器的第二编码向量；所述的第二编码向量为N2个D维向[0016]将视觉Transformer编码器输出的图像全局特征和文本Transformer编码器输出6[0039]基于python和PyTorch深度学习框架，采用锐度感知优化器SAM，初始学习率为[0042]本发明提出了对称Transformer的双流模型，该方法利用2个Transformer编码器7Transformer编码器和一个文本Trans置编码相加作为输入视觉Transformer编码器的第一编码向量；所述的第一编码向量为N1后作为输入文本Transformer编码器的第二编码向量；所述的第二编码向量为N2个D维向[0053]将视觉Transformer编码器输出的图像全局特征和文本Transformer编码器输出[0054]本实施例提出了对称Transformer的双流模型，该方法利用2个Transformer编码[0056]文本Transformer编码器、视觉Transformer编码器都有12层Transformer结构构8和文本Transformer编码器的输出文本全局特征逐一进行余弦相似度计算，找到和对应文本对相似度很高的一些图片设置一个较小的温度系数τ,有利于双流模型更关注难样本，9[0087]在一个具体的实施例中，使用锐度感知优化器SAM来代替传统的Adam优化器对双[0089]基于python和PyTorch深度学习框架，采用锐度感知优化器SAM，初始学习率为近似数据生成和二阶梯度优化方法来防止双流模型过拟合并使得我们训练的双流模型性[0092]基于本实施例所述的方法，通过实验验证，本实施例所述的方法在CUHK_PEDES,ICFG_PEDES,RSTPReid三个公开的行人搜索数据集上达到最优的检测性能。Transformer编码器和一个文本Trans置编码相加作为输入视觉Transformer编码器的第一编码向量；所述的第一编码向量为N1后作为输入文本Transformer编码器的第二编码向量；所述的第二编码向量为N2个D维向[0098]将视觉Tran