CN115712751B 基于文本描述的跨领域人物搜索方法 （中山大学）

本发明公开了一种基于文本描述的跨领域取器通过第一梯度反转层将提取到的图像特征的跨领域人物搜索网络模型对目标域进行基于2构建基于文本描述的跨领域人物搜索网络模型，所所述的图像特征提取器通过第一梯度反转层将提取到的图像特征输入图所述的图像域分类器对图像特征处理得到图像域标签，并根据图像域标所述的文本特征提取器通过第二梯度反转层将提取到的文本特征输入文所述的文本域分类器对文本特征处理得到文本域标签，并根据文本域标将源域样本和目标域样本同时输入跨领域人物搜对于包含一张图片及其描述文本段的源域样本，在源域样本输同时将第一图像特征和第一文本特征分别经过梯度反转层输入到图像域分类器和文对于目标域样本，在输入跨领域人物搜索网络模型之后得到第二通过同时输入源域样本、目标域样本对跨领域人物搜索网络模型进行训3像特征提取器采用VisualTransformer，将图像特征提取器载入预训练模型vit_base_本特征提取器输出的文本特征是大小为batch_size*78.一种计算机系统，包括存储器、处理器及存储在任一项所述的基于文本描述的跨领域人物搜索45广泛应用。为了解决这个问题，领域自适应试图将模型从[0007]由于巨大的标注成本，基于文本描述的人物搜索缺少大6[0013]所述的图像特征提取器通过第一梯度反转层将提取到的图像特征输入图像域分[0015]所述的文本特征提取器通过第二梯度反转层将提取到的文本特征输入文本域分[0021]同时将第一图像特征和第一文本特征分别经过梯度反转层输入到图像域分类器和文本域分类器得到第一图像域标签和第一文本域标签，分别计算第一图像域分类损失、和文本域分类器得到第二图像域标签和第二文本域标签，分别计算第二图像域分类损失、7iiii表示矩阵对角线上的元素，因为对角线上的元素是对应的图片和文本的特征d表示域分类损失。入预训练模型vit_base_patch16_384，图像特征提取器输出的图像特征是大小为batch_[0041]优选地，所述的文本特征提取器采用Bert，将文本特征提取器载入预训练模型8bert_base_uncased；所述的文本特征提取器输出的文本特征是大小为batch_size*768的[0045]本发明提供的一种基于文本描述的跨领域人物搜索方法让文本特征提取器和图像特征提取器在源域样本和目标域样本提取的特征分布趋于相似，[0050]如图1所示，一种基于文本描述的跨领域人物搜索方法，所述的方法包括步骤如[0052]所述的图像特征提取器通过第一梯度反转层将提取到的图像特征输入图像域分[0054]所述的文本特征提取器通过第二梯度反转层将提取到的文本特征输入文本域分图像输入到图像特征提取器得到图像特征，将文本特征向量与图像特征矩阵作矩阵乘法，9[0061]同时将第一图像特征和第一文本特征分别经过梯度反转层输入到图像域分类器和文本域分类器得到第一图像域标签和第一文本域标签，分别计算第一图像域分类损失、和文本域分类器得到第二图像域标签和第二文本域标签，分别计算第二图像域分类损失、iiii表示矩阵对角线上的元素，因为对角线上的元素是对应的图片和文本的特征域分类器和文本域分类器得到图像域标签和文本域标签，分别计算其损失后进行梯度下d表示域分类损失。入预训练模型bert_base_uncased；所述的文本特征提取器输出的文本特征是大小为[0086]一般预训练模型是已经在特定数据集上有过有效的训练，对特征的提取效果较上运行的计算机程序，所述处理器