CN114357148B 一种基于多级别网络的图像文本检索方法 （之江实验室）

号像文本检索方法能够提升图像文本的检索效率2步骤S2中，将训练数据集中的图像文本对进行预处S3：将训练数据集中的图像文本对分别输入S322：基于图像局部特征计算图像每个区域度矩阵；然后从图像区域相似度矩阵中选取相似度大于γ的最后通过Bert模块将相似区域集合的数量信息转换为向量并按比例与图像局部特征进行S323：基于文本局部特征计算文本每个单词度矩阵；然后从文本单词相似度矩阵中选取相似度大于γ的最后通过Bert模块将相似单词集合的数量信息转换为向量并按比例与文本局部特征进行tgg3S313：将文本局部特征经过Bert模块以综合单词之Transformer编码器包括用于多次计算注意力的多头自注意力机制层，以及用于获得丰富语义特征表示的全连接前向反馈层；Transformer编码器能够聚合每个图像区域之间的关图像数字特征表示为D"-le';d…d:,其中，d"=/'BBERd(v,t)表示图像文本对(v,t)的数字级别相似度；sijd表示图像数字特征中第i个特征的图像文本对；(v+,t-)表示不匹配的图像文本对，即相似度最小的图像文本对；m表示45[0002]图像文本检索是指在给定一张检索图像在文本库中检索出与之相关的文本描述[0003]现有方法通过将图像和文本映射到一个共同的空间中来衡量基于目标的卷积神经网络和基于场景分布的卷积神经网络融合的模型提取深度视觉特征；数字级别信息进行对齐，使得通过文本“fourpeoplearejumpingfromthetopof6gg[0023]S312：将图像局部特征经过Transformer编码器以聚合每个图像区域之间的关系及用于获得丰富语义特征表示的全连接前向反馈层；Transformer编码器能够聚合每个图7t-)表示匹配的图像文本对；(v+,t-)表示不匹配的图像文本[0038]相似区域集合表示为v-…小:[0043]通过公式s,(,1)-工",max(s,"),je(1,2…n)计算数字级别相似度；8文检索模型的全局级别子网络、关系级别子网络和数字级别子网络输出的全局级别相似9系级别子网络和数字级别子网络进行单独训练的方式，能够保证各个子网络的训练效果，索结果进行评分和排序的方式，能够保证图文检索模型所输出检索结果的准确性和有效和NVIDIAGeForceGTX1080TiGPU的服务型计算机，所需的图像和文本数据可通过网络务中最常使用数据集之一，它包含123287张图片，每张图片都有5个文字说明，分别使用[0072]对图像进行局部特征提取：使用在VisualGenome数据集上预训练的目标检测模型Faster-RCNN提取图像的显著区域，取评分排名前36的目标区域，再通过预训练的[0073]对文本进行全局特征提取和局部特征提取：对每个文本数据使用WordPiece模型[0074]本发明对图像文本对进行预处理和特征提取并获取图像的图像全局特征和图像gg[0085]S312：将图像局部特征经过Transformer编码器以聚合每个图像区域之间的关系t-)表示匹配的图像文本对；(v+,t-)表示不匹配的图像文本对，即相似度最小的用于获得丰富语义特征表示的全连接前向反馈层；Transformer编码器能够聚合每个图像相似度能够在关系特征级别上进行对齐，进而能够捕获图像和文本的细粒度关系语义信相似度矩阵；然后从文