CN115017266B 一种基于文本检测和语义匹配的场景文本检索模型、方法及计算机设备 （天津理工大学）

一种基于文本检测和语义匹配的场景文本本发明公开了一种基于文本检测和语义匹先对原始图像进行预处理得到图像区域特征和关系进行融合得到针对场景文本的统一检索模2S1，提取图像的区域特征和图像描述文本的S3，提取出图像中的文本信息即场景文本，并使用f过fastText提取出图像描述文本的单S5-1,将输入的图像和图像描述文本，根据步骤S3和步骤S4得到场景文本和图像描述利用余弦相似度计算得到场景文本和图像描述文本之间句子级别的相似度，用Ss表示S5-2,将输入的图像和图像描述文本，根据步骤S3和步骤S4得到场景文本和图像描述w和Pw的大小分别为k*300和l*300的对St在场景文本维度求得每个单词与图像描述文本的最大相似度，得到长度为k的向3S5-3,将输入的图片和图像描述文本，根据步骤S3和步骤S4得到场景文本和图像描述文本的单词特征O和P，通过使用堆叠交叉注意力机制计算得到两者之间的注意力相似度；最终将所有的单词相似度进行平均操作，得到通过堆叠注意力机2是平衡化参数；2.根据权利要求1所述的一种基于文本检测和语义匹配的场景文本检索模型，其特征i)4最终的单词特征ei通过将瓦和取平均的方式进行融合，使得单词特征融合wi周围句i)使用余弦相似度计算图像特征V和文本特征E的相似度，得到跨模态检索的相似度结其中Δ是超参数，(v,e)表示数据集D中的正样本对，t=argmaxesxesc(v,e')表示v的i=argmaxvxvsc(v',e)表示t的最难负样本，[x]+≡max(0,x)，利用三元排序4.根据权利要求1所述的一种基于文本检测和语义匹配的场景文本检索模型，其特征5StanfordCoreNlp中进行语义分析，通过对性筛选，挑选单词词性包含在上述五种词性的单词，最终挑选出k个场景文本用于后续任将最终得到的场景文本通过预训练的fastText模型提取出300维的特征向量，5.根据权利要求1所述的一种基于文本检测和语义匹配的场景文本检索模型，其特征S4-1，对图像描述文本即未处理的单词文本进行词性分析，将图像描述文本送入S4-3，将最终得到的图像描述文本通过预训练的fastText模型提取出300维的特征向6.根据权利要求1所述的一种基于文本检测和语义匹配的场景文本检索模型，其特征37.根据权利要求1-6任一项所述的一种基于文本检测和语义匹配的场景文本检索模型首先将模型加载训练完成的神经网络参数，对于利用图像进图像描述文本之间的相似度并输出与输入图像最相似的前十对于利用图像描述文本进行图像检索，将需要检索的图像描述本检测和语义匹配的场景文本检索模型的执行指令代码或存储程序代码、或权利要求7所述的跨模态检索方法的执行指令代码或存储程6多具有挑战性的任务被关注和研究。跨模态检索(Cross-modalRetrieval)正是其中的一很大的降低了从图像中获取信息的效率，通过跨模态检索可以一定程度上的解决这个问跨模态检索在基于OCR的检索上仍然存在巨大的挑战。目前还为出现一种统一的模型利用一种基于文本检测和语义匹配的场景文本检索方法来提高跨模态检索模型在包含场景文骤得到：7[0013]步骤S1-1,使用预训练好的FasterRC景文本通过预训练的fastText模型提取出[0024]步骤S5-1,将输入的图片和图像描述文本，图像描述文本的单词特征。通过将单词特征进行平均融合分别得到两个句子级别语义特[0025]步骤S5-2,将输入的图片和图像描述文本，根据步骤S2和步骤S3得到场景文本和[0026]步骤S5-3,将输入的图片和图像描述文本，根据8[0031]首先将模型加载训练完成的神经网络参数。对于利用图像进行图像描述文本检与其他图像描述文本之间的相似度并输出与输入图像最相[0033]上述的基于文本检测和语义匹配的场景文本跨模态检索模型和方法均可置于计[0035](1)本发明提出的基于文本检测和语义匹配的场景文本检索方法，通过学习场景[0037](3)本发明通过利用多个层级的文本相似度来进行检索，使得模型能够从整体和[0042]步骤S1,提取图像的区域特征和图像描9[0044]步骤S1-1,给定图像I，使用预训练好的FasterV={vli=1,2,…n,veRA),其中n表示使用FasterRCNN检测到的感兴趣区域个数。表示该单词在词汇表中的位置，使用映射矩阵We将wi映射到300维的向量中，表示为xi=[0051]最终单词特征ei通过将瓦和通过平均的方式进行融合，使得单词特征融合wi周[0053]其中，MLPe表示对应于图像的多层感知机，得到的输入图像的文本特征表示为[0062]其中Δ是超参数，(v,e)表示数据集D中的正样本对，t=argmaxesxesc(v,e')表i=argmaxvxvsc(v',e)表示t的最难负样本，[x]+≡max(0,x)，利用三[0063]步骤S3，利用RosettaOCR图像文本提取系统提取出图像中的文本信息即场景文StanfordCoreNlp中进行语义分析。首先通[0068]将最终得到的场景文本通过预训练的fastText模型提取出300维的特征向量。[0073]步骤S4-3，将最终得到的图像描述文本通过预训练的fastText模型提取出300维[0076]步骤S5-1,将输入的图像和图像描述文本，[0078]将图像描述文本的单词进行平均融合，得到当前图像描述文本的句子级别表示PP[0082]步骤S5-2,将输入的图片和图像描述文本，根据步骤S3和步骤S4得到场景文本和词级别的特征，分别表示为[oi,...,ok[0084]对St在场景文本维度求得每个单词与图像描述文本的最大相似度，得到长度为k[0086]步骤S5-3,将输入的图片和图像描述文本，根据[0088]其中si,j表示为第i个场景文本单词和第j个图像描述文本单词之间的相似性。接之后的af和场景文本单词之间的相关性用两者的余弦相似度表示：