CN114419387B 基于预训练模型和召回排序的跨模态检索系统及方法 （北京邮电大学）

基于预训练模型和召回排序的跨模态检索本发明提出一种基于预训练模型和召回排图搜图模块用于完成大规模高效率的图片检索2多维度文本信息提取模块，用于为所述跨模态检索跨模态检索模块，用于根据查询项生成大致相关地候选集，对所述候选集进语音数据处理模块，用于音频提取和基于深度学习的语音识别根据所述绝对距离将提取出地所有帧排序，排行靠前的若干帧即视基于平均灰度级比较差距的图片特征提取技术对图片进通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或相似3提取图像信息，从一段视频中抽取出最能代表视频内容的若干张图片，根据查询项生成大致相关地候选集，对所述候选集进行精确排序，音频提取和基于深度学习的语音识别，所述基于深度学习的语音识获取不同语序不同语种下对于当前语句地语义描述，从多方根据所述绝对距离将提取出地所有帧排序，排行靠前的若干帧即视基于平均灰度级比较差距的图片特征提取技术对图片进通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或相似4嵌入来独立表示图像和文本的输入信号。在一个N张图片M条文本输入的检索召回场景下，5[0008]本发明的第二个目的在于提出一种基于预训练模型和召回排序的跨模态检索方[0014]自然语言文本扩展模块，用于获取不同语序不同语种下对于当前语句地语义描[0021]通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或6[0036]通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或[0040]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0041]图1为本发明实施例所提供的一种基于预训练模型和召回排序的跨模态检索系统[0042]图2为本发明实施例所提供的一种基于预训练模型和召回排序的跨模态检索方法7[0054]下面参考附图描述本发明实施例的基于预训练模型和召回排序的跨模态检索系[0055]图1为本发明实施例所提供的一种基于基于预训练模型和召回排序的跨模态检索[0060]自然语言文本扩展模块102，用于获取不同语序不同语种下对于当前语句地语义[0062]不同于常规的文本信息提取,多维度文本信息提8[0063]多维度文本信息提取模块可以细分为语音数据处理子模块和自然语言文本扩展[0065]高维度模态具有较高的信息量,将其投影到低维度能大幅扩充低维度模态数据。文本信息提取模块通过对自然语言文本进行基于深度学习的翻译转换为多语言的文本信[0068]自然语言文本扩展子模块主要通过多语言的翻译结果[0077]通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或9[0078]为了满足根据用户输入图片在数据库中快速检索并返回图片特征提取方法，将图片特征存入ElasticSearch中，构建图片检索数据库，基于速度。当用户输入一张图片或视频智能抽帧所得图片输入时，首先提取特征，再通过精确排序,最终返回最符合检索要求排序靠前的选项。该架构可以利用现有的跨模态预训[0087]为了使输入图像i和文本标题c两种模态的分布在高维多在训练时将对应的图像-文本对紧密地放置于特征空间中，而不相关的样本对则放置较远[0094]p(i,c)表示输入图像i和文本c的组合是正样本的概率(是否为正确的图像-文本项快速地选择top-k个大致相关的候选项，再利用交叉编码模型根据查询项对候选集进行距的图片特征提取技术对图片进行特征提取，结合ElasticSearch搜索引擎对图片特征进[0099]与当前主流的跨模态检索技术相比，本方案的优势在于:首先提出了一个联合检[0102]图2为本发明实施例提供的一种基于预训练模型和召回排序的跨模态检索方法示[0103]如图2所示，该基于预训练模型和召回排序的跨模态检索方法，包括以下步骤：[0113]通过ElasticSearch提供的模糊查询功能，快速的从图片数据库中检索出相同或术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结[0119]尽管上面已经示出和描述了本发明的实施例，可性的,不能理解为对本发明的限制,本领域的