CN115359383B 跨模态特征提取、检索以及模型的训练方法、装置及介质 （北京百度网讯科技有限公司）

US2021312230A1,2021WO2020155423A1,2020.08跨模态特征提取、检索以及模型的训练方2获取待处理数据，所述待处理数据对应至少两类第在所述待处理数据中确定第二模态的第一数据，所述基于所述第一数据和所述语义实体，并采用预先训练基于所述语义实体，并采用所述跨模态特征提取模型中的实体基于各所述语义实体，并采用所述实体编码模块，获取各所述语基于各所述语义实体的编码特征和对应的注意力信息，在所述训练数据组中确定第二模态的第一数据和第三模和所述第三模态分别为所述第一模态的任一类模态；且所述第二模态与所述第三模态不对所述第一数据和所述第二数据分别进行语义实体抽取基于所述第一数据、所述至少两个第一训练语义实体、3基于所述第一数据、所述至少两个第一训练语义实体、基于所述第一数据和所述至少两个第一训练语义实体，采用所述跨模态特征提取模基于所述第二数据和所述至少两个第二训练语义实体，采用所述跨模态特征提取模基于所述第一数据的语义编码特征和所述第二数据的语义编基于所述第一数据的语义编码特征和所述第二数据的语态到第三模态进行信息检索的第一子损失函数和第三模态到第二模态进行信息检索的第将所述第一子损失函数和所述第二子损失函数相加，得到所述跨模态检索的损失函对查询信息进行语义实体提取，得到至少两个第一语义基于所述查询信息和所述第一语义实体，并采用所述基于所述第一信息和所述第二语义实体，并采用所述4基于所述第一信息和所述第二语义实体，并采用所述基于所述第二信息和所述第三语义实体，并采用所述数据确定模块，用于在所述待处理数据中确定第二特征获取模块，用于基于所述第一数据和所述语义实体基于所述语义实体，并采用所述跨模态特征提取模型中的实体所述第二模态为视频模态；采用预先训练的语义基于各所述语义实体，并采用所述实体编码模块，获取各所述语基于各所述语义实体的编码特征和对应的注意力信息，5获取模块，用于获取包括至少两条训练数据的训练确定模块，用于在所述训练数据组中确定第二模态的第一数据和第三模态的第二数实体抽取模块，用于对所述第一数据和所述第基于所述第一数据和所述至少两个第一训练语义实体，采用所述跨模态特征提取模基于所述第二数据和所述至少两个第二训练语义实体，采用所述跨模态特征提取模基于所述第一数据的语义编码特征和所述第二数据的语义编基于所述第一数据的语义编码特征和所述第二数据的语态到第三模态进行信息检索的第一子损失函数和第三模态到第二模态进行信息检索的第将所述第一子损失函数和所述第二子损失函数相加，得到所述跨模态检索的损失函信息获取模块，用于从数据库中获取第二模态特征提取单元，用于基于所述查询信息和所述第一语义6基于所述第一信息和所述第二语义实体，并采用所述基于所述第一信息和所述第二语义实体，并采用所述所述特征提取单元，还用于基于所述第二信息和所述第三所述存储器存储有可被所述至少一个处理器执行的78[0015]获取包括至少两条训练数据的训练数据组，所述训练数据对应至少两类第一模9算机程序在被处理器执行时实现如上所述的方面[0041]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施数字助理(PersonalDigitalAssistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设[0069]图2是根据本公开第二实施例的示意图；本实施例的跨模态应用中的特征提取方FasterR_CNN检测物体。FasterR_CNN分两阶段实现这一过程，首先使用区域提案网络(RegionProposalNetwork；RPN)得到对象提案，同时每个位置预测目标边界和ROI)池用于为每个框提取小特征图，然后将这些特征图一起输入卷积神经网络[0077]而自上而下机制则使用任务特定的上下文，即上述自下而上模块得到的输出序[0080]例如：Amanisdriving，这句让每个实体都能与其他实体进行交互，以获取各语义实体更加准确地编码特征。具体地，实体的编码特征。公式(2)表示在计算过程中使用多个self_attention的多头注意力机制iKiK分别表示multi_headattention机制中第i个输出映射回TransformerEncoder输入向量X的原始维度的映射矩阵。公式(3)为多层感知[0090]在经过Transformerencoderblock对实体表征增强后，还可以对每个实体计算景中，可以使用对比语言图像预训练(ContrastiveLanguage_ImagePre_Training,；CLIP)模型对视频帧和文本进行编码。CLIP模型在训练时使用了四亿个的文本和图片对进特征和该第一数据的全局语义特征融合，以对该第一数据的全局语义特征进行补充和增[0108]本实施例的跨模态检索即标识查询语句Query的模态与检索时参考的数据库中的(3)是在跨模态检索之前进行的，可以提前在数据库中存储各条数据的第二模态的第一信[0133]步骤(4)(6)是在跨模态检索之前进行的，可以提前[0136]其中第一信息的第二语义编码特征可以指的是数据库中各条数据的第二模态的[0146]本实施例的跨模态特征提取模型的训练方法，对于各训练数据中的各模态的数模型可以关注到各模态信息的细粒度信息，进一步可以提高跨模态特征提取模型的准确采用跨模态特征提取模型中的全局语义特征提取模块，获取该第一数据的全局语义特征；[0155]例如，具体可以包括：基于第一数据的语义编码特征和第二数据的语义编码特征分别构建第二模态到第三模态进行信息检索的第一子损失函数和第三模态到第二模[0163]对于视频，可以采用基于视频和文本的跨模态特征提取模型中检索的损失函数等于第一子损失函数和第二子损[0172]L=L[0174]本实施例的跨模态特征提取模型的训练方法，对于各训练数据[0176]数据获取模块801，用于获取待处理数据，所述待处理数据对应至少两类第一模[0180]本实施例的跨模态应用中的特征提取装置800，通过采用上述模块实现跨模态应[0187]基于所述模态信息，采用所述跨模态特征提取模型中的全局语[0189]基于所述第一数据，并采用所述跨模态特征提取模型中的全局语义特征提取模[0194]上述实施例的跨模态应用中的特征提取装置800，通过采用上述模块实现跨模态[0199]本实施例的跨模态检索装置900，通过采用上述模块实现跨模检索的实现原理以检索装置1000，包括上述图9所示的同名同功能模块，实体提取模块1001、信息获取模块[0216]对于所述数据库中的各条所述数据，对对应的第一模态的信息进行语义实体提二模态到第三模态进行信息检索的第一子损失函数和第三模态到第二模态进行信息检索[0236]如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备[0238]计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0240]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0243]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，