CN115599953B 视频文本检索模型的训练方法、检索方法及相关设备 （北京达佳互联信息技术有限公司）

WO2022171067A1,2022.08.18二视频特征和第二文本特征以及第三视频特征训练的视频特征提取模型和已训练的文本特征2将所述第一视频样本对应的描述文本数据输入待训练的文本特征提取在所述第一视频特征和所述第一文本特征中，确定出来源于同一视频特征和第二文本特征，以及来源于不同第一视频样本的第三视频特征和第三文本特失值和所述至少一个第二损失值，对所述待训练的文本特征提取模型的模型参数进行调将所述预训练的视频特征提取模型和所述已训练的文本特征提取模型作为视频文本在所述将所述第一视频样本输入预训练的视频特征提取模型，将所述图像数据和所述内容文本数据输入待训练的视频特征提取模型基于由所述预训练中的视频特征和所述预设分类标签对应的第三确定所述第二视频特征与所述第二文本特征的第一视频文述第二视频特征在先进行所述第二视频特征与所述第二文本特征间的相似度比较的结果；所述第一文本视频相似度用于表征以所述第二文本特征在先进行所述第二文本特征与所基于所述第一视频文本相似度和第一预设视频文本标签，确定第一视频文本损失值；第一预设视频文本标签用于表征以所述第二视频特征在先进行所述第二视频特征与所述二文本特征在先进行所述第二文本特征与所述第二视频特征间的相似度比较将所述第一视频文本损失值和所述第一文本视频损失值中的至少一个3对所述正则化后的第二视频特征和所述正则化后的第二文本特征确定所述第三视频特征与所述第三文本特征的第二视频文述第三视频特征在先进行所述第三视频特征与所述第三文本特征间的相似度比较的结果；所述第二文本视频相似度用于表征以所述第三文本特征在先进行所述第三文本特征与所基于所述第二视频文本相似度和第二预设视频文本标签，确定第二视频文本损失值；第二预设视频文本标签用于表征以所述第三视频特征在先进行所述第三视频特征与所述三文本特征在先进行所述第三文本特征与所述第三视频特征间的相似度比较将所述第二视频文本损失值和所述第二文本视频损失值中的至少一个将所述图像数据和所述内容文本数据输入待训练的视频特征提取模将所述图像特征和所述预训练中的文本特征进行特征融合，得到预训练中的视频特获取每一第二视频样本的视频语音识别结果和视频图像文基于所述视频语音识别结果以及所述视频图像文字识别结果，将所述待检索数据输入视频文本检索模型，得到目标检索数据；在其中，所述视频文本检索模型根据权利要求1_6中任一项所述的视频文本检索模型的4数据获取模块，被配置为获取第一视频样本，以及所述第一第一提取模块，被配置为将所述第一视频样本输入预训练的视频特第二提取模块，被配置为将所述第一视频样本对应的描损失确定模块，被配置为在所述第一视频特征和所述第一文本模型获取模块，被配置为将所述预训练的视频特征提取模型和所数据获取单元，被配置为获取第二视频样本分别对应的图特征提取单元，被配置为将所述图像数据和所述内容文训练处理单元，被配置为基于由所述预训练中的数据获取模块，被配置为获取待检索数据，所述待检索数据为视数据检索模块，被配置为将所述待检索数据输入视频文本检其中，所述视频文本检索模型根据权利要求1_6中任一项所述的视频文本检索模型的其中，所述处理器被配置为执行所述指令，以实现如权利56[0009]将所述预训练的视频特征提取模型和所述已训练的文本特征提取模型作为视频以所述第二视频特征在先进行所述第二视频特征与所述第二文本特征间的相似度比较的7述第一预设视频文本标签用于表征以所述第二视频特征在先进行所述第二视频特征与所第二文本特征在先进行所述第二文本特征与所述第二视频特征间的相似度比较的标注数[0014]可选地，所述确定所述第二视频特征与所述第二文本特征的第一视频文本相似以所述第三视频特征在先进行所述第三视频特征与所述第三文本特征间的相似度比较的述第二预设视频文本标签用于表征以所述第三视频特征在先进行所述第三视频特征与所第三文本特征在先进行所述第三文本特征与所述第三视频特征间的相似度比较的标注数8[0038]第一提取模块，被配置为将所述第一视频样本输入预训述第一视频文本相似度用于表征以所述第二视频特征在先进行所述第二视频特征与所述特征在先进行所述第二文本特征与所述第二视频特征间的相似度比较9设文本视频标签用于表征以所述第二文本特征在先进行所述第二文本特征与所述第二视述第二视频文本相似度用于表征以所述第三视频特征在先进行所述第三视频特征与所述特征在先进行所述第三文本特征与所述第三视频特征间的相似度比较设文本视频标签用于表征以所述第三文本特征在先进行所述第三文本特征与所述第三视要调整的模型参数数量较少，因此可以保证预训练出的视频特征提取模型具有较高的性[0084]图1是根据一示例性实施例示出的一种视频文本检索模型的训练方法的流程图，图像文字识别获取到的。通过对第一视频样本的图像数据和内容文本数据进行综合考虑，[0090]在步骤S13中，将所述第一视频样本对应的描述文本数据输入待训练的文本特征以所述第二视频特征在先进行所述第二视频特征与所述第二文本特征间的相似度比较的述第一预设视频文本标签用于表征以所述第二视频特征在先进行所述第二视频特征与所第二文本特征在先进行所述第二文本特征与所述第二视频特征间的相似度比较的标注数到第i个第一文本特征，第i个第一视频特征和第i个第一文本特征即为相匹配的第二视频[0099]来源于同一第一视频样本的第二视频特征和第二文本特征间的相似度存在两种表征以第二视频特征在先进行第二视频特征与第二文本特征间的相似度比较的标注数据；第一预设文本视频标签用于表征以第二文本特征在先进行第二文本特征与第二视频特征i个第一视频特征和第i个第一文本特征，第i个第一视频特征即应与第i个第一文本特征即最相似，将与进行点乘，点乘结果记为为与一文本特征即应与第i个第一视频特征即hiuwo最相似，将hia与进行点化后的第二文本特征进行点乘，确定第二视频特征和第二文本特征的第一视频文本相似以所述第三视频特征在先进行所述第三视频特征与所述第三文本特征间的相似度比较的述第二预设视频文本标签用于表征以所述第三视频特征在先进行所述第三视频特征与所第三文本特征在先进行所述第三文本特征与所述第三视频特征间的相似度比较的标注数特征，将第j个第一视频样本对应的第j个描述文本数据输入待训练的文本特征提取模型，得到第j个第一文本特征，第i个第一视频特征和第j个第一文本特征即为不相匹配的第三[0111]来源于不同第一视频样本的第三视频特征和第三文本特征间的相似度存在两种用于表征以第三文本特征在先进行第三文本特征与第三视频特征间的相似度比较的结果。用于表征以第三视频特征在先进行第三视频特征与第三文本特征间的相似度比较的标注第i个第一视频特征和第j个第一文本特征，第i个第一视频特征即faeo,与以外的为sj和si化后的第三文本特征进行点乘，确定第三视频特征和第三文本特征的第二视频文本相似视频文本损失值和第二文本视频损失值对待训练的文本特征提取模型的模型参数进行调[0117]在步骤S15中，将所述预训练的视频特征提取模型和所述已训练的文本特征提取一个第一损失值和至少一个第二损失值对待训练的文本特征提取模型的模型参数进行调[0120]在一实施例中，在所述步骤S12将所述第一视频样本输入预训练的视频特征提取[0124]在步骤161中，获取每一第二视频样本的视频语音识别结果和视频图像文字识别[0127]步骤17，将所述图像数据和所述内容文本数据输入待训[0130]在步骤171中，将所述图像数据和所述内容文本数据输入待训练的视频特征提取[0131]具体地，待训练的视频特征提取模型包括视频特征提取模块和文本特征提取模[0134]步骤18，基于由所述预训练中的视频特征和所述预设分类标签对应的第三损失[0136]图2是根据一示例性实施例示出的一种视频文本检索方法的流程图，该方法包括[0143]图3是根据一示例性实施例示出的一种视频文本检索模型的训练装置的框图。该[0145]第一提取模块32，被配置为将所述第一视频样本输入预训练的视频特征提取模述第一视频文本相似度用于表征以所述第二视频特征在先进行所述第二视频特征与所述特征在先进行所述第二文本特征与所述第二视频特征间的相似度比较设文本视频标签用于表征以所述第二文本特征在先进行所述第二文本特征与所述第二视第二文本特征与所述第二视频特征的第一文本视述第二视频文本相似度用于表征以所述第三视频特征在先进行所述第三视频特征与所述特征在先进行所述第三文本特征与所述第三视频特征间的相设文本视频标签用于表征以所述第三文本特征在先进行所述第三文本特征与所述第三视[0176]图5是根据一示例性实施例示出的一种电子设备的框图，该电子设备可以服务器例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一[0177]电子设备500还可以包括一个电源组件526被配置为执行电子设备500的电源管O)接口558。电子设备500可以操作基于存储在存储器532的操作