CN114036322B 用于搜索系统的训练方法、电子设备和存储介质 （北京百度网讯科技有限公司）

本公开提供了一种基于预训练语言模型的算请求语义向量和多个数据语义向量之间的相样本搜索请求和与每一个数据语义向量相对应的候选数据作为联合输入值输入到排序模型的以及基于损失函数调整召回模型和排序模型中2接收样本数据集，所述样本数据集中的样本数据包括样本搜由所述召回模型中的第一编码器将该样本数据中的样本搜索请求转换为第一请求语由所述召回模型中的第二编码器分别将不同类型的多个候选数据转换成对应的多个分别计算所述第一请求语义向量和所述多个第一数依次将所述样本搜索请求和与所述第一数量的第一数据语义向量中的每一个第一数据语义向量相对应的候选数据作为第一联合输入值输入到所述排序模型的交叉编码器中，基于所述损失函数调整所述召回模型和所述排序模依次将所述样本搜索请求和与所述第一数量的第一数据语义向量中的每一个第一数据语义向量相对应的候选数据作为第二联合输入值输入到所述推荐模型的交叉编码器中，基于所述损失函数调整目标模型和所述推荐模5.如权利要求1或2所述的方法，其中，6.如权利要求1或2所述的方法，其中，所述多7.如权利要求1或2所述的方法，其中，38.如权利要求1或2所述的方法，其中，所述第一请9.如权利要求1或2所述的方法，其中，所述不同类本或视频数据是通过对原始的完整数据进行细粒度所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被4[0004]在此部分中描述的方法不一定是之前已经设想到或采用[0006]根据本公开的一方面，提供了一种基于预训练语言模型其中，所述搜索系统包括由召回模型和排序模型级联组成的端到端深度神经网络基础模数量的第一数据语义向量中的每一个第一数据语义向量相对应的候选数据作为第一联合5算机程序在被处理器执行时实现上述基于预训练语言模型的[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0013]图1示出了根据本公开示例性实施例的基于交叉编码器构造的模型结构示意图与[0014]图2示出了根据本公开示例性实施例的基于预训练语言模型的搜索系统的训练方[0015]图3示出了根据本公开示例性实施例的基于预训练语言模型的搜索系统的训练方[0019]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目6中，所述搜索系统包括由召回模型和排序模型级联组成的端到端深度神经网络基础模型，[0025]图1示出了基于交叉编码器构造的模型结构示意图与基于双编码器构造的模型结q两个编码网络可以为相同的网络。该两个编码网络分别输出两个语句对应的语义向量Eqpp[0026]将question语句和召回模型召回的一个或多个passage语句依次输入基于交叉编[0027]图2示出了根据本公开示例性实施例的基于预训练语言模型的搜索系统的训练方搜索请求和与所述第一数量的第一数据语义向量中的每一个第一数据语义向量相对应的7回模型和所述排序模型中的多个参数。向量之间的相似度例如可以但不限于为余弦相似[0028]根据本公开实施例的训练方法，可以实现基于预训练语言模型的搜索系统的训8搜索请求和与所述第一数量的第一数据语义向量中的每一个第一数据语义向量相对应的特征维度则侧重于描述用户围绕公众人物A可能延伸的兴趣，例如用户可能会感兴趣公众9述计算机程序在被处理器执行时实现上述基于预训练语言模型的搜索系[0050]参考图4，现将描述可以作为本公开的服务器或客户端的电子设备400的结构框的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执单元408以及通信单元409。输入单元406可以是能向设备400输入信息的任何类型的设备，被配置为执行上述用于数据搜索的方法或基于预训练语言模型的搜索系统机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0055]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0058]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的