CN116226334B 生成式大语言模型训练方法以及基于模型的搜索方法 （北京百度网讯科技有限公司）

feedback.arXiv:2203生成式大语言模型训练方法以及基于模型查询文本与匹配的包含有接口调用指令的输出练好的第一生成式大语言模型进行有监督微调户查询文本与不同候选输出之间的用户偏好排训练集对预训练好的第三生成式大语言模型进语言模型可显著提升搜索场景下的搜索结果准2获取搜索会话，并确定所述搜索会话中对用户查询文本做出成功响应的有效搜索结利用所述第一训练集对预训练好的第一生成式基于相同用户查询文本与不同候选输出之间的用户偏好排有输入文本与相应的接口调用指令之间对应利用第二训练集对预训练好的第三生成式大语言模型进行有监督训练，得到奖励模将所述第二生成式大语言模型，基于所述奖励模型返回的得分，从检索日志中确认对相同所述检索词返回过的所有检索结果，将相同检索词分别与各检索结果生成多个样本对，并根据不同检索结果基于按所述排序信息进行用户偏好排序的各样本对和记录有输入文本与相应的包含将所述用户查询文本作为输入数据输入目标生成式大语言模型；其中式大语言模型基于权利要求1或2所述的生成式大语言模型训接收所述目标生成式大语言模型返回的查询结果文本；其中，所述将所述查询结果文本调整为表达相同含义的3将所述查询结果文本调整为表达相同含义的随机将所述查询结果文本调整为表达相同含义的、与所述用户查询第一训练集构建单元，被配置成获取搜索会话，并确定所述新搜索会话中位于非首项输出结果前的所有会话内容和所述非首项输出结果作为非起令所调用的服务接口对应于所述用户查询文本表达出的功能使有监督微调训练单元，被配置成利用所述第一训练集第二训练集构建单元，被配置成基于相同用户查询文本奖励模型训练单元，被配置成利用第二训练集对预训练好的第三强化学习训练单元，被配置成将所述第二生成式大语从检索日志中确认对相同所述检索词返回过的所有检索结果，将相同检索词分别与各检索结果生成多个样本对，并根据不同检索结果基于按所述排序信息进行用户偏好排序的各样本对和记录有输入文本与相应的接口4模型调用单元，被配置成将所述用户查询文本作为输入数据输入预查询结果文本接收单元，被配置成接收所述目标生成式大将所述查询结果文本调整为表达相同含义的随机将所述查询结果文本调整为表达相同含义的、与所述用户查询所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被方法和/或权利要求3_7任一项所述的基于生成式大语言模型的16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1或2所述的生成式大语言模型训练方法和/或权利要求3_7任一项所述权利要求1或2所述的生成式大语言模型训练方法的步骤和/或权利要求3_7任一项所述的5[0005]本公开实施例提出了一种生成式大语言模型训练方法和基于生成式大语言模型6面描述的生成式大语言模型训练方法或如第三方面描述的基于生成式大语言模型的搜索练方法或如第三方面描述的基于生成式大语机程序在被处理器执行时能够实现如第一方面描述的生成式大语言模型训练方法的步骤或如第三方面描述的基于生成式大语言模型的搜索方法二生成式大语言模型具有将用户查询文本改写为匹配的包含有接口调用指令的输出结果到的奖励模型拥有为生成式大语言模型针对用户查询文本所生成的不同候选进行质量评式大语言模型具有了深度理解用户需求并自行构建相应接口调用指令进行查询得到返回7[0015]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0020]图4为本公开实施例提供的一种基于由用户查询文本与匹配的输出结果构成的样[0026]图10为本公开实施例提供的一种适用于执行生成式大语言模型训练方法和/或基[0029]图1示出了可以应用本申请的生成式大语言模型训练方法、基于生成式大语言模8[0033]服务器105通过内置的各种应用可以提供各种服务，以可以为用户提供搜索服务响应信息生成得到。进一步的，还可以将该查询结果文本通过网络104重新传回终端设备[0034]其中，该目标生成式大语言模型可由服务器105上内置的模型训练类应用按如下一训练集，接口调用指令所调用的服务接口对应于用户查询文本表达出的功能使用意图；[0035]由于为训练得到目标生成式大语言模型需要占用较多的运算资源和较强的运算中的轻量级的目标生成式大语言模型，还是选择使用服务器105中的较复杂的目标生成式9[0038]请参考图2，图2为本公开实施例提供的一种生成式大语言模型训练方法的流程[0040]本步骤旨在由生成式大语言模型训练方法的执行主体(例如图1所示的服务器的查询词(通常也使用query来指代)或者对用户传入的查询语音所转换得到的查询文本，为实现用户查询语音转为用户查询文本，可借助自动语音识别(AutomaticSpeech图，即接口调用指令所调用的服务接口对应于实现用户查询文本所想要表达的预期需求，[0042]其中，本公开所描述的“服务接口”是指用于提供服务的应用程序编程接口用(包括支持操作系统正常运行的系统相关应用和建立在操作系统正常运行上的其它应天气查询功能的WeatherAPI(通常由天气类应用提供)、用于实现汇率换算功能的ConverterAPI(通常由数学计算类应用或小工具组件提供)、用于实现进制换算的能使用意图，但其中仅有一项必须通过对应的接口调用指令以执行后寻求返回响应的方[0045]若与用户查询文本匹配的包含有接口调用指令的输出结果中同时包含有多条接其一般均包含目标服务接口的接口名和具体的接口调用参数，两者以要求的格式进行组中的某个文本片段直接充当，也可以由表达与相应文本片段相同含义的其它形式内容充能使用意图，而对应该功能使用意图的目标服务接口可为指代天气查询功能的Weather户查询文本匹配的输出结果可以为：“A是著名篮球运动员，身高Transform(7ft6in,是因为可根据该用户查询文本确定出用户所想要表达的功能调用意图除了对长度单位的[0051]步骤202：利用第一训练集对预训练好的第一生成式大语言模型进行有监督微调对之前已经预训练好的第一生成式大语言模型进行有监督微调训练(SupervisedFine_用生成式大语言模型通常仅是根据文本输入和大模型参数中蕴含的知识，基于语言单元(token)的预测概率生成一个文本序列作为结果，并不会具有将其改写为包括目标API和模型所需要付出的庞大耗时，只需要构造包含有将用户查询文本改写为包含目标API和API参数的包含有接口调用指令的输出结果的能型可能并不适合作为使用SFT技术的基础模型(例如通用生成式大语言模型所学习到的知识与新构造的训练样本中隐含的知识存在冲突)，也可以基于新构造的训练样本对初始的[0055]步骤203：基于相同用户查询文本与不同候选输出之间的用户偏好排序和预设模[0056]在步骤202的基础上，本步骤旨在由上述执行主体基于相同用户查询文本与不同候选输出之间的用户偏好排序和记录有输入文本与相应的接口调用指令之间对应关系的币”、“[Address]天气如何—根据最新天气预报显示，今天[Address]Weather(Loc可以抽取自用于构成第一训练集的各“用户查询文本—包含有接口调用指令的输出结果”录的对相同用户查询文本返回的备选输出列表中各备选输出在一段时间内的累计点击次[0061]在步骤203的基础上，本步骤旨在由上述执行主体利用第二训练集对预训练好的奖励模型，是指通过学习第二训练集中每个训练样本下不同样本对之间的用户偏好排序，得以学习到如何对相同输入下不同备选输出赋[0068]4)采用RL的方式，基于模型M获得的总奖励得分不断[0071]假定目标生成式大语言模型根据上述方案学习到了将用户查询文本输出为包含[0091]query+A+是+著+名+蓝+球+运+动+员+，+身+高+Transform+(+7+ft+6+in__>[0092]query+A+是+著+名+蓝+球+运+动+员+，+身+高+Transform+(+7+ft+6+in+，+度和字符粒度中间的一种形态，子词在能够保留语言意义的同时，还能有效减少词表的大小(即词表中词的数量)，也能有效解决词表外词(out_of_vocabularywords)的情况。以二生成式大语言模型具有将用户查询文本改写为匹配的包含有接口调用指令的输出结果了深度理解用户需求并自行构建相应接口调用指令进行查询得到返回的准确答案的能力，作用下还将使得返回的结果更加符合用户的实际需应的embedding(通常可译为词向量或词嵌入)的初始化问题，还可以采用参数采样初始化增加模型对新token的预测难度。这是因为新token的初始化embedding与通用生成式大语可以简称为多元正态分布)对每个新token的embedding进行采样。形式化的，对于每个新[0103]其中，E∈Rn×d是由通用生成式大语言模型原词表中所有token的embedding不做调整，也将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整[0106]本步骤旨在由上述执行主体获取记录用户通过搜索引擎进行搜索会话情况的搜[0108]在步骤301的基础上，本步骤旨在由上述执行主体根据该有效搜索结果来确定匹[0109]步骤303：将有效搜索结果中可通过执行接口调用指令返回得到的部分或全部结[0110]在步骤302的基础上，本步骤旨在由将有效搜索结果中可通过执行接口调用指令[0112]步骤304：基于由用户查询文本与匹配的输出结果构成的样本对，构建第一训练果构成的样本对构建第一训练集方法的流程图，即针对图3所示的流程300中的步骤304提[0117]步骤403：将新搜索会话中位于非首项输出结果前的所有对话内容和非首项输出不做调整，也将本实施例所提供的具体实现方式以替换步骤203的方式得到一个新的完整[0135]步骤504：基于按排序信息进行用户偏好排序的各样本对和记录有输入文本与相98[0150][String]的信息—据查询和汇总得到，[String]有如下信息：Information[0151][String]美元等于多少人民币—根据当前汇率显示，[String]美元是Converter[0152][Address]天气如何—据官方天气预报信息显示，[Address]Weather(Loc[0153]下述以模板—“[String1]是什么—据查询和汇总得到，[String1]是What (String2)”为例，可见该模板中的“String1”对应用户输入的上述query(即凤凰)、[0154]rel(prompt＝凤凰是什么,a1＝据查询和汇总得到[0155]rel(prompt＝凤凰是什么,a1＝据查询和汇总得到[0156]rel(prompt＝凤凰是什么,a1＝据查询和汇总得到供了一种使用训练好的目标生成式大语言模型来解决实际问题的方案，如图6所示的一种[0165]本步骤旨在由基于生成式大语言模型的搜索方法的执行主体(例如安装在图1所[0168]在步骤601的基础上，本步骤旨在由上述执行主体将用户查询文本作为输入数据[0170]在步骤602的基础上，本步骤旨在由上述执行主体接收目标生成式大语言模型返不需要生成接口调用指令时将直接根据大模型参数中蕴含的知识来生成相应的回复文本，而在遇到需要调用相应服务接口的地方则自动生成接口调用指令并进行执行以获得返回擎。即接口调用指令(API及其参数)的生成和执行都在目标生成式大语言模型生成输出文查询结果文本返回给搜索引擎，使得用户能够直接获取到满足其搜索需求的查询结果文[0173]为了避免目标生成式大语言模型对不同表述的用户查询文本均输出相同格式的[0176]为进一步加深对本公开所提供方案的理解，下述还将通过图7示出一种针对具体[0179]3)目标生成式大语言模型先通过生成Nu[0180]4)目标生成式大语言模型接续通过生成Trans(成式大语言模型训练装置实施例与图2所示的生成式大语言模型训练方法实施例相对应，基于生成式大语言模型的搜索装置实施例与图6所示的基于生成式大语言模型的搜索方法805的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201_205的相关[0187]接口调用指令确定子单元，被配置成根据有效搜索结果确定匹配的接口调用指[0193]将新搜索会话中位于非首项输出结果前的所有会话内容和非首项输出结果作为[0196]在本实施例的一些可选的实现方式中，第二训练集构建单元803可以被进一步配[0200]基于按排序信息进行用户偏好排序的各样本对和记录有输入文本与相应的包含同候选输出之间的用户偏好排序所构建的第二训练集对预训练好的第三生成式大语言模练方案使得经训练得到的目标生成式大语言模型具有了深度理解用户需求并自行构建相[0204]在本实施例的一些可选的实现方式中，基于生成式大语言模型的搜索装置900还[0209]将查询结果文本调整为表达相同含义的、与用户查询文本所具有的相同表述方入目标生成式大语言模型后，借助目标生成式大语言模型所具有的能力生成相应的结果，并在遇到需要调用服务接口的地方则自动生成接口调用指令并进行执行以获得返回的调用结果，并将基于已生成的回复文本和调用结果生成出的查询结果文本返回给搜索引擎，任一实施例描述的生成式大语言模型训练方法和/或基于生成式大语言模型大语言模型训练方法和/或基于生成式大语实现上述任一实施例描述的生成式大语言模型训练方法和/或基于生成式大语言模型的搜[0216]如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0218]计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算一些实施例中，生成式大语言模