CN119514612A 生成式搜索数据的处理方法、装置、设备及存储介质 （北京百度网讯科技有限公司）

本公开提供一种生成式搜索数据的处理方样本集合和第二样本集合；基于第一样本集合和/或第二样本集合，对第一大语言模型进行优2收集目标对象对搜索页面首位展示的搜索答案的反馈数结合所述关键因素，从所述反馈数据中挖掘出第4.根据权利要求1至3任一项所述的方法，其中，收集目从多种答案生成算法中选择与当前任务需求匹配的目标答对于给定的查询词集合，采用所述目标答案生成算法为每个查询词生将所述多个版本的搜索答案轮流展示给实际终端或模拟终端，以从所述预处理后的数据中提取影响满意度的将所述反馈数据输入预先训练好的满意度模型；其中，所述满7.根据权利要求1所述的方法，其中，所从多种对齐算法中选择与当前任务匹配的目3基于所述目标对齐算法，从所述第一样本数据集合和所述第二样采用所述目标对齐算法作为训练指导，利用所述训练样本对所述在所述目标对齐算法为直接偏好优化DPO算法的情况下，从所述第一样本数据集合中基于所述目标问题对应的第一答案和第二答案生监测并记录所述目标对象针对所述搜索答案的反馈数据；其中，从至少一个信息源收集与所述问题相关的原将所述原始数据和所述偏好特征输入所述大语言模型，获取所述大语所述问题相匹配且符合所述偏好特征的搜索答从所述问题对应的多种候选偏好特征中选择与所述场景信息匹配的偏好搜索答案是搜索系统利用第一大语言模型生分析模块，用于对所述反馈数据进行分析，以识别出影响样本挖掘模块，用于结合所述关键因素，从所述反馈数据中挖部署模块，用于将所述第二大语言模型部署到所述搜索系4第一选择子模块，用于从多种答案生成算法中选择第一生成子模块，用于对于给定的查询词集合，采用所述第一收集子模块，用于将所述多个版本的搜索答案轮流展示给实际终端或模拟终端，分析子模块，用于运用统计算法对所述多个特征进行分析型用于结合所述关键因素预测目标对象对搜索答案的第二生成子模块，用于基于所述目标对齐算法，从所述第一样样本数据集合中筛选出符合所述目标对齐算法训练子模块，用于采用所述目标对齐算法作在所述目标对齐算法为直接偏好优化DP0算法的情况下，从所述第一样本数据集合中基于所述目标问题对应的第一答案和第二答案生5第三生成子模块，用于将所述原始数据和所述偏好特征输入述大语言模型生成的与所述问题相匹配且符合所述偏好特征的搜索从所述问题对应的多种候选偏好特征中选择与所述场景信息匹配的偏好存储器存储有可被至少一个处理器执行的指令，指令被至少一个67程序在被处理器执行时实现根据本公开实施[0015]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0028]图12是用来实现本公开实施例的生成式搜索数据的处理方法和/或搜索处理方法8[0040]本公开为了至少部分地解决上述问题以及其他潜在问题[0041]本公开实施例提供了一种生成式搜索数据的处理方法，图1是根据本公开实施例9时刻。第二大语言模型通常比第一大语言模型更能准确生成符合目标对象偏好的搜索答样本存入满意度低的单点样本集合。图3示出了基于同一查询词生成多个版本答案的示意[0058]本公开实施例中，单轮生成式问答是指目标对象与系统之间的一次性问答交[0061]本公开实施例中，第一类反馈数据能够间接体现目标对擎中输入关键词并点击搜索后，搜索引擎返回的搜索结果页面被加载并显示给目标对象，[0068]本公开实施例中，第二类反馈数据能够直接体现目标对Generation)、多样性生成(DiverseBeamSearchGeneration)和约束引导生成[0086]本公开实施例中，随机生成是指通过调高SFT模型的参数来增加生成结果的随机[0098]本公开实施例中，关键因素是从这些多个特征中通过统入挖掘目标对象偏好，系统还会将这些特征组合，生成成对(pairwise)样本和单点(pointwise)样本。pairwise样本用于比较不同搜索答案在目标对象反馈中的相对表现，pointwise样本则用于评估单个答案的绝对大量的目标对象行为数据进行分析，系统可以识别出与目标对象满意度强相关的关键因能够更精准地识别出目标对象对搜索答案的满意度情况，为后续的优化工作提供有力支种对齐算法包括但不限于：奖励模型(RewardModel，RM)、直接偏好学习(Direct[0113]本公开实施例中，DPO利用成对比较数据(即目标对象认为哪个输出更优)来训练[0115]本公开实施例中，KTO通过引入价值函数和权重函数来刻画人类面对不确定结果[0117]在一些实施方式中，根据任务需求从多种对齐算法中选择最适合的目标对齐算练样本并定义了优化目标后，系统采用目标对齐算法(如PPO或DPO)来优化第一大语言模本能够更准确地反映目标对象的真实需求和偏好，从而提高模型训练的针对性和有效性。相比于传统的随机采样或均匀采样方法，DPO算法能够更快地定位到对模型优化最有价值[0126]本公开实施例提供了一种搜索处理方法，图7是根据本公开实施例的搜索处理方会根据目标对象的历史行为(如经常浏览美食类网站)和偏好设置(如喜欢详细的步骤说二大语言模型生成的搜索答案与目标对象偏好的匹配度优于第一大语言模型；部署模块样本数据集合和第二样本数据集合中筛选出符合目标对齐算法的训练样本；训练子模块，合中筛选出目标问题的第二答案；基于目标问题对应的第一答案和第二答案生成训练样于图11的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例OnlyMemory，ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0183]计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM1203并由计算单元1201执行时，可以执行上文描述的生成式搜索数据的处理方法和/或搜索处理方法的一个借助于固件)而被配置为执行生成式搜索数据的处理方法和/路系统、现场可编程门阵列(FieldProgrammableGateArray，FPGA)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、专用标准产品(Application_一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解[0185]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服算机盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器(Erasable面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计