CN119513292A 基于大语言模型增强的推 荐策略生成方法及相关设备 （中国科学院自动化研究所）

号基于大语言模型增强的推荐策略生成方法本发明提供一种基于大语言模型增强的推体是基于样本推荐任务和大语言模型进行训练2其中，所述智能体是基于样本推荐任务和大语言模型进行训练3.根据权利要求1或2所述的基于大语言模型增强的推荐策略生成方法，其特征在于，获取所述大语言模型基于所述样本推荐任务输对于每一组所述样本交互数据，基于所述交互数据和对应的预测行为基于所述下一时刻的样本状态以及预测行为，获取所述智能体在;3;表示下一时刻的样本期望值，分别表示下一时刻的基于所述推荐任务生成任务指令和二元交互序列，所述二元交互序列用将所述任务指令和所述二元历史交互序列输入至所述大语言模型，获8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至7任一项所述基于大语言模型增强的推荐策略生行时实现如权利要求1至7任一项所述基于大语言模型增强的推荐策4实际应用中可能导致较长的收敛时间。特别是在冷启动场景或用户兴趣快速变化的情况获取所述大语言模型基于所述样本推荐任务输5;;6执行时实现如上述任一种所述基于大语言模型增强的[0021]图1是本发明提供的一种基于大语言模型增强的推荐策略生成方法的流程示意78[0037]上述结构化的推荐任务为强化学习智能体提供了初始状态s，使智能体能够理解[0042]在本发明实施例中，推荐策略可以理解为智能体能基于当前状态s输出对应的推9利用预先训练好的嵌入层将这些离散和连续特征转换为密[0053]具体地，生成推荐策略的过程首先涉及到将用户动作解码为具体的推荐项目列该策略网络已经从大语言模型中学习到了丰富的语义理解能力，能够更好地解读用户状态中蕴含的兴趣倾向。策略网络输出了一个表示推荐不同电影倾向性的概率分布。假设需要电影对应的索引向量。由于策略网络已经通过大语言模型的训练获得[0059]上述实施例对智能体的决策网络的应用过程进行了说明，在上述实施例的基础系统在当前状态下的推荐决策。Actor网络的设计目标是学习一个能够最大化长期累积奖采样一批数据用于训练。Critic网络通过最小化预测Q值与目标Q值之间的误差来更新参映了智能体对在给定状态下采取某个动作所能获得的未来收益的预期。在本发明实施例中,目标期望值可以理解为一个融合了实际交互经验和大语言模型语义理解的综合评估指时,它为智能体提供了一个评估动作质量的基准,用于判断某个动作在特定状态下的相对价值。引入大语言模型的预测使得目标期望值能够更好地捕捉长期收益,避免智能体陷入短视的决策,从而实现了短期和长期收益的平衡。准确的目标期望值可以加速智能体的学[0090]此外，由于目标期望值结合了大语言模型[0094]价值评估网络会将这些输入信息整合并进行深度处理，最终输出第一期望值Q[0101]通过上述方法得到的目标期望值可以使得智能体能够在决策时兼顾短期和长期;数作为最终的训练结果。这些参数包含了智能体通过大量交互和学习所获得的知识和经;Qr(s,a,b)(s,a,b,rs.)eB表示推荐策略下的目标期望值，ri表示当前时刻的样本奖选物品池I以及相关的场景信息。这些信息被格式化为大语言模型可以理解的结构化输种输入方式既明确了任务目标，又提供了用户的历史偏好信息，为大语言模型的预测提供了充分的上下文。[0131]此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以