CN119514640A 基于大语言模型的辅助分层强化学习训练方法及系统 （山东大学）

基于大语言模型的辅助分层强化学习训练本发明提出了基于大语言模型的辅助分层据高层策略目标与环境产生一系列动作直到达略输出的每个动作都将与环境交互并获得环境2教师智能体采用大语言模型，根据接收到的环境观察信息给出略包括技能选项分布向量和目标选项分布向量的选项概率分布，指导策略被引入训练模时，TO将根据高层策略目标与环境产生一系列动作直到达到终止条件或超过最大任务步训练模块基于接收的指导策略及环境奖励累加和将使用损失函数对学生智能体的高随后大语言模型将根据p输出用于指导学生智能体的低层策略负责根据高层策略产生具体的低层别动通过学生高层策略和得到选项索引向量将其组合为高层动作传入低层策3表示教师推荐的高层策略与学生给出的高层策略退火参数用于控制教师智能体对于学生智能体引导的程度，退火参数设定依据如下公在训练开始时，设置为一个较大的值以保证学生智能体在与环境交互的初期得到所述教师智能体采用大语言模型，根据接收到的环境观察信息给出所述学生智能体根据环境观察信息给出高层策略，当高层策略传入训练模块基于接收的指导策略及环境奖励累加和将使用损失函数对学生智能体的高所述任务文本和环境信息文本将组合到一起成为提示文本，提示文本将所述动作分解模块将文本动作转化为技能选项分布向量和目标选项4第一全连接网络输出多维数据，构成学生智能体输出的第二全连接网络输出多维数据，构成学生智能体输出的根据技能选项策略和目标选项策略选择概率最大的技能和目标低层策略拥有多个基于人类专家知识的硬编码策略技能，由给低层策略将控制学生智能体产生一系列动作直到达到终止条件或超过最大任务步数，加和Ii,被视作当前高层动作获得的奖励，Ii,会被送入训练模块用于学生智能体向环境学5[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技[0007]大语言模型(LLM)凭借其强大的推理能力和广泛的常识库，逐渐被引入强化学习使用小规模大语言模型进行微调以加快学习速度。Hao等人将观察结果与目标一起编码为6项πωω将根据高层策略目标与环境产生一系列动作直到达到终止条件或超过最大任务[0016]训练模块基于接收的指导策略及环境奖励累加和将使用损失函数对学生智能体[0021]动作分解模块将aL分解为和代表大语言模型选择的技能选项分布向量，[0022]用相同的提示文本询问n次大语言模型，分别统计和的选项概率分布7[0028]通过学生高层策略和得到选项索引向量将其组合为高层动作传入低表示教师推荐的高层策略与学生给出的高层策略差异，[0032]作为进一步的技术方案，所述退火参数λ用于控制教师智能体对于学生智能体引[0034]在训练开始时，设置λ为一个较大的值λ0以保证学生智能体在与环境交互的初期[0039]训练模块基于接收的指导策略及环境奖励累加和将使用损失函数对学生智能体8[0051]低层策略将控制学生智能体产生一系列动作直到达到终止条件或超过最大任务而是作为外在奖励来指导分层强化学习。大语言模型的指导权重会在训练过程中逐渐减9用商业模型)或更长的推理时间。在Yu的方法中，智能体必须为每一个动作咨询大语言模[0072]大语言模型的推理能力需要改进，以便直接解决长序列任务。正如Valmeekam和可供性函数来验证LLM输出动作的可执行性。有的方案使用代码生成作为机器人控制的受[0075]利用大语言模型的推理能力和先验知识来解决稀疏奖励环境中长序列决策任务orn的同时，教师智能体会收到相同的观察并给略aL。一个硬编码的动作分解模块将aL分解为和代表LLM选择的技能选项分布向产生的动作aL是当前环境观察o的最佳高层决策。本实施例子技术方案用相同的提示文本用一个技能模块负责在Ks中选择技能选项，一个目标模块负责在Kt中选择当前技能作用的略和最终的高层策略通过策略和得到选项索引向量将其组合为高层动策略目标与环境产生一系列动作直到达到终止条件βw或超过最大任务步数[0090]本实施例子技术方案引入退火参数λ用于控制教师智能体对于学生智能体引导的[0096]2.将环境观察信息o送入翻译模块，翻译模块由红色钥匙><蓝色钥匙><蓝色门>持有<无>面向<无>”[0104](6)请根据提供的信息澄清代理看到和持有的物体。然后推断代理在当前状态下向量和目标选项分布向量每个技能选项向量的索引代表了大语言模型选择的技能，[0120]3.卷积网络的输出分别连接两个全连接网络作为技能选项网络核目标选项网智能体输出的技能选项策略每一维度代表一个技能，每个维度的数据代表选择该技能的概率。目标选项网络由一层64节点的全连网络和softmax激活函数组成，输出多维数据应策略技能并由步骤4给出的目标索引确定技[0123]6.低层策略模块将控制智能体产生一系列动作直到达到终止条件βw或超过最大任务步数Tlow。与此同时在智能体执行每一个动作时，都会收到环境奖励异，这里的分布差异使用KL散度进行衡量，即x(nk(o)llni(o)、x(nt(o)llm(o).将其放入[0127]将步骤1和步骤2得到两部分损失加和到一起，并引入一个退火参数λ用于控制教[0128]3.在训练开始时，设置λ为一个较大的值λ0以保证学生智能体在与环境交互的初策略优化(PPO)算法作为强化学习算法。通过最大化智能体的预期回报实现智能体向环境学习。H(⃞(o)lIl;(o)、H(mt(o)lIm"(o)表示教师推荐的高层策略与学生给出的高层策略[0150]RL(PPO)是一种使用近端策略优化算法的端到端强化学习基线方法。此方法将展[0151]大语言模型：本实施例子采用Chat_GPT4作为大语言模型来指导LLMHRL的高层策[0152]为了提升大语言模型的推理能力，本实施例子技术方案采用思路链式的文本提理解各个高层决策的含义以及输出文本的格式。环境文本根据智能体对环境的观察提供，层决策包括对当前环境的解释、智能体后续应该采取的高层决策以及相应决策的关键词。[0163]表I和图4展现了5种方法分别部署在四种环境任务中的成功率表现。LLMHRL在四以减少可选择动作的数量。低层动作由技能库组成，以完成不同的高层决策。实验表明，LLMHRL可以更快地学习大语言模型的策略，并通过与环境的交互逐渐学习到更好的策略。[0182]本实施例的目的是提供一种计算机装置[0187]再次参见附图1所示本实施例的目的是提供基于大语言模型的辅助分层强化学习[0203]低层策略将控制学生智能体产生一系列动作直到达到终止条件或超过最大任务[0205]本实施例的目的是提供了一种包含指令的计算机程序产品，其在计算机上运