CN120297323A 智能体的动作决策模型的训练方法、动作决策方法及装置 （腾讯科技（深圳）有限公司）

本申请公开了一种智能体的动作决策模型2基于所述状态拓扑图，训练所述智能体的动作反馈模型，所述所述智能体所驻留的环境对所述智能体所执行的动作的反基于所述状态拓扑图和所述动作反馈模型，训练所述智能体值模型用于评估所述智能体所执行的动作对于所述环境产生基于所述动作值模型，训练所述智能体的动作决策模型对任一条所述历史轨迹中的任一动作，若在所述状态拓扑图中查若在所述状态拓扑图中未查询到指示所述动作的有向边，确定基于所述状态拓扑图进行轨迹采样，得到多对采样轨迹，每对所采集所述多对采样轨迹的标注结果，所述标注结果指示每对所述采样采样轨迹相对于所述智能体所执行任务的满在满足反馈模型更新条件时，基于所述状态拓扑图和所述标若从所述采样点出发仅有一条有向边，将所述有向边指向的到达节点作为下一采样若从所述采样点出发有至少两条有向边，从所述至少两条验动作值指示所述智能体按照历史经验执行动作时预计对于所述环境产生影3在所述动作反馈模型更新完毕后，更新所述状态拓扑图中每条有向边的预估反馈值，所述预估反馈值指示所述环境对所述智能体执行所述有向边所指示的动作时预计产生的基于所述状态拓扑图，获取经验动作值函数，所述经验动作值函态拓扑图的基础上对智能体所执行的动作进行评估的经在任一次迭代中，通过所述动作值模型，获取所述状态拓基于所述经验动作值函数和所述预估动作值，获取约束损失项基于所述动作反馈模型和所述预估动作值，获取动作值损失从所述状态拓扑图中确定多个关注节点，所述关注节点指示所述智能体对任一所述关注节点，基于所述经验动作值函数，确定所述关注节点基于所述支持动作集中各个动作的经验动作值和预估动作值，确基于所述支持动作集中各个动作的经验动作值，确定所述关注节点的经验动作值向基于所述支持动作集中各个动作的预估动作值，确定所述关注节点的预估动作值向4定所述抽样边的起始节点指示的抽样状态和所述抽基于所述动作反馈模型，确定在所述抽样状态下所述智能体执基于所述动作决策模型，确定在所述抽样状态下所述智能体对所述基于在所述抽样状态下所述智能体执行所述抽样动作的预估反在任一次迭代中，通过所述动作决策模型，确定所述智能体在基于所述动作值模型，确定所述智能体在当前时刻的状态下打分向量指示所述智能体在当前时刻执行各自基于所述决策向量和所述打分向量，确定所述智能体在当前决策损失项表征所述智能体决策执行的动作与任务预在满足动作值更新条件时，从所述状态拓扑图的节点集合中确定每个所述待更新节点的支持动作集，所述支持动作集包更新所述支持动作集中的每个动作的经验动作值，所述经验动作值对于所述支持动作集中的任一动作，确定从所述待更新节点出发执行基于连接所述待更新节点和每个所述目标节点的每条有向边的访问通过所述动作反馈模型，确定从所述待更新节点出发执行述预估反馈值指示所述环境对所述智能体执行所述动作时预计产生的基于所述经验转变概率、所述预估反馈值和从所述待更新将所述支持动作集中各个动作的候选动作值中的最大值，赋值给5在环境中观测到当前时刻的状态的情况下，将所述状态输入智能体的动作决策模型，所述动作决策模型用于决策所述智能体在给定状态下所通过所述动作决策模型，确定所述智能体对于多个候选动作各自行概率表征在所述状态下所述智能体执行所述候选动基于所述多个候选动作各自的执行概率，从所述多个候选动作中其中，所述动作决策模型基于状态拓扑图、动作反动作值模型用于评估所述智能体所执行的动作对于所述环境产生反馈模型用于提供所述智能体所驻留的环境对所述智能体所执行动作值训练模块，用于基于所述状态拓扑图和所述动输入模块，用于在环境中观测到当前时刻的状态的情况下，将所概率确定模块，用于通过所述动作决策模型，确定所述智动作确定模块，用于基于所述多个候选动作各自的执行概其中，所述动作决策模型基于状态拓扑图、动作反动作值模型用于评估所述智能体所执行的动作对于所述环境产生序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求14任一项所述的智条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利620.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求14任一7[0001]本申请涉及计算机技术领域，特别涉及一种智能体的动作决策模型的训练方法、每个所述动作用于控制不同状态之间的转移，所述状态拓扑图中的每个节点指示一个状提供所述智能体所驻留的环境对所述智能体所执行的动作的反馈动作值模型用于评估所述智能体所执行的动作对于所述执行概率表征在所述状态下所述智能体执行所述候选一个动作，所述动作反馈模型用于提供所述环境对所述智能体所执行的动作的反馈信号，8所述动作值模型用于评估所述智能体所执行的动作对于所述环境产生影对所述采样轨迹中区分不同采样轨迹相对于所述智能体所执行任务的满9述经验动作值指示所述智能体按照历史经验执行动作时预计对于所述环境产生影响的价值函数用于提供从所述状态拓扑图的基础上对智能体所执行的动作进行评估的经验动作述智能体执行所述动作时对于所述环境产生影[0062]基于所述动作值模型，确定所述智能体在当前时刻的状所述打分向量指示所述智能体在当前时刻执行各自动作预计带[0063]基于所述决策向量和所述打分向量，确定所述智能体在所述决策损失项表征所述智能体决策执行的动作与任务预期之间集包含从所述待更新节点出发的各条有向边经验动作值指示所述智能体按照历史经验执行所述动作时预计对于所述环境产生影响的[0072]通过所述动作反馈模型，确定从所述待更新节点出发执行所述动作的预估反馈体的动作决策模型，所述动作决策模型用于决策所述智能体在给定状态下所应执行的动各自的执行概率，所述执行概率表征在所述状态下所述智能体执行所述候选动作的可能一个动作，所述动作反馈模型用于提供所述环境对所述智能体所执行的动作的反馈信号，所述动作值模型用于评估所述智能体所执行的动作对于所述环境产生影由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的智能体的动作决现方式的智能体的动作决策模型的训练方法或智能体的式的智能体的动作决策模型的训练方法或智能体的动[0087]图2是本申请实施例提供的一种智能体的动作决策模型的训练方法的实施环境示[0094]图9是本申请实施例提供的一种智能体的动作决策模型的训练装置的结构示意[0103]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控Transformer模型(Swin_Transformer)，视觉Transformer模型(VisionTransformer，等；多模态模型，指建立两种或以上数据模态特征表示的模型，如图像_文本多模态模型(Vision_BERT，ViBERT)，匹配图像_文本的预训练多模态模型(ContrastiveLanguage_Gato)等。预训练模型是输出人工智能生成内容(ArtificialIntelligenceGenerated[0109]本申请实施例提供的方案涉及人工智能的机器学习技术，具体涉及到强化学习[0110]强化学习的经典模型是标准的马尔可夫决策过程(MarkovDecisionProcess，学习问题所使用的算法可分为策略搜索算法和值函数(ValueFunct[0111]强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索__利用[0119]片段(Segment)，指从智能体的轨迹中分割或者截取出来的一部分连续动作形成时刻下的状态s和动作a，通过条件概率密度函数P能够预测出下一时刻下转移到另一状态[0123]智能体和环境的交互(AgentEnvironmentInteraction)，智能体在当前时刻下[0124]动作值函数(Action_ValueFunction)，用于评价智能体在某一时刻下执行某种[0125]机器人(Robot)，包括一切模拟人类行为或思想与模拟其他生物的机械(如机器获取最大奖励而忽视自己的行为是否满足预期，这可能导致出乎意料且可能有风险的行表征动作反馈模型，ψ是动作反馈模型的参数集，动作反馈模型用于估计在新的状态s’生一条正样本轨迹和一条负样本轨迹，从而实现了智能体查询人类对于这些轨迹对的偏[0139]本申请实施例适用于包括机器人协作、机械臂控制以及任何涉及人类场景的任[0140]本申请实施例的基于偏好的强化学习框架，能够实现对人类偏好数据的高效利[0144]图2是本申请实施例提供的一种智能体的动作决策模型的训练方法的实施环境示定了智能体201动作的准确性和智能性，甚至决定了智能体201是否能够完成给定的任务。[0155]训练服务器204可以是独立的物理服务器，或者是多个物理服务器构成的服务器以及大数据和人工智能平台等基础云计算服务环境则是指机器人小车运输货物时的活动空间或者活信号分别下发到对应的机器人小车，实现同一个总控终端对多个机器人小车的宏观调度，[0161]图3是本申请实施例提供的一种智能体的动作决策模型的训练方法的流程图。参见图3，该实施例由计算机设备执行，该计算机设备可以是上述实施环境中的训练服务器照时间顺序先后排列的一系列动作。在智能体在过去的一个连续时间段内执行某项任务[0169]由于状态转移具有时间轴上的先后顺序，因此连接两个节点的边是具有方向的所连接的这一对节点可以划分成起始节点和到达节点，起始节点是指从有向边出发的节以采集同一角色的游戏AI在过去的多个历史对局中的到的状态来构建状态拓扑图的节点，根据已执行过的动作来构建状态拓扑图中的有向边，模型用于提供该智能体所驻留的环境对该智能体所执行的动作的反最终优化得到的动作决策模型也会具有更高的准确性[0190]图4是本申请实施例提供的一种智能体的动作决策模型的训练方法的流程图，如网络πφ网络Qθ,利用策略神经网络πφ来控制智能体与环境交互，通过以上任一种采集方式来获取预估反馈值，这些采集到的数据在构建状态拓扑图时都将存储到构建完毕的状态拓扑图),经验动作值将在下[0202]另一方面，由于有向边集合E中的有向边指示智能体执行动作a导致从状态s到另向边指示的动作a生成一个唯一的动作哈希值。这样，能够生成便于访问和查询键值对[0204]还需要说明的是，针对节点集合V中的每个节点，还可以维护一个支持动作集OA(s),支持动作集表示智能体在状态s上采取过的所有动作，其作用是能够辅助实现状达节点以及从该起始节点指向该到达节点的[0210]在一个示例性场景中，定义四元组(s,a,s',⃞s(s,a))为转移数据，能够指示从起始状态s至到达状态s’的状态转移及其相关信息，转移数据被存放在经验回放缓冲区(ReplayBuffer)中。针对一个新观测到的转移数据(s,a,iv(s,a,s'),s'),在节点集合中模型用于提供该智能体所驻留的环境对该智能体所执行的动作的反点出发的某条有向边找到了这条有向边指向的到达节点，这个到达节点就是下一个采样对一条采样轨迹中的任一个采样点(可能是起点的Key_Value数据结构，如果能够命中Key_Value数据结构，取出Value中存放的状态哈希据结构能够保证查询过程的时间复杂度为p1),从而提升了针对状态拓扑图的查询效率。录一个经验动作值因此可以从该至少两条有向边中确定经验动作值Q(s,a)最[0232]这里的情况二仅以从经验动作值最高或最低的有向边中随机选择为例采样轨迹其标注结果的意义不大，因为无益于学作值最高的有向边继续进行轨迹采样，另一条采样轨迹沿着经验动作值对采样轨迹的一部分是重合的，但从该采样点开始往后产生了两个彼此不同的采样片段，迹中区分不同采样轨迹相对于该智能体所执行任务示每对采样轨迹中区分不同采样轨迹相对于该智能体所执行任务的满意程度。换一种表[0242]在另一些实施例中，如果通过步骤B13中介绍的可选方式获取到多对采样片段以些标注结果用于指示每对采样片段中区分不同采样片段相对于该智能体所执行任务的满者每收集到500对采样轨迹的标注结果更新一次等，这里对反馈模型更新条件的具体内容步骤A1中介绍过每个节点都会维护一个支持动作集0A(S),那么可以按照预先设定的动作值更新规则，对全部待更新节点各自的支持动作集A(s)所包含的全部动作的经验动放缓冲区中每收集到200条转移数据更新一次等，这里对动作值更新条件的具体内容不进个待更新节点的支持动作集0A(s),更新支持动作集0A(s)中每个动作的经验动作值，[0259]在一个示例性场景中，从节点集合中按照节点的最新访问时间戳来进行概率采样，得到多个待更新节点，该多个待更新节点可以构成节点集合的一个子集0VSV,接时间戳最大的待更新节点开始执行步骤B42，直到逆序采样至最新访问时间戳最小的待更每个待更新节点的动作值更新规则中，设定图更新的最大操作符就是在支持动作集这些全部有向边所指示的全部动作的合集就是该待更新节点的支持动作集由于是在支持动作集上完成经验动作值的更新，这样在更新过程中并不会考虑到没有[0266]在一些实施例中，动作值更新规则可以设置成对于该支持动作集0A(s)中全部持动作集A(s)以后，对于该支持动作集0A(s)中每个动作aEOA(s),由于从该待更节点s和动作a输入动作反馈模型，通过动作反馈模型计算出从该待更新节点s出发执行该动作a的预估反馈值iv(s,a)。例如，点s和动作a输入到奖励神经网络中，输出待更新节点s相对于动作a的预估反馈值i(s,a)。对于动作集中每个动作a都可以通过本步骤B43c计算出一个预估反馈值。基于步骤B43c中对每个动作a计算的预估反馈值fs(s,a),以及本身对于待更新节点s和动作a记录的经验动作值的原值可以对于待更新节点s和动作a计[0280]其中，i(s,a)表征对于待更新节点s和动作a计算的预估反馈值，γ是一个表征集中每个动作a，都能够通过步骤B43a～B43d计算得到在该待更新节点s上执行动每个动作的候选动作值(即可供选择的新值)，最终将支持动作集中新计算值的一种可能的动作值更新规则，能够以较少的计算开销快速实现经验动作值的刷新估新完毕的动作反馈模型，反过来重新标记状态拓扑图中每条有向边上记录的预估反馈值。于提供从该状态拓扑图的基础上对智能体所执行的动作进数已经在步骤B43e中介绍过了，只需要在初始化阶段时给出每个动作的经验动作值的旧验动作值，使得经验动作值在多次更新以后能够反映出来动作值在历史轨迹上的经验分环境的反馈信号的角度来指导动作值的训练(如动作值是与经验动作值不同的，经验动作值是从状态拓扑图的经验分布中导出的经验值，而预估动作值则是从动作值模型学习的动作分布中计估反馈值fis(s,a),经验动作值函数根据起始状态st和动作at计算出的经验动作值据。示的动作集合构成了该节点的支持动作集0A(s),支持动作集中全部动作的经验动作值反映了节点s上动作的经验分布，而支持动作集aA(s)中全部动作的预束损失项对于单个节点仅考虑其支持动作集0A(s)上每个动作的经验动作值和每个节点，都根据其支持动作集aAS)上每个动作的经验动作值和预估动作值t集上每个动作的经验动作值(s,a)和预估动作值Qθ(st，at)之间的差异来计算待更新节点的同理采样方式，从节点集合中按照节点的最新访问时间戳来进行概率采样，定关注节点s的支持动作集0A(s),将支持动作集中的每个动作都输入到经验动持动作集0A(S),在步骤C22中能够获取到支持动作集中的每个动作的经验动作关注节点的动作值误差。这一动作的经验动作值和预估动作值之间的差值，并将全部动作的差值的绝对值求平均经验动作值向量是指支持动作集0A(s)中全部动作的经验动作值的特θ化预估值向量代表了动作值模型的预估策略，也称作模型软策略，记作πsoft(θ)(s)=[0324]在步骤C23a～C23c中，提供了一种从动作值向量的层面来计算关注节点s的动作建出本次训练迭代的约束损失项。[0327]在一些实施例中，将各个关注节点的动作值误差的数学项以外，也可以将各个关注节点的动作值误差的平均值或者均分误差等作为约束损失项，史经验中已经出现过的动作的经验分布，当然也不会完全抛弃未执行过的动作的潜在分减轻了动作值模型Qθ对于动作值的过度估计和外推误化目标，目标动作值在计算过程中需要使用整个状态拓扑图中完整的动作分布来实现计型使用步骤402训练优化以后得到的参数集，而动作决策模型则使用当前时刻下最新一次[0336]在一些实施例中，针对时间步t，从状态拓扑图中找到时间步t下的转移数据的反映出来基于动作分布来对动作值的优化目标，并且大大降低了目标动作值的计算开[0341]在另一些实施例中，也可以在状态拓扑图中所有有向边的基础上计算目标动作作反馈模型通过动作反馈模型输出针对抽样状态st和抽样动作at计算的预估反馈入到动作决策模型πφ,通过动作决策模型πφ输出针对抽样状态st计算出抽样动作at的执行φ值Qθ(st，at)，可以构建出一个动作值于在步骤405中已经得到了性能更优的动作值模型，因此最终优化得到的动作决策模型也体在状态st下执行每种可能的动作的执行概率，每个执行概率表征智能体在状态st下执行)包括智能体在状态st下执行每种可能的动t)是指利用最新一次更新完毕后的动作值模型Qθ实时计算的。φ行动作at并与环境交互，环境通过动作反馈模型给出预估反馈值并刷新出下次训练迭代。在上一步骤405中介绍了动作值模型Qθ的损失函数及其训练方式，而本步骤406介绍动作决策模型π的损失函数φ述公式中的温度参数α可以复用步骤C34中获取目标动作值Qtarget时使用的α,但如果目标动[0382]在一些实施例中，动作决策模型的损失函数值等于步骤D[0385]在以上实施例中，详细介绍了本申请设计的智能体的动φ且这条历史轨迹会以多个时间步下的转移数据的形式存放到经验回放缓此在整个动作分布中可能会存在未执行过的动作，所以状态拓扑图G可视为是环境空间中许利用状态拓扑图G的拓扑结构来拼接出新的采样轨迹，采样轨迹不一定是直接获取过的状态拓扑图G来辅助奖励神经网络fu进行监督学习，得到一个优化完毕的奖励神经网络中每条有向边的预估反馈值v(s,a)进行重新计算和重新标记，实现对预估反馈值的全图值函数对于每个节点指示的状态s，都能够计算得到一个经验动作值q(s,),利用四元)可以反过来训练动作值神经网络Qθ和策略神经网络πφ,具体经网络Qθ的过估计误差和外推误差，使得动作值神经网络Qθ能够更加准确地估计每φφ训练完毕的动作决策模型来控制智能体执行动作实施例由计算机设备执行，该计算机设备可以是上述实施环境中的智能体201或智能体控φφφ态s下执行每种可能的动作a的执行概率，每个执行概率表征智能体在状态s下执行一种动φφφφφφφφ[0409]在以上实施例中，详细介绍了基于偏好的强化学习算法训练完毕的动作决策模各种复杂任务上均超越了其他基于偏好的强化学习算法，并极大的提高了人类反馈效率，[0411]图7是本申请实施例提供的一种智能体在推箱子任务上的性能对比图，如图7所动作决策模型，并利用各种方案训练完毕的动作决策模型来控制机器人完成推箱子任务，[0412]图7中(a)～(f)示出了6组平均回报学习曲线的对比情况，其横轴为时间轴基线方案4是指使用真实奖励函数取得的最高性能，因此基线方案4被绘制为一条水平线，[0414]同时，从图7还能够观察到，某些基线方案在部分任务中受到随机因素的显著影[0415]图8是本申请实施例提供的一种机器人在建造任务上的性[0419]图9是本申请实施例提供的一种智能体的动作决策模型的训练装置的结构示意作反馈模型用于提供该智能体所驻留的环境对该智能体所执行的动作采样轨迹中区分不同采样轨迹相对于该智能体所执行任务的满[0438]若从该采样点出发仅有一条有向边，将该有向边指向的到达节点作为下一采样动作值指示该智能体按照历史经验执行动作时预计对于该环境产生数用于提供从该状态拓扑图的基础上对智能体所执行的动作进行评估[0456]基于该支持动作集中各个动作的经验动作值，确定该关注节点的经验动作值向[0457]基于该支持动作集中各个动作的预估动作值，确定该关注节点的预估动作值向确定该抽样边的起始节点指示的抽样状态和该损失