CN114662639B 一种基于值分解的多智能体强化学习方法及系统 （河海大学）

一种基于值分解的多智能体强化学习方法本发明公开了一种基于值分解的多智能体时刻的状态St，每个智能体初始的观察值of,可获得的动作af以及该动作对应的奖励r；对于每个智能体，通过评估-智能体网络计算每个动作随机-智能体网络得到每个智能体基于全局信息τ的奖励值函数Qi(τ)；利用目标-智能体网络计算损失函数并更新参数；利用竞争-智能体网络将每个智能体基于全局信息τ的奖励值函数本发明对多智能体之间的逻辑拓扑关系进行了2获取环境当前t时刻的状态St，每个智能体初始的观察值of,可获得的动作af以及该动利用随机-智能体网络对当前时刻状态St加上参数化的噪音，使权重和偏置参数随机化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi(τi)进利用竞争-智能体网络将每个智能体基于全局信息τ的奖励值函数Qi(τ)分解为优势值分解包括：将当前时刻t的全局状态St输入到评估-智能体网络中转化为只受状态影响的QAtot3.根据权利要求1所述的基于值分解的多智能体能体网络包含用于处理局部观察值和动作输入输出的MLP，以及用于记忆历史状态和动作输入到GRU循环神经网络中，GRU循环神经网络将当前时刻t的隐藏信息ht和上一层的输出4.根据权利要求1所述的基于值分解的多智能体强化学习方法3的动作af以及该动作对应的奖励r,其中i为智能体的序号，状态St包含当前多智能体场景化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi(τi)进参数更新模块，目标-智能体网络计算损失函数并更新参数，接分解包括：将当前时刻t的全局状态St输入到评估-智能体网络中转化为只受状态影响的Q4现如权利要求1-7中任一项所述基于值分解的多智能体强化学习方5去中心化执行架构(CentralizedTrainingDecentralizedExecution,CTDE)，该架构允Actor-Critic的多智能体强化学习算法。公开号为CN12396187A的中国专利文献提出了一率问题。文献“YangY,HaoJ,LiaoB,etal.Qatten:Ageneralframeworkforcooperativemultiagentreinforcementlearning[J].arXivpreprintarXiv:[0003]谷歌的DeepMind团队提出了一个基于合作型MARL的值分解网络体系结构(Value-DecompositionNetworks,VDN)(参见SunehagP,LeverG,GruslysA,etal.Value-DecompositionNetworksForCooperativeMulti-AgentLearningBasedOnTeam梯度会通过Qtot(τ,a)反向传递给每个智能体的局部值函数从而去更新它们，这样就可以站在全局的角度去更新单智能体局部奖励值函数。VDN是将所有智能体的局部奖励值函数6functionfactorisationfordeepmulti-agentreinforcementlearning[C]//例。而且VDN没有尽可能利用集中式训练的优势，忽略了学习期间可用的任何额外状态信任务中Qtot(τ,a)与单个智能体局部奖励值函数的关系不一定是累加或者单调，从而使得transformationforcooperativemulti-agentreinforcementlearning[C]//状态-动作空间的大小随着智能体数量的增加呈指数型增长，这使得快速有效地进行值分[0008](1)由于多智能体环境的复杂性，在探索初期智能体需要花费大量时间去探索到[0009](2)智能体在根据策略执行动作时，如果几个次优联合动作的错误估算超过了对7[0014]获取环境当前t时刻的状态St，每个智能体初始的观察值该动作对应的奖励r,其中i为智能体的序号，状态St包含当前多智能体场景下的智能体数[0015]对于每个智能体，通过评估-智能体网络计算每个动作基于局部信息τi观察到的[0016]利用随机-智能体网络对当前时刻状态St加上参数化的噪音，使权重和偏置参数随机化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi[0018]利用竞争-智能体网络将每个智能体基于全局信息τ的奖励值函数Qi(τ)分解为优及用于记忆历史状态和动作信息的GRU循环神经网络：每个智能体将基于局部的观察值和史信息τi。当前时刻t的全局状态St输入到评估-智能体网络中转化为只受状态影响的Q值函数，即状8状态St+1获得的动作af以及该动作对应的奖励r，其中i为智能体的序号，状态St包含当前多智能体随机化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi[0034]竞争-智能体网络，用于将每个智能体基于全局信息τ的奖励值函数Qi(τ)分解为[0035]结果输出模块，用于将分解结果相加得到基于全局信息τ的联合奖励值函数Qtot9励值函数之间的误差。本发明的方法通过噪声机制和竞争-智能体网络对多智能体之间的效合作来保证协作任务的完成。充当汽车，任何可以感知所处环境并能独立做出决策影响环境的对象都可以抽象为智能能体网络和目标-智能体网络，多个随机-智能体网络和一个竞争-智能体网络和还有一个的环境变化。任何可以感知所处环境并能独立做出决策影响环境的对象都可以成为智能[0046]评估-智能体网络用于评估智能体动作的好坏并学习智能体协作策略，主要是由[0047]目标-智能体网络的参数的作用是每隔固定的时间去获取评估-智能体网络更新[0048]随机-智能体网络是一个权值和偏差受噪声参数随机扰动的神经网络，其主要作的状态St，每个智能体初始的观察值of,可获得的动作af以[0051]步骤3：每个智能体通过评估-智和状态St的信息集合，评估-智能体网络包括一个循环层的观察值of,选择的动作af和奖励r作为元组存入经验缓冲区M当中。[0054]步骤6：将每个智能体基于局部信息τi的奖励值函数Qi(τi)和当前t时刻的状态St机化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi(τi)络也更新噪声参数并计算损失函数，其中目标-智能体网络是评估-智能体网络每隔p个回[0057]步骤8.1：将当前时刻t的全局状态St输入到评估-智能体网络中转化为只受状态(τ)求和得到联合动作值函数Ctot(τ)，再把每个智能体的Ai(τ)乘以一个系数δ并相加求和来奖励的期望数值，而Q值函数是对智能体在特定状态下选择特定动作产生特定奖励的总小了估计的联合奖励值函数和实际的联合奖励值函数之间的有用于记忆历史状态和动作信息的GRU循环神经网络：每个智能体将基于局部的观察值和目标-智能体网络是评估-智能体网络每隔p个回合进i)和当前t时刻的状态St输入到当前随机-智能体网络中的噪声层中，最后输出每个[0067]在竞争-智能体网络中，以随机-智能体网络输出的每个智能体基于全局信息τ的stor(r)=1si(t)。.动作值函数Ci(τ)仅与当前t时刻动作af或全局信息τ有关，Ctot(τ)可表示为：ctor(r)=飞1ci(t),而优势值函数Atot(τ)不[0069]Qtor(T,a)=stor(t)+Ator(t)+chor(r)的参数并获取环境当前t时刻的状态St，每个智能体初始的观察值of,可获得的动作af以及[0075]状态St包含星际争霸II中作战单位的数量，作战单位的类型和上一时刻t-1得到作(O,a)作为输入，首先会通过单层全连接层MLP对输入信息进行编码并输入到GRU网络，藏层信息ht和下一层的输入。第三层则生成每个智能体离散动作空间下基于局部信息τi的[0077]S04：评估-智能体网络输出的基于局部信息τi的奖励值函数Qi(τi)包括智能体在当前独立动作下的奖励r和下一个时刻t+1的全局状态St+1，将当前每个智能体的观察值of,个经验元组每隔p个回合存入经验缓冲区中，并且每隔p个回合把参数更新到目标-智能体验缓冲区中的经验元组按照回合进行分组，然后随机从不同回合的相似经验元组中采样。[0079]S06：将目标-智能体网络输出的每个智能体基于局部信息τi的和当前t时刻的状态St作为随机-智能体网络的输入，将分解型高斯噪声添加到随机-智能能体可以决定何时以及以什么比例将权重引入不确定性。接着对当前t时刻的状态St加上息包含每个智能体基于当前t时刻的状态St得到的奖励r和动作af,更新过的噪声参数以及当前的当前t时刻的状态St和t+1时刻的状态S[0080]S07：在随机-智能体网络输出各个智能体基于全局信息τ的奖励值函数Qi(τ)之分别为目标-智能体网络更新前和更新后的参数集合。随机-智能体网络的损失函数为其中v和p'分别为随机-智能体基于全局信息τ的优势值函数Ai(τ)乘以噪声网络训练出来的权重参数δ,且δ>0，引Qtot获得的动作af以及该动作对应的奖励r，其中i为智能体的序号，状态St包含当前多智能体随机化，再将每回合结束时训练好的权重和偏置参数与每个智能体基于局部信息τi的Qi[0088]竞争-智能体网络，用于将每个智能体基于全局信息τ的奖励值函数Qi(τ)分解为[0089]结果输出模块，用于将分解结果相加得到基于全局信息τ的联合奖励值函数Qtot现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0095]这些计算机程序指令也