CN116306966B 一种基于动态图通信的多智能体强化学习协同方法 （大连理工大学）

一种基于动态图通信的多智能体强化学习涉及一种基于动态图通信的多智能体强化学习2根据交互环境中的通信限制下的通信域建立通信图S:=(I,E,W),其中表示通信的智能体i和智能体j，i,jeJ;最后对每一个智能体的所有可通信智能体的权重进行其中wij表示智能体i和智能体j之间的通信权重，LeakyReLU()表示非线性激活函数，步骤3：基于步骤2的通信图的权重和步骤1的通信图进行智能体间的观测信息编码的步骤4：每个智能体根据本地交互数据和通信消息以及历史信息利用动作价值估计网3根据步骤3获得的通信消息与智能体的本地观测数据和历史数据，生成当前时刻的信mf,⃞1)(5)ii步骤5：超网络将所有的步骤4生成的动作价值估的信度分配值反向传播至各个智能体的动作价值估计网络中并更新其网络参数；具体如根据步骤5获得的联合动作价值估计与实际获取奖励之间的偏差，计算时序差分损失L:4[0004]目前多智能体协同研究的主要方法一般分为三类，(1)每一个独立决策的智能体都在本地建立对其他智能体策略的建模，并基于本地的交互信息与建模策略进行个体决中心化的超网络将会被移除，每个智能体仅依赖于自身的策略网络进行动作的选择。将各个智能体独立的Q函数进行整合，从而在奖励信号的反向更新过程中实现信用分配5(TabishRashid,MikayelSamvelyan,ChristianSchroeder,GregoryFarquhar,JakobFoerster,ShimonWhitesonQMIX:MonotonicValueFunctionFactorisationforDeepMulti_agentReinforcementLearning[C]//Proceedingsofthe35thInternationalConferenceonMachineLearning,PMLR80:4295_4304,2018.)。由于在集中式训练的阶略空间表征的难度(TWang,TGupta,BPeng,AMahajan,SWhiteson,andCZhang.2021.RODE:LearningRolestoDecomposeMulti_agentTasks[C]//In数来作为通信消息，同时将从其他智能体处获得的消息作为自身Q函数的偏置实现稳定的动作价值估计，并通过引入通信正则来降低通信成本(LeiYuan,JianhaoWang,FuxiangZhang,ChengheWang,ZongzhangZhang,YangYu,andChongjieZhang.2022.Multi_AgentIncentiveCommunicationviaDecentralizedTeammateModeling[C]//In无法有效应用。[0006]本发明针对以上问题，提出了一种基于动态图通信的多智能体强化学习协同方通讯域要求来智能体的的自适应通信，并在训练阶段利用超网络进行智能体间的信用分6[0012]步骤3：基于步骤2的通信图的权重和步骤1的通信图进行智能体间的观测信息编[0013]步骤4：每个智能体根据本地交互数据和通信消息以及历史信息利用动作价值估奖励的信度分配值反向传播至各个智能体的动作价值估计网络中并信图s:=I,E,w),其中s表示通信图，s表示智能体集合，w表示通信图各边权重并初始i为智能体i的受限通信域。通信的智能体i和智能体j，i,jeJ.最后对每一个智能体的所有可通信智能体的权重进行78i≠j,3EiEE若智能体j∈di，其中di为智能体i的受限通信域。再通信的智能体i和智能体j，i,jeJ.最后对每一个智能体的所有可通信智能体的权重进行[0057]若使用相似性度量的权重生成器，则将上述的非线性网络替换为内积相似性度9τn,