CN113392935B 基于注意力机制的多智能体深度强化学习策略优化方法 （浙江工业大学）

US2020162535A1,2020.05.21US2021089910A1,2021.03.25US2020244707A1,2020.07.30现.计算机应用.2005,第25卷308-310.ShimonWhiteson.counterfaSecondAAAIConferenceonArIntelligence.2018,1-9.基于注意力机制的多智能体深度强化学习本发明公开了一种基于注意力机制的多智如下步骤：搭建多智能体强化学习协作模拟场智能体观察到的图片的特征信息并正则化奖励设置的奖励函数更新至深度确定性策略梯度算2搭建多智能体强化学习协作模拟场景，并利用深度确定性策略梯度算法训练多智能个性生成器利用概率分类器对智能体观察到的图片的利用图像注意力机制获取每个时间步智能体观察到的图片的特征信息以及正则化奖后一层softmax输出的概率对最后一层特征图所有像素的偏导数，再取一次宽高维度上的基于注意力机制的多智能体深度强化学习策略优化方法2.根据权利要求1所述的基于注意力机制的多智能体深度强化学习策略优化方法，其3j为j时刻的状态，(af,…,a;)为j时刻的动作，表示在j时刻下智能体i的Q值i3.根据权利要求2所述的基于注意力机制的多智能体深度强化学习策略优化方法，其利用Actor网络更新策略参数，利用Critic网络更新动作值参数并对Critic网络进行4.根据权利要求2所述的基于注意力机制的多智能体深度强化学习策略优化方法，其5.根据权利要求4所述的基于注意力机制的多智能体深度强化学习策略优化方法，其i)是每个智能体i根据其观测Oi所得到的任务分类概率，P(i)表示预测概6.根据权利要求5所述的基于注意力机制的多智能体深度强化学习策略优化方法，其利用Grad-CAM获取智能体i在t时刻观测o;的特征信息：4计算概率分类器网络最后一层softmax输出的概率p对最后一层特征图所有像素的偏将上一步所得到的i类相对于最后一层卷积层输出的特征图的第k个通道的敏感程度对得到的Grad-CAM热力图进行特性信息分析，若智能体i1所观测到的热力图特征信息其中λ智能体与对应任务经归一化处理后的距离，r若智能体i1所观测到的特征信息不在其对应的任务ti周围，或所观测到的特征信息与5智能体的动作都会对其余智能体的动作选择造成影响，多智能体强化学习存在维度爆炸、6有奖励折扣因子的奖励函数对概率分布器进行训练，使得概率分布器区分智能体更加准[0010]利用图像注意力机制获取每个时间步智能体观察到的图片的特征信息并正则化[0011]将得到的奖励折扣因子更新至个性生成器中的奖励函将新设置的奖励函数更新至深度确定性策略梯度算法的多智能体强化学习框架中对多智'i7[0034]利用Actor网络更新策略参数，利用Critic网络更新动作值参数并对Critic网络[0053]计算概率分类器网络最后一层softmax输出的概率p对最后一层特征图所有像素[0058]将上一步所得到的i类相对于最后一层卷积层输出的特征图的第k个通道的敏感8[0063]若智能体i1所观测到的特征信息不在其对应的任务ti周围，或所观测[0067](1)利用个性生成器使每个智能体的个性在训练过程中能得到体现；将个性生成[0068]图1为本发明提供的基于注意力机制的多智能体深度强化学习策略优化方法的流[0073]图1为本实施例提供的基于注意力机制的多智能体深度强化学习策略优化方法的流程示意图，基于注意力机制的多智能体深度强化学习策略优化方法可用于游戏场景中，[0074]如图1-3所示，基于注意力机制的多智能体深度强化学习策略优化方法的步骤如9[0077](1.2)基于多智能体强化学习中的深度确定性策'；[0100](2.1)个性生成器利用一个概率分类器C(i/Oi)来预测智能体观察到的概率分布，[0101](2.2)设置每个智能体的奖励函数为Ri+γC(i/O[0104](2.5)通过最小化交叉熵损失(CE)来更新交叉熵损失基于观测缓冲区B的均匀[0105](2.6)随着每个智能体期望收益的最大[0108](3.1)由于每个智能体i在每个