CN119396171A 一种基于强化学习的无人机集群队形决策及围捕方法 （北京航空航天大学）

一种基于强化学习的无人机集群队形决策本发明涉及一种基于强化学习的无人机集对应的期望位置以及多智能体的动力学模型的了队形策略学习过程中的可解释性与安全性问2智能体队形参数决策模型以及多智能体队形的局部观测步骤6、在执行围捕任务时，基于最终多智能体队形参数决策模型对进攻集群进行围3.根据权利要求1所述的无人机集群队形决策建立多智能体队形参数决策模型；设置多智能体队形参数决策模型的基于多智能体队形参数决策模型、约束条件以及多智能体队形的局6,为与第i个智能体相邻的第j个智能体的估计队形参数，为第i个智能体步骤4所述多智能体的动力学模型包括完整约束多智能体的动力学模型和非完整约束3建立强化学习的框架和学习环境模型；将所述学习环境模型嵌入所述强化学习的框所述队形参数决策模型的损失函数包括模型学习损失函数、评价步骤6所述基于最终队形参数决策模型对进攻集群步骤62、相邻的智能体之间根据一致性协商更新方程进步骤63、将所述各个智能体的更新队形参数输入多智能步骤64、所述进攻集群根据各个智能体状态做出相应步骤66所述运输阶段包括多个运输任务；所述多个运输进攻集群逃离以及将进攻集群运输至指定的安4体系统的动态扩展需求与任务的复杂多变性，队形控制与决策方法应具有分布式自组织、体的分布式队形控制与决策成为一个颇具挑战性5i个智能体的6[0030]优选的，步骤4所述多智能体的动力学模型包括完整约束多智能体的动力学模型7攻者智能体在第k个参考位置的状态，为第aj个进攻智能体在第k个参考位置到最近进环境中收集的第aj个进攻者智能体在第k+1个参考8考位置，π为目标策略网络。φ[0086](1)本发明提出了一种可以灵活操纵多智能体队形的参数化队形控制方法，进一[0087](2)本发明建立了基于参数化队形的多智能体队形决策框架，可以实现更高效且[0088](3)本发明设计了一种结合模型预测控制思想的基于模型的强化学习方法用于围[0092]图3(a)(b)为本发明实施例中开放包围队形和封闭包围队形参数化包围队形设9[0098]图9(a)(b)为本发明实施例中训练过程中的策略网络损失值曲线和评价网络损[0099]图10(a)(b)为本发明实施例中训练过程中的累计折扣奖励与胜率曲线的示意[0100]图11(a)(b)为本发明实施例中围捕阶段与传统模型预测控制的仿[0101]图12(a)(b)为本发明实施例中仿真过程中队形参数决策指令和队形参数[0102]图13(a)(b)为本发明实施例中仿真过程中防御者和进攻者的速度曲线的示意[0135]优选的，步骤4所述多智能体的动力学模型包括完整约束多智能体的动力学模型攻者智能体在第k个参考位置的状态，为第aj个进攻智能体在第k个参考位置到最近进境中收集的第aj个进攻者智能体在第k+1个参考位位置，π为目标策略网络。φ[0200]另外一个可以更为直观反应策略性能的指标是任务的胜率。图10(b)展示的胜率本章所提出的学习方法在训练最开始阶段就能提供可以接受的策略表现而不是完全依靠由于对进攻者状态转移的预测模型存在明显的误差，且没有足够的时间让PSO算法对决策入保护区域导致我方任务失败。图11(b)为使用所提出方法训练得到的策略网络进行队形进一步深入包围队形之后再快速封闭队形，最终成功将所有的进攻者困在包围队形的内这是因为进攻集群在被迫运输往安全区域途中仍然试图挣脱包围队形前往并且所学习得到的队形参数决策可以灵活适用于多种不同防御者和进攻者数量的围捕驱[0214]这部分工作设计了一个实物实验来验证所提出的分布式队形决策方法在实际多为线速度和角速度。防御者的最大线速度和最大角速度分别设置为vd＝0.15m/s和ωd=[0216]图17给出了整个实验过程中的数据分析结果。子图(a)是所有防御者的队形参数ωd过0.15m/s，在到达安全域之后收敛到零。通过实验可以看出本发明方法可以顺利完成任任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，