CN119514637A 一种地面无人装备协同作战决策智能体的构建方法 （中国人民解放军陆军装甲兵学院）

一种地面无人装备协同作战决策智能体的本发明涉及一种地面无人装备协同作战决知识驱动的双层决策架构，在有效压缩DRL求解空间提高探索效率的同时实现了对整个作战过战决策智能体网络模型的高吞吐量的异步并行2S1，构建基于数据驱动和知识驱动的双层决策架S3，通过构建分布式训练框架，实现对协同作战决S4，建立基于深度强化学习的作战决策智能体学习算法，通2.根据权利要求1所述的一种地面无人装备协同作战决策智能体的构建方法，其特征3.根据权利要求1所述的一种地面无人装备协同作战决策智能体的构建方法，其特征4.根据权利要求3所述的一种地面无人装备协同作战决策智能体的构建方法，其特征5.根据权利要求3所述的一种地面无人装备协同作战决策智能体的构建方法，其特征6.根据权利要求3所述的一种地面无人装备协同作战决策智能体的构建方法，其特征S221，对于己方和敌方的作战单元，分别使用同组3S224，将每组的组内编码特征和组间编码特S225，分别将己方和敌方的最终实体编码特征作为注意力键进行单元选择或目标选动作的编码向量等数值特征和Embedding特征经堆叠后形成部分可观的博弈状态编码向7.根据权利要求3所述的一种地面无人装备协同作战决策智能体的构建方法，其特征有ReLU激活函数的FC层变换后送入ResidualLSTM网络，得到考虑历史时序信息的隐藏层8.根据权利要求1所述的一种地面无人装备协同作战决策智能体的构建方法，其特征在于：S3中，所述分布式训练框架为基于Actor_Learner体系结构的大规模分布式训练框9.根据权利要求8所述的一种地面无人装备协同作战决策智能体的构建方法，其特征S31，控制器向采样器发出采样指令，多个采样器异步裁剪机制和整个策略轨迹的自适应调整重用4方法主要有基于知识驱动和基于数据驱动两大类。基于知识驱动的方法通常采用行为树、[0009]S4，建立基于深度强化学习的作战决策智能体学习算法，通过大规模的off_5一组多头自注意力模块的查询作为该组多头交叉注意力模块的键，生成组间实体编码特行动作的编码向量等数值特征和Embedding特征经堆叠后形成部分可观的博弈状态编码向码向量经带有ReLU激活函数的FC层变换后送入ResidualLSTM网络，得到考虑历史时序信6有效压缩DRL求解空间提高探索效率的同时实现了对整个作战过程不同粒度任务的智能决7[0043]S4，建立基于深度强化学习的作战决策智能体学习算法，通过大规模的off_对端的学习模型或规则经验知识都将难以完备覆盖整个复杂群体动作的超大解空间。此[0048]鉴于DRL等数据驱动的方法在无需精确建模的情况下能够实现解空间的大范围探对性奖励函数设计的情况下完全依靠随机探索的方式学习由一系列基础动作组成的宏动离散化表示的同时还将具有高级技能组合的宏动作列为其中，可有效压缩解空间的维度，8模了动作和环境的不确定性，表示在当前状态st下执行动作at后下一状态st+1转移为s'9[0069]-k为因机动或其他行为造成已发现目标丢失时而获得的与该目标价值成负相[0070]为每命中一个敌方目标并造成毁伤而获得的一个与该目标毁伤状态和目标[0072]-k为当在作战过程中己方被敌方目标命中并造成毁伤时获得的与毁伤程度伤状态和目标价值成正相关的敌方兵力价值损失奖励aw,同时，为鼓励彻底击毁目标，打击距离(无人机为有效侦察距离)，[xj,t值损失和完全损毁奖励，为己方兵力价值损失和完全损毁惩罚，为装备自身位置变化奖惩。一组多头自注意力模块的查询作为该组多头交叉注意力模块的键，生成组间实体编码特行动作的编码向量等数值特征和Embedding特征经堆叠后形成部分可观的博弈状态编码向备协同作战决策智能体网络模型实现从状态特征的有效表征到作战行动的统一协调控制，地面无人装备协同作战决策智能体网络模型框架参照[0093]在对实体的属性信息进行编码时，不同于AlphaStar将所有的实体信息进行统一让特征向量不同维度之间充分交叉，生成两组单元最终的组内编码特征和组间编码特征。的编码向量等数值特征和Embedding特征经堆叠后形成部分可观的博弈状态编码向量。其码向量转换为稠密的Embedding向量后[0095]对最终实体编码特征进行压缩的主要原因是，在设计DRL的输入状态空间时虽已池化虽然需要增加网络层数和计算量，但其可通过学习得到特征中不同元素的重要程度，免了最大池化操作舍弃所有次要信息直接使用特征中元素最大值作为输出造成的信息丢编码向量经带有ReLU激活函数的FC层变换后送入ResidualLSTM网络，得到考虑历史时序观的博弈状态编码向量经带有ReLU激活函数的FC层变换后送入ResidualLSTM网络，得到[0106]ResidualLSTM的主要思想是将LSTM单元与残差网络相结合，通过在残差块(Block)之间运行LSTM单元来捕获时间序列的动态特征，并在最后一个Block后添加一个一层上与LSTM网络都使用当前时刻的信息输入以及上一时刻该层隐藏层状态作为个层与层之间空间上的快捷路径，将上一层的隐藏层状态h"与本层记忆单例借鉴了AlphaStar网络结构中的自回归动作结构，使每个后续动作头的输出都以前一个动作头的输出为条件，从而将某一个状态下要做的一个N维动作决策问题转化为N个1维的战单元来实施并作用于不同的敌方目标或位置。鉴于AlphaStar中使用加法算子的自回归的编码向量与前一动作的编码向量串接后再接全连接层的自回归网络结构来提供更加充归网络的一个带残差结构的MLP层输出作为查询，将两组单元的最终实体编码特征作为注基于Actor_Learner体系结构的大规模分布式采样训练框架，以实现高吞吐量的异步并行消费样本缓存器中的数据以训练网络参数。图3展示了采样训练框架完成一个完整训练流然而，该采样训练框架也造成了学习器中的目标策略比采样器中的行为策略提前完成更大规模off_policy的训练环境中，先前策略与当前策略的样本轨迹之间可能存在较大差异，若直接采用on_policy的强化学习算法对样本缓存器中的旧轨迹样本进行学习容易使t[0122]为能够在有效利用由于策略滞后造成的off_policy的数据样本对策略进行更新[0125]其中，πc_l表示距当前策略πc的第l个先前策略，b表示双端裁剪的下界参数，享策略网络ResidualLSTM输出之前的网络结构和权重，并使用最后一层LSTM的隐藏层状[0132]使用带有截断重要性采样的V_trace方法实现对A"(s,a,)的多步优势修正估