CN115509190B 基于深度强化学习的舰船导弹目标分配方法、装置和设备 （湖南遁一科技有限公司）

Xiao,Y.-G.Jin,S.-C.Mao,X.Wu,G.-H.Lu,Z.-FMissile-targetassignm基于深度强化学习的舰船导弹目标分配方本申请涉及武器目标分配技术领域的一种Transformer模型的融合注意力机制的深度强化根据马尔可夫决策过程中当前时间步下的四元2根据舰船导弹目标分配数学模型建立由四元组构成的构建基于Transformer模型的融合注意力机制的深度强化学习模型；所述融合注意力机制的深度强化学习模型用于根据当前舰船态势感知中所知的战场信息实现舰船导弹目采用带基线的策略梯度法训练所述融合注意力机制的深度强化根据马尔可夫决策过程中当前时间步下的四元组信息，采用训练后的获取当前舰船携带的防空导弹类型数量k、各类型防空导弹针对来袭目标的拦截距离dpk合D中的Di为第i类防空导弹针对来袭目标的拦截距离，集合DP中的dpi为第i类防空导弹成获取舰船要防御从空中来袭并进入其拦截探测范围的进攻方反舰导弹集合N＝{1,2,...,n}、来袭的反舰导弹的类型数量g、各类型反舰导弹的飞行速度集合VA＝{va1,在舰船执行导弹目标分配任务过程中，以最大化成功拦截来3i为第i个ASM被拦截的概率，γk为第状态空间S：融合注意力机制的深度强化学习模型的输入状态信息{M,O,V,T,N}是当前舰奖励函数R：每成功拦截一个来袭反舰导弹目标获得相应目标威胁等级的即时奖励r，4.根据权利要求1所述的方法，其特征在于，构建基于Transfo机制的深度强化学习模型，步骤中基于Transformer模型的融合注意力机制的深度强化学将当前状态空间信息进行特征处理后作为融合注意力机制的深度强化学习模型的初训练参数的线性映射函数和一个ReLU激活函数6.根据权利要求5所述的方法，其特征在于，所述得到所述解码器输入数据的特征表4注意力的输出zl，然后将每一头注意力的输出组合映射成MHA层的输出；其具体计算过程h是高维空间的维度；将MHA层的输出输入第一Add&Norm层通过残差网络和归一化处理后得到作为前向反将最后的目标节点编码H和对最后的目标节点编码H进行均值池化得到的均值编码将最后的目标节点编码和状态空间中舰船的SAM数量信息组合后通过第一线性层映信息和全局特征编码组合并通过第二线性层映射成融合了全局和局部节点信息的特5构建采用贪婪测量的基线网络；所述基线网络与所述根据所述训练样本分别对所述基线网络和所述融合注意力机制的深度强化学习模型马尔可夫决策过程构建模块，用于根据舰船导融合注意力机制的深度强化学习模型构建模块，用于构建基于Transformer模型的融融合注意力机制的深度强化学习模型训练模块，用于采用带舰船导弹目标分配模块，用于根据马尔可夫决策过程中当前时间步下的四元组信息，采用训练后的融合注意力机制的深度强化学习模型对舰船导弹目6器装备越来越复杂，无论是各式中程弹道导弹以及低空掠海的反舰导弹(Anti_ship7[0011]构建基于Transformer模型的融合注意力机制的深度强化学习模型；所述融合注意力机制的深度强化学习模型用于根据当前舰船态势感知中所知的战场信息实现舰船导[0017]融合注意力机制的深度强化学习模型构建模块，用于构建基于Transformer模型元组信息，采用训练后的融合注意力机制的深度强化学习模型对舰船导弹目标进行分配。[0024]图3为一个实施例中基于Transformer模型的融合注意力机制的深度强化学习模8的导弹均可被舰船所追踪探测；进攻方为从空中来袭并进入舰船拦截探测范围的进攻方ASM目标，来袭的ASM有多种类型，ASM以既定的运动轨迹飞行至被拦截或到达末端制导距[0036]步骤202：根据舰船导弹目标分配数学模型建立由四元组构成的马尔可夫决策过[0038]步骤204：构建基于Transformer模型的融合注意力机制的深度强化学习模型9组合优化问题中。本实施例采用Transformer实现对用于舰船导弹目标分配的融合注意力实施例为了解决这一问题运用类似DQN的fixedQ_targets思想对融合注意力机制的深度合注意力机制的深度强化学习模型对舰船导弹建基于Transformer模型的融合注意力机制的深度强化学习模型；融合注意力机制的深度强化学习模型用于根据当前舰船态势感知中所知的战场信息实现舰船导弹目标分配决策；D中的Di为第i类防空导弹针对来袭目标的拦截集合D中1和n分别为第1个和第n个来袭的进攻方反舰导弹，集合D中va1为第一个来袭的进嵌入信息产生query向量、key向量以及value向量；根据query向[0064]将MHA层的输出输入第一Add&Norm层通过残差网络和归一化处理后得到作为前编码将最后的目标节点编码和对最后的目标节点编码进行均值池化得到的均值编数量信息组合后通过第一线性层映射成高阶的全局特征编码；在每个时间步进行解码时，将该时间步的进攻方目标节点编码信息和全局特征编码组合并通过第二线性层映射而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或0.75/0.9220.7/0.9520.62/0.8420.83.210.823.52SearchAlgorithmBasedonFeasibleAction，FANS)作为对比方法与CAMDRL_S1、[0085]式中ki表示拦截第i颗ASM时的拦截波次。将测试的平均结果作为比较的最终依方法FANSHRACAMDRL_S1CAMDRL_S2方法FANSHRACAMDRL_S1CAMDRL_S2N20ρ2208.71208.04N60ρ3.5768.10767.53766.81N20ρ2.5215.48225.02227.36227.20N60ρ4703.47765.71766.60765.43N20ρ3213.34236.60237.34237.19N60ρ4.5697.32765.95766.08763.92N20ρ3.5196.64212.35213.30212.62N80ρ2906.08884.85924.86929.73N20ρ4242.89265.68266.81267.28N80ρ2.5948.50962.27N20ρ4.5224.93243.31244.06243.34N80ρ31053.021055.851054.46N40ρ2427.99415.03428.12N80ρ3.5895.03974.08975.84969.77N40ρ2.5429.90456.95457.45457.20N80ρ4999.121084.43N40ρ3452.75490.94489.83N80ρ4.5957.461040.17N40ρ3.5478.00519.41519.94519.27N100ρ21066.361010.761078.37N40ρ4429.34463.98466.28464.76N100ρ2.51122.131186.001197.441202.85N40ρ4.5447.17487.35486.34486.85N100ρ31153.311256.251260.241257.92N60ρ2717.84683.63745.51733.04N100ρ3.51259.751373.06N60ρ2.5678.28717.72717.22N100ρ41143.071249.161246.471248.56N60ρ3646.48709.06709.67N100ρ4.51149.811258.611258.831259.5237境中，HRA显得不太适用。CAMDRL模型在绝大多数情况下的表现都优于其它方法，其中况占了26.7在求解舰船防空反导问题时表现最为突出。这可能是由于S1的实例是在全200个不同样本实例数量下决策所需要的平均运行速度。可以看出当在进行小规模数量的的效率优势(1013％)。略网络进行对比，实验中除深度网络结构外所有实验参数和方法模型超参数设置都相同。不同策略网络结构的收敛情况如图5所示，其中(a)为使用LSTM替换CAMDRL模型中Decoder左右的时候从230的拦截收益收敛稳定至283左右，Neta在410左右时达到收敛，Netb则在模型构建模块、融合注意力机制的深度强化学习模型训练模块和舰船导弹目标分配模块，[0101]融合注意力机制的深度强化学习模型构建模块，用于构建基于Transformer模型D中的Di为第i类防空导弹针对来袭目标合注意力机制的深度强化学习模型的输入状态信息{M,O,V,T,N}是当前舰船态势感知中所知的战场信息，其中M和N分别为攻防双方的导弹数量信息，O为舰船和来袭目标的位置矩获得相应目标威胁等级的即时奖励r，同时每消耗一枚导弹也会得到相应的资源消耗惩罚[0117]在其中一个实施例中，融合注意力机制的深度强化学习模型构建模块中基于Transformer模型的融合注意力机制的深度强化学习模型hl为第l个图嵌入注意力层的输出，在第l个图嵌入注意力层中，MHA层基于多头注意力机[0124]将MHA层的输出输入第一Add&Norm层通过残差网络和归一化处理后得到作为前编码H将最后的目标节点编码和对最后的目标节点编码H进行均值池化得到的均值编用于将最后的目标节点编码和状态空间中舰船的SAM数量信息组合后通过第一线性层映信息hil和全局特征编码hl组合并通过第二线性层映射成融合了全局和局部节点信息的特建采用贪婪测量的基线网络；基线网络与融合注意力机制的深度强化学习模型结构类似，此基线网络的评价结果作为基线(Bas