CN115320890B 一种基于prd-maddpg算法的脉冲式轨道追逃博弈方法 （西北工业大学）

一种基于PRD-MADDPG算法的脉冲式轨道追在空间轨道博弈的应用，公开了一种基于PRD_弈模型和奖励函数，设计预测奖励检测训练框MADDPG算法完成追逃博弈智能控制策略网络训2S1、对脉冲式轨道追逃博弈问题建模得到博弈模S2、根据博弈模型和脉冲式轨道追逃博弈双方奖励函S4、追逃博弈智能控制策略网络接收航天器自身对环境的观测信息并输出控制指令，设计脉冲式轨道追逃博弈场景，并根据航天器间的相对距离相对于 0)为根据CW方程解析解整理得到的从t0时刻到t时刻的状态转移矩阵；Δ3到ti时刻决策点后第m个检测点r:的状态x,(r:)和x(:);S2.4、根据脉冲式轨道追逃博弈双方奖励函数S3.1，初始化追逃双方航天器的策略网络Actor与评价网络Critic的参数与航天器的2.根据权利要求1所述的一种基于PRD_MADDPG算法的脉冲式轨道追逃博弈方法，其特3.根据权利要求2所述的一种基于PRD_MADDPG算法的脉冲式轨道追逃博弈方法，其特4.根据权利要求1所述的一种基于PRD_MADDPG算法的脉冲式轨道追逃博弈方法，其特征在于，通过追逃博弈智能控制策略网络的训练得到追逃双方航天器的各自的策略网络4基于PRD_MADDPG算法的脉冲式轨agentdeepdeterministicpolicygradient,MADDPG)算法可以解决多智能体间的竞争、5[0019]其中，φ(t,t0)为根据C_i表示航天器i的速度增量向量；φv(t,ti)表示从ti时刻到t时刻航天器速度增量部6算得到ti时刻决策点后第m个检测点r:的状态x,(:)和[0029]S3.1，初始化追逃双方航天器的策略网络Actor运动特点设计了预测奖励检测多智能体深度确定性策略梯度算法(PRD_MADDPG)解决了考7员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范8[0058]其中，φ(t,t0)为根据C_刻的运动状态分别为：和其中度增量分别为和其中AVAV,[0062]其中，分别表示ti时刻追击航天器在x,y方向上速度增量的绝对值；分别表示ti时刻逃跑航天器在x,y方向上速度增量的绝对值；9与之相反逃方航天器的目标是找到自身能够最大化追逐时间[0075]f()=-qxAL()(7)[0084]双方航天器还需要考虑在完成自身目标的前提下尽可能[0087]式中αΔv为燃料消耗奖励系数，通过在航天器每次施加脉冲机动的时刻添加负奖[0092]式中D",D",DF,DF均为正常数，代表不同结果下追逃双方航天器的结果奖励值，分别由x,(),xe(t)变为x,(t),x(t:),其中和分别表示在ti时刻施加脉冲控制前后的状态，即X($)=X(f;)+AX(⃞),下标P和E分别表示追击方和逃跑方。[0106]根据CW方程的解析解，只需要知道ti时刻的状态x,(t),x,(t'),就可以计算得到ti时刻决策点后第m个检测点的状态x,(:)、xe(:)[0108]其中，X,(7)xe(:)分别表示第m个检测点时追击和逃跑航天器的状态，o(r:1)表示航天器从ti时刻到时刻的状态转移矩阵，分别表示ti时刻[0112]其中，R,(7:)Rr(:)分别表示时刻追[0117]S3.1，初始化追逃双方航天器的策略网络Actor[0131]实验采用的仿真环境全部基于Python语言编写，利用Spyd[0132]通过训练每个航天器可以得到一组Actor网络参数，可以根据自身对环境的观测