CN118938676B 一种拦截三维机动目标的强化学习制导控制一体化方法 （哈尔滨工业大学）

一种拦截三维机动目标的强化学习制导控学习的制导控制一体化设计，搭建神经网络结六自由度飞行器外环制导回路和内环姿态控制2步骤S2，基于现有的深度强化学习理论Actor_Critic框wii结合上述三维制导运动学模型、飞行器姿态动力学模型，可3i2.根据权利要求1所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其3.根据权利要求2所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其t和φt为目标在视线系下的前置角，设am＝[amRamθamφ]T和4将拦截弹和目标在速度系下的加速度矢量am和at分别投影到视线坐标系，则三维制导ref54.根据权利要求3所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其txty标相对于参考坐标系的航迹俯仰角和航迹方位角，由航迹坐标系和参考坐标系的转化关5.根据权利要求1所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其6t采用深度神经网络对式(27)和(28)中Q值和V值进行逼近，进而形成了θ,和φπ,为目标Q值网络和V值网络的采用软更新方式实现对目标Actor网络和目标Critic6.根据权利要求5所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其选取俯仰通道和偏航通道的舵面偏角作为动作变7.根据权利要求6所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其特征在于：所述步骤S3智能体奖励函数设计具体为，所述智能体奖励函数由如下4部分构7和分别为t时刻弹道偏角和t时刻期望弹道倾角；max8.根据权利要求7所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其特征在于：所述步骤S3神经网络结构设计具体为，DDPG深度强化学习框架中Actor网络和Critic网络结构，其中Actor动作网络和Critic评价网络均采用4层线性BP神经网络结构，9.根据权利要求8所述的一种拦截三维机动目标的强化学习制导控制一体化方法，其8)判断拦截弹相对状态是否满足仿真结束条件，89步减小拦截弹飞行时间，有学者提出一种基于时间生成器函数(TBG)的预设时间制导控制[0005]本发明的目的在于提供一种拦截三维机动目标的强化学[0015]将拦截弹和目标在速度系下的加速度矢量am和at分别投影到化关系，整[0062]在使用上述状态变量st和动作变量at进行智能体训练时，需要对变量st和at进行奖励函数除以拦截弹速度矢量大小起到对距离奖励函数归一和v'()分别为t时刻弹道偏角和t时刻期望弹道倾角；坐标原点O选在拦截弹质心上，Ox1轴一般取平行于弹体对称轴线或平行于弹翼平均气动[0124]将拦截弹和目标在速度系下的加速度矢量am和at分别投影到dz,]=⃞[v;00](13)目标在我方地面防空武器火力区内，并在进入轰炸航路前或者投弹后脱离时作此种机动，[0185]演员_评论家框架(Actor_Critic)能够有效提高智能体与外界环境的交互效率和Actor_Critic框架中目标网络Q值Q值网络和V值网络的超参数，通过经验回放机制最小化如[0201]在使用上述状态变量st和动作变量at进行智能体训练时，为奖励函数除以拦截弹速度矢量大小起到对距离奖励函数归一和v'c)分别为t时刻弹道偏角和t时刻期望弹道倾角。[0219]DDPG深度强化学习框架中Actor网络和Critic网络结构，其中Actor动作网络和[0233]为了验证本发明提出算法的有效性，在三维空间中设置如表1所示的末制导仿真