CN119511907A 一种高速飞行器智能控制方法 （西北工业大学）

速飞行器的控制。飞行器控制器采用模型+学习2δy,x,y″x″z,y,x,y″x″zyx]z为俯仰2.根据权利要求1所述一种高速飞行器智能控制结构由六个深度神经网络构成，分别为Actor网络、Critic1网络、Critic2网络、TargetActor网络生成的动作作为Critic1网络和Critic2网络的输入，用于估算对应的Q值，而两个Critic网络提供的Q值用于评估Actor网络生成的策略，反向传播更新Actor网络的TargetActor网络从主Actor网络复制而来，提供用于计算目标值的动作，TargetCritic1和TargetCritic2网络从主Critic1和Critic2网络复制而来，利用TargetActorActor网络、Critic1网络和Critic2网络的权重在学习过程中根据双延迟确定性策略e;而TargetActor网络、TargetCritic1网络和TargetCritic1网络则是通过跟踪前一,和e;决策神经网络采用两套Critic网络，计算目标值,a,＝a,+ε3Critic1和Critic2网络均是通过最小化评估值与目标值然后利用Critic1或者Critic2网络来计算状态动作对(s,anew)的评估值，这里假定使49.一种计算机可读存储介质，其特征在于存储有5要适用于变构型高速飞行器在构型变化及环境参数快变控制器的基础上结合深度强化学习算法实现变构型高速飞行器的智能控制是目前亟需解δ,yδ″δ″xδ,yδ″δ″δyx]z为俯[0010]TargetActor网络从主Actor网络复制而来，提供用于计算目标值的动作，6TargetCritic1和TargetCritic2网络从主Critic1和Critic2网络复制而来，利用Target[0011]Actor网络、Critic1网络和Critic2网络的权重在学习过程中根据双延迟确定性oe和ge;而TargetActor网络、TargetCritic1网络和TargetCritic1网络则是通过跟e;,[0021]本发明进一步的技术方案：所述TD3算法决策神经网络模型的奖励函数为俯仰通[0029]本发明进一步的技术方案：基于双延迟确定性策略梯度算法对TD3算法决策神经7方法为利用梯度下降算法最小化评估值和目标值之[0038]然后利用Critic1或者Critic2网络来计算状态8[0056]本发明提供的一种高速飞行器智能控制方法，将深度强化学习算法应用于传统[0064]图5是本发明实施例提供的一种+20％气动系数拉偏情况下TD3与PID控制效果对[0065]图6是本发明实施例提供的一种_20％气动系数正拉偏情况下TD3与PID控制效果[0066]图7是本发明实施例提供的一种[_20+20％]气动系数随机拉偏情况下100组蒙9[0073](3)对所述决策神经网络进行训练，采用双延迟深度确定性策略梯度机制优化深δ,yδ″δ″xδyx]z为俯仰2所示，即整个网络结构由六个深度神经网络构成，分别为Actor网络、Critic1网络、网络则是通过跟踪前一对网络参数的形式来更新参数，记为Actor_t、Critic1_t和,,状态s下的动作a在参数θ的策略作用下得到法为利用梯度下降算法最小化评估值和目标值[0106]然后利用Critic1或者Critic2网络来计算状态lo8)(12)的权重因子τ∈(0,1)将当前网络和目标网络进行加权平均，确保了更新的δ″δ″observation即为智能体输出action设计为俯仰通δ″δ″[0125]在本发明的一个实例中，TD3所训练的控制器和传统PID控制器都能稳定住飞行果的俯仰通道指令跟踪平均控制精度提高了51.8俯仰通道指令跟踪平均控制精度提高