CN114527654B 一种基于强化学习的涡扇发动机直接推力智能控制方法 （南京航空航天大学）

一种基于强化学习的涡扇发动机直接推力本发明公开了一种基于强化学习的涡扇发虑关键安全参数保护的直接推力制器形式和强本发明解决了涡扇发动机间接推力控制动态性发明设计的奖励激励智能体在全包线范围内搜2步骤1)，选取策略和评价网络结构和参数，设计考虑g2为燃油流量和尾喷口面积变化的惯性系数，Wfb,t表示t时刻燃油的归一化rs,t＝0.13所述步骤2)中全包线智能直接推力控制器训练方法的具体步智能体更新使用；动机状态组Xt+1，根据步骤1)确定的奖励形式计算t+1时刻的奖励rt+1；记录一步动态过程所述步骤2.3)中的策略网络和价值网络更新的具体步新策略和老策略选择当前动作的概率πθ(at|Xt)和mo(a,IX),得到概率比所述步骤3)中智能体网络结构和参数优化的具体步中Wfb,i表示第i组试验中燃油的归一化初始状态，A8,i表示第i组试验中尾喷口面积的归一4步骤3.2)，在同一工作点(H,Ma)下，分别获取当前工作点的最大推力Fmax和最小推力fb,max-Wfb,min)+Wfb,min8,max-A8,min)+A8,minmax-Fmin)+Fmin步骤3.4)，根据步骤1)中的奖励表达式计算控制过程中每一时刻的奖励值rt，t=2.根据权利要求1所述的一种基于强化学习的涡扇发动机直接推力智能控制方法，其5发动机间接式推力控制方式已经不能够再满足先[0003]传统的间接推力控制方式通常通过控制发动机的压比和转速控制发动机的推力[0004]美国的智能发动机(Intelligentenginecontrol,IEC)作为排在前四位的先进于多变量航空发动机且具有优良动态品质的直接6[0026]i,、"se、"isi、rs分别表示风扇喘振惩罚、压气机喘振惩罚、高压压气7标T表示一个回合中最后一时刻的时间序列。借助马尔可夫递归，可将该过程简化为Gt=通过设定的剪切参数ε,并将其限制在[1-ε,1+ε]之间，以限制策略更[0042]步骤3.1)，随机生成l组1×3的数组ci＝[Wfb,i,A8,i8其中Wfb,i表示第i组试验中燃油的归一化初始状态，A8,i表示第i组试验中尾喷口i力Fmin，最大燃油流量Wfb,max和最小燃油流量Wfbfb,max-Wfb,min)+Wfb,min8,max-A8,min)+A8,minmax-Fmin)+Fmin9标T表示一个回合中最后一时刻的时间序列。借助马尔可夫递归，可将该过程简化为Gt=通过设定的剪切参数ε,并将其限制在[1-ε,1+ε]之间，以限制策略更[0095]步骤3.1)，随机生成l组1×3的数组ci＝[Wfb,i,A8,i其中Wfb,i表示第i组试验中燃油的归一化初始状态，A8,i表示第i组试验中尾喷口力Fmin，最大燃油流量Wfb,max和最小燃油流量Wfbfb,max-Wfb,min)+Wfb,min8,max-A8,min)+A8,minmax-Fmin)+Fmin[0111]图3为本发明所述的基于强化学习的涡扇发动机直接推力智能控制方法控制架构t)]构成的网络输入输出关系。[0137]通过对比t时刻探索得到的状态回报Gt和价值网络计算得到的价值V[0143]最后，通过计算价值评估网络损失函数(0)-(G;-V以及策略的交叉熵S[π[0147]选取l＝100，随机生成一百组1×3的随机数组ci＝[Wfb,i,A8,i,Fi](i＝1,...,fb,max-Wfb,min)+Wfb,min8,max-A8,min)+A8,minmax-Fmin)+Fmin[0153]在控制过程中，根据步骤A设计的奖励形式计算控制过程中每一时刻的奖励值rt(t＝1,...,T)，将奖励总和记为单个测试样例在该工作点的评分完成奖励值计算整个包线内直接推力控制的整体评分[0155]对所设计的直接推力控制器在全包线范围内随机选点进行测试，测试控制效