CN116401556B 基于知识与有模型强化学习的雷达抗干扰策略学习方法 （西安电子科技大学）

基于知识与有模型强化学习的雷达抗干扰本发明涉及一种基于知识与有模型强化学干扰策略分解为先验信息库中已知干扰策略的2S1、使雷达与已知多种干扰策略的第一干S2、使所述雷达依据当前策略选择动作与未知干扰策略S4、利用权系数将未知干扰策略分解为所述先验信息库中已知干扰策略的加权求和，S5、利用更新后的学习模型测量未知干扰策略与所S6、利用所述模型近似损失评估未知干扰策略2.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其使所述雷达依据当前策略选择动作与未知干扰策略的第二干扰机进行交互以收集真3.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其其中，φd表示学习模型的网络参数，D,表示每个已知先验信息M生成的训练样本，表达学习模型。4.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其3,λd表示每个已知干扰策略的权重；基于雷达的所述先验信息库，结合所述未知干扰策略的分解公5.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其利用所述更新后的学习模型计算所述未知干扰策略引起的转移概率和所述已知干扰利用所述未知干扰策略引起的转移概率与所述已知干扰策略引起的转移概率之间的6.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其7.根据权利要求1所述的基于知识与有模型强化学习的雷达抗干扰策略学习方法，其*4[0004]目前基于强化学习的雷达抗干扰策略设计方法主要集中在频率捷变(FA)雷达载[0006]本发明实施例提供了一种基于知识与有模型强化学习的雷达抗干扰策略学习方[0012]S6、利用所述模型近似损失评估未知干扰策略与已知干5[0016]使所述雷达依据当前策略选择动作与未知干扰策略的第二干扰机进行交互以收能雷达在当前状态下采取的行动，表示智能雷达在当前状态采取行动后收到的回报，[0023]其中，φd表示学习模型的网络参数，D,表示每个已知先验信息M生成的训练0,d＝1,2,...,D且λd表示每个已知[0032]利用所述更新后的学习模型计算所述未知干扰策略引起的转移概率和所述已知6[0033]利用所述未知干扰策略引起的转移概率与所述已知干扰策略引起的转移概率之[0036]其中，表示模型近似损失，表示第d个已知干扰策略，d＝1,表示模型近似损失。未知干扰策略最大化的抗干扰性能等同于对已知干扰策略加权组合最大化的抗干扰性能，[0045]图1为本发明实施例提供的一种基于知识与有模型强化学习的雷达抗干扰策略学7[0046]图2为本发明实施例提供的基于知识与有模型强化学习的雷达抗干扰策略学习方[0048]图4a图4d为本发明实施例提供的无模型强化学习方法对四种不同干扰策略的抗[0049]图5a图5b为本发明实施例提供的不同相互作用样本量下每一轮的收敛检测概率[0050]图6a图6d为本发明实施例提供的未知干扰策略包含在雷达先验信息库中的情况[0051]图7a图7d为本发明实施例提供的雷达先验信息中包含未知干扰策略时，学习过[0052]图8a图8d为本发明实施例提供的未知干扰策略不包含在雷达先验信息库中的情[0053]图9a图9d为雷达先验信息中不包含未知干扰策略时，学习过程中λ的权值示意[0056]请参见图1和图2，图1为本发明实施例提供的一种基于知识与有模型强化学习的雷达抗干扰策略学习方法的流程示意图，图2为本发明实施例提供的基于知识与有模型强已知干扰策略可以用来搭建雷先验信息库，可记为M,={S,,R,P},d=[1,D1,其d表示转移概率。本实施例将雷达抗干扰策略学习建模为马尔可夫决策(MDP)过程，因此，不同的干扰策略会导致不同的转移概率。进一步的，基于已知先验信息8M,={S,A,R,P},d=[1,D],可以辅助雷达进行抗干扰策略学习。能雷达在当前状态下采取的行动，表示智能雷达在当前状态采取行动后收到的回报，个已知先验信息M,生成的足够多的训练样本记为：9表达学习模型。[0077]S5、利用权系数将未知干扰策略分解为先验信息库中已[0078]首先，利用权系数将未知干扰策略分解为先验信息库中已知干扰策略的加权求干扰策略M,本实施例将它分解成几个部分，其中每个部分用一个已知的来自先验信息的0,d＝1,2,...,D且λd表示每个已知[0091]其中，表示模型近似损失，表示第d个已知干扰策略，d＝1,[0093]具体的，利用模型近似损失评估未知干扰策略与已知干表示模型近似损失。未知干扰策略最大化的抗干扰性能等同于对已知干扰策略加权组合最大化的抗干扰性能，不同的存储器用不同的颜色来区分)，如果干扰器的动作是针对给定的子脉冲发送干扰信号，则该存储器的收集信息为空，记为存储模式2只有一个存储器用于存储拦截的信[0108]本实施例利用常用的干扰策略作为FA雷达的先验信息加速雷达抗干扰策略的学123456789111111222222222112233111222333121212345345345[0112]图4a图4d为本发明实施例提供的无模型强化学习方法(modelfreeRL)对四种[0113]图5a图5b为本发明实施例提供的不同相互作用样本量下每一轮的收敛检测概率表示线上线下交互轮，纵轴表示雷达检测概率。每轮实际交互样本量总和可乘以2000、继续增加实际相互作用样本量并不能明显提高[0114]图6a图6d为本发明实施例提供的未知干扰策略包含在雷达先验信息库中的情况检测概率与无模型强化学习方法(PPO)进行比较的示意图，横轴表示当前轮之前的实际交[0115]图7a图7d为本发明实施例提供的雷达先验信息中包含未知干扰策略时，学习过[0116]图8a图8d为本发明实施例提供的未知干扰策略不包含在雷达先验信息库中的情敛检测概率与无模型强化学习方法(PPO)进行比较的示意图。四种未知干扰策略由表2给干扰策略存储模式1121记忆长度1224截获模型[0119]图9a图9d为雷达先验信息中不包含未知干扰策略时，学习过程中λ的权值示意策略具有不同的特征，先验信息中的每种干扰策略在表达未知干扰策略时所起的作用不