CN119512131A 一种结合双对抗技术和递归机制的路径规划方法 （南通大学）

一种结合双对抗技术和递归机制的路径规一种结合双对抗技术和递归机制的路径规划方输出值来替代传统的Q值表的深度学习Q网络模全可观察马尔可夫决策过程POMDP的性能和提高22.根据权利要求1所述的一种结合双对抗技术和递归机制的路径规划方法，其特征在t)近似得出累积奖励的期望值；最优策略π作为解决方案，使累积的未来回报3.根据权利要求2所述的一种结合双对抗技术和递归机制的路径规划方法，其特征在4.根据权利要求3所述的一种结合双对抗技术和递归机制的路径规划方法，其特征在对抗网络由表示价值和优势函数的两个流组成，同时共享3文献《PathplanningforactiveSLAMbasedondeepreinforcement征匹配的基于深度强化学习进行全局路径规划和自主避障的方法。该方法存在一点不足：步骤1、通过Bellman方程计算最佳Q值函数建立一种对参数进行不断的训练和优4递归机制是指用LSTM层代替第三或第四层完全连接层，经过LSTM层后继续回到tttfunction)和依赖于状态的行动优势(thestate_dependentactionadvantagefunction)；因为状态值s在不完全可观察马尔可夫决策过程(POMDP)中不可被获得，于是Q值5)curr为当前位置与目标位置的距离，dnextstepstep成的两个样本被视为负对。编码器应该学会最大化从任何正对中提取的表示特征的相似(2)本发明由于采用递归机制和双决斗技术，改善了不完全可观察马尔可夫决策(3)本发明设计半已知环境下四旋翼飞行器基于双对抗深度递归Q网络的路径规6如图1所示，本发明首先通过Bellman方程计算最佳Q值函数建立一种对参数进行不断的训练和优化、利用网络输出值来替代传统的Q值表的深度学习Q网络模型(DeepQ价值函数与奖励值函数结合、引入目标网络参数学习率的双对抗深度递归Q网络模型进行不断的训练和优化、利用网络输出值来替代传统的Q值表的深度学习Q网络模型(Deep步骤2、构建包含循环网络的深度递归Q网络模型(DeepRecurrentQnetwork，7tt参数学习率的双对抗深度递归Q网络模型(DoubleDuelingDeepRecurrentQnetwork，走，即：状态值(thestatevaluefunction)和依赖于状态的行动优势(thestate_因为状态值s在不完全可观察马尔可夫决策过程(POMDP)中不可被获得，于是Q值8curr为当前位置与目标位置的距离，dnextstepstep给无人机进行控制，最后将无人机与负载状态反馈给航迹规划与控制层实现实时反馈控为了验证半已知环境下四旋翼飞行器基于双对抗深度递归Q网络的路径规划算法法与D3RQN算法在同一个多障碍物环境地图中的路径规划，验证得到半已知环境下四旋翼飞行器基于双对抗深度递归Q网络的路径规划算法对四旋翼飞行器路径规划结果和训练速的最优路径。仿真实验使用Inter(R)Core(TM)i5_82651.80GHz处理器，在Windows11，9当障碍物在机载摄像机的视野之外，四旋翼无人机不能保持与障碍物的安全距存在的情形下，本发明所提出的半已知环境下四旋翼飞行器基于双对抗深度递归Q网络的路径规划方法比经典的路径规划器(例如DQN或D3QN)的执行效率高，证明了所提出的模型综上，本发明为半已知环境下四旋翼飞行器基于双对抗深度递归Q网络的路径规划方法。首先通过Bellman方程计算最佳Q值函数建立一种对参数进行不断的训练和优化、免陷入维度灾难；进一步，构建包含循环网络的深度递归Q网络模型(DeepRecurrentQ数结合、引入目标网络参数学习率的双对抗深度递归Q网络模型(DoubleDuelingDeep知环境的前提下，既大大减轻了计算量负担又改善了不完全可观察