CN115826601B 基于逆向强化学习的无人机路径规划方法 （中国人民解放军海军航空大学）

为了解决深度确定性策略梯度算法在规划软件采集专家操纵UAV避障的演示轨迹数据集；2步骤1.采集专家操纵UAV避障的专家演示轨迹数据集和步骤2.构建经验池，所述经验池由专家演示轨迹数据集和自探索轨迹数据集共同组在线策略网络参数的优化则分为专家演示轨迹样本和自探exp对于专家演示轨迹数据，将在线策略网络基于当前专家状态预测的即时策略ai与真exp按照原始DDPG算法的在线策略梯度值V,VU(O")更新参数θμ:采用融合梯度v,s(o")更新在线策略网络的参数：经验池由专家演示轨迹数据集Texpert和自探索轨迹数据集Tdiscover共同组成，并采用混合采样机制从两个数据集中分别采样形成最终在线值函数网络Q(s,a|θQ)参数的优化具体包括以下3通过梯度下降法最小化损失函数J(θQ)对在线值函数网络参数θQ进行优化更新，令J已知专家操控UAV避障生成的轨迹ζ:则该轨迹的奖励值r(ζ)为：4所述步骤4中基于最大熵逆向强化学习算法求解奖励函数具体包括iλ0为拉格朗日乘子；式中λj对应着奖励函数中特征函数的权重将上式转化为奖励函数特征分量权重θ的最小化负对数似然函数求解损失5所述步骤5中训练DDPG，直至DDPG在专家轨迹隐含的最优奖励函数下以最优策略完成飞行d)s＝s9；6克利大学的JohnSchulman博士以及OpenAI相继提出了DDPG(Deepdeterministicpolicygradient，深度确定性策略梯度)算法、异步优势AC(AsynchronousAdvantageActor[0004]尽管这些方法在UAV路径规划方面有明显优势，但往往需要探索大量随机障碍环熵的IRL算法求解专家演示轨迹中隐含的最7[0015]经验池由专家演示轨迹数据集Texpert和自探索轨迹数据集Tdiscov[0018]进一步地，所述步骤3中引入专家经验损失函数指导的DDPG算法包括在线策略网expexp8[0045]已知专家操控UAV避障生成的轨迹[0058]进一步地，所述步骤4中基于最大熵逆向强化学习算法求解奖励函数具体包括以9λ0为拉格朗日乘子；[0083]对被采样的专家轨迹中连续的专家状态z,和对应的真实专家策略g,做离散化处[0091]随机初始化在线策略网络Q(s,a|θQ)和在线值函数网络μ(s|θμ)的网络参数θμ和[0101]本发明针对UAV路径规划问题，提出了一种基于逆向强化学习的无人机路径规划[0115]基于模拟器PhoenixRC软件中自带的复杂障碍场景获取专家演示轨迹以及基于Python搭建简单障碍场景用于UAV同环境交互[0116]专家演示轨迹的采集基于运行游戏公司开发的专业无线电控制飞行模拟软件[0118]从PhoenixRC模拟器中收集到的部分专家演示轨迹如图3所示。在模拟器中收集最佳的飞行策略；3)模拟器直观显示避障过程中每一时刻的单目RGB图像以及UAV的航向[0119]为测试算法性能搭建如图4所示的三维障碍环境Q，使UAV在同环境交互中生成自由专家演示轨迹数据集Texpert和自探索轨迹数据集Tdiscover共同组成，并采用混合采样机制[0126]引入专家经验损失函数指导的DDPG算法包括在线策略网络μ(s|θμ)、在线值函数expexp的在线策略梯度值v,-s(o")更新参数θμ:[0143]采用一种包含专家经验损失在线策略梯度和原始在线策略梯度[0150]已知专家操控UAV避障生成的轨迹λ0为拉格朗日乘子。Q'及其权重；一致的情况下对比测试B本发明改进算法和原始算法对网络收敛速度的影响。设计奖励函[0213]对于最大熵逆向强化学习算法对避障效果的影响分析，UAV采用基于最大熵逆向强化学习求解出的最优奖励函数的奖励值曲线如图8所示。采用最优奖励函数进行训练的[0214]综合专家经验损失和逆向强化学习的改进DDPG算法。图9给出了综合专家经验损