CN119396192A 基于ppo算法多无人机协同避障控制方法、装置和设备 （中国人民解放军国防科技大学）

基于PPO算法多无人机协同避障控制方法、本申请涉及一种基于PPO算法多无人机协同体包括策略网络和价值网络；采用链式PPO训练中的每架无人机执行各自的路径规划和避障任估动作量，在有启发式信息和奖励函数的指导2采用链式PPO训练框架对编队中的无人机进行多轮训练，得到每架无人机的路径规划编队中的每架无人机执行各自的路径规划和避障任务;其中，为启发式速度，l为一较小正系数，cur-posei为当前训练无人机此时位置，tar.pos;为当前训练无人机目标点位置，cur-pose为无人机群此时位置向量组合起来一轮训练时采用人工势场法模拟编队中非当前训练的无人3.根据权利要求1所述的基于PPO算法的多无用链式PPO训练框架对编队中的无人机进行多轮训练，得到每架无人机的路径规划和避障策略网络输出动作值到训练环境中对状态进行更新，价值网络输出Q值对当前状态进行评将当前训练的无人机的局部观测状态作为当前训练的无人机的策略将当前训练的无人机的局部观测状态输入到当前训练的无人机的价值网络中，输出Q值对当前状态进行评估；计算每个样本在不同状态下采取不同动作的最小值函数估计值，编队中非当前训练的无人机基于各自的局部观测状态和固定策略输出各自动作量到3其中，num_epsiode为单步沿途采样点数量；RSS为总碰撞惩罚，UAVS为同组其他无人机；和R%分别表示第i个采样时刻当前无人机与静态障碍物和动态障碍物的v,v)分别为当前无人机4路径规划和避障任务的最优策略确定模块，用于采用链式PPO训练框架对编队中的无各自的局部观测状态采用固定性策略分别输出各自动作量到训练环境中对状态进行更新；多无人机协同避障控制模块，用于编队中的每架无人其中，路径规划和避障任务的最优策略确定模块，还用;其中，%为启发式速度，l为一较小正系数，cur-posei为当前训练无人机此时位置，tar.pos;为当前训练无人机目标点位置，cur.pose为无人机群此时位置向量组合起来的矩6.一种计算机设备，包括存储器和处理器，所述存储器存于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的基于PPO算法的5[0001]本申请涉及多飞行器协同控制技术领域，特别是涉及一种基于PPO算法多无人机[0007]采用链式PPO训练框架对编队中的无人机进行多轮训练，得到每架无人机的路径;6输出Q值对当前状态进行评估；编队中非当前训练的无人机基于各自的局部观测状态采用[0012]将当前训练的无人机的局部观测状态作为当前训练的无出Q值对当前状态进行评估；计算每个样本在不同状态下采取不同动作的最小值函数估计[0014]编队中非当前训练的无人机基于各自的局部观测状态和固定策略输出各自动作;;7;;其他无人机；和R%分别表示第i个采样时刻当前无人机与静态障碍物和动态障碍;v,v)分别为当前无;;[0022]路径规划和避障任务的最优策略确定模块，用于采用链式PPO训练框架对编队中各自的局部观测状态采用固定性策略分别输出各自动作量到训练环境中对状态进行更新；8;回放缓冲区采集一批数据，计算每个样本在不同状态下采取不同动作的最小值函数估计9为[state_dim,256,256,action_dim],state_dim为状态空间维度，action_dim为动作空间维度；价值网络结构为[state_dim,256,256,1],state_dim为状态空间维度，价值网络一般;训练有效解决连续三维多机环境训练不稳定的情况。采用了三维连续空间作为任务环境，包括随机选择一系列动作并观察环境的反馈。这些动作的选择是基于值函数（Value中的每架无人机执行各自的路径规划和避障任务的最优策略，实现多无人机协同避障控中非当前训练的无人机基于各自的局部观测状态和固定策略输出各自动作量到训练环境的其他无人机基于各自状态采用已有策略分别输出各自动作量到环境中包括随机选择一系列动作并观察环境的反馈。这些动作的选择是基于值函数（Value;;;碰撞惩罚（总碰撞惩罚为所有采样点碰撞惩罚之和UAVS为同组其他无人机；RS和;action(vx,v,v⃞)分别为当前无;;可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交[0063]在一个验证性实施例中，仿真实验的快且奖励不易振荡，在近似路径代价的条件下基于PPO的强化学习算法相较于传统的人工[0065]路径规划和避障任务的最优策略确定模块，用于采用链式PPO训练框架对编队中各自的局部观测状态采用固定性策略分别输出各自动作量到训练环境中对状态进行更新；采用人工势场法模拟编队中非当前训练的无人机避[0071]关于基于PPO算法的多无人机协同避障控制装置的具体限定可以参见上文中对于实现一种基于PPO算法的多无人机协同避障控制方法。该计算机设备的显示屏可以是液晶