CN119394314A 一种基于安全强化学习的分布式多机器人路径规划方法 （北京理工大学）

号一种基于安全强化学习的分布式多机器人体涉及一种基于安全强化学习的分布式多机器图、邻居相对位置地图和邻居目标相对位置地图，将机器人与环境的信息以局部图的形式表2机器人距离代价地图获取：创建包含多个机器人的二维环境，对于每一2.根据权利要求1所述基于安全强化学习的分布式多机器人路径规划方法，其特征在3.根据权利要求1所述基于安全强化学习的分布式多机器人路径规划方法，其特征在4.根据权利要求1所述基于安全强化学习的分布式多机器人路径规划方法，其特征在于设定的奖励函数获得的奖励Tt和得到下一出离散动作概率分布n(a.IS).状态价值v(s)以及实际是否发生阻塞的标签p(s)，记录5.根据权利要求4所述基于安全强化学习的分布式多机器人路径规划方法，其特征在36.根据权利要求4所述基于安全强化学习的分布式多机器人路径规划方法，其特征在)为7.根据权利要求6所述基于安全强化学习的分布式多机器人路径规划方法，其特征在8.根据权利要求6所述基于安全强化学习的分布式多机器人路径规划方法，其特征在49.根据权利要求1所述基于安全强化学习的分布式多机器人路径规划方法，其特征在在每一步行动前机器人将加载全局神经网络作为路径规划模基于最优互惠避碰机制，在多机器人间计算彼此的避碰速度集合D(pp-pa,ra+rg)是以为中心、ra+rb为半径的圆；r表示考虑未来是否碰撞的时间范围；S112：基于所述相对速度集合，为每个机器人定义一个允许的速度集合是从vopt,A-voptB到速度障碍边界的最近点的向量；5境和机器人的流动。在提高路径规划效率的同时确保机器人之间及其与环境的安全互动，[0005]有鉴于此，本发明提供了一种基于安全强化学习的分布式多机器人路径规划方6态st下执行动作，基于设定的奖励函数获得的奖励Tt和得到下一时刻的状态st+1，并记录终止标记和网络输出离散动作概率分布n(a.IS).状态价值v(s)以及实际是否发生B中。R(s,a)表示关于状态s和动作a的函数。7[0020]其中，为当前网络的参数，Lfup(O)为策略剪切损失，LVF(O)为价值损失，为限制策略更新幅度的超参数，R为状态的未来累积回报，P(S)为实际是否发生阻塞的D(pp-pa,ra+rg)是以po-pa为中心、为半径的圆；r表示考虑未来是否碰撞的时间范围；8S112：基于所述相对速度集合，为每个机器人定义一个允许的速度集合量，u是从vopt,A-voptB到速度障碍边界的最近点的向量；9方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或[0039]以酒店大厅地图中的多服务机器人路径规R={R,R2…,RW}，其中RK表示第K个机器人，ke{1,2,.…,N}。对于每个机器人，其局部[0040]如图1_2所示，本申请实施例一种基于安全强化学习的分布式多机器人路径规划M；网络用于机器人与环境分布式交互。p:+(i-x(g,p:+(i-x[0051]S6：由设定的奖励函数计算在状态st下执行动作ar对应的奖励Tt和得到下一时刻状态st+1，并记录终止标记和网络输出离散动作概率分布n(a.IS).状态价值v(s)以及实际是否发生阻塞的标签p(s)。然后在状态st+1下执行动作依此轮训，将七元组存储到经验回放池B中。R(s,a)表示关于状态s和动作a的函数，即根据在状态s下执行动作a得到的结果的值。[0062]其中，为当前网络的参数，Lfup(O)为策略剪切损失，LVF(O)为价值损失，前动作比平均策略优势程度的优势估计，p:为新向量，u是从vopt,A-voptB到速