CN115496287B 基于仓储环境的多智能通信强化学习体路径规划方法及系统 （哈尔滨工业大学（深圳））

US2022147051A1,2022.05.12基于仓储环境的多智能通信强化学习体路本发明涉及一种基于仓储环境的多智能通智能体接收各自挑选出的邻居智能体的通信消2S23、获取当前智能体的通信范围，计算当前智能体与其他智能体之间的当前位置距若检测到当前智能体停留一个非目标点位置的时间为三个时间若检测到当前智能体过去四个时间步均在两个位置来回，则判根据处于死锁状态的智能体的信息调整所述所述观测值处理模块的观测值的输入通道包括九个，九个所述输入通道分别为通道03第四全连接层和第五全连接层，其中所述最后特征分流到所;所述第四全连接的输出为仅与状态有关而与动作无关的状所述第五全连接的输出为同时与状态和动作相关所述神经网络的Q值函数根据所述状态价值函数和所述优6.一种计算机可读存储介质，其上储存有程序指4[0002]多智能体路径规划问题(Multi_agentpathfinding简称MAPF)在现实生活中有百上千智能仓储机器人同时做规划路径，保证机器人之间不发生冲突又能很快到达目的[0006]本发明的技术方案涉及一种基于仓储环境的多智能通信强化学习体路径规划方56[0033]xs=w;*e⃞+b;邻居智能体的通信消息；wi和bi分别表示交叉网络的权重和偏差；表示最终特征输出，x表示Q网络的输入值。[0036]获取智能体在过去多个时间步的自身位置情况并通过异常状态检测模块进行检[0042]本发明的技术方案还涉及基于仓储环境的多智能通信强实现路径规划的分布式解耦，采用通信来缓解应用在MAPF问题的强化学习算法不平稳性；7[0056]以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清[0064]本发明的基于强化学习框架是基于D3QN(DuelingDoubleDeepQNetwork)算法8包括用于处理通道0至通道6输入信息的四个卷积层；用于处理通道7的输入信息的第一全7和通道8分为两个辅助向量，一个向量(通道两个向量分别通过第一全连接层和第二全连接层输出，然后和卷积层的输出拼接在一起，高则其优先级就越高。上述设定的优先级会在智能体的路径规划过程中动态地发生变化，9见图5，首先获取智能体的通信范围，然后计算每个智能体与其他智能体间的当前位置距范围(参见2号图中加粗框)以内的所有智能体以及已选择了两个邻居智能体，那么再从2号图加粗框以外的智能体中选择一个优先级最[0080]本发明实施例的基于D3QN框架的神经网络，通过DoubleDQN将主网络和目标网络用于衡量各动作的相对好坏程度。最终将两个全连接层的输出合并得到最终的Q值函数Q[0081]具体地，经过的邻居智能体选择得到图5网络最终的图转移算子Gr=[Gt…Gf],其么整个多智能体系统的状态集合表示为er=[et…e⃞],前面计算得到的GSO算子表示为一种是徘徊异常状态的死锁，即由于学习特性导致的两个智能体同时相互做出避让决策。在判断智能体是否发生死锁前，先根据每个智能体记录的过去多个时间步自身的位置情练前期因单个智能体陷入停滞和徘徊状态而被识别为内是否存在其它预标记智能体，参见图7中智能体1视野范围2格以内(通信范围)存在另一以其他方式明显地与上下文矛盾。本文描述的过程