CN119509565A 一种基于异构神经回路策略的移动机器人的人群导航方法 （河南大学）

一种基于异构神经回路策略的移动机器人本发明公开了一种基于异构神经回路策略的移动机器人的人群导航方法，包括构建时空网络模型输出机器人在当前环境下最优价值的神经回路策略网络模型，采用并行PPO算法加速异构神经回路策略网络模型的训练速度直到训2S1、通过时空图构建模块构建时空图；通过雷S2、构建异构神经回路策略网络模型，将时空图和所述异构神经回路策略网络模型包括多层感知机MLP1、多层感知机ML网络，注意力机制网络与多层感知机MLP5连接，多层感知机MLP5、神经回路策略NCP网络S3、设计用于指导异构神经回路策略网络模型2.根据权利要求1所述的基于异构神经回路策略的移动机器人的人群导航方法，其特3.根据权利要求2所述的基于异构神经回路策略的移动机器人的人群导航方法，其特34.根据权利要求1或3所述的基于异构神经回路策略的移动5.根据权利要求4所述的基于异构神经回路策略的移动机器人的人群导航方法，其特6.根据权利要求5所述的基于异构神经回路策略的移动机器人的人群导航方法，其特7.根据权利要求6所述的基于异构神经回路策略的移动机器人的人群导航方法，其特机器人与行人保持舒适的互动距离的奖励Iss为机器人对周围行人造成的8.根据权利要求1或7所述的基于异构神经回路策9.根据权利要求8所述的基于异构神经回路策略的移动机器人的人群导航方法，其特步骤S1构建的时空图的空间边输入到异构神经回路策略网络模型的多层感知机MLP1，4回路策略NCP网络NCP1对当前时刻机器人_行人空间交互特征进行特征提取获得空间交互与空间边的处理类似，时空图的时间边输入将神经回路策略NCP网络NCP1、神经回路策略NCP网络NCP2将时空图中的机器人节点特征向量输入到多层感知机MLP3，多层感知机栅格地图数据输入到异构神经回路策略网络模型的CNN神经网机MLP4输出障碍物的编码向量，障碍物的编码向量输入进神经回路策略NCP网络NCP3进行将神经回路策略NCP网络NCP4输出的决策输入到Actor_Critic网络计算当前环境状态下价所述神经回路策略NCP网络NCP4形成的为神经回路策略NCP网络NCP4做出的决策，ψ(·)表示一个神经回路策略NCP网络，,前的神经回路策略NCP网络隐藏状态，hstate为神经回路策略NCP网络处理一次数据后的神5[0005]申请号为202311521198.3的发明公开了一种基于SAC(SoftActor_Critic)和神[0006]针对现有移动机器人导航算法在人群中无法兼顾行人行走舒适度和导航性能的异构神经回路策略网络模型中设计了四个NCP(NeuralCircuitPolicies)组件用于提取6略NCP网络NCP3连接，神经回路策略NCP网络NCP1和神经回路策略NCP网络NCP2接入至注意7最小距离dmin小于碰撞距离ρcollision、机器人与静态障碍物接触或者机器人接触到边界墙[0028]机器人与行人保持舒适的互动距离的奖励Iss为机器人对周围行人造感知机MLP2，时间边在多层感知机MLP2中进行非线性处理后由神经回路策略NCP网络NCP28感知机MLP4输出障碍物的编码向量，障碍物的编码向量输入进神经回路策略NCP网络NCP3的输出、多层感知机MLP3的输出和神经回路策略NCP网络NCP2的输出拼接，将多层感知机最后，将神经回路策略NCP网络NCP4输出的决策输入到Actor_Critic网络计算当前环境状ncp4为神经回路策略NCP网络NCP4的网络权重，hstate为神经回路策略NCP网络处理一次′数据前的神经回路策略NCP网络隐藏状态，hstate为神经回路策略NCP网络处理一次数据后[0042]1、本发明利用时空图来构建人机之间的关系，更直观的表征出了人机的相对关9[0056]在t时刻，与行人节点h关联的特征向量为和分别表示行人位[0064]在本发明中，只考虑空间边时间边以及机器人节点r特征向量通过[0070]如图2所示，所述异构神经回路策略网络模型包括多层感知机MLP1、多层感知机多层感知机MLP2与神经回路策略NCP网络NCP2连接，CNN神经网络依次与多层感知机MLP4、神经回路策略NCP网络NCP3连接，神经回路策略NCP网络NCP1和神经回路策略NCP网络NCP2经元，选取n个服从Binomial(B,p1)分布的随机选择的目标神经元间插入极性服从Binomial(p2)分布的突触。神经回路策略NCP网络采用连续时间常微分方程描述神经元活′[0078]其中，p()表示一个包含非线性激活函数的多层感知机MLP，Wmlp1为多层感知机人与机器人的相对位置关系。′′经回路策略NCP网络NCP1的网络权重，通过权重文件区分不同位置的神经回路策略NCP网′为神经回路策略NCP网络处理一次数据后的神感知机MLP2，时间边在多层感知机MLP2中进行非线性处理后由神经回路策略NCP网络NCP2′ncp2为神经回路策略NCP网络NCP2的网络权重。′′′[0104]多层感知机MLP4输出的障碍物的编码向量Lo输略NCP网络NCP3的输出局部栅格地图特征Lo、多层感知机MLP3的输出机器人节点特征向量的编码向量Vn和神经回路策略NCP网络NCP2的输出处理后的时间特征信息Et拼接：[0112]为神经回路策略NCP网络NCP4做出的决策，Wncp4为神经回路策略NCP网络NCP4的[0123]=-2ISS人做出当前环境状态下最优价值的动作后的环境新状态及根据奖励函数获得的该当前环实人群中执行每一决策时刻对应的最优价值的动一个马尔科夫序列。所有Worker进程将收集到的rollout传回主进程，主进程基于这些[0135]如图3所示，在并行PPO算法框架中，开始时，价值网络Critic网络和策略网络取新的状态、相应的奖励以及是否达到终止条件的信号。这些交互结果被记录在数据集D种用于估计动作优势的方法。GAE在时间步t的估计值aa8,是通过考虑从当前时间步到终[0137]在Gym仿真环境中测试本发明与其他导航算法在复杂场景中训练的模型在不同人本发明提出的异构神经回路策略网络模型(LM_SNCP)在机器人导航任务的成功率和碰撞率ORCA算法根据目标点与智能体的位置速度构