CN110632931A 动态环境下基于深度强化学习的移动机器人避碰规划方法 （哈尔滨工程大学）

通大街145号哈尔滨工程大学科技处动态环境下基于深度强化学习的移动机器本发明公开一种动态环境下基于深度强化始数据，将原始数据处理后作为神经网络的输角限制的连续动作空间，且采用4个线程并行学22.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方3.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方下的移动机器人位置、目标位置以及艏向角角度信息再进行相应处理后作为A3C算法的状4.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方5.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方6.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方37.根据权利要求1所述的一种动态环境下基于深度强化学习的移动机器人避碰规划方4系统的感知决策问题提供了思路。近几年的深度强化学习算法的相关研究主要围绕DQN即络并将迭代式更新引入DQN从而降低目标值与当前值的相关性，提出改进版DQN即络架构和RL算法能够更好地结合在一起。Hasselt针对DQN中学习过程中近似函数尺度不续控制强化学习领域的一种重要算法，使用相同的参数解决了20多个连续控制的仿真问学习的避障算法对于连续高维复杂动态未知环境有极大优5于深度强化学习的移动机器人避碰规划方法明显优于传统方法与一般深度强化学习方法，且本文通过实验充分说明了在面对不同类型动态障碍物环境下该方法具有自适应性强的动机器人位置、目标位置以及艏向角角度信息再进行相应处理后作为A3C算法的状态具体6[0017]步骤五中所述的建立LSTM神经网络，将步骤二中所得状态作中，神经网络针对每一步的状态-动作对进行好坏评价，通过评价值不断更新网络相应参过同步机制拉送到每个局部网络中，而Actor网络负责选择动作，Critic网络则对当前状种全局未知而局部已知的情况进行多类型动态障碍物避障进行设计，与传统避障方法相[0023]4.相比静态障碍物环境下的移7[0038]图6(d)为匀加速直线动态障碍物环境下移动机器人与动态障碍物之间距离曲线向转角限制的连续动作空间，且采用4个线程并行学习训练，与一般深度强化学习方法相[0047]在考虑到障碍物为动态障碍物会给避障带来困难因此改变A3C算法的神经网络的8而实现在处理动态障碍物避障的过程。局部坐标系XmOmYm是指以移动机器人自身为坐标原息共同处理后作为算法的状态。假设移动机器人在t时刻在全局坐标系下的位置坐标为[0050]将激光测距仪获取的障碍物极坐标形式的方位信息转化为局部坐标系下的位置[0053]再将局部坐标系中障碍物坐标转换成全局坐标系下的直角坐标(xe,ye)如下式所[0060]奖励函数包含四部分，分别是对距离最近的障碍物与当前移动机器人距离的惩9与预测到的动态障碍物的移动方向的相对角度差，小车艏向偏离动态障碍物的角度差越[0064]而R2表示奖励函数对距离最近的障碍物与当前移动机器人距离的惩罚，R2＝q·[0066]当移动机器人每做出一个动作，对于R1与R2都再次进行相应=1m/s与v＝2m/s两种运动速度进行移动机器人避碰仿真实验验证，绘出不同动态障碍物[0073]整个网络框架分为全局网络与局部网络，全局网络与局部网络中都含有Actor与与normal_dist则表示生成以sigma,mu为对应参数的正态分布函数，从而按概[0079]图8表示A3C-LSTM算法在动态障碍物环境下形成的避障运动轨迹。图中浅灰色曲