【《基于深度强化学习的机器人避障方法和实验探究案例》3900字】

III基于深度强化学习的机器人避障方法和实验探究案例目录TOC\o"1-3"\h\u21368基于深度强化学习的机器人避障方法和实验探究案例 1165541基于深度强化学习的AUV避障方法 181631.1AUV智能避障算法框架 1265581.2AUV的设计规划 445521.2.1AUV单步决策位置的计算 4144071.2.2环境状态表示 568201.2.3评价函数的设计 7263542避障仿真实验 823102.1仿真环境介绍 8108212.2AUV避障仿真 968552.2.1单障碍物环境 10195722.2.2多障碍环境 131基于深度强化学习的AUV避障方法对于传统的路径规划方式，无法穷举AUV在未知水域面临的复杂环境，并且会涉及到大量级的计算，很难做到从状态到动作的端到端快速反应决策。本文将利用深度强化学习算法，让AUV能够从己学习到的探索过程中，自发建立一套决策模型，并在以后的学习过程中，对此模型加以完善。此外，如上所述，本文要求算法具有对未知情况的泛化处理能力，并且要做到实时的端到端决策。1.1AUV智能避障算法框架图3-1双神经网络算法结构示意图本文拟采用的算法框架如图3-1所示，图中的DQN算法是一种基于Q-learning的实时在线学习方法，它可以支持智能体在未知环境的探索过程中，通过不断的试错来更新自身的知识库。图3-2展示的便是DQN算法的伪代码。DQN的训练过程可概括为以下过程：1.初始化记忆池D，并将其容量设为N。主网络的状态-动作值函数的初始化依据随机权值θ，而目标网络的参数θ'=θ。在AUV避障的设计中，状态s定义为AUV遭遇的障碍物信息与姿态信息，并将其初始状态s0。2.依据AUV所处状态输出需要执行的动作a，动作的选择以概率方式进行。动作a的选择策略采用ξ贪心策略，以生成的随机数β为参考标准。若ξ<β，则在动作空间中等可能性地选择输出动作；当ξ>β时，根据主网络在st下的预测值所对应的输出层最大Q值选择输出动作at。1.伴随at的输出，AUV会转移到下一状态st+1图3-2Q-learning算法伪代码当记忆池D中的样本数量达到预先设定的阈值θ后，训练模型开启。训练过程如下所示，于记忆池中抽取batch_size个数量的样本，来构成训练集合。将每个样本中的st+1输入到目标网络中，此网络会输出全部动作所对应的Qst+1,a值函数，在值函数集中选取a'所对应的最大值函数argmaxa'计算损失函数，并通过梯度下降法来更新网络的权值。当每次学习过程结束时，ε更新为ε+∆ε，以此增加智能体选择最优动作的概率。学习次数达到某一固定值时目标网络的权值会自动更新为值网络权值θ。1.2AUV的设计规划本文设计的是一种端到端的AUV规划系统，AUV会根据自身所在的环境状态，依靠声纳获得障碍物的贪睡，以获得马尔可夫四元级s,a,p,r。规划系统的大致框架如图3-3所示。图3-3AUV规划系统结构图1.2.1AUV单步决策位置的计算本文拟研究的是AUV的二维运动问题，即考虑的是AUV预先对环境一无所知的前提下，通过对周围环境的探索，通过端到端式地从“看到”到“行动”有反应式决策方法，从已有的训练经验中，获得最优的学习能力，以提高对未知环境的适应能力。AUV的动力学处理如图3-4所示，图3-4AUV平面运动模型AUV在此处被处理为一个质点，XR,YR是auv中心点在大地坐标系下的坐标，X−Y则是大地坐标系，AUV的航向角可以分为5个层级，分别是0，π9,πXR+1YR+1AUV会根据自学习到的策略进行状态的迁移，从而使其航向角发生变化，由式（3-1）（3-2）可以确定下一步的目标位置，从而构成了最终的规划路径。

1.2.2环境状态表示在AUV对周围环境都是未知的情况下，其状态通过相对位置信息。在全局环境未知的情况下，相对位置法基于栅格法的固定位置来表示智能体来说，其不必对每个未探索到的地图进行一次模型训练，因而此种表示方法更具有通过用性。特征提取是机器学习的一个重要领域，能够较为完善地对样本特征进行提取，而这也正是AUV能够正确决策并成功避障的关键。在本文中，AUV的环境提取特征主要包括：1.AUV自身的航向信息；2.AUV与障碍物的距离及相对位置信息；1.在大地坐标系下，AUV与目标点所呈现的夹角信息。现定义环境状态向量为sd其中AUV所携带的声纳传感器的扫描范围为其运动正前方180°的范围，声纳传感器的模型如图3-5所示，将0°表示为AUV的正前方向，剩余的7个角度则作为AUV获取障碍物信息的来源。如果侦测到障碍物，就会返回AUV与障碍物的最近距离d.在本文中，将声纳的探索的20m之内的距离定义为有效信息，并对此进行相关的距离量化处理（若0<d<1，则d=1；若1<d<2，则取d=2，可以此类推）。环境状态向量的部分参数可以用七个方向上AUV与障碍物的距离来表示。此外，AUV的环境信息还应包含AUV信息，障碍物与目标点的信息，其模型图如图3-4所示。其中dt表示的为AUV在各个方向与障碍物之间的距离，i=1,2,3,4,5,6,7;dg表示的是AUV与目标点间的距离测量值；α表示的则是AUV的航行方向与目标点方向连接所呈的夹角，ΨR图3-5智能体环境信息描述可以求出，AUV在t时刻的行进方向α=θrg−ag=fx式3-3表示的为AUV的前进方向与目标点之间夹角的量化结果，描述的是AUV自身与目标点的相对位置关系。定义0°为AUV行进方向与目标点连线方向，逆时针为正方向，相应地顺时针为负方向，其相对位置关系如图3-6所示。图3-6AUV运动方向与目标间的相对位置关系基于以上的讨论，可将AUV状态表示为向量sd1.2.3评价函数的设计评价函数设计的优劣可以影响到智能体学习的速度与质量，智能体会通过当前的评价函数来决定此后的动作输出优先级，若当前执行的动作为正向激励，则此后智能体选择此动作的概率会增大。依据本文中AUV所要执行的避障任务及AUV处于未知环境的前提，设计了一个基于避障模型的评价函数，以尽可能短且平滑的路径航行到目标点。评价函数r的参数设计如下，r=100到达目标点其参数意义如下，dmin是指声纳所探测到的AUV距离障碍物的最近距离值，ds表示的是AUV与障碍物间的安全距离值，这里定义ds2避障仿真实验2.1仿真环境介绍Gazebo作为一款免费的机器人仿真软件，能够呈现高保真度的物理模拟，并提供对用户来说非常友好的界面交互方式。Gazebo与ros通常联合使用，能够提供许多不同种类的机器人模型，为开发者创造优异的仿真环境。本文采用的仿真框架为Ubuntu16.04+Gazebo+Ros,.其避障环境如图4-1，图4-2所示。4-1AUV单障碍避障环境图4-2多障碍避障环境2.2AUV避障仿真2.2.1单障碍物环境为使问题简单化，AUV的避障仿真环境处理为100mX100m的正方形区域，在60mX60m的点位置处放置一个障碍物，来模拟AUV在未知环境下，其避障模型的可行性。AUV的初始位置为（0，0）,目标点位置（100，100）（最终误差可接受在90m≤x,y≤110m），AUV的速度恒定为1m/s，其决策步长为1s,自身携带的声纳有效感知范围为30m。实验的参数设置如下，学习率α=0.01，折扣因子γ=0.8，将探索概率初始化为0，每次的探索概率增量为0.0001，探索概率的峰值为0.9.探索率若是0，则代表当前状态下AUV会随机选择执行动作，训练后期将探索概率峰值设为0.9，意使AUV保持0.1的概率进行随机探索。训练过程中，定义记忆池容量为500，若AUV触碰到障碍物，则使其回到原点重新训练。图4-3AUV训练步数50次轨迹图图4-4AUV训练步数100次轨迹图图4-5AUV训练步数150次轨迹图图4-6AUV训练步数200次轨迹图图4-2、图4-3、图4-4、图4-5分别表示AUV在50次、100次、150次、200次的训练后，在障碍物位于（60，60）的环境中的避障轨迹。由此，可以看到在AUV训练次数为50时，AUV尚无法躲开环境中所存在的障碍物。图4-2显示，AUV在训练次数达到100时，可以做到障碍物的躲避，但转向角度过大，伴随训练步数的增加，AUV的航行轨迹逐渐平缓化，路径趋于平滑，避免了急转弯带来的高风险。可以认为，AUV在训练步数增加的情况下，己初步地完成了避障的任务。为了验证AUV在单障碍环境中所学习到的决策机制的可适用性，将其在上述环境中的建立的学习模型应用到新的单障碍环境中。如图4-7所示，依次是障碍物处于（40，40）、（50，50）、（80，80）、（90，90）的水面环境中。从中可知，AUV成功地实现了未知环境下对于单障碍物的避障考验。图4-7AUV在多个单障碍环境中的航行轨迹2.2.2多障碍环境本文选取10个障碍物来作为AUV训练的水面环境，10个障碍物分别放置在（75，75）、（30，30）、（20，45）、（50，65）、（80，60）、（60，80）、（20，15）、（70，35），（10，50）、（50，20）。AUV起始点为（0，0），目标点位置（100，100）（最终误差可接受在90m≤x,y≤110m）。如图4-8、图4-9、图4-10、图4-11所示，在训练步数达100次与200次的时候，AUV尚未能处理好多障碍物避障的决策问题。伴随训练步数的增加，AUV已逐渐地在10个障碍物中掌握避障决策的能力。图4-8A