无人机集群技术-智能组网与协同 课件 第6章 无人机集群航迹规划

国家级虚拟仿真实验教学一流本科课程《无人机集群技术》第六章

无人机集群航迹规划技术目录6.1集群航迹规划概述6.2无人机集群编队设计与控制方法6.3基于虚拟势场法的协同避障算法6.4基于Dubins路径的航迹规划算法6.5无人机集群威胁区域躲避协同控制算法6.6基于深度强化学习的协同航迹规划6.7本章小结6.1集群航迹规划概述航迹规划的约束条件4飞机性能13地理环境障碍油耗、时间要求2动静态威胁无人机的航迹规划一般可以描述为以下需要解决的问题：已知：起点；一组要服从的限制条件，如机动能力、续航能力等；一组需要执行任务的目标区域；一组威胁或障碍区域；终点。要求：寻找一条穿过目标区域的可飞路径，而且在某种性能指标函数的度量下是最优的，即付出的代价最小。6.14航迹规划关键技术编队队形设计编队控制信息交换传递技术近距离编队时飞机之间的气动影响实现无人机集群编队飞行需要解决的关键问题：6.15航迹规划算法的分类现代智能算法：人工势场法启发式寻优搜索算法遗传算法人工神经网络算法蚁群算法粒子群算法基于案例的学习算法12传统经典算法：统计归纳法最优控制法单元格法Dijkstra算法动态规划法导数相关法6.16航迹规划算法的分类人工势场法：将无人机在周围环境中的运动，设计成一种抽象的人造引力场中的运动，目标点对移动无人机产生引力，威胁和障碍对移动无人机产生斥力，无人机则在两者综合生成的势场中飞行。A*算法：A*算法是比较流行的启发式搜索算法之一，被广泛应用于路径优化领域，该算法采用启发式搜索和最短路径的搜索相结合的方法。从起始节点开始，A*算法不断寻找最佳节点使得成本最低，并优先扩展这些节点，使目标函数值变小，从而形成一组节点集，这些点的有序连接就是优化的路径。遗传算法：遗传算法模拟达尔文“物竞天择，适者生存”的进化法则，提供了一种求解复杂优化问题的通用框架，是效仿自然进化过程中搜索最优结果的方法。现代智能算法6.17航迹规划算法的分类人工神经网络算法：人类的大脑由数量众多的神经元构成，这些神经元细胞相互之间紧密连接，提出了模拟大脑神经元工作的人工神经网络算法。蚁群算法：受到蚁群在环境中寻找食物与巢穴之间最有效路径的行为启发而产生的航迹规划算法。粒子群算法：将无人机在周围环境中的运动，设计成一种抽象的人造引力场中的运动，目标点对移动无人机产生引力，威胁和障碍对移动无人机产生斥力，无人机则在两者综合生成的势场中飞行。基于案例的算法：基于案例的学习方法是一种增量式的学习过程，它具有类比学习的功能，该方法通过建立案例库的方式来存储之前的规划案例，是一组大同小异的学习策略。6.186.2无人机集群编队设计与控制方法无人机坐标系定义与变换

空间大地坐标系地球中心坐标系载体坐标系NED坐标系无人机在完成飞行工作时，需要依赖于精确的位置坐标，用于各种用途，包括导航、运动规划和控制以及任务完成。无人机对于运动的描述主要基于参考系的位置以及速度方向，各个坐标系之间能够相互转换。6.210无人机编队队形的保持与变换常见的编队队形：6.211无人机集群的特点与需求21无人机之间的防碰撞队列中的无人机需要将其它无人机视为附加的移动障碍物，并采取适当的避障行为多无人机间的协作编队控制算法应避免队列中有一架或多架无人机落后而导致整体等待或完全停止的情况3避免死锁情况无人机的飞行应加以控制，以避免出现一架或多架无人机对其它无人机路径造成阻塞的情况编队控制策略的约束条件：6.212无人机编队控制方式13跟随领航者法基于行为的方法2虚拟结构法4图论法5一致性法无人机的编队控制目标包括编队一致性和编队模式。根据模式的不同需求，无人机编队控制方法分为刚性编队模式和柔性编队模式。6.213无人机编队控制方式将某一无人机视为能够完全获取整体导航信息的群体领航者，并作为群体中的参考无人机。集中式设计简单集群的抗摧毁性比较低跟随领航者法分布式集群的抗摧毁性显著提升算法设计难6.214无人机编队控制方式无人机之间保持成刚性架构，其整体行为就像嵌入在刚性结构中的粒子一样，能够实现高精度的运动，不需要领导者的选择，并且可以灵活的保持固有的各种几何形状。虚拟结构法6.215无人机编队控制方式基于行为的方法：通过采用混合矢量加权控制函数来解决编队控制问题，能够根据不同编队任务生成不同的控制命令。图论法：利用拓扑图上的顶点来描述单个无人机，两点之间的边用来表述无人机间的关联约束拓扑关系，将控制理论引入图中。一致性法：智能体利用与之通信的邻居智能体的状态信息更新自身的状态，并最终使所有智能体状态达到一致。6.2166.3基于虚拟势场法的协同避障算法虚拟势场法基本原理人工势场法（ArtificialPotentialField，APF）又称为虚拟势场法，其基本思想是把智能体所在的环境进行抽象化，成为一个虚拟的势场，智能体受到势场中力的作用而移动。6.318虚拟力13导航力避障力2拓扑力在原有引力、斥力的基础上，将单个无人机受到虚拟力分为导航力、拓扑力和避障力三个部分，三种力相叠加则为该无人机最终受到的合力，合力方向即为无人机的运动方向。6.319虚拟力导航力在整个无人机飞行的过程中，集群运动的终点或者路径规划中某个临时的目标点对无人机产生的导航力是始终驱使无人机向目的地运动最主要的控制力。6.320虚拟力理此时导航力公式为：

其中kGuidance为导航力增益系数。

由公式可以看出，导航力和导航力增益系数与起始位置的欧式距离有关。6.321虚拟力拓扑力无人机集群由大量无人机节点组成，两架在一定范围内的无人机会产生相互作用力。拓扑力一方面维持无人机集群的拓扑结构，另一方面也可以有效地避免无人机之间因距离过近而导致碰撞事故的发生，对无人机的集群避障有着重要的影响。6.322虚拟力避障力在真实的任务场景下，无人机集群在飞行途中经常会遇到如山峰、建筑等障碍物。同时，无人机集群在执行军事任务时，需要有效地避开敌方设置的电磁干扰区域。此时，避障力的存在就可以很大程度上提高无人机的生存能力，减少经济损失。避障力是以斥力的形式作用于无人机上。6.323虚拟力01虚拟力合力将导航力、拓扑力和避障力三种力进行矢量相加，则可以计算出无人机在虚拟势场中P位置时最终受到的虚拟力合力虚拟力作为一种虚构的概念，其力的大小无法被直观的感受，却与各节点之间的距离息息相关使用反正切函数arctan()进行归一化操作，将无人机所受的虚拟力大小映射到对应的速度大小上6.324虚拟力满足虚拟力到速度的映射的原因：反正切函数是单调增函数，速度随着F的增大而变大，符合实际情况当虚拟力的大小为0时，其映射的速度大小也为0，符合实际情况当虚拟力较大时，速度对虚拟力大小的增加敏感度较低，可以避免无人机速度过快无法调控6.325虚拟势场法的局部最小点问题当智能个体的运动环境中存在着形状较为复杂的障碍物，或者障碍物距离目的地很近时，虚拟势场中可能会出现局部最小点，出现“目标不可达”或“来回震荡”的现象。6.326基于虚拟势场法无人机集群协同避障无领航者模式领航者-跟随者模式集群中所有的无人机知晓集群的运动路径每一个无人机所受的导航力均来自终点或下一个目的点每个人无人机之间的运动相对独立在一些军事任务中，为了避免信息泄露，无人机集群的运动信息并不会告知所有无人机节点由于战场局势的变化，无人机的运动路径需要实时地发生变化。如果此时使用无领航者模式，将更新的运动信息告知每一个无人机节点开销较大。在这种情况下，通常会把更新的运动信息告知其中某个无人机。6.327基于虚拟势场法无人机集群协同避障在领航者-跟随者模式下存在的问题？当无人机集群数量较大时，受到通信范围的限制，将所有跟随者直接与领航者对接显然是不切实际的，所以此时需要一种新的方法来解决运动信息不足的问题。6.328基于虚拟势场法无人机集群协同避障集群分级制度按照跟随者到领航者距离的远近，把跟随者划分成不同的层级领航者仍然受到来自下一个目的点的导航力、周围节点的拓扑力以及避障力的影响此时跟随者会失去导航力的作用，仅受到低层级节点的吸引力、周围节点的排斥力以及避障力的作用6.329虚拟势场法的避障性能基于虚拟势场法对无人机集群避障算法进行仿真验证无人机集群初始位置障碍物目的地6.330虚拟势场法的避障性能基于虚拟势场法对无人机集群避障算法进行仿真验证导航力作用到达目的地避障力作用改变队形拓扑结构变化运动轨迹6.331虚拟势场法的避障性能在分配导航力权重βG、拓扑力权重βT、避障力权重βO时，需要对这三个参数进行合理的设置。如果三个系数设置不够合理，则会出现无人机撞毁的情况。6.3326.4基于Dubins路径的航迹规划算法Dubins曲线Dubins路径是在满足转弯半径和设定的起始点和目标点的速度方向的限制下，连接两个二维平面（即X-Y平面）的最短路径6.434路径扩展点的选择MFDA算法将直线航迹与威胁区域圆的切点作为下一步扩展节点LSRRLS将节点pn1和节点pn2均加入进OPEN表中通过评估函数分别计算两个节点的代价值并进行比较，选择出代价值最小的节点作为下一步的路径扩展节点同时将此节点添加到CLOSE表中，循环计算，规划无人机飞行航迹6.435路径扩展点的代价计算与选取

MFDA算法同时考虑路径代价和威胁代价对无人机轨迹的影响，估价函数建立如下

其中，g(n)=w1·Distance+w2·Hazard，w1表示距离代价的影响因子，w2表示威胁代价的影响因子，w1+w2=1。Distance距离由两端弧长和一段直线长度构成，如图所示，分别计算LSR和RLS两种类型的Dubins路径距离。LSRRLS6.436MFDA算法路径规划流程①首先将起始点当作当前路径扩展点，生成到目标点的路径。②通过MFDA算法估价函数计算并选出代价值最小的点作为下一步的路径扩展点，将此路径扩展点加入到CLOSE表中。③将步骤②中选取的路径扩展点作为当前的位置，然后重新执行步骤①的操作。之后重复上述过程，不断产生新的路径扩展点，直到到达目的点，构建出完整路径。6.4376.5无人机集群威胁区域躲避协同控制算法单集群编队避障控制“虚拟中心点”是以Dubins曲线为核心的路径扩展点。在无人机集群飞行过程中，采用“跟随领航者”模式，将虚拟中心点看做领航者，使用MFDA算法进行突发威胁区域航迹规划，在此基础上建立的路径扩展点作为领航者下一步的位置点，并在每一个路径扩展点上建立以虚拟中心点即领航者为圆心，半径为Rvir的圆形，虚拟集群参考点在圆上均匀分布。虚拟集群参考点6.539单集群编队避障控制人工势场函数的设计将无人机看作是一个质点，障碍物看作是圆形区域根据无人机当前位置的势能来决定飞行的方向和速度人工势场法遵循“近距排斥，远距吸引”的原则无人机在各种力的合力下运动时会逐渐达到平衡态此时每个无人机会占据“圆环形”集群编队队形上的一个虚拟集群控制点，在此位置所建立的势场最小6.540单集群编队避障控制单集群编队控制算法流程每一个无人机选择在虚拟集群中心点为圆心上均匀分布的虚拟集群控制点设计合适的势场函数使得真实无人机受到虚拟集群控制点的引力最终在合力的作用下形成固定的队形利用虚拟控制网络中虚拟集群控制点的引力使无人机集群保持稳定的队形6.541多集群编队避障控制k-means分簇算法k-means算法是一种无监督的分簇算法，通过聚类计算来处理无类标数据。在进行分簇之前，k-means算法开始并不知道数据的正确分簇结果，根据算法发掘数据自身的信息特点，然后对多个数据进行分簇。①算法运行开始设置分簇个数k；②从所有样本集合中随机选取k个样本作为k个初始簇的簇中心；③将集群中的每个样本点根据距离划分到距离它最近的簇中心所代表的簇中；④使用每个簇中的所有样本点重新计算每个簇的簇中心点；⑤重复步骤③和步骤④，直到簇中心不再出现改变或者达到仿真设置的计算次数，或者在设定的容错范围内。6.542多集群编队避障控制编队间防碰撞算法两架无人机飞行轨迹示意图飞行远离飞行远离飞行靠近6.543多集群编队避障控制编队间防碰撞算法同一威胁区域发生碰撞不同威胁区域发生碰撞选择新的路径扩展点6.544多集群编队避障控制集群编队控制算法流程对无人机集群进行分簇处理，根据MFDA算法进行路径规划各个无人机分簇之间通过速度矢量共享的方式判断是否会发生碰撞，如果发生碰撞则通过MFDA算法重新选择路径扩展点，否则集群中无人机选择相应的虚拟集群控制点无人机集群在合力的作用下向虚拟集群控制点方向飞行如果每个无人机集群都到达了设定的目标点附近则仿真结束，否则每个集群虚拟中心继续根据MFDA算法进行路径规划，重新按照上述步骤进行算法运行6.5456.6基于深度强化学习的协同航迹规划系统模型假设任务区域其中有N个无人机、M个障碍物和一个目标每架无人机都配备有GPS定位设备，并能识别自己的位置无人机之间可以通过无线收发器通信，以交换位置和速度等信息无人机最初位于起始点随机分布并打算沿着实时规划轨迹移动到目标点障碍物在任务区域中随机分布无人机通过传感器确定障碍物的位置为了满足强化学习的要求，采用离散时间尺度6.647系统模型无人机集群系统的航迹规划行程应尽可能小要求无人机能够自主避开障碍物及其邻居节点两个无人机之间的距离必须小于最大通信距离无人机集群协同航迹规划的主要目标：6.648马尔可夫决策过程

马尔可夫决策过程必须满足马尔可夫性过程的下一个状态仅取决于过程的当前状态和决策者选择的动作6.649马尔可夫决策过程式中，γ∈[0,1)表示折扣因子。通常，我们表示在策略π下，在s状态采取行动的价值（即预期回报）作为行动价值函数强化学习的目标是学习一个策略π，以使累计折扣报酬最大化6.650马尔可夫决策过程其中α是学习率，r+γmaxQπ(s′,a′)称为TD目标，r+γmaxQπ(s′,a′)‒Qπ(s,a)称为TD误差。动作值函数在每个时间步更新一次，直到收敛。利用收敛的动作值函数并根据贝尔曼最优性原则即可确定最优策略。时间差分（temporaldifference,TD）法，其中动作值函数的更新规则为根据贝尔曼的最优性原则，最优策略等价于最大化动作值函数6.651状态和动作空间设计目标状态信息障碍物状态信息邻居信息为了使无人机的飞行轨迹更加平滑，模型采用连续动作空间无人机i在时间步t的观测信息si,t由三部分组成6.652奖励函数设计奖励信号将加强智能体的行动一个好的奖励函数可以缩短算法的收敛时间尽快到达目标点不与障碍物和邻居节点发生碰撞与邻居节点保持适当的距离

无人机集群系统的航迹规划的主要目的：6.653奖励函数设计奖励函数定义接近目标奖励：该奖励用于指导无人机朝着目标方向飞行。其基本思想是，在每一个步中，朝向目标方