基于机器学习的无人机智能控制研究

基于机器学习的无人机智能控制研究一研究背景与意义无人机应用场景无人机应用场景影视拍摄农业灌溉无人机送货影视拍摄农业灌溉无人机送货灯光秀空中出租车风力发电机叶片清理目前制约无人机大规模应用主要因素在于智能化不足、决策能力不足，缺乏实时自主决策能力，尤其是在通信干扰、失联等复杂环境下。一研究背景与意义2024《政府工作报告》加快发展新质生产力，积极来源：欧盟来源：英国商业、能源和来源：欧盟来源：英国商业、能源和国外低空经济政策将人机协同增强智能、群体集成智能、自主智能系统等列为人工智能发展重点。“无人机+智能”：加速融合无人机与人工智能技术的研究才能率先突破奇点，促进国家经济和国防实力的提升。一研究背景与意义11智能体2构成系统的基本单元，例如：有人/无人机、不同类型无人机等。2交互方式描述智能体与智能体，智能体与环境之间的相互作用关系，3例如：信息传输的拓扑网络关系。3行为规则描述智能体接收信息之后的反应规则，例如：导航或者控制律生成规则。生物集群系统生物系统生物集群系统微型无人机无人集群系统微型无人机11自组织2基于实时状态与环境交互及认知，形成时空逻辑自主协作。2自适应3任务执行不受环境变化以及个体状态异常影响。3自学习4根据来自环境性能反馈而修正并归纳其自身行为。4自涌现涌现出新的整体行为和系统n基于Lyapunov稳定性理论的安全策略学习方法研究强化学习强化学习在人工智能中分类强化学习的分类强化学习智能体（Agent）以“试错智能体（Agent）以“试错”的方（Environment）进行交互获得的奖励（Reward）指导行为（Action目标是使智能体获得的长期奖励最大，u无人机控制问题状态和动作空间大，实时性强；u强化学习通过与环境交互自主探索决策策略；u强化学习在线不断学习适应环境变化；u强化学习探索获得在未知或动态环境中的最优策略。 智能体决策序列二无人集群作战自主决策—强化学习中AI系统驾驶F-16以5比0AlphaGo在围棋比赛中以1比4的战绩击败人类顶AlphaGo在围棋比赛中以1比4的战绩击败人类顶201320162019DeepMind利用强化学201320162019二自主无人系统智能控制——强化学习““Sim2Real”问题能否将复杂安全控制任务进行约简，采用学习的方法结合规则知识构建性能评““Sim2Real”问题[1]HanM,ZhangL,WangJ,PanW.Actor-criticreinforcementlearningforcontrolwithstabilityguarantee.IEE[2]HanM,TianY,ZhangL,WangJ,PanW.Reinforcementlearningcontrolofconstraineddynami[3]WuC,YaoW,LuoW,PanW,SunG,XieH,WuL.Ase[4]WuC,PanW,StaaR,LiuJ,SunG,WuL稳定与安全性定理稳定与安全性定理Y10.750.50.250Y10.750.50.250Y10.750.5Y10.750.50.250XXX2XXX22-D导航任务的N-CLBF等高线图：白色曲线表示学习2-D导航任务的N-CLBF等高线图：白色曲线表示学习 Vs/Vs★●★●★★★●★●★★1.751.2510.750.50.2501.751.2510.750.50.2501.751.2510.750.50.250★★★★●1.25 -CLBF算法实现★★★★●1.25★★YYY1★★YYY0.750.50.2500.750.50.250-1-0.50.00.511.52-1-0.50.00.511.52-1-0.50.00.511.52XXX使用学习得到控制器后无人机轨迹。阴影区域对应不安 -1-0.50.00.511.52-1-0.50.00.511.52-1-0.50.00.511.52XXX使用学习得到控制器后无人机轨迹。阴影区域对应不安★LBRLRSPOSQRL10.750.50.25★LBRLRSPOSQRL10.750.50.25010.750.50.250★★★★LBRLRSPOSQRL-1-0.50.00.511.52-1-0.50.00.511.52XX控制器在ClearpathHuskyUGV跟踪任务和Crazyflie2.为0.35m和1.2m,用于四旋翼机导航任策略更新环节策略更新环节智能体…多源高维数据输入概率价值函数构建贝叶斯策略优化数据信息不确定性量化Lyapunov稳定性与安全性保证考虑不确定性的策略显式表达[6]DuD,LiuY,ZhangO,QiN,YaoW,PanW.Bayesi 无人自主系统智能控制-强化学习 无人自主系统智能控制-强化学习BQLUABQBQLUABQLθLQ=dZPZUZEQπθZID=c2Uα梯度方向LQD=c2G—cUK+σ2I-1梯度方向LQUABQL梯度不确定度UABQL梯度不确定度cLUABQ=CBQDiagramChaserSpacecraftDiagramChaserSpacecraftRealWorldValueTheprobabilitydistributionofthestateattimei.YR-barV-barThedockingzonecXcsYRealWorldValueTheprobabilitydistributionofthestateattimei.YR-barV-barThedockingzonecXcsYInitialstates0XThedockingzone >H-barTargetSpacecraftTargetMotionTargetMotioncapturecameraschaser贝叶斯策略优化方法，考虑数据信息不确定性贝叶斯策略优化方法，考虑数据信息不确定性，解决复杂机器人控制问题中建模不准确和数据噪声问题，进而提高策略的泛化性和鲁棒性。n空中机械臂模块化在线自适应控制n基于扩散模型的无人机动力学辨识基于数据驱动的系统辨识技术 MpqMMT质量矩阵pp模块分解动力学模型不确定项MppPMpq+CpX.+gp+dp=τpMqqqMqP+CqX.+gq+dq=τqMMdppPpddp=Mppq=Mqqp位置与速度控制!!!M1.位置2.姿态3.机械臂MpαMdpdqpgpgqCpCqppMTpqMTqqM 控制输入扰动重力向量科氏矩阵姿态与速率控制控制分配矩阵PpPqPp模块化在线Pα机械臂控制三无人机系统辨识与动力学模型学习如何对无人机动力学的模型不确定性进行准确刻画，进而提高神经网络的泛化性三无人机系统辨识与动力学模型学习边缘测推理：qT00三无人机系统辨识与动力学模型学习控制器不确定性去噪声模型传感器数据控制输入三无人机系统辨识与动力学模型学习系统动力学:系统动力学:后验方差：kpost=kprior一kprior.K一1k 在线计算挑战：Gram核矩阵求逆的计算复杂度oN3三无人机系统辨识与动力学模型学习K一1(Y—μprior)Y—μprior=KvIK一1(Y—μprior)Y—μprior=KvI =μprior+kpriorviki=k—kpriorK一1krior+kpriorΣikrior计算不确定性数据不确定性计算不确定性三无人机系统辨识与动力学模型学习约束：u2JetsonOrinNX端测计算平台约束：u2JetsonOrinNX端测计算平台compx,u+.σmathx,u<0动力学模型期望计算不确定性数据不确定性最小化：推力使用100%计算资源使用50%计算资源使用20%计算资源n基于多智能体合作理论的无人机围捕n超大规模分布式学习预测控制四无人机集群分布式协同控制雪橇犬固定编队行动无人机集群固定编队飞行鸟群时变编队飞行鸟群时变编队飞行狼群编队协同围捕无人机集群协同围捕无人机集群时变编队飞行分布式集群协同控制技术四无人机集群分布式协同控制如何解决预协作团队合作方法在应对未知队友加入时合作失效的问题，即Zero-shotCoordina即Zero-shotCoordina四无人机集群分布式协同控制零样本多无人机协同围捕的目标：如何训练单一无人机智能体学习者（learner）与未知物理实验环境：3.6米×5米的矩形场地；四无人机集群分布式协同控制偏好图形式博弈（PreferenceGraphic-formGame）偏好中心性：基于偏好图的合作不兼偏好图形式博弈（PreferenceGraphic-formGame）偏好中心性：基于偏好图的合作不兼中di是图中心性度量指标，norm是归一化函数。某个节点偏好中心性越高，其合作不兼容问题越严重。G,=N,E,,wE,：G中权重最大的边（偏好边）G=N,E,wN：节点（策略）E：边（交互关系）w：边权重（收益）段（黑色部分）更新的智能体偏好中心性高，存在[10]LiY,ZhangS,SunJ,DuY,WenY,WangX,PanW.Cooperativeopen-endedlearningframe四无人机集群分布式协同控制实验结果实验结果收益矩阵仿真器补全求解补全求解求解器求解器种群合作不兼容分布种群合作不兼容分布训练器近似最优偏好智能体近似最优偏好智能体训练训练收敛性证明：收敛到收敛性证明：收敛到（局部）最优智能体，采用入度作为度量指标时收敛速度为Q-次线性收敛。[10]LiY,ZhangS,SunJ,DuY,WenY,WangX,PanW.Cooperativeopen-endedlearningframe[11]LiY,ZhangS,SunJ,ZhangW,DuY,WenY,WangX,PanW.Tacklingcooperativeincompatibilityforzero-shothuman-aicoordination.JournalofArtificialInt四无人机集群分布式协同控制为了解决零样本多无人机协作围捕问题，我们进一步将基于图基于超图的合作开放式学习算法基于超图的合作开放式学习算法G=e1,w1=16G=e1,w1=16/\e4,w4=10o2o"oo4e2,w2=25\Pe3,w3=20w：边权重预训练阶段k:预训练阶段下代目标下代目标开放式学习阶段N,E,N,E,,w,kE,：G中权重最大的超边（偏好超边）η2=1η4=0η3=1η3=1[12]LiY,ZhangD,ChenJ,WenY,ZhangQ,MouS,PanW.HOL四无人机集群分布式协同控制）：仿真实验结果对比：任务成功率（第一列，数值越高越好）、冲突率（第四无人机集群分布式协同控制基于学习的分布式模型预测控制框架如何结合强化学习与模型预测控制的优势，进而提升多智能体系统的可扩展性和基于学习的分布式模型预测控制框架通信拓扑分布式学习预测控制算法控制策略ii+1增量训练分布式训练. 通信拓扑分布式学习预测控制算法控制策略ii+1增量训练分布式训练. 2(qr-qi))分布式部署误差信号eNi()eNi()分布式学习预测控制：通过策传统非线性分布式模型预测控制：WORHP分布式模型预测控制[13]ZhangX,PengY,PanW,XuX,XieHBarrierfunction-basedsafereinfor[13]ZhangX,PengY,PanW,XuX,XieHBarrierfunction-basedsafereinfor