CN118647032B 基于内在好奇心机制的多无人机通信系统优化控制方法 （东南大学）

基于内在好奇心机制的多无人机通信系统本发明公开了一种基于内在好奇心机制的通过好奇心驱动的探索找到城市环境中的照明人机集中控制策略，以最大化累积通信服务分2S4：基于强化学习框架，将优化问题转化为标在时间步长为t时，无人机的电池剩余电量表示为无人机的电池电3s本=g(s,a;p)充分利用前向模型产生的预测误差作为训练智能体策略的内在好奇的计算公式如下:所述步骤S5中，使用DDPG_ICM算法在探索密集型阶段训练网络；演开发密集型阶段被设计为在实际飞行中实施；4At2.根据权利要求1所述的基于内在好奇心机制的多无人机通信系统优化控制方法，其3.根据权利要求2所述的基于内在好奇心机制的多无人机通信系统优化控制方法，其所有无人机都有一个回程链路将它们连接到外部网络；由于无人机式中Gn=10-"ao/2d:Pt表示无人机功率谱密度，ne表示环境噪声的功率谱密度,表示Ru是每个用户所需的最小吞吐量；无人机k在时间步长t内，无人机k的能耗由三个部分组成：5行距离记为de[0,dnee],无人机水平飞行能耗Phor由以下公式计算：4.根据权利要求3所述的基于内在好奇心机制的多无人机通信系统优化控制方法，其6[0002]无人驾驶飞行器(UAV)作为未来无线通信系统的重要组成部分越来越受欢迎。带有无线电收发器的无人机可以作为移动基站代替地面基站(BSs)，为地面用户提供改进的的功率控制与传统的基于固定基础设施的网络相比，无人机支持的超密集网络表现更好。一种考虑多无人机系统以实现节能通信的覆盖模型使用K_means聚类方法对地面设备进行研究工作并没有研究能量收集在多无人机通信系统服务路径问题中所起的[0005]一个使用太阳能无人机的能源管理框架适用于蜂窝异构网络(HetNets)。该框架机可以使用收集的太阳能或充电站来补充电池的能量。由无人机支持的HetNets中的能源7有的深度确定性策略梯度(deepdeterministicpolicygradient,DDPG)技术使得在城市种基于内在好奇心机制的多无人机通信系统优化控制方法可以很好地[0014]在L×L的目标区域中，一组数量为NU的无人机群SU向一组数量为Nu的地面用户Su8个目标区域中。无人机在目标区域内以固定的高度H飞行，每架无人机都有高度定向的天机k对用户u的信噪比SINRku由以下s:表示覆盖用户u的无人机集合。[0026]无人机k的初始电池电量记为一个episode的时间片段被分割成NT个时间步无人机k的飞行距离记为d⃞e[0,dnax],无人机水平飞行能耗Phor由以下公式计算：9衡量智能体对基于成功服务的用户数量的总体用户满意度的即戏,e[0,L].在时间步长为t时，无人机的电池剩余电量表示为无人机的电池电量有无人机的运动，在时间步长t上形成动作At，以体现无人机的集体运动。移动距离de[0,dnax)和移动方向fe[0,2)构成了无人机k在时间步长t中的动作在每个时练过程中离开目标区域，则取消当前的运动。在当前状态St下执行当前动作At将导致负奖为:[0054]其中损失函数LI用于测量实际动作at与预测动作之间的差异。元组(st,st+[0057]本发明使用DDPG_ICM算法求解最优策略。ICM的目标是让智能体完全自主地探索[0058]使用DDPG_ICM算法在探索密集型阶段训练网络。演员网络U(sl")和评论家网络空间和连续动作空间的多无人机通信系统服务路径问题提供了一种有潜力的集中控制方[0070]如图所示，本发明所述的基于内在好奇心机制的多无人机通信系统优化控制方[0072]在L×L的目标区域中，一组数量为NU的无人机群SU向一组数量为Nu的地面用户Su个目标区域中。无人机在目标区域内以固定的高度H飞行，每架无人机都有高度定向的天s!表示覆盖用户u的无人机集合。[0077]Ru是每个用户所需的最小吞吐量。无人机k只在kes!及满足下式的情况下才会[0082]无人机k的初始电池电量记为一个episode的时间片段被分割成NT个时间步无人机k的飞行距离记为de[0,dnex],无人机水平飞行能耗Phor由以下公式计算：表示在时间步长t内被成功服务的用户总数。考虑衡量智能体对基于成功服务的用户数量的总体用户满意度的即戏,e[0,L].在时间步长为t时，无人机的电池剩余电量表示为无人机的电池电量练过程中离开目标区域，则取消当前的运动。在当前状态St下执行当前动作At将导致负奖要求也越来越高。除了由无人机和环境交互得到的外部奖励以外，内在好奇心模块[0101]在时间步长为t内的内部奖励用表示，好奇心探索机制在解决稀疏奖励问题上为:[0110]其中损失函数LI用于测量实际动作at与预[0113]S5：使用DDPG_ICM算法求解最优策略。ICM的目标是让智能体完全自主地探索环[0114]使用DDPG_ICM算法在探索密集型阶段训练网络。演员网络U(sl")和评论家网络M的经验回放缓冲池ε