CN115767581B 一种基于深度强化学习的无人机辅助智能反射表面主被动传输优化方法 （中国计量大学）

一种基于深度强化学习的无人机辅助智能本发明公开了一种基于深度强化学习的无人机(UAV)辅助智能反射表面(IRS)主被动传输UAV帮助IRS将主动信号反射到基站，同时IRS为近端UAV提供额外的信息位，并提高系统的频谱高被动信息的传输可靠性，同时IRS全反射可最优化无人机飞行轨迹、IRS对物联网(Internet特数和最小化UAV能量损耗为目标函数。本发明解决方案相比，基于IRS的广义正交反射调制方案和基于DRL优化的方法可以有效地提高UAV_21.一种基于深度强化学习的无人机(UAV)辅助智能反射表面(IRS)主被动传输优化方法，其特征在于，该方法基于UAV_IRS辅助物联网设备的上行链路通信系统实现，所述的有单根发射天线的地面物联网IoT设备、一个集成L个智能反射表面单元于一体的无人机".,"表示UAV在水平方向上的坐标，z《""表示UAV在垂直方向上的坐标；[xBS,yBS,zBS]表示基站所在坐标位置，2)设定UAV在垂直方向上可移动的高度范围：其3)根据步骤1)和步骤2)，通过距离与时间来计算4)根据步骤3)计算得到UAV在水平和垂直方向的速度后，UAV在时隙n下所需能耗表示UAV的叶片轮廓功率、悬停状态下UAV的诱导功30表示UAV在悬停时平均桨叶感应速度；5)对空地通信的信道进行建模，IoT_UAV和UAV_BS被建模为存在确定性视线分量的莱斯衰落信道；IoT_UAV链路的莱斯衰落信道模型H,ec"和UAV_BS链路的莱斯衰落信道模型H,ec""分别表示为：ĸ2分别表示两个链路的莱斯因子，和分别为IoT_UAV链路和UAV_BS链路的确定性视线路径；和分别表示IoT_UAV链路和上需要计算路径距离所带来的信道衰落，包含路径损失的IoT_UAV链路和UAV_BS链路分别和48)主动信号所映射的每一个星座符号si经过功率归一化且满足E[|si|2]＝1，i＝1,的广义正交反射模式索引从而为近端UAV传输信息；接收时假定信道状态信息是完全已知g(r,)iy,tv(12)数噪声方差；9)利用最大似然(ML)检测器对IoT的主动信号和UAV5在总时隙下，接收端所接收到的全部成功传输比特数为为综合衡量UAV_IRS输入到DQN的神经网络中，网络输出的离散动作行为A(n)，在A(n)中包含无人机分别在水表示在水平方向上的运动索引，a2(n)表示在垂直方向上的运动索引，m:为IoT的调度，为：6将U(n)中n时隙以后所涉及到的状态和动作消掉，并对当前状态S(n)采取动作A(n)的好坏2.根据权利要求1所述的基于深度强化学习的无人机辅助智能反射表面主被动传输优在选择动作A(n)时设置贪婪度为ε=0.9，学习速率lr＝0.005，经验池大小为Msizb)设置UAV的初始坐标位置为S(0)＝[0,0,Hmax]，与Env交互并随机获取有效数据存储e)通过链式法则，逐层计算出损失函数关于各78术来提供高频谱效率和高能效的解决方案。一些新的研究开始将IRS和无人机结合来改善空地通信网络和物联网共生无线电通信系统的下行链路单输入单输出通信系统，通过联合设计无人机的轨迹和调整无人机上的IRS的系统中，常常使用IRS反射元件的开/关状态来调制无人机或近端传感器设备的被动信息，以通过相位和振幅灵活地分配给主动信息和被动信息以满足主被动传输系统中不同的传9[0005]本发明针对上述现有技术中存在的问题，提出了一种基于深度强化学习(DeepReinforcementLearning，DRL)的无人机(UnmannedAerialVehicle,UAV)辅助智能反射射调制将关闭状态元件重新激活以最大化主动信号的接收信噪比，同时IRS反射模式索引与UAV集成于一体，并结合深度强化学习方法优化无人机运动轨迹以最大化UAV的能效性[0008]1)构建一个UAV_IRS辅助物联网设备的上行通信系统模型，包括一个具有Nr根接机可移动区域范围建立笛卡尔坐标系，表示在时隙n下无人[0009]2)为确保UAV在安全范围内辅助IRS通信，设定UAV在垂直方向上可移动的最大高其中tmin和tmax分别表示UAV在时隙n下持续的最小和最大时[0010]3)根据步骤1)和步骤2)可以通过距离与时间来计算出UAV在单位时间内的速度，[0015]4)根据步骤3)所描述UAV在水平和垂直方向的速度后，UAV在时隙n下所需能耗可分别表示悬停状态下UAV的叶片轮廓功率、悬停状态下UAV的诱0表示UAV在悬停时平均桨叶感应速度。[0018]5)对空地通信的信道进行建模，IoT_UAV和UAV_BS被建模为存在确定性视线分量的莱斯衰落信道；IoT_UAV链路的莱斯衰落信道模型H,ec"和UAV_BS链路的莱斯衰落信道模型H,ec"分别表示为：ĸ2分别表示两个链路的莱斯因子，和分别为IoT_和UAV_BS链路的具有瑞利分布的非Los路基础上需要计算路径距离所带来的信道衰落，包含路径损失的IoT_UAV链路和UAV_BS链路k个IoT设备与UAV之间的直接距离和UAV与BS之间的直接距离；d,"由时隙n下被调度IoT的每一个广义正交反射模式表示为：[0036]8)主动信号所映射的每一个星座符号si经过功率归一化且满足E[|si|2]＝1，i=1位比特用于IoT的主动信号选择星座符号索引，B2位比特用于被动信号选择[0048]在总时隙下，接收端所接收到的全部成功传输比特数为为综合衡量择该动作A(n)；环境Env根据UAV在当前状态S(n)执行动作A(n)后进入下一个状态S(n+1)，[0053]13)定义状态动作其中，a1为了将U(n)中n时隙以后所涉及到的状态和动作消掉，并对当前状态S(n)采取动作A(n)的训练数据D,"后，将每一条数据存入到经[0072]b)设置UAV的初始坐标位置为S(0)＝[0,0,Hmax]，与Env交互并随机获取有效数据[0073]c)对经验池中的数据进行批训练，批训练数据量的大小为Mbath＝25，Mbath<<[0084]本发明提出了一种基于深度强化学习的无人机辅助智能反射表面主被动传输优[0085]表1是按照本发明提出的基于深度强化学习的无人机辅助智能反射表面主被动传[0086]图1是按照本发明提出的基于深度强化学习的无人机辅助智能反射表面主被动传[0087]图2是按照本发明提出的基于深度强化学习优化方法与基准优化方法在无人机能[0088]图3是按照本发明提出全反射IRS索引调制与其他IRS调制方案在系统整体频谱效[0089]图4是按照本发明提出主被动调制和优化方法中主动信号和被动信号在误码率性[0091]1)构建一个UAV_IRS辅助物联网设备的上行链路通信系统，包括一个具有Nr根接[0092]2)为确保UAV在安全范围内辅助IRS通信，设定UAV在垂直方向上可移动的最大高度Hmax和最小高度Hmin，即Has"SHur在每个时隙下无人机移动的持续时间为其中tmin和tmax分别表示UAV在时隙n下持续的最小和最大时[0093]3)根据步骤1)和步骤2)可以通过距离与时间来计算出UAV在单位时间内的速度，[0098]4)根据步骤3)所描述UAV在水平和垂直方向的速度后，UAV在时隙n下所需能耗可分别表示悬停状态下UAV的叶片轮廓功率、悬停状态下UAV的诱0表示UAV在悬停时平均桨叶感应速度。[0101]5)对空地通信的信道进行建模，IoT_UAV和UAV_BS被建模为存在确定性视线分量的莱斯衰落信道；IoT_UAV链路的莱斯衰落信道模型H,ec"和UAV_BS链路的莱斯衰落信道模型H,ec""分别表示为：ĸ2分别表示两个链路的莱斯因子，和h"ec"分别为IoT_UAV链路和UAV_BS链路的确定性视线路径；和h"ec"分别表示IoT_UAV链路和UAV_BS链路的具有瑞利分布的非Los路基础上需要计算路径距离所带来的信道衰落，包含路径损失的IoT_UAV链路和UAV_BS链路k个IoT设备与UAV之间的直接距离和UAV与BS之间的直接距离。d,"由时隙n下被调度IoT的表示二项式系数，从种组合中选取前Q个广义正交反射模式用于UAV信息比特的传[0119]8)主动信号所映射的每一个星座符号si经过功率归一化且满足E[|si|2]＝1，i=IRS的广义正交反射模式索引为近端UAV传输信息。接收时假定信道状态信息是完全已知行，在总时隙下，接收端所接收到的全部成功传输比特数[0136]12)将UAV作为代理(Agent)对象，当前时隙下UAV的三维坐标位置作为状态[0137]13)定义状态s(0)-[".".:"],动作其中，a1u表示y纵坐标轴上相邻两个坐标点之间的间距。"=""+AZ,Δz＝{0,+zu,_zu}，是为了将U(n)中n时隙以后所涉及到的状态和动作消掉，并对当前状态S(n)采取动作A(n)训练数据后，将每一条数据存入到经验池Bb[0155]b)设置UAV的初始坐标位置为S(0)＝[0,0,Hmax]，与Env交互并随机获取有效数据[0156]c)对经验池中的数据进行批训练，批训练数据量的大小为Mbath＝25，Mbath<<[0165]为了证明提出的基于深度强化学习的无人机辅助智能反射表面主被动传输优化成。图2的仿真结果用于评估基于深度强化学习DQN算法与基准贪婪算法在UAV能效性能上为16个以共同组成256_APSK星座点。图3的仿真结果用于评估在基于深度