CN116405942B 基于动态联盟博弈的物理层安全无线传输中三方设备智能决策方法 （南京航空航天大学）

RuoyangChen.ADRL-BasedHieraGameforPhysicalLa基于动态联盟博弈的物理层安全无线传输本发明公开了一种基于动态联盟博弈的物于考虑物理层安全的无线传输环境中存在的窃与对抗关系采用多阶段序贯博弈和动态联盟博弈来建模，以为达成三者各自的效用最大为目联盟博弈的联盟形成算法来完成三方设备的结2法和基于深度强化学习的智能决策算法来实现三方设备的表示三方设备在动态联盟博弈中所有可能产生的联盟。2.根据权利要求1所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决Ux(t),u(t)和u,(t),包含系统运行过程中各方的收益和损耗；其优化问题表示为：3(5)设计基于联盟切换准则的联盟形成算法求解各个时间片中动态联盟博弈gf的均衡(6)设计基于深度强化学习的智能决策算法来求解多阶段序贯博弈s"在整个系统运行3.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决功率分配采用l级离散分配，表示为p(t)e同时干扰机也采4.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决45.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决合法用户在时间片t中的效用函数ux(t)表示为：干扰机在时间片t中的效用函数ug(t)表示为：56.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决听设备按照优化目标[EP]决策和μE(t)，其次是合法用户按照优化目标决策L(t)，最后是干扰机按照优化目标ml决策fo,g"的三个阶段在每个时7.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决8.根据权利要求2所述的基于动态联盟博弈的物理层安全无线传输中三方设备智能决强化学习过程的状态空间综合考虑了网络拓扑、瞬6[0002]近年来，物理层安全(PhysicalLayerSecurity[0003]虽然PLS在不同方面得到了广泛的关注，但大多数现有的发明研究都没有充分探着三方设备中的任何两方都可能暂时形成联盟并动态调整，即随着时间的推移合并或分7率分配采用l级离散分配，表示为同时干扰机也采用l[0010](1)在每个时间片中，计算三方设备的相关物理量，包括合法用户的上传速率和保密传输速率窃听设备的窃听速率Re(t),上传速率的计算方法[0013]其中，表示基站m处的加性高斯白噪声(AdditiveGaussianWhiteNoise,nm8[0019](2)基于各方设备各自的物理量分别构造三方设备在各个时间片的效用函数Ux(t),ux(t)和ug(t),包含系统运行过程中各方的收益和损耗；[0032]干扰机在时间片t中的效用函数ug(t)表示为：间片内更换盟友，则干扰机为通知联盟变更而建立的额外连接所引起的潜在配置成本，9[0036](3)分别建立三方设备的策略集，生成三方设备各自的长期平均效用最大化优化[0038]式中，"(t)表示窃听设备在各时间片的激活选择，μE(t)表示窃听设备在各时间μL(t)表示合法用户在各时间片的单位激励量。对于干扰机，其策略集表示为[0044](4)构建多阶段序贯博弈来建模三方设备的策略性交互，多阶段序贯博弈表达式设备按照优化目标[EP]决策和μE(t)，其次是合法用户按照优化目标[CP]决策L(t)，最后是干扰机按照优化目标unl决策(e).g"的三个阶段在每个时表示三方设备在动态联盟博弈中所有可能产生的联盟。sf是[0049](5)设计基于联盟切换准则的联盟形成算法求解各个时间片中动态联盟博弈gf的定的联盟划分CP"(t):该联盟形成算法是分布式运行，即同一时间片内各方独立地计算自且ciui)ifcs)i,运行时间0≤t≤T中的全局均衡解，实现三方设备除了结盟选择以外的决策变量(即算法是基于近端策略优化算法(ProximalPolicyOptimization,PPO)和演员_评论家框架nkjm和习的三方设备智能决策方法，该方法可以在动态演化的多个时间片中产生PLS中各方的最[0062]图4是基于强化学习的智能决策方法训与现有方法在三方设备累计效用上的对比[0065]本发明的主要思想是首先提出了一种包含动态三边联盟的多阶段序贯博弈框架M={1,2,…,M}。每个合法用户为其上行传输占用一个正交信道，上行信道的集合亦表示[0071]其中，表示基站m处的加性高斯白噪声(AdditiveGaussianWhiteNoise,nm信道增益，和分别为合法用户n和干扰机j采用的l级离散功率分配，表示为类似地，在时间片t中合法用户n到窃听设备k的SINR为：[0076]相应地，在在时间片t中，窃听设备k在信道neN上的窃听速率可以表示[0078]根据PLS中保密传输速率的定义，保密传输速率是指合法用户能够安全传输到其支付)在三方的效用中都起着重要的作用，因此对于三方设备的效用函数的构造综合考虑[0084](2)吸引干扰机合作的单位激励量，记为re(t)e[0,"],其中为窃听设备听设备性能增益的乘积。这种性能增益可以表示为窃听设备在干扰机帮助下的成功拦截[0095](2)目标基站选择a(),vneN,vmeM,其中或0表示合法用户n是[0106]对于干扰机而言，给定μE(t)和μL(t)，在每个时间片t中决定(1)干扰功率分配盟博弈来将求解三方设备的联盟选择问题转化为求解稳定联衡解。方法得到各个时间片内三方设备的稳定联盟划∈G更愿意加入一个可能的联盟caeAU(0),而不是另一个联盟的条件可以uf"()>uf"(),vcnc,eAut0)ca*Gn其中，符号表示博弈方i在时间片t中对联盟的偏好顺序，uf"tc和uf"co分别表示博弈方i加入联盟[0123]viec,viec,VC.,cneA,C*ci,a)i,vieca,vcaeA,(DistributedCoalitionSelectionandCoalitionFormation,DCSCF)方法，用于在每先计算自己的效用，然后根据联盟切换准则决定是否离开当前联盟，加入另一个存在于则动态且独立地选择其最优联盟加入。中的决策仅依赖于前一个时间片的决策和因此产生的系统状态，(例如前一个时隙中的联夫决策过程(MarkovDecisionProcesses,MDP)来描述合法用户、窃听设备和干扰机的策{CP(t),S(t),A-1(t)},其中CP(t)是当前联盟划分，表示所有sf={NT(t),cp(t)Jvr.邻接矩阵NT(t)定义为：[0137](2)动作空间Ai:对Ri:对于在时间片t中的三方设备x,N和J,他们实时的奖励值分别表Optimization,PPO)和演员_评论家框架(Actor_Critic,AC)的深度强化学习算法来求解这的状态价值v,(s)~v'(s),其中真正的状态价值v'(s)=γt为折扣生成窃听设备的决策变量"(t)和μE(t)$；用N个智能体来生成合法用户的决a来生成干扰机的决策所有智能体的集合记为AGT,并且，每个智能体具有自己的AC框迭代地应用所提出的DCSCF方法，以形成稳定联盟划分CP"(i),并计算他们的奖励r,,veeAGT.然后，经验回放池存储前一个状态动作a;,后续状态和每个智能体e的奖励其中po(afIS)是e的演员网络[0147]图3说明了本发明所提出的深度强化学习方法结构的概述，包括所有智能体的交每个智能体内部的详细AC框架以及环境和网络参数的更新过程(即演员网络的θ和评论家l=[0.1,0.9],cx=[0.1,0.5],cone=[0.1,0.6],RAin=4bps/HZ,⃞=10和此外,信道增益的不确定性被设置为3种