CN114095940B 混合接入认知无线网络切片资源分配方法及设备 （北京邮电大学）

混合接入认知无线网络切片资源分配方法本发明提供了一种混合接入认知无线网络状态输入至混合接入认知无线网络场景的图卷积神经网络模型以对邻居认知用户计算注意头部并在连接所有注意头部后经由卷积层输出智体为混合接入认知无线网络中的认知用户分配网络切片资源。通过上述方案提高频谱使用效2针对混合接入认知无线网络中的每个认知用户构建一个智能体对应于当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息和不需要确定智能体的状态，并将确定的智能体的状态输入至混合在连接所有注意头部后经由神经网络模型中的卷积层输出智能根据智能体的动作相关信息得到智能体的认知用户的传输功率预测结果和占用信道动作是否满足为超高可靠低时延通信切片用户时的通信时延要求和为增强型移动宽带切数是基于干扰功率与信道带宽的比值确定的关于传输利用训练后的神经网络模型和智能体为混合接入认知无线网络中的认知用户分配网其中，利用奖励函数的值对智能体的当前动作进行奖惩，以确定智能体的状态，并将确定的智能体的状态输入至混合在连接所有注意头部后依次经由神经网络模型中的非线性激活函数和卷积层后输出智能3表示智能体i的认知用户对应的神经元的输出，hj表示邻居认知用户j对应的神经元的输mhj)T表示Wmhj的转置矩阵；X+i表示智能体i的认知用户及其邻居认知用户构成的集合，j∈X+i表示集合X+i中的认知用表示所有邻居认知用户的注意头部的集合M当前状态的权重分布(S,0)和下一状态的权重分布的KL散度值，和表示智能体在卷积层k的注意头部m的注意权重分布。i表示对智能体i的当前动作的奖励函数值，f(pf"*,B")表示干扰温度阈值约束4知用户n的关联系数，g,"表示认知用户n与认知基站a的信道增益，p"表示认知用户n与认知用户n9与认知基站a且选择信道k时的传输功率，m∈PU表示主用户集合PU中的主用户m，型移动宽带切片用户的认知用户集合CUeMBB中的n∈CUURLLC表示为超高可靠低时延通信切片用户的认知用户集合CUURLL8.一种电子设备，包括存储器、处理器及存储56各种无线传感器)的使用迅速增加，这促进了第五代无线通信(5thgenerationmobile场景的信息提取能力强于普通的卷积神经网络。将图卷积神经网络与强化学习算法结合，7[0007]有鉴于此，本发明提供了一种混合接入认知无线网络切状态对应于当前认知用户与混合接入认知无线网络中其他认知用户需要交互的信息和不部并在连接所有注意头部后经由神经网络模型中的卷积层输出智[0012]根据智能体的动作相关信息得到智能体的认知用户的传输功率预测结果和占用当前动作是否满足为超高可靠低时延通信切片用户时的通信时延要求和为增强型移动宽带切片用户时的传输速率要求以及根据干扰温度阈值约束函数的值是否满足干扰温度阈约束函数是基于干扰功率与信道带宽的比值确定的关于传输功率[0014]利用训练后的神经网络模型和智能体为混合接入认知无线网络中的认知用户分[0016]当前认知用户与混合接入认知无线网络中其他认知知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体8部并在连接所有注意头部后依次经由神经网络模型中的非线性激活函数和卷积层后输出[0019]在一些实施例中，针对智能体的状态中每个邻居认知用户计算的注意头部表示m∈M表示所有邻居认知用户的注意头部的集合M中的注意[0026]利用奖励函数的值计算损失函数的值，并将损失函数的连接结果对应的注意权重分布与目标注意权重分数据池中抽出的一批数据的数量)，rb表示第b次的mini-batch(第b次抽取数据)中奖励函失的系数，M表示注意头部的个数，表示当前状态的权重分布和下一状态的权重分布ts,:0)的KL散度值，ts,:0)和:(s;0)表示智能体在卷9p"表示对智能体i的认知用户与认知基站a相连且选择信道k时的传输功率，表示示认知用户n9与认知基站a且选择信道k时的传输功率，m∈PU表示主用户集合PU中的主用联系数，表示认知用户n与认知基站a的信道增益，p"表示认知用户n与认知基站a且选增强型移动宽带切片用户的认知用户集合CUeMB接入认知无线网络切片场景的多智能体强化学习方法。通过基于干扰和效率设计奖励函[0051]图1是本发明一实施例的混合接入认知无线网络切片资源分配方法的流程示意[0052]图2是本发明一实施例的混合接入模式认知无线网络切片资源分配模型的结构示知网络切片资源分配场景的多智能体强化学习，结合图卷积神经网络和传统DQN算法解决[0057]图1是本发明一实施例的混合接入认知无线网络切片资源分配方法的流程示意智能体的状态对应于当前认知用户与混合接入认知无线网络中其他认知用户需要交互的计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体的动作智能体的当前动作是否满足为超高可靠低时延通信切片用户时的通信时延要求和为增强度阈值约束函数是基于干扰功率与信道带宽的比值确定的关于传输功率互的状态信息，o;具体可表示为中各符号依次表示认知用户的传就是需要交互的状态信息。m;表示智能体不需要进行交互的状态信息，m;具体可表示为m}1*m表示尺寸为1*m的认知用户的信干噪比矩阵，表示尺寸为k*m的主用户与信道的二进制关联系数矩阵。主用户SINR和信道占用情况可以是不知用户计算注意头部并在连接所有注意头部后经由神经网络模型中的卷积层输出智能体中每个邻居认知用户计算注意头部并在连接所有注意头部后依次经由神经网络模型中的入层(用于输入特征值，即智能体的状态)、多层感知机层(MLP层)/Relu非线性激活函数可以用于衡量当前所有注意头部的连接结果对应的注意权重分布(注意头部连接时所用的权重的分布)与目标注意权重分布的差异。通过损失函数中的KL梯度正则化项可以优化注时延要求、传输速率要求及干扰温度阈值要求也可以计算建立函数并对神经网络进行更正则化可以稳定智能体之间的合作竞争关系。态s和神经网络参数为θ时的Q值，λ表示正则化损失的系数，M表示注意头部的个数，表示当前状态的权重分布t,0和下一状态的权重分布,:0):和表示智能体在卷积层k的注意头部m的注意权重分布。[0080]上述步骤S130中，认知用户需要在主用户可以接受的干示认知用户n9与认知基站a且选择信道k时的传输功率，m∈PU表示主用户集合PU中的主用增强型移动宽带切片用户的认知用户集合CUeMB[0098]上述实施例中，使用M/M/1排队模型(使用排队理论计算用户计算时延)加入用户的传输时延约束。通过概率公式对通信时延进行约移动宽带eMBB切片用户(有最低通信速率需求)和超高可靠低时延通信URLLC切片用户(有加网络overlay或底层网络underlay接入模式与主用户进行频谱共享。频谱资源被分为设切片用户的通信需求。定义了干扰温度，可以基于干扰功率与信道带宽的比值得到。信时延需求。在保证主用户的正常通信的基础上，次用户根据接入信道的状态选择采用[0107]再参见图2认知无线电网络场景中有1个主基站PBS和A个(例如三个)认知基站频谱。当认知用户CU接入的信道不存在主用户PU时，认知用户CU采用overlay模式接入频[0108]认知基站集合记为CBS＝{1,2,...,A}，与eMBB切片[0109]认知用户n的传输功率记为p*,与认知基站a的信道增益为9",与主基站的信道d表示到达速率所遵循的泊松分布的参数，认知用户的传输时延遵循参数为Rn-d的指数分vc表示认知用户n属于URLLC切片用户(对时延敏感)，Dmax表示最大传输时延，n的最大传输功率，pf*表示认知基站a对应的认知用户n在信道k上的传输功率。表示信[0137]第二个主要技术是提出了时间关系正则化，促进智能体[0140]KL散度(Kullback-LeiblerDivergence)越小，越能使智能体达成长久一致的合络切片场景的多智能体强化学习方法(CRNGQN算法)。多智能体强化学习算法以GQN算法为为智能体需要进行交互的状态信息，包括为认知知基站的关联系数，表示智能体(主用户)i与信道的关联系数。{γm}1*m表示主用户的r;=f(pf",B")*7(8)基站集合CBS中的认知基站，A4"表示下，提出了一种基于混合underlay-overlay频谱接入模式的多切片认知无线电网络模型。该模型将网络切片技术引入到多业务认知无线电网络场景中，认知用户可以采用overlay利用率。针对此场景，提出了一种基于图卷积强化学习的CRNGQN(CognitiveRelay频谱接入模式与overlay和underlay接入模式对比，所提出的频谱混合接入模式下的能量效率优于单一的overlay和underl现