CN115065678B 一种基于深度强化学习的多智能设备任务卸载决策方法 （东南大学）

号一种基于深度强化学习的多智能设备任务本发明公开了一种基于深度强化学习的多境下具有多个智能终端设备的云边端融合网络建立以最大数据传输速率为目标的多智能终端算(MEC)网络中多智能设备混合任务卸载和资源2一个观测值O(St+1,i)由所有智能终端i的观测包括:信道增益gi，来自其他移动用户的干扰信道增益来自基站的智能终端i在时间步长t内的奖励可定义为:ω1,ω2和ω3分别是平衡本地计算和用户到基站(MobileusertoBasestation,M2B)和用户到用户3到基站M2B模式下的数据传输速率，表示移动用户i在用户到用户U2U模式下的数据传2.根据权利要求1所述的一种基于深度强化学习的多智能设备任务卸载决策方法，其(1)将动态多智能终端系统模型建模为离散时间随机控制过程模型，即马尔可夫决策(2)优化问题的目标是通过使累积奖励函数最大化从而得到最优策略，累计函数为3.根据权利要求1所述的一种基于深度强化学习的多智能设备任务卸载决策方法，其能够使任务的数据传输速率达到最大的任务卸载方案，根据步骤3所得到的最优任务卸载4己的策略。然后，从每个智能终端的角度来看，环境是不稳定的，不利于收敛。DeepQ-networks(DQN)等传统深度强化学习应用在多智能设备动态环境中存在以下缺点:1)由于学习的多智能设备任务卸载决策方法，解决了在动态MEC环境中多用户任务计算卸载和资5[0005]技术方案：本发明所述的一种基于深度强化学习的多智能设备任务卸载决策方户距离基站较远时，该模型可将移动终端的任务转移到距离基站较近的邻近设备,相邻的设备可基于任务数据的数量做二次决定:如果任务量小,设备可使用自己闲置的计算资源缘网络被建模为一个马尔可夫决策过程(MDP)，其中状态表示信道增益，动作表示功率分针对相应配置信息发生变化的移动设备返回步骤三重新设计适合当前情况的卸载[0011]1)针对静态MEC系统不能反映真实网络中移动用户的移动性和环境适应性，提出了一种联合卸载计算和功率资源分配的动态MEC系统模型，该模型充分考虑了路径丢失对中式培训和分布式应用程序的思想应用到基于价值的多智能终端MEC系统中。采用两阶段6xi在时间步长t内的奖励可定义为:ω1,ω2和ω3是平衡本地端xi的观测包括:信道增益gi，来自其他移动终端的干扰信道增益i),来自基站的定义为:在本发明中，我们考虑了传播场景中所有的信道都由视距[0019]步骤2：建立以最大数据传输速率为目标的多智能终端设备卸载模型。在真实的动用户与基站之间的通信距离过长时，移动用户可通过闲置的邻居设备(类似于认知无线7在用户到基站(M2B)模式下的数据传输速率，表示移动用户i在用户到用户(M2M)模式[0033](1)信道资源分配。对所有的用户i∈I以及子信道k∈K,有代表用户和服[0037]本发明在这一步骤将动态多智能终端系统模型建模为离散时间随机控制过程模系统中获得的最大数据传输速率，T步累计奖励函数为其中γ为折现8j+1表示时间步长为j+1的状态，aj+1表示时间步长为j+1的动作,Sj表示时间步长为j的j表示时间步长为j的动作。[0061]式中VL=VL(yr,we)表示损失函数L在时隙t的梯度，wt表示深度神经网络在时隙t