CN113950066B 移动边缘环境下单服务器部分计算卸载方法、系统、设备 （西安电子科技大学）

.2020,LinglingAn等.JointTaskandResourceAllocationviaPolicyOptimizationforMoConferenceonNetworkingandNe移动边缘环境下单服务器部分计算卸载方本发明属于移动边缘计算的任务卸载与资输入数据发送到MEC服务器；搭建本地处理与边任务执行能耗来对单小区多移动用户场景下MEC每一时间片动态地为每一用户做出合理的任务2步骤四，依托网络通信时延与任务执行能耗进行目标建步骤五，利用深度确定性策略梯度方法动态优化任务N＝{1,2,...}2)计算卸载决策向量，用户终端n上任务An卸载到MEC服务器上的执行比率表示为xn=}；间片，并针对用户终端资源有限的问题为每一用户终端n设置一个以先进先出顺序执行的4)解决数据传输和计算问题，针对服务器端任务卸载时定义基站的上行网络带宽资源为固定值W，小区内的所有用户终端需要共享基站的带3n为第n个用户终端的传输功率，且gn表示时间片t上用户终端n与基站之间的无本地执行模型，本地执行模型由用户终端通过自身本地CPU计算频率定义为",则任务本地执行部分的计算延迟e"可表示为：本地处理的子任务还应采用当前时间片本地等待被执行任务缓存队列上的等待时间,":边缘卸载模型，边缘服务器端处理子任务需要分为三个4能力；卸载到MEC服务器端的任务处理总时延即为任务传输时延和执行时延之和，表示如对于时间片t来说，由于本MEC系统中用户终端本地与针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和能量x2F2,...,Fn,...,F|N|}的任务处理时延与能耗；对求最大值旨在尽可能降低任务An的反馈时间和本地用户终端能耗的加权和，实现整个MEC系统模型的效用最大化，C1～C3中的约束条件分别表示为小区内所有用户终端分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到5服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间而C5和C6保证了采状态：状态空间首先要确保能够包含环境中的全部信息，,...,K|N|(t)、任务缓存队列上待执行任务量K(t)以及用户终端和服务器之间的数据传输速率r(t)动作：根据状态s(t)中每一时间片上用户终端源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例,...,F|N|奖励函数：将时间片t上系统得到的瞬时奖励回报设置为公式中的目标函数值，即执行动作a(t)得到的回报R(t)越大，则表明当前时间片t所有用深度确定性策略梯度DDPG算法进行优化，利用深度6其中，Actor网络模块用于选取动作并交给智能体Agent执行此动作用于根据状态s(t)和动作a(t)对进行Q值评估；经验回放单元存储着与环境交互获得的状深度确定性策略梯度算法目标函数，DDPG算法中Crit分TD‑error，用来表示当前动作与预期的差异，且将Critic网络的损失函数定义为TD‑DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择一个基于DDPG的多用户终端单服务器联合任务；④执行动作a(t)的卸载决策和资源分配并得到回报R(t)和下一时间片的状态s(t+1)；⑦重复T次步骤③~步骤⑥,T为时间片个数；⑧重复E次步骤②~步骤⑦,E为episode数；2.一种实施如权利要求1所述移动边缘环境下单服务器部分计算卸载方法的移动边缘MEC服务场景构建模块，用于抽象单小区内多个用户终端周围部署着单个基站和边缘任务执行模块，用于将任务的计算卸载模型分为本地执7得所述处理器执行权利要求1所述移动边缘环境下单8计算技术(MobileEdgeComputation,MEC)能够使得终端设备以低延迟和低能耗的方式完务从卸载到云端转变为卸载到网络边缘端,从而满足实时在线游戏、增强现实等计算密集[0003]第一类策略主要是降低任务处理延迟。Bi和Zhang等人在“ComputationRateMaximizationforWirelessPoweredMobile-EdgeComputingwithBinaryComputationOffloading”(IEEETransactionsonWirelessCommunications,2018,17设备在计算资源方面受到限制,通常以高等待时间和高设备能[0004]第二类策略主要是减少设备能耗。Kuang和Shi等人在“Multi-UserOffloadingGameStrategyinOFDMAMobileCloudComputingSystem”(IEEETransactionsonVehicularTechnology,2019,68(12):12190-12201)中提出了一种卸载博弈机制，采用博[0005]第三类策略主要是时延与能耗折中。T.Alfakih和M.Hassan等人“TaskOffloadingandResourceAllocationforMobileEdgeComputingbyDeep务器或远程云进行卸载计算的应用场景，设计了一种基于强化学习中SARSA算法的卸载决9据终端设备及周围环境因素做出最合理的任务卸载决策以及资源分配方案则是如今计算[0007](1)现有降低任务处理延迟的计算卸载策略中，未能考虑在进行计算卸载时移动[0008](2)现有减少设备能耗的计算卸载策略中，用户更希望系统的时间消耗和能源消[0009](3)现有时延与能耗折中的计算卸载策略中，在实际的卸载过程中不同的系统可[0010]解决以上问题及缺陷的难度为：在任务数据传输过程中需要足够的无线网络带迫切需要一种以任务执行总时延和移动设备总能耗为共同优化A,=(D,,L,,},neN;}；[0028]3)设置等待执行任务缓存队列，假设将整个MEC系统时间划分为若干个时长均为[0031]4)解决数据传输和计算问题，针对服务器端任务卸载时的数据[0033]定义基站的上行网络带宽资源为固定值W，小区内的所有移动用户需要共享基站B|N|}；令基站在时间片t分配给移动用户的带宽资源比例为Bn，Bn∈[0,1]，且满足端的本地CPU计算频率定义为",则任务本地执行部分的计算延迟可表示为：说，本地处理的子任务还应考虑当前时间片本地等待被执行任务缓存队列上的等待时间"-"+":[0060]针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和{x12，...，x|N|}和带宽以及计算资源分配策略B＝{B1,B2,...,Bn,...,B|N|}及F＝{F1,-e,"+")求最大值旨在尽可能降低[0063]C1～C3中的约束条件分别表示为小区内所有移动用户分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间而C5和C6保证了采用本计算卸载方案所需的时间和能耗成本不大于全部本地执行的时间延迟和能量消时间片t上选取一组动作得到的全部奖励值[0073]系统状态由当前时间片t上小区中移动用户到达任务的数据量D(t)、所需计算资源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例执行动作a(t)得到的回报R(t)越大，则表明当前时间片t所有用块则用于根据状态s(t)和动作a(t)对进行Q值评估；经验回放单元存储着与环境交互获得[0083]DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择；[0090]④执行动作a(t)的卸载决策和资源分配并得到回报R(t)和下一时间片的状态s(t+1)；[0093]⑦重复T次步骤③~步骤⑥,T为时间片个数；[0094]⑧重复E次步骤②~步骤⑦,E为episode数；[0096]本发明的另一目的在于提供一种实施所述移动边缘环境下单服务器部分计算卸[0097]MEC服务场景构建模块，用于抽象单小区内多个移动用户周围部署着单个基站和[0099]任务执行模块，用于将任务的计算卸载模型分为本地执行模型来对单小区多移动用户场景下MEC系统总成本进行问题规划，利用深度确定性梯度算法对来对单小区多移动用户场景下MEC系统总成本进行问题规划，利用深度确定性梯度算法对算的任务卸载与资源分配问题技术领域，同时主要解决多用户单MEC服务器的应用场景中计算卸载策略与基于DQN的部分计算卸载策略进行对比，通过对比研究得出基于DDPG的部分卸载策略性能最优，能够有效地降低整个多用户单服务器MEC系统的时延和能耗长期加条件下，以任务执行总时延和移动设备总能耗为共同优化指标构建了该MEC系统下的问题[0111]图2是本发明实施例提供的移动边缘环境下单服务器部分计算卸载策略实现过程[0112]图3是本发明实施例提供的移动边缘环境下单服务器部分计算卸载系统结构示意[0115]图5是本发明实施例仿真实验结果中MEC服务器计算能力对系统总效益的影响可[0119]本发明提供的移动边缘环境下单服务器部分计算卸载方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的移动边缘环境下单服务器部分计算卸载[0120]如图1所示，本发明提供的移动边缘环境下单服务器部分计算卸载方法包括以下[0126]如图2所示，本发明提供的移动边缘环境下单服务器部分计算卸载方法具体包括[0128]2)构建网络通信模型。通过基站上行链路将各用户任务输入数据发送到MEC服务[0129]3)构建任务执行模型。将任务的计算卸载模型分为本地执行模型和边缘卸载模[0130]4)MEC系统总成本问题规划。从时延和能耗两方面来衡量计算卸载模型的性能好坏，并根据上述网络通信和任务执行模型来对单小区多移动用户场景下MEC系统总成本进[0132]本发明实施例提供的步骤1)中，构建多终端用户单MEC服务器应用场景包括以下[0134]构建由单个基站、多个用户终端和一台公用高性能MEC服务器组成的系统网络架}；源有限的问题为每一用户终端n设置一个以先进先出顺序执行的等待执行任务缓存队列n[0150]定义基站的上行网络带宽资源为固定值W，小区内的所有移动用户需要共享基站B|N|}。令基站在时间片t分配给移动用户的带宽资源比例为Bn，Bn∈[0,1]，且满足将任务卸载一部分到MEC服务器上执行。因此将任务的计算卸载模型分为本地执行模型和要涉及本地执行时延和设备执行能耗两部分开销。将第n个移动终端的本地CPU计算频率定义为5",则任务本地执行部分的计算延说，本地处理的子任务还应考虑当前时间片本地等待被执行任务缓存队列上的等待时间[0163]"-"+":[0180]针对提出的任务部分卸载和网络带宽及MEC计算资源分配问题，引入时间延迟和{x12，...，x|N|}和带宽以及计算资源分配策略B＝{B1,B2,...,Bn,...,B|N|}及F＝{F1,F2,...,Fn,...,F|N|}的任务处理时延与能耗；对求最大值旨在尽可能降低[0183]C1～C3中的约束条件分别表示为小区内所有移动用户分配的卸载比例不超过1，且分配的带宽资源及计算资源比例总和均小于等于1；C4则代表任务An本地执行部分和卸载到服务器端部分所需要的时间延迟不得超过其可容忍最大截止时间";而C5和C6保证了采用本计算卸载方案所需的时间和能耗成本不大于全部本地执行的时间延迟和能量消时间片t上选取一组动作得到的全部奖励值[0195]系统状态由当前时间片t上小区中移动用户到达任务的数据量D(t)、所需计算资计算资源数L(t)以及任务缓存队列上待执行任务量K(t)，智能体Agent应为任务An做出卸载比例决策x(t)、每一移动用户分配的带宽资源比率B(t)及服务器计算资源分配比率F所有用户任务执行的时间成本和能耗成本e,"加权和越小。[0200]利用深度确定性策略梯度算法动态地求解每一时间片下的任务卸载决策与资源[0202]DDPG网络结构中有Actor和Critic两个模块，并包含着四个神经网络，分别是块则用于根据状态s(t)和动作a(t)对进行Q值评估。经验回放单元存储着与环境交互获得[0208]DDPG算法中Actor模块是通过梯度下降的方式对网络进行参数更新的，目的选择；[0215]④执行动作a(t)的卸载决策和资源分配并得到回