CN113612843B 一种基于深度强化学习的mec任务卸载和资源分配方法 （吉林大学）

号US2018183855A1,2018.0WO2021067140A1,2021.04.08XinWang,ZhihongQian,YuliangCong,一种基于深度强化学习的MEC任务卸载和资种基于深度强化学习的MEC任务卸载和资源分配配决策。该基于深度强化学习的MEC任务卸载和21.一种基于深度强化学习的MEC任务卸载和资源分配方法，其特征在于，包括以下步所述构建基于移动边缘计算的三层计算卸载与资在系统模型中，首先假设所有用户均在准静态＝0,vneI;与CPU频率成正比；因此本地执行时间为T⃞=(1-a,-A,-Y,)D,X,I出,能耗为E"=K,(1-a,-B,-Y,)D,X,I()2;传输能耗为能耗为kd是与硬件有关的常量；因此，D2D执行时间为执行能耗为分配带宽为B",满足而MEC执行卸载时延可分为三部分，3hn,m为设备n到MEC服务器的信道增益；设MEC中任务缓冲队"-可7,其中Nj为在计算时延为T⃞"t"=A,D,X,1f,",计算能耗为云执行时，设每个用户的计算任务和计算结果通过核心网带来的时延总和均为定值Tcore，这一参数可以由当前时段历史平均时延表示或通过分析近期网络时延动态预测得T""=y,D,IRf,目标函数为设T,=aT,+bE,+f(B,"),a,采用基于最大熵框架的柔性制动决策SAC算法求解卸载及为本地计算能力矩阵和边缘D2D设备的计算能力矩阵；D(t)＝[D1(t),...,Dn(t),...,DN(t)]为任务数据矩阵；和Dn(t)分别代表在决策时刻t终端设备n的本地计4MM,...,(t)和γn(t)分别代表终端设备n在决策时刻t卸载到边缘D2D设备、MEC服务器或云中的任配决策为B"()=[B"()……B,"()r…B"()]:其中，f,"和B,"分别代表在决策时刻t建立两个状态值函数网络，分别为软状态值函数网络Vψ(st)和目标状态值函数网络以用无偏估计量来估计；通过梯度下降值函数网络的参数通过软更新方法进行更新，更新方式为接机梯度来优化，使Bellman残5标函数可表示为用式来近似在策略更新阶段，将卸载和资源分配策略向着值函6[0001]本发明涉及通信技术领域，具体为一种基于深度强化学习的MEC任务卸载和资源[0004]本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实[0011]作为本发明所述的基于深度强化学习的MEC任务卸载和资源分配方法的一种优选7[0014]作为本发明所述的基于深度强化学习的MEC任务卸载和资源分配方法的一种优选f,",分配带宽为满足而MEC执行卸载时延可分为三hn,m为设备n到MEC服务器的信道增益；设MEC中任务缓冲队统的平均等待队长除以任务的平均进入率；队8计算时延为计算能耗为a,be(0,1)分别代表用户n执行时间和能量消耗的权重系数。[0020]作为本发明所述的基于深度强化学习的MEC任务卸载和资源分配方法的一种优选M(t)]为任务数据矩阵；"()、f,"()和Dn(t)分别代表在决策时刻t终端设备n的本地计9[0028]作为本发明所述的基于深度强化学习的MEC任务卸载和资源分配方法的一种优选梯度可以用无偏估计量来估计；通过梯度下降法更数网络,(s,)的参数v通过软更新方法进行更新，更新方式为接下[0040]该基于深度强化学习的MEC任务卸载和资源分配方法，在保证满足不同用户服务质量需求的情况下不仅有效利用了系统的资源而且能帮助用户选择最优卸载策略以最小[0046]本发明提供一种基于深度强化学习的MEC任务卸载和资源分配方法，包括以下步[0051]在S1中，所述构建基于移动边缘计算的三层计算卸载与资源分配模型具体步骤能耗为n设执行能耗为f,",分配带宽为B",满足而MEC执行卸载时延可分为三hn,m为设备n到MEC服务器的信道增益。设MEC中任务缓冲队统的平均等待队长除以任务的平均进入率。队列中等待时间为其中Nj为在E"t"=P,7,""。计算时延为计算能耗为到。考虑到远端云的计算资源较充足，故忽略云端计算耗时，总时延即为传输时延加上的信道增益，bf为上行带宽。传输能耗为因此云执行时总能耗为制条件下最小化系统成本。策SAC算法求解卸载及资源分配问题，SAC是基于连续状态与策略空间的深度强化学习算[0065]计算资源分配决策为带宽资源分配决策梯度可以用无偏估计量来估计；通过梯度下降法更数网络v(s,)的参数v通过软更