CN119183136B 数字孪生辅助边缘网络资源分配优化方法 （南京邮电大学）

本发明公开了数字孪生辅助边缘网络资源处理时延和能耗的最小化；分别考虑MEC服务器2所述多智能深度强化学习模型包括状态空间、动作空间以及奖励空表示MEC服务器计算能力；所述动作空间包含MEC服务器缓存动作和用户终端设备卸载动作两个部分，动作空间e"为总任务完成能耗；步骤S4：对多智能深度强化学习模型进行训练，利用训练所述服务缓存模块用于考虑服务组件被请求频率和大小，利用动态服务缓存替换机所述任务卸载模块用于卸载决策，并计算终端设备所产生的任所述数字孪生模块将终端设备、边缘服务器物理实体映射为数字3边缘服务器具有高速缓存和计算能力，在每个时隙teT=1,2,…,T?内及时处理由用户在每个时隙，由基站服务的用户终端设备生成的计算任务表示为有序向量<c,,d,,s,,T⃞>,其中，cu表示任务的总计算量；du表示任务的数据大小，包括程序/数据限，即任务的总处理延迟不超过T;设备的任务卸载到本地基站处理；γu＝1或γu＝0决定是否将用户终端设备的任务卸载到4Δc为任务数据大小的真实的状态与估计值之间的偏差的最大范围，Δd为为任务计算量的步骤S2_4：根据服务缓存模块的服务缓存目录，网步骤S2_5：根据服务缓存模块的服务缓存目录，任所述网络模块下计算四种卸载模式包括任务从用户终端设备传输到本地的时延及能基站的总带宽被划分为M个正交信道，每个信道具有相同数量的正交子载波，令基于香农容量公式，用户终端设备u在其本地基站n中的信道m上的上行链路传输速率及用户终端设备u与基站之间的信道增益，h,=L",Lu表示用户终端设备和基站之间的距u9是信道上从用户终端设备到基站的干扰端设备u9；5u其中，表示为从基站到云服务器的有线连接的数据传输速率；r"为本地基站n和6所述任务卸载模块计算的四种卸载模式包括任务从终端设备到本地处理的传输时延处理的传输时延及能耗以及任务从终端设备到核心网处理的传输时所述核心网具有丰富的计算能力，任务从终端设备到核心网处理的所述混合整数非线性优化问题为在资源约束下联合最小化任务完成延迟和能量消耗，7其中，约束条件C1表示任务卸载决策为二进制变量，约束MASAC算法包括Actor网络模块和Critic网络，Actor网络模块根据局部观察做出决定，Critic网络使用全局状态和全局动作8采用SoftBellman方程将目标函其中，(+1)为t+1时刻的数字孪生中的虚拟状态，i(+1)为t+1时刻的数字孪生中的虚拟决策，a(t+1)为在t+1时刻的采样动作，s(t+1)为t+1时刻的状态，s)为t时刻的数字9[0003]目前的研究假设边缘服务器具备处理来自移动用户终端设备的各类计算任务的响移动用户终端设备是否选择将任务卸载至边缘服务器，从而对移动边缘计算(MEC)系统[0004]任务卸载策略和服务缓存是紧密耦合的复杂问题。移动用户终端设备的计算需[0005]综上所述，如何解决边缘网络资源分配分散情况下的任从而提高任务卸载和资源分配的准确性是本发明想要解决[0020]边缘服务器具有高速缓存和计算能力，在每个时隙teT=1,2,…,T?内及时处理[0023]步骤S2_1：获取边缘网络环境下个终端设备在对应MEC服务器产生的计算任务情[0024]在每个时隙，由基站服务的用户终端设备生成的计算任务表示为有序向量u表示任务的总计算量；du表示任务的数据大小，包括程序/数据限，即任务的总处理延迟不超过T;终端设备的任务卸载到本地基站处理；γu＝1或γu＝0决定是否将用户终端设备的任务卸+δu＝1,vuel;真实的状态与估计值之间的偏差，A;为任务所需服务组件的真实的状态与估计值之间的[0042]所述网络模块下计算四种卸载模式包括任务从用户终端设备传输到本地的时延[0044]基站的总带宽被划分为M个正交信道，每个信道具有相同数量的正交子载波，令[0045]基于香农容量公式，用户终端设备u在其本地基站n中的信道m上的上行链路传输户终端设备u9；[0072]所述任务卸载模块计算的四种卸载模式包括任务从终端设备到本地处理的传输基站处理的传输时延及能耗以及任务从终端设备到核心网处理的传[0095]优选的，所述步骤S2_6中同步计算任务处理情况并形成混合整数非线性优化问[0096]所述混合整数非线性优化问题为在资源约束下联合最小化任务完成延迟和能量服务组件是否缓存指示符，约束条件C5表示缓存的服务组件是否被请求的二进制指示符，约束条件C6表示缓存的服务组件是否被替换的二进制决策变量，约束条件C7表示为在条件C9为确保缓存的服务的总数据大小不能超过边缘服务器的总存储，约束条件C10表示任务u处理延迟不超过任务处理延迟容限的保证；表示缓存决策，为总任务完成延[0099]优选的，所述状态空间为用户终端设备和MEC服务器这两类智能体具有不同的状uBS_A表示MEC服务器计算能力；[0103]所述动作空间包含MEC服务器缓存动作和用户终端设备卸载动作两个部分，动作e"为总任务完成能耗。teT=1,2,…,T⃞内及时处理由[0146]服务缓存模块用于考虑服务组件被请求频率和大小，利用动态服务缓存替换机被缓存在基站处，则否则考虑到缓存的总服务不能超过基站的存储容量，[0164]在每个时隙，由基站服务的用户终端设备生成的计算任务表示为有序向量u表示任务的总计算量，du表示任务的数据大小，包括程序/数据k为服务目录，表示任务的处理延迟容限，即任务的总处理延迟不超过T;终端设备的任务卸载到本地基站处理；γu＝1或γu＝0决定是否将用户终端设备的任务卸+δu＝1,vuel;真实的状态与估计值之间的偏差，A:为任务所需服务组件的真实的状态与估计值之间的[0179]网络模块下计算四种卸载模式包括任务从用户终端设备传输到本地的时延及能[0181]基站的总带宽被划分为M个正交信道，每个信道具有相同数量的正交子载波，令[0182]基于香农容量公式，用户终端设备u在其本地基站n中的信道m上的上行链路传输户终端设备u9；[0230]当服务缓存组件既不存在于用户终端设备和MEC服务器中，则任务需上传到核心[0232]混合整数非线性优化问题为在资源约束下联合最小化任服务组件是否缓存指示符，约束条件C5表示缓存的服务组件是否被请求的二进制指示符，约束条件C6表示缓存的服务组件是否被替换的二进制决策变量，约束条件C7表示为在条件C9为确保缓存的服务的总数据大小不能超过边缘服务器的总存储，约束条件C10表示[0240]动作空间包含MEC服务器缓存动作和用户终端设备卸载动作两个部分，动作空间[0246]如图3所示，多智能深度强化学习模型采用MASAC算法进行训练，MASAC算法包括器配备高速多核CPU处理器，云的计算能力远大于边缘服务器，云的计算延迟可以忽略不30的情况下，与本地计算方法相比，本发明方法可将系统成本降低约42.5这是因为卸载策略。而深度Q学习方法由于没有考虑服务缓存，其任务开销略高于本文所提出的方算能力保持固定，并且由于用户终端设备需