CN118660315B 一种面向车辆边缘计算的服务卸载与迁移方法 （江苏信息职业技术学院）

一种面向车辆边缘计算的服务卸载与迁移载到不同的边缘服务器上并进行实时计算的场辆和多边缘服务器场景的联合计算卸载与迁移问题转换为一个长期迁移成本约束下的平均延2S21、构建虚拟迁移成本不足队列，计算Lyapunov漂移的边界，定义队列积压总数及S22、结合引理推导漂移加罚的边界，通过联合控制卸载和迁移最小化漂移加罚的边S3、结合Lyapunov函数和COMA架构以得到Ly-COMA模型S32、采用反事实多智能体策略梯度算法，通过优势2.根据权利要求1所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，车辆计算任务包括多个子任务，在每个时隙内，车辆将子任务卸载到不同的ES上执3.根据权利要求2所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，假设每辆车都有一个计算密集型的应用程序，该应用程序内包含一系列具有时间序列v辆车的i个子任务集合，3车辆,的任务具有延迟容忍时间d,，任务必须在规定的4.根据权利要求3所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，t时刻车辆,连接Bsn的信噪比(SINR)可以表示为：t时刻车辆,与Bsn之间的传输速率R。可以表示为：R=Blog,(1+SNR,)（2）其中，B表示信道的带宽，t时刻任务通过无不同的ES之间通过有线连接，根据静态跳数计算有线传输延迟，延迟TBE.n(R,C:)可以表示为：4可以表示为：5.根据权利要求4所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，其中，是车辆,的CPU频率；任务在Esm上的计算延迟TCS.,(R,n.m)表示为：其中，表示时刻上的队列所需的CPU周期数，表示任务的迁移策略的剩余任务仍在Esm上执行；如果任务的剩余任务被迁移至Esm'上执行，则计算延迟6.根据权利要求5所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，5车辆,可以将多个子任务卸载到不同的ES上执行，而在计算任务的实际完成时间ppr,(",c:')表示任务所有前置任务的结果传到的最晚完成时间：其中，pre,i表示任务的直接前置节点的集合，表示前置任务K,的结束时间；可以表示为：7.根据权利要求6所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，6为：因此任务G,在执行时必须满足。8.根据权利要求7所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，利用Lyapunov函数构建车辆,的虚拟迁移成本不足队列，此时假设第79.根据权利要求8所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在于，。10.根据权利要求9所述的一种面向车辆边缘计算的服务卸载与迁移方法,其特征在8根据P,'(S,4)来计算Esm的基线，计算出来的基线能够反映出当前代理(Esm)对全每个Actor模块都以分布式的方式根据本地状态选择卸载和迁移决策，然后集中式Critic网络通过计算Actor模块对全局奖的贡献来指导Actor模块学习最优策略；集中式根据变种的TD算法rn(a)计算j步的奖励:b每隔c步与eu同步一次；然后Esm根据公式(25)的优势函数使用策略梯度算法更新Actor网络的参数Q.mw：9[0003]车辆边缘计算(VehicleEdgeComputing，VEC)将存储资源和计算资源下沉到车[0006]因此，在IoV环境下高效的计算任务卸载与迁移策略对于资源的利用率以及任务序列依赖性的子任务，t时刻，车辆v的应用程序可以使用有向无环图(DAG)表示为：p;表示BSn的传输功率，d,"表示ESn与车辆之间的距离，α表示路径损失系,的计算结果传输给如果两个节点执行的可以表示为：[0045]分别计算任务在车辆本地执行的延迟以及将任务卸载到ES上执行的延迟，[0055]车辆v可以将多个子任务卸载到不同的ES上执行，而在计算任务的实际K,的结束时间；[0065]任务的完成时间为实际开始时间加上任务的处理时间，根据公式(7)(8)(9)[0075]以递归的方式从退出任务K,遍历DAG来计算各个节点的优先级，退出任务的[0079]利用Lyapunov函数构建车辆v的虚拟迁移成本不足队列此时假设表示t时刻任务的实际迁移成本偏差与可用迁移成本之间的距v[0092]证明：由两边同时取V的队列和然后将采样后的动作作用到环境中，环境给与代理(ESm)一个奖励和下一个状态而此时Critic网络评估环境反馈给Acto[0107]根据P,"(S,,A)来计算ESm的基线，计算出来的基线能够反映出当前代理(ESm)对全[0108]每个Actor模块都以分布式的方式根据本地状态选择卸载和迁移决策，然后集中个训练阶段ε,ESm中带有参数的Actor网络选择动作并将存入到经[0116]然后ESm根据公式(25)的优势函数使用策略梯度算法更新Actor网络的参数[0128]如图6所示展示了一种面向车辆边缘计算的服务卸载与迁移方法的流程图，该方VEC超密集计算场景中，包含多辆车以及支持MEC的基站，其密度为每平方公里[10,50]个[0142]基于一个细粒度任务协同卸载和迁移的VEC超密集计算场景建立网络模型，网络据BS负载的变化而变化，因此在车辆v的移动过程中应当选择不同的BS和ES来提供计算卸个子任务可以选择在车辆本地执行也可以卸载到ES上执行，t为B,eouM,当表示在本地执行，m∈M表示在ESm上执行。车辆v序列依赖性的子任务，t时刻，车辆v的应用程序可以使用有向无环图(DAG)表示为：是,,的计算结果传输给如果两个节点执行的可以表示为：[0167]分别计算任务在车辆本地执行的延迟以及将任务卸载到ES上执行的延迟，[0172]任务在ESm上执行的延迟受到两个主要因素的影响：一是尚[0183]因此任务的开始时间ST.,(pi,C;)可以表示为：[0186]PPT,(R,C;)表示任务所有前置任务的结果传到的最[0189]任务的完成时间为实际开始时间加上任务的处理时间，根据公式(7)(8)(9)[0193]作为一个示例，S16步骤中实现车辆应用程序的成功执行必须满足下面的约束条[0203]利用Lyapunov函数构建车辆v的虚拟迁移成本不足队列此时假设表示t时刻任务的实际迁移成本偏差与可用迁移成本之间的距v[0216]证明：由两边同时取V的队列和[0224]在传统的多代理策略梯度中，每个代理(BSm)基于自己的Actor-Critic网络独立[0225]作为一个示例，S3步骤中实现基于Ly-COMA的分布式服务卸载和迁移方法具体包[0227]在单用户场景中，Actor网络的参数θm,actor通过Critic网络计算的TD(Temporal误差的忽略了单个Actor对全局奖励的贡献，COMA提出的反事实基线能够有效的解决这个态St可以表示为其中表示t时刻ESm的状态；全局行为At可以表示为则ESm在时隙t的的优势函数可以表示为：[0231]根据P,"(S,,A)来计算ESm的基线，计算出来的基线能够反映出当前代理(ESm)对全[0232]每个Actor模块都以分布式的方式根据本地状态选择卸载和迁移决策，然后集中个训练阶段ε,ESm中带有参数的Actor网络选择动作并将存入到经[0240]然后ESm根据公式(25)的优势函数使用策略梯度算法更新Actor网络的参数协作计算卸载和迁移联合优化问题转换为一个长期迁移成本约束下的平均延迟优化问题；[0243]作为一个示例，本实施例中根据仿真实验来验证算法性能，包括以下算法：Ly-[0245]ATEE是一种采用目标Q值网络的强化学习算法变种，在集中式Critic网络中引入[0248]还需要注意的是，本方案中Actor网络基于一个循环神经网络网络(RecurrentNeuralNetwork,RNN)，其包含128位门控循环单元(GatedRecurrentUnits,GRUS)，Critic网络是一个具有多个ReLU层和全连接层的