CN114339879B 一种移动边缘计算中基于强化学习的服务迁移方法 （江西花脸元宇宙数字技术有限公司）

司一种移动边缘计算中基于强化学习的服务本发明请求保护一种移动边缘计算中基于处区域位置以及处理任务服务器负载构建奖励径选择并自适应地更新链路选择以适应动态网2S1，根据用户任务所处服务器位置、用户当所述根据用户任务所处服务器位置、用户当前所处区域位置以及处(S11)使用用户距离处理任务服务器的距离dt和处理任务服务器的负载ht构建用户服所述使用用户距离处理任务服务器的距离和处理任务服务器的负载构建用户满意度c1tttt)=μ3+μ4dttμ4表示距离的影响系数；(S22)不同的移动方向会对用户接下来的移动轨迹产生影响，用户的移动模型为用户所述记录用户前一时刻移动方向zt，使用用户当前所处位置lt与之前移动方向zt表示3所述不同的移动方向zt会对用户接下来的移动轨迹产生影响，用户在下一时序有较大的概率p保持移动方向zt不变并到达位置(x:,):改变移动方向为或并到达位置或其中，表示在迁移后用户与处理任务的服务器处于同一位置；表示迁移后用户移动方向不变，同时不迁移时有p的概率用户移动方向不(S32)基于贝尔曼最优方程使用上一迭代周期的状态价值函数值更新下一迭代周期的所述根据路由之间的时延消耗t和网络消耗p做规范化处理来赋值链路消耗c的方法包i和pi表示每条链路对应时延消耗和网络消耗，表示链路时延消耗的最小值，表示链路时延消耗的最大值，表示链路网络消耗的最小值，4表示链路网络消耗的最大值；ωt和ωp分别表示时延消耗与网络消耗的加权系2.根据权利要求1所述的一种移动边缘计算中基于强化学习的服务迁移方法，其特征(3)记录数据传输过程中产生的时延消耗t以及产生的网络消耗p，并将其进行标准化3.根据权利要求2所述的一种移动边缘计算中基于强化学习的服务迁移方法，其特征Q(S,A)←Q(S,A)+α(R+γQ(S',A')-5[0006]申请公开号为CN110830560A，一种基于强化学习的多用户移动边缘计算迁移方6使用强化学习算法来实现动态网络环境下自适应迁移路径的选择。本发明的技术方案如[0015](S11)使用用户距离处理任务服务器的距离dt和处理任务服务器的负载ht构建用[0018]所述使用用户距离处理任务服务器的距离和处理任务服务器的负载构建用户满7)=μ3+μ4dt[0030](S22)不同的移动方向会对用户接下来的移动轨迹产生影响，用户的移动模型为[0032]所述记录用户前一时刻移动方向zt，使用用户当前所处位置lt与之前移动方向zt较大的概率p保持移动方向zt不变并到达位置(:,):[0037]其中，(⃞,以)=(x,y,),表示在迁移后用户与处理任务的服务器处于同一位[0038]根据所述奖励函数和所述状态转移矩阵，使用价值迭代[0040](S32)基于贝尔曼最优方程使用上一迭代周期的状态价值函数值更新下一迭代周8[0044]所述根据路由之间的时延消耗t和网络消耗p做规范化处理来赋值链路消耗c的方表示链路网络消耗的最大值；ωt和ωp分别表示时延消耗与网络消耗的加权系[0053](3)记录数据传输过程中产生的时延消耗t以及产生的网络消耗p，并将其进行标9[0061]1.本发明在移动边缘环境中综合考虑用户关注的时延因素与商家关注的迁移消域位置lt以及处理任务的服务器负载ht构建奖励函数r(s,a)的方[0075](1)使用用户距离处理任务的服务器距离dt和处理任务的服务器负载ht构建用户)=μ3+μ4dt[0087](2)不同的移动方向zt会对用户接下来的移动轨迹产生影响，用户在下一时序有较大的概率p保持移动方向zt不变并到达位置(x:,):[0091]其中，(⃞,以)=(x,,y,),表示在迁移后用户与处理任务的服务器处于同一位[0094](2)基于贝尔曼最优方程使用上一迭代周期的状态价值函数值更新下一迭代周期行路径选择并自适应地更新链路选择以适应动态网络的链路变化的方法[0108](3)记录数据传输过程中产生的时延消耗t以及产生的网络消耗p，并将其进行标婪策略选取动作方式和