CN119396600A 基于联邦自监督学习的任务卸载和资源分配方法和系统 （江南大学）

基于联邦自监督学习的任务卸载和资源分本发明提供一种基于联邦自监督学习的任SAC网络进行资源分配并根据最终的全局模型进2S1，获取基站存储的联邦训练的全局模型以及基站为目标车辆分配的第一传输功率、S8，根据参与联邦训练的所有车辆对应的第二2.根据权利要求1所述的任务卸载和资源分配方法，确定本地模型预计训练迭代次数N?和本地模型实际训练迭代次数N"；根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：;将和N"中的最小值作为任务卸载训练迭代次数；。根据以下公式计算信息噪声对比估计损失Irn：3;;;Z为本地数据总数。4.根据权利要求2所述的任务卸载和资源分配方法，其特征在于，所述将第二本地模;4;其中，为时隙t车辆n的总能耗；为RSU的计算能耗；为本地计算能耗；;;车辆的任务卸载比例a:为车辆n的任务卸载比例；;;5获取模块，用于获取基站存储的联邦训练的全局模型以及基站为第一确定模块，用于根据CPU频率和任务卸载比例确定任务卸载迭代次数和未训练迭第二确定模块，用于根据第一本地模型和本地数据确第五确定模块，用于根据参与联邦训练的所有车辆对应的第二循环模块，用于重复执行获取模块至第五确定模块的操作第一确定单元，用于确定本地模型预计训练迭代次数N?和本地模型实际训练迭代次数N"；第一计算单元，用于根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：;第三确定单元，用于将和N"中的最小值作为任务卸载训练迭代次数；6。;;;Z为本地数据总数。7;;其中，为时隙t车辆n的总能耗；为RSU的计算能耗；为本地计算能耗；;;车辆的任务卸载比例a:为车辆n的任务卸载比例；;8;9[0004]资源分配和任务卸载是VEC的重要应用场景之一。通过将部分计算任务卸载到边[0008]可选地，所述根据CPU频率和任务卸载比例确定任务卸载迭代次数和未训练迭代确定本地模型预计训练迭代次数N?和本地模型实际训练迭代次数N"；根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：;将和N"中的最小值作为任务卸载训练迭代次数N"；。;为增强后的本地数据""输入;;r根据以下公式计算本地模型训练的迭代次数N.：;;;n在时隙t的衰落信息；为车辆速度为车辆n在时隙t的速;其中，为所有车辆向RSU发送数据时的功率;[0011]可选地，所述根据参与联邦训练的所有车辆对应的第二本地模型和第三本地模;第一确定模块，用于根据CPU频率和任务卸载比例确定任务卸载迭代次数和未训第二确定模块，用于根据第一本地模型和本地数据确定目标车辆新的本地模型，第一确定单元，用于确定本地模型预计训练迭代次数N:和本地模型实际训练迭第一计算单元，用于根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：;第三确定单元，用于将和N"中的最小值作为任务卸载训练迭代次数;。;为增强后的本地数据""输入;;r;;;n在时隙t的衰落信息；为车辆速度为车辆n在时隙t的速;其中，为所有车辆向RSU发送数据时的功率;;将每次本地模型训练迭代任务分为本地训练和RSU辅助训练。设置了卸载比例阈值来优化[0019]图1为本发明实施例提供的一种基于联邦自监督学习的任务卸载和资源分配方法图2为本发明实施例提供的基于联邦自监督学习的任务卸载和资源分配方法的应图3为本发明实施例提供的SAC算法与其他DRL方法在能量消耗方面的对比结果图5为本发明实施例提供的SAC算法与其他DRL方法在计算次数方面的对比结果图6为本发明实施例提供的SAC算法与其他DRL方法在奖励函数方面的对比结果图8为本发明实施例提供的图6中在轮次区间图9为本发明实施例提供的SAC算法与其他图10为本发明实施例提供的SAC算法与其图11为本发明实施例提供的SAC算法与其他DRL方法在提升卸载效率方面的对比图12为本发明实施例提供的SAC算法在图13为本发明实施例提供的SAC算法在图16为本发明实施例提供的一种基于联邦自监督学习的任务卸载和资源分配系务卸载和资源分配，考虑一个城市场景中的车辆通信网络，该网络由连接基站(Base[0025]整个过程分为两个阶段：基于卸载的联邦自监督学习(Self_Supervised的资源分配阶段也包含Kmax个片段，每个片段e被划分为Smax时隙。对于每一轮r(r∈[1,。任务包括时隙t中本地模型预计训练迭代次数N?和来自前一时隙未处理的剩余训练迭代被划分为本地模型训练的迭代次数N.和卸载到RSU的训练迭代次数。可以根据以下公式。。从单位均值的指数分布，即mf'~EXP(1)；表示大尺度衰落对信号的影响，包括路径损失p和阴影衰落s。则f可以表示为：。[0034]其中阴影衰落S服从均值为0标准差为8的正态分布，表示为S~N(0,82)，并且。[0036]确定本地模型预计训练迭代次数N?和本地模型实际训练迭代次数N"。[0038]根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：。[0040]如果N"超出，这表明期望的卸载任务过大，超过了需要本地处理的总任务量。在这种情况下，实际卸载的训练迭代次数应记录为。因此，将和N"中的最小值作为任务卸载训练迭代次数N"。[0041]根据以下公式计算未训练迭代的次数B?：。2""和"根据以下公式计算信息噪声对比估计（InformationNoiseContrastive。为增强后的本地数据""输入。。Z为本地数据[0051]在收到车辆的任务卸载请求后，RSU使用车辆n上传的本地数据和本地模型进行N"次训练，生成一个新的模型（即第三本地模型训练过程类似于车辆本地训练载的传输功率pe上传至基站。。。,和分别表示最大和最小的CPU计算频率。为了计算车辆本。。。。。。。。[0068]实现任务的高效卸载和资源分配需要基站和车辆在决策过程中纳入其行动的长。。[0071]0≤qf≤1。数量可能超过车辆自身需要处理的任务数量。用过载量o:衡量卸载训练轮次的超额程。。任务卸载和资源分配方案。选择SAC算法是因为其在处理连续动作空间时具有鲁棒性和效超过N"迭代次数N.：。。。t表达式：。[0084]其中，为所有车辆向RSU发送数据时的功率车辆的任务卸载比例为车辆n的任务卸载比例。。[0089]SAC算法的核心思想是通过增加策略的随机性来平衡探索与利用之间的关系。传。[0091]这种方式使得智能体在追求高奖励的同时，也会倾向于。(s,a,r,sen)的形式存储在重放缓冲区R中。重放缓冲区R允许对这些元组进行随机抽[0093]从重放缓冲区R随机抽取M个元组，称为一个小批量。对于小批量中的每个元组。[0096]其中，o是从多元正态分分别获得动作值对Q5,(sm,am)和Q52(sm,am)。与此同时，将smt1输入到演员网络s中，Qm,(sm+1,am+1)和QZ(sm+1,am+1)。取这两个值中的较小者，记作。。。还需要按照如下方式更新两个目标网络W1和T2的参数：。[0101]w=w+(1-w)w2。。[0108]如图3所示，展示了在训练过程中有五辆车参与的不同方法在能量消耗方面的比TD3（TwinDelayedDeepDeterministicPolicyGradient）和PPO（ProximalPolicy收敛速度最快，且相比其他两个算法更加稳定，最终的能量消耗结果稳定在(2.18士1.02)DDPG算法能探索到较低的能耗值。最终DDPG算法的能量消耗结果稳定在(8.95士6.87)J，而TD3算法的能量消耗结果稳定在(6.24士3.54)J。这表明，TD3算法在处理噪声和不确定[0109]如图5所示，展示了在训练过程中有五辆车参与的不同方法在计算次数方面的比可能多地进行本地训练。结果显示，SAC算法的计算次数逐渐稳定上升，最终稳定在338士36次，显著高于其他两个算法。DDPG与TD3算法的最终计算次数相近，分别为162士61次和126士26次，但DDPG算法的波动较大。PPO算法的计算次数最大，稳定在[0110]如图6所示，展示了在训练过程中有五辆车参与的不同方法在奖励函数方面的比、-91.62士54.56和-85.53士和图10可以看出，SAC算法在训练过程中逐渐减少了卸载次数，更多地在车辆本地进行训练，从而降低了过载率，最终实现了车辆本地训练与卸载到RSU进行训练之间的平衡。而整体数据可以看出，所有值均在0以上，这表明DDPG算法的异常值距离下须较远，进一步说明了这两种算法的相对不稳定性。综上所述，SAC算法训练得到的模型表现出较高的稳定性和地模型训练迭代任务分为本地训练和RSU辅助训练。设置了卸载比例阈值来优化任务卸载[0118]与实施例1基于同一发明构思，本实施例提供了一种基于联邦自监督学习的任务卸载和资源分配系统，由于该系统解决问题的原理与前述实施例1提供的基于联邦自监督学习的任务卸载和资源分配方法相似，因此该系统的实施可以参见实施例1提供的基于联[0121]第一确定模块30，用于根据CPU频率和任务卸载比例确定任务卸载迭代次数和未[0122]第二确定模块40，用于根据第一本地模型和本地数据确定目标车辆新的本地模[0129]第一确定单元，用于确定本地模型预计训练迭代次数N:和[0130]第一计算单元，用于根据以下公式计算RSU侧预期的任务卸载训练迭代次数N"：。[0132]第三确定单元，用于将和N"中的最小值作为任务卸载训练迭代次数。。。为增强后的本地数据""输入。。Z为本地数据第三确定单元，用于确定本地模型预计训练迭代次数N:和本地模型实际训练迭。。。n在时隙t的衰落信息；为车辆速度为车辆n在时隙t的速。[0147]其中，为所有车辆向RSU发送数据时的功率车辆的任务卸载比例为车辆n的任务卸载比例。。。[0152]关于上述各个模块更加具体的工作过程可以参考实施例1公开的相应内容，在此保存的计算机程序时实现实施例1所述的基于联邦自监督学习的任务卸载和资源分配方法[0155]关于上述方法更加具体的过程可以参考实施例1中公开的相应内容，在此不再进理器执行时实现实施例1所述的基于联邦自监督学习的任务卸载和资源分配方法[0158]关于上述方法更加具体的过程可以参考实施例1中公开的相应内容，在此不再进机可执行指令或计算机程序被处理器执行时，实现实施例1所述的基于联邦自监督学习的[0161]关于上述方法更加具体的过程可以参考实施例1中公开的相应内容，在此不再进[0163]本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件