CN115408151B 一种联邦学习训练加速方法 （哈尔滨工业大学）

将更新后的全局模型的模型参数发送至各个边缘服务器，迭代更新全局模型直至全局模型收2所述边缘设备根据所述初始模型参数构建局部模型，根据动态分层所述根据动态分层决策算法计算获得所述边缘设备与所述边缘服务器的训练任务包获取所述边缘设备中所述局部模型的单条样本的平均训练时所述根据动态分层决策算法，重新计算获得所述边缘设备与所述边缘服获取所述边缘设备的状态信息，根据所述状态信息，述边缘服务器训练时间占总训练时间的比例和所述边缘设备和所述边缘服务器根据所述训练任务分别构建前端模型所述边缘服务器根据各个所述边缘设备发送的所述局部模型参数进所述中心云根据各个所述边缘服务端发送的所述中间模型参数更新所所述边缘设备根据所述训练任务对所述局部模型进行分层处理，构建所述前端模型，所述边缘设备根据所述数据集训练所述前端模型，获得中间结果，并将3根据预设的打分机制对各个所述训练任务进行打分，根据打分结果4.根据权利要求3所述的联邦学习训练加速方法，其特征在于，所述根据所述优先队述边缘服务器根据数据集协同训练所述前端模型和所述后端模型，获得局部模型参数包所述边缘设备根据设备损失率计算设备训练次数，所述边缘设备和所计算获得设备训练时间，将所述设备训练时间和所述局部模型参数发送至所述边缘服务所述边缘服务器根据服务器损失率计算中间聚合次数，根据各个所述局所述中心云根据各个所述边缘服务器发送的所述中间模型参数更新456器根据所述设备训练次数协同训练所述前端模型与所述后端模型，获得所述局部模型参[0032]所述中心云根据各个所述边缘服务器发送的所述中间模型参数更新所述全局模7述设备损失率发送至所述边缘设备的步骤，迭代更新所述全局模型直至所述全局模型收8例采用基于强化学习的动态分层决策算法(DDPG_SL算法)，首先利用强化学习算法定义一个比值表示t时刻设备ck上部署模型的计算量占比(即Frontend模型的工作训练获取的结果发送至边缘服务器进行后端模型的训练，获得训练结果后返回前端模型，9分层训练任务。实时获取边缘设备中局部模型的上训练一个样本数据的时间)和历史平均训练时间，将单条样本的训练时间与历史的平均此时重新根据动态分层决策算法计算新的分层训练任务进行联邦学习的模型训练。例如，地训练中设备k的训练总时间，表示边缘设备k的t轮的训练时间(即前端模型t轮的训分层训练，这会导致例如DRL算法的输出维度是大小不定的，进而无法实现准确的模型分[0092]为了更好的理解两阶段聚合过程，首先对经典联邦学习的聚合过程进行一些定[0093]jk)表示模型的损失函数。[0098]在中心云处，需要将来自N个设备的参数进行聚合，但其所进行的并不是梯度下层联邦学习的设定，假设共有N个边缘设备，E个边缘服务器与之对应，边缘服务器i与Ni缘服务器i所负责的数据集大小|Di|进行加权平均，全局模型参数与全局经验损失分别用在边缘服务器在经历k2＝2次中间聚合后，才会将中间模型传递给中心云节点进行全局聚器根据所述设备训练次数协同训练所述前端模型与所述后端模型，获得所述局部模型参到满足公式(13)此时可以认为本地模型训练从公式(13)中可以看到，所谓的设备损失率θ,本质上表示经验率为0时，则说明需要保证后续训练梯度不再发生变化，此时说明模型已经达到了全局最模型参数wk传递给其所对应的边缘服务器i。定义边缘设备与边缘服务器之间的通信满足器i会将新的wi通过广播传输给下属的所有设备，这里将两部分网络传输时间统一简化为所以即边缘服务器i中间聚合的间隔时间(即中间聚合时间)利用公式(17)表t""IDF(w;(t-1)ll(18),系数。公式(19)同时受到服务器损失率∈和设备损失率θ的影响。∈的取值主要影响到I缘服务器i中间聚合的间隔时间即用训练任务的真实执行才会将各个服务器上的中间参数wi上传到[0143]所述中心云根据各个所述边缘服务器发送的所述中间模型参数更新所述全局模述设备损失率发送至所述边缘设备的步骤，迭代更新所述全局模型直至所述全局模型收fF+tf"e'+t8(20),从而将聚合总时间ttotal转化为一个与设备损失率θ,以及边缘损失率∈相关的函数W(∈,[0161]0<θ<1模拟退火算法求解最优损失率的具体流程如图5所示，其核心在于当找到更恰当的损失率[0169]其中云边容器化组件主要是依赖于KubeEdge本身提供的容器编排方案，和致性KV存储组件。KubeEdge在此基础上增加了两个组件，一个是Cloudcore，一个是缘节点上执行。KubeEdge完全支持了Kubernetes的API资源，所以我们可以像使用KubeEdge通过CloudHub和EdgeHub之间基于WebSocket和QUIC协议进行通信，相比直接通过Python脚本从Promethus的TSDB中获取时序的状态信息。除了获取到对应的状态使发现问题并分析问题。在调研后决定使用开源组件Promethus加Grafana来实现。Promethus本质上可以理解为是一个时序数据库，每个节点上会有一个node_export的组方便用户进行的集群与任务管理。随着云边平台运行的任务数量的不断增长，每个应用用户可能会将实验现象以日志的形式打印出来，这样也不利于用户后期对实验现象的分的边缘云根据配置文件中的层级关系依次作为子目录进行挂载，最后形成一个树形结构。于验证本文的联邦学习加速算法，当然其本身也可以用于常规的模型训练，架构如图7所Pytor