CN119358708B 基于扩散模型的自适应双边蒸馏个性化联邦学习方法 （齐鲁工业大学(山东省科学院)）

基于扩散模型的自适应双边蒸馏个性化联本发明属于联邦学习的技术领域，更具体联邦学习方法。所述方法通过设计一种指导机弥补了局部_全局相互蒸馏过程中可能丢失的全化能力的平衡，适用于非独立同分布non_IID数2S2、客户端接收服务器传来的全局模型，客户端利S4、服务器根据客户端的本地数据量将收到的聚合完成后，服务器使用余弦相似度来计算各个本地的表示将和归一化为单位向量；;S5、利用相似度来对接收到的本地的局部生成3S6、服务器利用全局生成器生成的全局伪数据对（5）（6）处理后的学生模型的概率分布，代表教师模型在全局伪数据上的输出logits，S7、服务器将优化后的全局模型重新广播发送2.根据权利要求1所述的基于扩散模型的自适应双边蒸馏个性化联邦学习方法，其特将本地数据分别送入到本地的局部模型和全局模型进行训练，在过程使用交叉熵损43.根据权利要求1所述的基于扩散模型的自适应双边蒸馏个性化联邦学习方法，其特根据本地的局部模型和全局模型在数据集上预测的准确性来控制在相互蒸馏的过程中，使用了KL散度来控制本地的局部模型预4.根据权利要求1所述的基于扩散模型的自适应双边蒸馏个性化联邦学习方法，其特（14）po(x--1lx,c)=N(x--1;u(xpt,c),z(x,t,c))（15）xr-1~po(xr-1]x,c)（16）xr-1~po(xr-1]x,c)代表从条件概率分布中采样得到时间状态t_1时刻的样本56在共享全局知识的同时，针对每个用户的特定数据分布和任务需求优化本地模型的性能。[0004]现有的大多数个性化联邦学习方法往往只关注模型个性化和泛化能力中的某一性化知识和全局知识的学习，但全局模型在利用本地数据训练时可能遗忘部分全局知识，[0006]中国专利文献CN117035057A公开一种基于模型和数据蒸馏的个性化联邦学习方7下载多个全局编码器模型，更新客户端中的多个本地共享编码器模型参数，下载全局[0007]有鉴于此，本发明设计一种基于扩散模型的自适应双边蒸馏个性化联邦学习方引入条件扩散模型生成高质量的伪数据，并利用这些伪数据对聚合后的全局模型进行微8[0024]根据本地的局部模型和全局模型在数据集上预测的准确性来控制相互蒸馏的强原始数据逐步变为纯噪声；[0034]po(x--1lx,c)=N(xe-1;uo(xpt,c),z(x,t,c))（6）9[0035]xr-1~po(xr-1]x,c)（7）xr-1~po(xr-1]x,c)代表从条件概率分布中采样得到时间状态t_1时刻的样本过最小化模型预测的噪声EO和真实添加的噪声之间的距离，从而使逆向生成过程更加准客户端j的本地数据量，|D|代表所有客户端的数据总量，代表第i轮的客户端j[0047]在式（10）中，Cos(wi,w)是计算本地的全局模型和聚合后全局模型的初步相似度，代表第i轮的客户端k的全局模型参数向量，wi代表第i轮聚合后的全局模型参数向[0055]首先利用全局生成器gi生成全局伪数据D:，然后选择前m轮的全局模型进行加权过平滑处理后的学生模型的概率分布，代表教师模型在全局伪数据上的输出r2用于抵消概率分布平滑带来的梯度缩放；的梯度；[0076]图3是本发明实施例1中在CIFAR10数据下本发明的个性化联邦学习算法与其他联[0077]图4是本发明实施例1中在CIFAR100数据下本发明的个性化联邦学习算法与其他[0080]参图1和图2，本实施例提供基于扩散模型的自适应双边蒸馏个性化联邦学习方[0094]根据本地的局部模型和全局模型在数据集上预测的准确性来控制相互蒸馏的强[0099]所述客户端利用本地数据和类别向量来训练本地条件扩散模型得到本地的局部原始数据逐步变为纯噪声；[0104]po(x--1lx,c)=N(xe-1;uo(xpt,c),z(x,t,c))（6）[0105]xr-1~po(xr-1]x,c)（7）xr-1~po(xr-1]x,c)代表从条件概率分布中采样得到时间状态t_1时刻的样本过最小化模型预测的噪声EO和真实添加的噪声之间的距离，从而使逆向生成过程更加准客户端j的本地数据量，|D|代表所有客户端的数据总量，代表第i轮的客户端j[0117]在式（10）中，Cos(wi,w)是计算本地的全局模型和聚合后全局模型的初步相似度，代表第i轮的客户端k的全局模型参数向量，wi代表第i轮聚合后的全局模型参数向cxtw)进行标[0125]首先利用全局生成器gi生成全局伪数据D:，然后选择前m轮的全局模型进行加权过平滑处理后的学生模型的概率分布，代表教师模型在全局伪数据上的输出r2用于抵消概率分布平滑带来的梯度缩放；|DX|表示其拥有的数据集的数量。全局数集合。该发明本地的主要目标是同时获取一个本地模型w和一个全局模型w8,其优化目标[0146]本发明提供