CN119514727A 基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法 （重庆邮电大学）

号基于自适应本地模型初始化和双重知识蒸本发明涉及一种基于自适应本地模型初始根据全局模型与局部模型之间的余弦相似度进2S2、在每个客户端上根据全局模型与局部模型之间的余弦相似度进行本地模型初始S3、在每个客户端上根据全局模型和历史局部模S4、中央服务器接收参与训练的所有客户端上传的局部模2.根据权利要求1所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联3.根据权利要求2所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联4.根据权利要求3所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联5.根据权利要求4所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联3全局知识蒸馏损失LGD用于比较学生模型的输出概率分布与教师模型的输出概率分布使用不同超参数来权衡全局知识蒸馏和自我知识蒸馏的强度，则本地训练总损失Lk表GD和βSD分别为全局知识蒸馏和自我知识蒸馏强度的参数。6.根据权利要求4所述的一种基于自适应本地模型初始化和双重知识蒸馏的个性化联4S45、定义局部模型与全局模型之间的欧式距离作为客户端k对联邦学习系统的贡献通过对客户端贡献度归一化，在初始聚合模型的基础上，根5穿戴设备以及物联网等设备规模不断增长和功能不断丰富，并时时刻刻产生海量的数据，竞争以及隐私安全等问题，每个客户端不能直接将私人数据发送到中央服务器来训练模67[0026]全局知识蒸馏损失LGD用于比较学生模型的输出概率分布与教师模型的输出概率8[0054]本发明通过自适应初始化用接收到的全局模型与本地模型之间的余弦相似度决9[0058]图2为本发明的基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方[0066]联邦学习是一种分布式机器学习方法，不需要将原始数据集中到单个集中式位对从所有客户端接收到的局部模型聚合得到，客户端与服务器之间共进行T轮迭代直至模[0081]个性化联邦学习(Person[0084]由于性能良好的模型通常具有很大的规模，这会导致计算复杂度和存储成本的加。因此，这些模型往往无法在资源受限的移动设备上部署。知识蒸馏(KnowledgeDistillation,KD)是作为一种模型压缩方法引入的，其主要思想是利用大型预训练模型[0087]学生模型使用超参数α和β控制交叉熵损失函数项LCE和Kullback_Leibler(KL)散kLts)[0097]全局模型Wg与局部模型Wk的参数向量分别为w1和w2，则计算余弦相似度的公式如[0100]通过余弦相似度决定全局模型和局部模型的自适应初始化系数δ,则初始化后的的逻辑值(logits)，分别为q(w0)、q(w⃞)和q(w-1)。.[0103]用交叉熵损失衡量当前局部模型的与本地数据真实类别标签y之间的差[0105]用KL散度比较学生模型的输出概率分布与教师模型的输出概率分布两者之间的[0113]客户端使用随机梯度下降(SGD)方法，根据上述方法中的Lk的局部目标更新局部[0130]定义局部模型与全局模型之间的欧式距离作为客户端k对联邦学习系统的贡献[0140](3)Cifar100数据集和Cifar10数据集在样本数量上是相同的，同样包含60000张端的本地数据最多包含提前给定的s个类别，其中MNIST数据集和Cifar10数据集其s＝2而施例将本发明的方法FedAaK与其他联邦学习方法进行比较，包括FedAvg、FedProx和[0148]本发明提出的基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方[0149]本发明提出的基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方