CN114936595B 一种联邦学习中的模型微调和头部聚合方法 （四川省人工智能研究院(宜宾)）_第1页
CN114936595B 一种联邦学习中的模型微调和头部聚合方法 （四川省人工智能研究院(宜宾)）_第2页
CN114936595B 一种联邦学习中的模型微调和头部聚合方法 （四川省人工智能研究院(宜宾)）_第3页
CN114936595B 一种联邦学习中的模型微调和头部聚合方法 （四川省人工智能研究院(宜宾)）_第4页
CN114936595B 一种联邦学习中的模型微调和头部聚合方法 （四川省人工智能研究院(宜宾)）_第5页
已阅读5页，还剩17页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

技术开发区长江北路西段附二段430号US2021073639A1,202一种联邦学习中的模型微调和头部聚合方法本发明公开了一种联邦学习中的模型微调务器中对头部训练后的深度学习模型进行全局2S1：通过客户端接收中心服务器发送的深度学习S2：在中心服务器中对头部训练后的深度学习层作为深度学习模型的头部，将深度学习模型的剩余主体作为深度学习模型的全局表示，将深度学习模型的头部和全局表示组成客户端3""4户端生成适应于他们数据分布的个性化模型是一5[0008]本发明的技术方案是：一种联邦学习中的模型微调和头部聚合方法包括以下步[0016]进一步地，步骤S11中，深度学习模型的目标函数的表达式为X,f(,h}其中，w表示深度学习模型的全局表示，hi表示深度学习模型的头部，F(w,g表示梯度。678"g表示梯度。心服务器提供一个具有良好泛化能力的全局模型。但从结构与实现上，FedHA又是依靠着每个联邦轮次内选择若干个参与训练的客户端，在每个客户端上运行上述的FedFT更新过而是被存入由FedHA部分在中心服务器上维护的头部字典(HeadDict)中。在头部字典中，9的FedFT部分和在此基础上衍生出的服务于中心服务器的FedHA部分。首先在Cifar10、[0083]Cifar10：Cifar10数据集包含60000张32×32像素大小的彩色图片，共有10个类[0095]在这里对比了FedFT与上述各种基线算法在本地测试上的个性化性能。实验总共在Cifar10、Cifar100和FEMNIST这三个数据集的6种不同的数据异质条件下进行测试。在增强在高度数据异质条件下FedFT方法对于通用全局表示的学习能力，将同步更新次数增[0096]结果如表1所示，可以看出FedFT方法在各种数据异质条件下都取得了最优的性用表示学习和个性化头部的个性化联邦学习也能提升服务器模型在全局测试端对所有测试数据的预测性能，在Cifar10数据集的3种不同数据异质条件下进行了实验，结果如3和图4所示。可以发现，在所有的数据异质设置下，未使用FedHA方法的FedFT和FedRep的个性化头部过拟合于本地数据，使聚合后的全局模型性能表现较差。即使如此，了FedHA是一种可以在不损害个性化性能的基础上为使用表示学习和个性化头部方法的个性化联邦学习算法提供一个具有泛化性能的全局模型的通用方法。普通技术人员可以根据本发明公开的这些技术启示

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论