CN113591145B 基于差分隐私和量化的联邦学习全局模型训练方法 （西安电子科技大学）

US2021073677A1,2021.03.11WO2021120676A1,2021.06.24基于差分隐私和量化的联邦学习全局模型一种基于差分隐私和量化的联邦学习全局务器对上传的本地模型梯度进行加权聚合并更用户的隐私预算值耗尽或者联邦学习全局模型2步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生成每(3b)为每个本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的噪声(3c)为每个本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐私的2.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征组中的每个参数值是每个本地用户利用其隐私数据对中央服务器下发的联邦学习全局模3.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征i个本地用户符合差分隐私的高斯噪声尺度值，所述符合差分隐私的高3斯噪声是指添加的噪声值符合高斯分布且能使本地模型参数符合差分隐私，Δfi表示第i4.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征第一步，将每个本地用户的正梯度集合中的元素进行升序排序，将排序中的第第二步，将每个本地用户的负梯度集合中的元素进行升序排序，将排序中的第5.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征6.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征i'表示第i个本地用户的本地模型梯度中压缩量化后i表示第i个本地用户的本地模型梯度中未压缩的参数值，amin表示本地模型梯度7.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征表示第t次迭代的第i个本地用户的本地模型梯度，Si表示第i个本地用户的隐私数据的总8.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征t次迭代后更新的联邦学习全局模型中的参数值，θt-1表示第t-1次迭代49.根据权利要求1所述的基于差分隐私和量化的联邦学习全局模型训练方法，其特征5通信次数以提升联邦学习通信效率成为了发展联邦学[0003]Truex等人在其发表的论文“LDP-Fed：federatedlearningwith型参数的更新匿名发送到随机选择的k个用户；(5)服务器等待接收随机选择的k个参数更了传输过程中的通信开销。计算服务器所辖区域内用户设备和云端联邦学习子系统负责的多个边缘计算服务器实施边缘计算服务器上传模型梯度信息，由此诚实但好奇的边缘计算服务器可进行反推攻击，6[0009]步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生[0012](3b)为每个本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的[0013](3c)为每个本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐7[0022]步骤9，将中央服务器更新后的联邦学习全局模型中的参数值下发给每个本地用[0027]第二，本发明通过对每个本地用户的添加噪声后的本地提取在每次训练中影响较显著的本地模型梯度，由于阈值量化有效控制了上传数据的规8[0037]步骤2，根据中央服务器下发的联邦学习全局模型和每个本地用户的隐私数据生的每个参数值是每个本地用户利用其隐私数据对中央服务器下发的联邦学习全局模型中[0040]参照图2，对本发明实施例中一个本地用户的本地模型梯度添加噪声的过程做进[0041]从步骤2所生成的所有本地用户的本地模型梯度中随机选取一个本地用户的本地fi表示所选的第i个本地用户的全局敏感度，所述全局敏感度是指添加噪声后本地模型梯度与未加噪声的本地模型梯度的欧式距离，εi表示中央服务器为所选的第i个本地用户设[0045]为所选的本地用户的本地模型梯度中的每个参数值生成一个符合高斯分布的噪[0046]为所选的本地用户的本地模型梯度中的每个参数值加上其对应的符合差分隐私9[0055]判断所选的本地用户的添加噪声后的本地模型梯度中的参数值是否满足阈值选[0056]所述的阈值选取条件指的是选取出大于正参数阈值的正参数值或者小于负参数[0059]计算所选的本地用户的阈值量化后的本地模型梯度中的参数值的最小值amin和最[0060]利用下述压缩公式对所选的本地用户的阈值量化后的本地模型梯度中的每个参[0064]压缩量化是通过将本地模型梯度中的参数值从32位浮点型数值转换为8位的整型习全局模型的收敛速度。但相比于从32位到8位的75％的内存压缩以致75％左右的数据通i,t表示第t次迭代的第i个本地用户的本地模型梯度，Si表示第i个本地用户的隐私数[0070]由于本地用户的隐私数据量的分布不均衡会极大影响联邦学习全局模型的精确[0074]步骤9，将中央服务器更新后的联邦学习全局模型中的参数值下发给每个本地用[0083]本发明的仿真实验的硬件平台为：处理器为Inteli5-10400CPU，主频为[0085]本发明仿真实验所使用的数据集为来自美国国家标准与技术研究所的MNIST手写识别图像数据集。该数据集是美国国家标准与技术研究所通过对250个人的手写数字内容[0087]本发明仿真实验是采用本发明和四个现有技术(FL全局模型训练方法、LDP-FL全LearningofDeepNetworksfromDecentralizedData.2016”中提出的联邦学习全局模federatedlearningwithlocaldifferentialprivacy.EuroSys'20:Fifteenth[0091]现有技术FedPAQ全局模型训练方法是指，Reisizadeh等人在“FedPAQ:ACommunication-EfficientFederatedLearningMethodwithPeriodicAveraging[0093]利用四个评价指标(噪声扰动时间、模型量化时间、模型聚合时间和上传数据规[0096]表1中的噪声扰动时间是指对一个本地用户的本地模型梯度中的所有参数值生成地用户。[0097]表1中的本发明仿真实验采用对本地模型梯度中的每个参数值添加符合高斯分布[0098]结合表1可以看出，最基本的FL全局模型训练方法由于没有差分隐私和量化的操聚合时间相差不大。FedPAQ全局模型训练方法利用阈值量化对本地模型梯度规模进行缩减，即每个本地用户上传的数据规模大小为79600*0.4838B。其中阈值量化操作的时间为时间为0.6616s。本发明在聚合