CN119494421A 自适应差分隐私的联邦学习方法、客户端、服务器、存储介质及产品 （中移动信息技术有限公司）

本申请公开了一种自适应差分隐私的联邦整策略根据数据分布相似度和各训练轮次对应法以及目标隐私预算对各样本的目标梯度添加2基于当前训练轮次和裁剪阈值调整策略确定当前训练轮次对裁剪阈值调整策略根据数据分布相似度和各训练轮次对根据所述梯度裁剪阈值对当前训练轮次下各样本对应的梯度进行裁根据自适应差分隐私算法以及目标隐私预算对各样本对应的目标梯度添加噪声扰动，根据所述自适应噪声、目标数据集以及全局损失函数进行模型更新，发送所述本地模型参数至服务器，以使所述服务器根据在当前训练轮次为预设轮次时，根据数据分布向量和全根据所述数据分布相似度和全局初始阈值确定额将所述额定裁剪阈值和预设裁剪阈值进行比较，并根据比较结果确根据历史训练轮次下各样本的梯度、当前训练轮次下各样本对应的梯根据所述历史裁剪阈值、所述梯度变化率以及所述预设调节因子根据残差融合机制对各样本分别对应的多个拆分特征进行特征融3根据扰动幅度和梯度计算方向对各样本进行对抗性扰动添加，根据各样本对应的对抗样本、训练样本数量、当前训练轮次对应根据所述对抗损失函数、所述原始损失函数以及预设权重系数7.一种自适应差分隐私的联邦学习方法，其发送初始模型至各客户端，以使各客户端根据各在当前迭代轮次为第一迭代轮次时，根据各客户端的识别在当前迭代轮次为第二迭代轮次时，根据各客户端的模型准处理模块，用于基于当前训练轮次和裁剪阈值调整策略确定当前训练轮裁剪模块，用于根据所述梯度裁剪阈值对当前训练轮次下各样本对应的梯度进行裁添加模块，用于根据自适应差分隐私算法以及目标隐私预算对各发送模块，用于发送所述本地模型参数至服务器，以使模型发送模块，用于发送初始模型至各客户端，以使各客户端根4序，所述自适应差分隐私的联邦学习程序被处理器执行时实现如权利要求1至6或7中任一5[0003]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技[0006]基于当前训练轮次和裁剪阈值调整策略确定当前训练轮所述裁剪阈值调整策略根据数据分布相似度和各训练轮次对应的梯度变化[0008]根据自适应差分隐私算法以及目标隐私预算对各样本对应的目标梯度添加噪声6[0018]根据所述历史裁剪阈值、所述梯度变化率以及所述预设7剪阈值调整策略根据数据分布相似度和各训练轮次对应的梯所述计算机程序配置为实现如上文所述的自适应差分隐私的联邦学习方[0046]本申请提供了一种自适应差分隐私的联邦学习方法，本申请的方法应用于客户8剪阈值，所述裁剪阈值调整策略根据数据分布相似度和各训练轮次对应的梯度变化率构[0050]图2为本申请实施例一提供的自适应差分隐私的联邦学习方法的残差融合结构示[0051]图3为本申请实施例一提供的自适应差分隐私的联邦学习方法的对抗扰动训练处[0054]图6为本申请实施例三提供的自适应差分隐私的联邦学习方法的简要流程示意[0055]图7为本申请实施例三提供的自适应差分隐私的联邦学习方法的联邦学习模型的9[0062]现有的基于差分隐私的联邦学习研究中，没有考虑到实际客户端的隐私保护程[0063]本申请通过为各个客户端分配不同的隐私保护程度，以更好地促进模型训练过[0066]步骤S10，基于当前训练轮次和裁剪阈值调整策略确定当前训练轮次对应的梯度[0067]需要说明的是，本实施例的执行主体自适应差分隐私的联邦学习系统中的客户预设的最小裁剪阈值，用于保证所有客户端的最小信息传递量；c"为客户端i第t_1轮的度来计算客户端i的数据分布向量Qi和服务器的全局数据分布向量Qglobal之间的相似度向量Qi和服务器的全局数据分布向量Qglobal之间特征表示"然后，将所有拆分的融合特征表示书"合并，得到最终的综合特征表示",综合特征表示t第t轮的第i个样本的损失函数，yi为第i个样本的真实标签，f(θt,xi)为第i个样本的预测[0087]步骤S30，根据自适应差分隐私算法以及目标隐私预算对各样本对应的目标梯度t[0092]步骤C12，根据预设隐私预算和所述识别准确率进行参数计算，确定目标隐私预施中采用的敏感数据识别模型训练过程不加置的K，得到更新后的本地模型参数为：其训练的参数θt一致。设平滑系数以及预设平滑项。剪阈值c"。[0111]步骤S12，根据历史训练轮次下各样本的梯度、当前训练轮次下各样本对应的梯的梯度变化率为：tt-1以及预设调节因子进行阈值计算，可得到当前训练轮次对应的梯度裁剪阈值度变化率以及所述预设调节因子进行阈值计算，确定当前训练轮次对应的梯度裁剪阈值。自适应噪声以及全局损失函数对所述初始模型的模型参数进行更新，并反馈本地模型参[0118]需要说明的是，本实施例的执行主体自适应差分隐私的联邦学习系统中的服务梯度变化率构建；根据所述梯度裁剪阈值对当前训练轮次下各样本对应的梯度进行裁剪，型准确率accuracyi和参与训练的客户端数量N，从而计算客户端i在本轮训练的表现此时根据各客户端在本轮训练的表现和权重调节因子χ可确定各客户端的动态影响因子在本实施例中，权重调节因子χ为控制行加权聚合，并根据加权聚合结果得到全局模型。更新后的全局模型参数为：[0154]本申请提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令分隐私算法以及目标隐私预算对各样本对应的目标梯度添加噪声扰动，得到自适应噪声；[0158]可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN：储有用于执行上述自适应差分隐私的联邦学习方法的计算机可读程序指令(即计算机程执行时实现如上述的自适应差分隐私的联邦学机程序产品的有益效果与上述实施例提供的自适应差分隐私的联邦学习方法的有益效果