CN117932683B 一种基于混洗差分隐私保护的个性化联邦学习方法及系统 （重庆大学）

1160-1168.一种基于混洗差分隐私保护的个性化联邦本发明提供了一种基于混洗差分隐私保护分析器获得并发布下一全局迭代轮次的全局模2客户端通过当前全局迭代轮次的全局模型更获取上一全局迭代轮次中第i个客户端本地训练完成后获得的局部模型梯度t表按照如下公式获得第i个客户端当前全局迭代轮次t中本地训练的初始局部模型：客户端本地的随机产生器根据预设的用户隐私偏好和隐私等级分类策略确定用户隐混洗服务器将收到的扰动梯度和隐私保护等级分别构成扰动梯度序列和隐私保护等分析器基于打乱后的扰动梯度序列和隐私保护等级序列获得并发布下一全局迭代轮述客户端本地的随机产生器根据预设的用户隐私偏好和隐私等级分类策略确定用户隐私A<εB<εC；3.如权利要求1或2所述的基于混洗差分隐私保护的个性化联邦学习方法，其特征在保留加入噪声后的局部模型梯度中最大的b个维度，并将加入噪声后的局部模型梯度所述扰动梯度序列包括n个客户端本地的随机产生器上传的扰动梯度，将扰动梯度序3列中每个梯度维度索引在n个扰动梯度中对应的维度值组成维度值排列，打乱所有梯度维度索引对应的维度值排列获得打乱后的扰动梯度序列。5.如权利要求1或2或4所述的基于混洗差分隐私保护的个性化联邦学习方法，其特征从打乱后的扰动梯度序列中采样S个客户端的扰动梯度，按照预设聚合聚合隐私保护等级序列获得聚合隐私保护等级，若所述聚示高斯分布噪声，N表示参与本次全局迭代训练的客户端数量，c表示第一常数，得第i个客户端第r本地训练轮次的个性化模型(oj,):全局迭代中第i个客户端的第r本地训练轮次获得的局部模型的梯度，(q;D)表示第i个4当达到最大本地训练轮次R时，上传第i个客户端第R本地训练轮次的局部模型梯度9.一种基于权利要求1-8之一所述的基于混洗差分隐私保护的个性化联邦学习方法的5练方可以通过梯度的明文重构出完整的训练数据，因此亟需更多手段保护训练方(即客户方案可用性比较差。又提出联邦学习中采用安全多方计算来实现梯度在服务器的安全聚现有技术中还提出基于混洗差分隐私的联邦学习方案可同时满足本地和中央服务器的强[0005]本发明旨在解决现有技术中本地差分隐私的个性化联邦混洗差分隐私保护的个性化联邦学习方法，分析器发布隐私等级分类策略和初始全局模6分别构成扰动梯度序列和隐私保护等级序列，分别打乱扰动梯度序列和隐私保护等级序梯度序列和隐私保护等级序列获得并发布下一全局迭代轮次的本发明第一方面所述的基于混洗差分隐私保护的个性化联邦学习方法的训练系统，包括n[0008]本发明根据用户客户端本地的随机产生器根据预设的用户隐私偏好和隐私等级分类策略来确定用户隐私预算，并根据用户隐私预算添加不同的噪声在局部模型梯度中，梯度参数的安全，混洗服务器打乱梯度序列使攻击方难以将局部模型和客户端一一对应，[0010]图2是本发明一种优选实施方式中基于混洗差分隐私保护的个性化联邦学习方法示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限7具体情况理解上述术语的具体含义。器Mi以及用户根据自身隐私保护强度设置的隐私偏好等级Ri。隐私等级分类策略表示为ε(εAAεA<εB<εC。ωt表示第t8模型(or,):t次全局迭代中第i个客户端的第r本地训练轮次获得的局部模型的梯度，(a;D)表示第i[0032]在上述本地训练方案中，个性化联邦学习可以表述为一个双层优化问题：通过外部层利用n个客户的数据分布的期望损失，基于此，客户端可以沿不同的方向更新本地模型，同时不会偏型(oi,)的高精度的近似(oi,).在本地训练个性化模型，允许客户端沿不同的方向更新A<εB<εC；9[0038]当Ri<εA时，第i个客户端的隐私保护等级第i个客户端的隐私预算为εi=RiεA；i个客户端的隐私保护等级第i个客户端的隐私预算为εi=并将加入噪声后的局部模型梯度中不属于最大的b个维度的维度值替换为预设值，将新生个客户端加入噪声后的局部模型梯度的第k维度的维度[0046]步骤S4，混洗服务器将收到的扰动梯度和隐私保护等级分别构成扰动梯度序列和隐私保护等级序列分别打乱扰动梯度序列和隐私保护等级序列，将打乱[0048]扰动梯度序列包括n个客户端本地的随机产生器上传的扰动梯度，将扰动梯度序列中每个梯度维度索引在n个扰动梯度中对应的维度值组成维度值排列，打乱所有梯度维[0051]步骤501：对梯度的每个维度k∈[d]，生成排列πk，基于排列πk打乱梯度序列：[0059]步骤S53生成下一轮全局模型，包括：若聚合隐私保护等级小于或等于全局差[0062]其中，t表示当前全局迭代噪声，N表示参与本次全局迭代训练的客户端(即用户)数量，N≤n，c表示第一常数，[0063]本发明还公开了一种基于上述基于混洗差分隐私保护的个性化联邦