CN110572253A 一种联邦学习训练数据隐私性增强方法及系统 （济南大学）

一种联邦学习训练数据隐私性增强方法及一种联邦学习训练数据隐私性增强方法及参与联邦学习的多个客户端均基于所述公共参数生成各自的公钥和私钥对；联邦学习过程如2(1)各客户端基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥进行(3)第一服务器基于主密钥对各加密模型参数进行解密，通过加权平均得到全局模型将加密后的随机数与对应的模型参数依次进行加法同(4)中第二服务器移除全局模型参数的盲化信息后，将加密的全局模型参数发送至各个客第二服务器，接收并存储公共参数；接收加密3基于主密钥对加密模型参数进行解密，通过加权平均接收各客户端发送的加密模型参数与相应公钥，其中，对各加密模型参数进行盲化处理，将盲化的加密模型基于本地数据集训练本地模型，将得到的模型参数采用各自的公接收加密的全局模型参数后，基于各自的私钥解密得到4[0001]本发明属于数据安全保护技术领域，尤其涉及一种联邦学习训练数据隐私性增[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技泄露事件、2017年趣店学生信息泄露事件与2018年Facebook用户信息泄露事件，这三家机器学习技术--联邦学习(FederatedLearning,FL)，允许客户端(比如移动设备)在学习，Gboard基于用户的历史搜索数据，为用户的下一次搜索结果提供迭代与持续的改[0004]联邦学习允许客户端基于本地数据训练模型，在不需要共享本地数据到服务器无法保证各客户端传输到服务器的模型优化参数是否安全。如果模型的优化参数在服务器被攻击者窃取，攻击者可以通过模型参数还原客户端本地训练数据或者根据模型优化5[0005]为克服上述现有技术的不足，本发明提供了一种联邦学习训练数据隐私性增强所述公共参数发送给第二服务器；参与联邦学习的多个客户端均从第二服务器获取所述[0019]将加密后的随机数与对应的模型参数依次进行加法同态运算，得到盲化的加密[0023]一个或多个实施例提供了一种联邦学习训练数据隐私性增强系统，包括第一服6[0032]接收并存储公共参数供所述多个客户端下载，所述公共参数用于各客户端生成[0034]对各加密模型参数进行盲化处理，将盲化的加密模型参数与相应公钥发送给另[0035]自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数，移除盲化信务器(第一服务器)之间增加另一服务器(第二服务器)，使得客户端和第一服务器不直接7[0043](3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合，保证了模型参[0044](4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分布式深度学习攻击方法通过模型参数还原客户端训练数据，保证服务器端在聚合模型参数过程中各客[0045]构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的[0047]图2为本发明一个或多个实施例中联邦学习训练数据隐私性增强方法数据传输另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员[0052]同态加密(HomomorphicEncryption,HE)是由Rivest等人于1978年提出的一种Gentry才提出第一个真正意义上的全同态加密方案。但就目前而言使用全同态加密算法[0053]双陷门解密方案(BCP方案，参见“Asimplepublic-keycdoubletrapdoordecryptionmechanismanditsapplications”,E.Bresson,D.Catalano,D.Pointcheval,in:AdvancesinCryptology-ASIACRYPT2003,Springer,8户解密算法(客户端通过私钥解密)和主密钥解密算法(服务器通过主密钥解密)，即指BCP方案除了通过公私钥对数据正常加解密以外，拥有主密钥(mastersecretkey，记为mk)的一方可以在没有对应客户端私钥的情况下解密密[0054]本发明基于由Bresson等人提出的双陷门解密的加法同态方案，采用BCP结合双服务器的方案，与多密钥联邦学习场景相结合。此方案共有5种算法，分别为设置算法服务器S'；-1]，g是群zwe的素数(gEzn2),生成的公钥对模型参数进行加密处理并将加密后的模型参数与客户端自己的公钥发送到服务器S'。k9S'。布。S'将τi依次使用每个客户端的公钥加密，得到IEncpr,(Gr)。S'将加密后的随机数并将和pki发送给服务器S。盲化的明文；S通过联邦平均算法(FederatedAveraging,我们在服务器用FedAvg算法对各客户端上传的模型参数进行加权平均，得到新的全局模务器S'。服务器S'利用各个客户端的公钥pki加密加权平均后的盲化参数Encpr,(frea),然后S'通并发送给各个客户端。型，本轮迭代结束，各客户端得到新的模型参[0082]客户端收到服务器S'发送的密文状态下的全局模型参数ωfed，并解密ωfed,[0094]所述服务器应用于联邦学习，经由另一服务器与参与联邦学习的多个客户端通[0100]所述服务器应用于联邦学习，用于另一服务器与参与联邦学习的多个客户端之[0101]接收并存储公共参数供所述多个客户端下载，所述公共参数用于各客户端生成[0103]对各加密模型参数进行盲化处理，将盲化的加密模型参数与相应公钥发送给另[0104]自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数，移除盲化信务器(第一服务器)之间增加另一服务器(第二服务器)，使得客户端和第一服务器不直接[0113](3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合，保证了模型参[0114](4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分