CN114330756B 联邦集成学习方法、装置、设备和存储介质 （腾讯科技（深圳）有限公司）

US2021049517A1,2021.02.18ClassificationAlgorithmBase8卷93499-93513.本公开的实施例提供了一种联邦集成学习通过在各个参与方本地基于指数机制的差分隐文形式将所选择的训练模型的参数发送至联邦据泄漏风险的情况下实现更高效且低通信开销法还可以通过在参与方之间进行训练模型的直在无需联邦服务器的情况下多个参与方之间的2根据第一概率分布从参与方的特征集合中选择第一数量的特征，所述根据所述参与方的特征集合中的每个特征与所述参与方的多个样本所对应的类别标签的基于所选择的第一数量的特征中的至少一部分特征，获得多个逻述至少一部分逻辑回归模型进行集成融合并生成联邦对于所述参与方的特征集合中的每个特征，确定所述特征的特征是基于所述特征与所述参与方的多个样本所对应的类别标签根据所述参与方的特征集合中的每个特征的特征分数，基于指数机从所述参与方的特征集合中去除所选择的特征，以更新所述参与方其中，所述翻转标识为第一值的情况指示所述特征与所述两个类别标所述翻转标识为第二值的情况指示所述特征与所述两个类别标签中的所述第一类别根据所述参与方的特征集合中的所有特征的第一特征分数和第括与所述第一特征分数相关联的同向概率和与所述第二特征分数相关根据所述第一概率分布，从所述参与方的特征集合中选择一个5.如权利要求2所述的方法，其中，基于所选择的第一数量的特征中的至少一部分特3确定所述第一数量的特征中的最优特征及其对应的一维逻对于所述最优特征和所选取的预定数量的特征，基于预定的权重取基于所述多个逻辑回归模型对所述参与方的多个样本所对应的类别标签的预测结果，根据所述多个逻辑回归模型中的每个逻辑回归模型的模型分数，基从所述多个逻辑回归模型中去除所选择的逻辑回归模型，以更新所述多个及基于所述预定次数中的每一次所选取的预定数量的特征获得多个第三数量的逻辑回归模型包括以所述预定次数为组数的多组第二数量的逻对于所述第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型以明文的形式向所述融合端发送所述第三数量的逻辑回归模型中的每一组第二数量其中，发送逻辑回归模型包括发送所述逻辑回归模型对应一维逻辑回归模型更优的逻辑回归模型是基于所述第二数量的逻辑回归模型的模型分数基于所述一维逻辑回归模型对所述参与方的多个样本所对应的类别标签的预测结果所确4对来自所述多个参与方的所有逻辑回归模型进行去重处理，以去除重复其中，对于所述多个参与方中的每个参与方，来自所述参与归模型包括如权利要求1-9所述的第二数量的逻辑回归模型中的至少一部分逻辑回归模基于所述经去重处理的逻辑回归模型和一维逻辑回归模型的预测结果特征选择模块，被配置为根据第一概率分布从参与方的模型选择模块，被配置为基于所选择的第一数量的特征中的至少一部模型发送模块，被配置为向融合端发送所述第二数量的逻辑回归模型中对于所述参与方的特征集合中的每个特征，确定所述特征的特征是基于所述特征与所述参与方的多个样本所对应的类别标签根据所述参与方的特征集合中的每个特征的特征分数，基于指数机从所述参与方的特征集合中去除所选择的特征，以更新所述参与方确定所述第一数量的特征中的最优特征及其对应的一维逻对于所述最优特征和所选取的预定数量的特征，基于预定的权重取5基于所述多个逻辑回归模型对所述参与方的多个样本所对应的类别标签的预测结果，根据所述多个逻辑回归模型中的每个逻辑回归模型的模型分数，基从所述多个逻辑回归模型中去除所选择的逻辑回归模型，以更新所述多个及基于所述预定次数中的每一次所选取的预定数量的特征获得多个第三数量的逻辑回归模型包括以所述预定次数为组数的多组第二数量的逻对于所述第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型以明文的形式向所述融合端发送所述第三数量的逻辑回归模型中的每一组第二数量其中，发送逻辑回归模型包括发送所述逻辑回归模型对应一个或多个存储器，其中存储有计算机可执行程序，当由所处理器运行时使得计算机设备执行权利要求1-11中任一项行时用于实现如权利要求1-11中任一项6[0003]由于攻击者可能从训练好的模型参数中反推出训练该模型时所使用的训练数据模型参数以明文的方式发送给联邦服务器或其他参与方，而是通过基于密码学(或秘密分享)的方法发送加密形式的模型参数用于安全的模型融合，或者是通过基于高斯机制的随有效的模型参数以保证联邦服务器所生成的融合模型[0005]为了解决上述问题，本公开基于指数机制的差分隐私来归模型，并根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型，7回归模型包括如上述联邦集成学习方法所述的第二数量的逻辑回归模型中的至少一部分[0011]本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指[0013]本公开的实施例所提供的方法相比于传统的基于密码学或秘密分享的联邦学习[0014]本公开的实施例所提供的方法相比于传统的基于随机梯度下降模型的联邦学习[0015]本公开的实施例所提供的方法通过在各个参与方本地基于指数机制的差分隐私密文膨胀问题，从而在保证无数据泄露风险的情况下实现更高效且低通信开销的联邦学8技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，[0037]本公开的联邦集成学习方法可以是基于人工智能(Artificialintelligence，AI)的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智特定决策判断的方式来对基于各参与方的部分特征所训练的部分模型进行集中融合以形联邦集成学习方法具有实时自动地基于差分隐私的指数机制选择各参与方的部分特征用于模型训练并从中选择部分模型以用于集中融合9个参与方(图1中示为参与方0至参与方(K-1))。其中，各个参与方可以是独立的物理服务[0043]传统的横向联邦学习的核心思想是让每个参与方在其本地使用自己拥有的数据平均)得到一个更好的全局模型，或者基于秘密分享(即使用掩码进行加密)的方法进行安是对于加密的本地模型参数，联邦服务器通常仅能够使用安全聚合算法(即安全联邦平均[0048]本公开的实施例所提供的方法相比于传统的基于密码学或秘密分享的联邦学习[0049]本公开的实施例所提供的方法相比于传统的基于随机梯度下降模型的联邦学习[0050]本公开的实施例所提供的方法通过在各个参与方本地基于指数机制的差分隐私密文膨胀问题，从而在保证无数据泄露风险的情况下实现更高效且低通信开销的联邦学[0052]图2A是示出根据本公开的实施例的联邦集成学习方法200的流程图。图2B是示出根据本公开的实施例的联邦集成学习方法20一数量的特征，所述第一概率分布可以是基于指数机制针对所述参与方的特征集合获得[0054]可选地，每个参与方可以在其本地使用其本地所拥有的训练数据来进行特征选有的头发长度值通常小于类别标签为1(女)的样本所具有的头发长度值的假设的情况下，示出根据本公开的实施例的基于指数机制进=1指示第n个特征与两个类别标签中的第一类别标签0反向相关(即与两个类别标签中的n＝0的情况下第一特征分数为而在qn＝1的情况下第二特征分数为其中Xm，n表示第m条数据m表示第m条数据(第m个样本)的类别标签(0或1)，1r觉察出数据集的细小变化，通过观察输出参数也就无法反推出具体的某一特定训练数据，征分数来计算特定特征被选择的概率，该概率包括与第一特征分数相关联(即qn＝0情况征所对应的翻转特征可以是与该第n个特征的特征类型相同但相对于该第n个特征与类别也可以如公式(2)和(3)所示进行更新，因此可以基于更新的特征集合I和第一概率分布继预定的第一数量，在所选择的特征数量不足的情况下可以更新特征集合I和第一概率分布[0085]步骤202中基于所选择的第一数量的特征中的至少一部分特征，获得多个逻辑回归模型可以包括如图4A所示的步骤。步骤202中根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型可以包括如图4B实施例的模型选择的流程图。图4C是示出根据本公开的实施例的模型构造与选择的示意[0090]在步骤20212中，可以从所述第一数量的特征中的所述其他特征中随机选取预定的特征中除最优特征之外的其他特征中随机选择若干个(图4C中示为D个)特征，以与该第一数量的特征中的最优特征f共同构造具有离散空间权重的逻辑回归模型，该逻辑回归模述预定的权重取值空间中所包括的权重取值数量相[0098]如上所述，步骤202中根据第二概率分布从所述多个逻辑回归模型中选择第二数分别所对应的类别标签之间的一致程度来确定多个逻辑回归模型中的每个逻辑回归模型本的分类的预测结果Jim可以表示为：其中S[d]表否则Jim=0,即确定第m个样本的类别标签为0。[0104]因此，可选地，该第i个逻辑回归模型的模型分数(打分函数)Hi可通过预测结果1y.n-n表示在第i个逻辑回归模型对参与方的第m个样本的预测结果Jim与该样本所对应的类别标签相同(一致)的情况下输出为1，否则输出为0。因此，反映了第i个逻辑回归模型对参与方的所有样本(M个样本)的预测结果与这些样本分别所对应的类别标签之间的一致程度。第二概率分布，基于该第二概率分布可以以特定概率从多个逻辑回归模型中进行模型选述第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型中的所述至少一部分逻辑回归模型更优的逻辑回归模型是基于所述第二数量的逻辑回归模型的模型分数与所述述一维逻辑回归模型对所述参与方的多个样本所对应的类别标签的预测结[0124]可选地，在逻辑回归模型的模型分数大于一维逻辑回归模型的模型分数的情况了联邦集成学习方法200中的主要步骤及所涉及择的D个特征与特征f一起构造逻辑回归模型，从而形成一组逻辑回归模型(T＝|V|D+1个逻所述至少一个逻辑回归模型可以包括如上所述的第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型中的至少一部分逻辑回归模型以及所述一维逻辑经去重处理的逻辑回归模型和一维逻辑回归模型的预测示出根据本公开的实施例的不经由融合中心进服务器实现全局模型更新。从各个参与方到联邦服务器仅有一次模型(或模型参数)传输，方也只有一次以明文形式的模型(或模型参数)传输，以传输集中融合所得的联邦集成模个参与方可以直接通信而不需要通过联邦服务器进拓扑或网状拓扑(P2P)进行通信从而执行分布式融合以生成全局模型，而不需要依赖于联[0148]所述联邦集成学习装置700可以包括特征选择模块701、模型选择模块702和模型[0149]根据本公开的实施例，特征选择模块701可以被配置为根据第一概率分布从参与[0150]根据本公开的实施例，特征选择模块701根据第一概率分布从参与方的特征集合[0151]模型选择模块702可以被配置为基于所选择的第一数量的特征中的至少一部分特量的逻辑回归模型，所述第二概率分布是基于指数机制针对所述多个逻辑回归模型获得[0152]根据本公开的实施例，所述模型选择模块702基于所选择的第一数量的特征中的至少一部分特征获得多个逻辑回归模型包括如参的特征中随机选择若干个(图4C中示为D个)特征与该第一数量的特征中的最优特征f共同[0154]所述模型选择模块702根据第二概率分布从所述多个逻辑回归模型中选择第二数分别所对应的类别标签之间的一致程度来确定多个逻辑回归模型中的每个逻辑回归模型[0159]模型发送模块703可以被配置为向融合端发送所述第二数量的逻辑回归模型中的[0160]所述模型发送模块703向融合端发送所述第二数量的逻辑回归模型中的至少一部[0166]例如，根据本公开的实施例的方法或装置也可以借助于图9所示的计算设备3000提供的联邦集成学习方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存储器旨在包括但不限于这些和任意其它适[0171]本公开的实施例所提供的方法相比于传统的基于密码学或秘密分享的联邦学习[0172]本公开的实施例所提供的方法相比于传统的基于随机梯度下降模型的联邦学习[0173]本公开的实施例所提供的方法通