CN110490738A 一种混合联邦学习方法及架构 （深圳前海微众银行股份有限公司）

本发明公开了一种混合联邦学习方法及架对各组的第一联邦学习模型进行融合得到第二联邦学习模型及所述组内参与者的数据集训练第一联邦学习模型进行融合得到第二联邦学习2所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与所述参与者根据所述其他参与者反馈的中间结将所述各组的第一联邦学习模型中同一参数的参数值通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平任一参与者，用于，根据组内参与者的数据集联合训所述协调者，用于对各组的第一联邦学习模型进行融合得到3所述参与者，还用于根据所述其他参与者反馈的所述参与者，还用于根据所述更新参数更新所述初始模4[0001]本发明涉及金融科技(Fintech)领域和联邦学习领域，尤其涉及一种混合联邦学同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对5习模型发送给各组内协调者；所述组内协调者将所述第二联邦学习模型发送给组内参与6[0022]图2为本申请实施例提供的一种混合联邦学习架构的任一组第一联邦学习系统中[0026]图6为本申请实施例提供的一种混合联邦学习架构中获得第二联邦学习模型的示款业务等)运转过程中，许多金融策略的调整都依赖于对大量金融交易数据进行联邦学习学习中，参与者并不需要向其它参与者和协调者(coordinator，也称为参数服务器7导致联邦学习得到的联合模型的精确度不够高。这种情况不符合银行等金融机构的需求，[0034]所述协调者，用于对各组的第一联邦学习模型进行融合得到[0035]需要说明的是，图1示出的混合联邦学习架构的目标是训练出的是一个联邦学习组内协调者可以用于按照以下方式(下文中称为第一联邦学习方式)得到第一联邦学习模[0038](1)第一参与者将根据第一参与者的数据集训练的初始模型的中间结果发送给其[0039]图2示出的训练过程为图1示出的架构训练出适用于各组参与者的联邦学习模型8[0040]第一联邦学习过程适用于参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合机器学习训[0042]第一联邦学习的加密模型训练过程如下(以下步骤仅以梯度下降算法为例说明训练过程)：协调者迭代上述步骤直至损失函数收敛或者是模型参数收敛或者是达到最大迭代次数或9[0049]这里举例说明可能的实际应用场景。例如，参与者(Ai,Bi)联合拥有的数据与和(Aj,Bj)联合拥有的数据的数据特征相同(samefeaturespace)，但是用户不同(non-space)，但是数据特征不同(differentfeaturespace)。即实际应用场景可以是参与者2训练第一联邦学习模型M2。具体第一联邦学习模型训练过程可以参考图2所示例的[0055](e)协调者C1和参与者A1、B1在第二联邦学习模型M的基础上继续训练第一联邦学[0056]迭代以上过程(a)-(e)直到第二联邦学习模型M收敛或者达到最大迭代次数或者[0057]在训练好第二联邦学习模型M后，协调者C1将第二联邦学习模调者C1～CK以及组间协调者C0，对各组的第一联邦学习模型进行融合得到第二联邦学习模[0066](f)协调者Cj和参与者Aj、Bj在第二联邦学习模型M的基础上继续训练第一联邦学[0067]迭代以上过程(a)-(f)直到第二联邦学习模型M收敛或者达到最大迭代次数或者[0070]上述协调者为各第一联邦学习系统内的组内协调者或各第一联邦学习系统间的一轮输出的第二联邦学习模型。返回步骤502直至训练结束的过程是不断优化更新联邦学[0078]步骤501中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他[0079]所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他[0083]第二联邦学习适用于各个参与者的数据特征重叠较多，而用户重叠较少的情况参数更新后，组内协调者A可以向组间协调者发送组内协调者A在本地获得的模型参数更作本地模型训练的起始模型(startingpoint)或者是作为第一联邦学习模型的最新模型[0085]组内协调者和组间协调者迭代上述步骤直至损失函数收敛或者是模型参数收敛[0086]需要说明的是，步骤503中，所述模型训练结束的预设终止条件包括以下至少一[0092]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造