CN112818374B 一种模型的联合训练方法、设备、存储介质及程序产品 （深圳前海微众银行股份有限公司）

习的主动方分别利用自身的特征数据进行模型2基于所述第一密文训练结果和所述第二密文训练结果确定第基于标识对应的数据和所述加密残差值确定第接收所述协调方发送的所述第一解密梯度，并基于所述第一解密梯基于第一预设阈值确定所述已训练轮数是否满足同步条件，其中当所述已训练轮数能够整除所述第一预设阈值时，确定所述已训练轮数满足同步条接收所述协调方发送的公钥；将所述标识对应的数据确定为用于联合训练当所述已训练轮数不满足同步条件时，基于预设步长对所述第一加密梯度进行优化，基于所述优化后的第一加密梯度对自身的训练模型进行更新，得到更新后的训练模3当所述收敛信息由所述协调方基于自身发送的第一损失值和所述主动方发送的第二将所述第一损失值发送至所述协调方，以使所述协调方基于所述第将所述公钥分别发送至进行模型训练的被动方和主动方，以使所述接收所述被动方发送的第一加密梯度和所述主动方发送的第基于所述私钥分别对所述第一加密梯度和所述第二加密梯度进行将所述第一解密梯度和所述第二解密梯度分别发送至所述被动所述被动方和所述主动方分别基于所述第一解密梯度和所述第二解密梯度更新各自的训确定解密梯度之和与预设梯度范数阈值的差值；或者基于所第二获取模块，用于获取第一密文训练结果和已训练轮数，所述第第一确定模块，用于基于所述第一密文训练结果和所述第二4第一发送模块，用于当所述已训练轮数满足同步条件时，将第一更新模块，用于基于所述第一解密梯度对自身的训练模当所述已训练轮数能够整除所述第一预设阈值时，确定所述已训练轮数满足同步条第二发送模块，用于将所述公钥分别发送至进行模型训练的述被动方和所述主动方分别基于所述公钥确定第一加密梯度和第二加第二接收模块，用于接收所述被动方发送的第一加密梯度和解密模块，用于基于所述私钥分别对所述第一加密梯度和所述第二加密梯度进行解第三发送模块，用于将所述第一解密梯度和所述第二解密梯行时实现权利要求1至4或权利要求5至7任一项5述协调方基于所述第一加密梯度确定第一解主动方分别基于所述公钥确定第一加密梯度和[0017]将所述第一解密梯度和所述第二解密梯度分别发送至所6以使所述被动方和所述主动方分别基于所述第一解密梯度和所述第二解密梯度更新各自使所述被动方和所述主动方分别基于所述公钥确定第一加密梯度和7练结果和所述第二密文训练结果确定第一加密梯度，当所述已训练轮数满足同步条件时，技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，8[0055]1)纵向联邦学习(V户相同而用户特征不完全相同的部分数据进其结果与用同一方法处理未加密的原始数据得到的输出结果[0058]4)线性回归(LinearRegression)，利用称为线性回归方程的最小平方函数对一方200的标签数据和双方特征数据的前提下进行纵向联邦模型训练。在进行模型的联合训方200分别利用自身的特征数据进行模型训练，当各参与方已训练轮数满足对应的同步条9个网络接口120和用户接口130。模型的联合训练设备10中的每个组件通过总线系统150耦[0067]存储器140可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性[0068]本申请实施例中的存储器140能够存储数据以支持模型的联合训练设备10的操[0072]图3为本申请实施例提供的模型的联合训练方法的一种实现流程示意图，应用于自身的特征数据进行模型训练。下面将结合图3示出的步骤对本申请实施例提供的方法进示为xG，主动方的标签数据表示为y，基于线性回归模型的第二明文训练结果可以表示为文训练结果，用[[]]表示使用同态加密后的值，则第二密文训练结果可以表示为[[wGxG-主动方将第二密文训练结果发送至被动方。练结果可以表示为则第一密文训练结果可以表示为被动方将第一密第一密文训练结果和第二密文训练结果均为加密的，所以计算得到的加密残差值也为密[0088]本申请实施例中，由于被动方和主动方分别利用自身的[0094]协调方接收到第一加密梯度[[di]]xH和第二加密梯度[[di]]xG后的用于解密的私钥对第一加密梯度[[di]]xH和第二加密梯度[[di]]xG进行解密，得到第一进为由被动方和主动方各自利用自身的特征数据进行模型训练，能够缩短模型的训练耗实施例提供的模型的联合训练方法的另一种实现流程示意图，应用于图1所示网络架构中方式及效果分别参见步骤S301至步骤S[0109]被动方预先设定第一预设阈值，当从上次同步梯度后被动方已训练轮数(不同于步骤S402中获取到的已训练轮数)达到第一预设阈值后进行一次梯度同步。这里的第一预第三预设阈值时再进行梯度同步，因此主动方发送至协调方进行梯度同步的第二加密梯度，可以是从上次同步梯度后主动方已训练轮数(不同于用于除第三预设阈值的已训练轮可以利用10和15的任一公倍数设置第一预设阈值和第三预设阈值，如基于公倍数150设置[0128]由于主动方和被动方进行联合训练，因此要求各自的样将所述标识对应的数据确定为用于联合训练训练。主动方将随机筛选出的样本的标识(即id)发送至主动方训练模块和被动方训练模[0133]步骤S3024，基于所述公钥对所述第一训练结果进行加密，得到第一密文训练结[0135]在一些实施例中，上述图3所示实施例中步骤S303或图4所示实施例中步骤S403[0137]这里，被动方可以对第一密文训练结果[[wHxH]]和第二密文训练结果[[wGxG-y]]进行线性回归分析，也可以对第一密文训练结果[[wHxH]]和第二密文训练结果[[wGxG-y]]进行逻辑回归分析。由于第一密文训练结果[[wHxH]]和第二密文训练结果[[wGxG-y]]均为[0138]当以线性回归模型计算加密残差值[[di]]，[[di]]可以表示为[[wHxH]]+[[wGxG-实施例提供的模型的联合训练方法的再一种实现流程示意图，应用于图1所示网络架构中敛信息由所述协调方基于自身发送的第一损失值和所述主动方发送的第二实施例提供的模型的联合训练方法的又一种实现流程示意图，应用于图1所示网络架构中动方和所述主动方分别基于所述公钥确定第一加密[0174]步骤S604，基于所述私钥分别对所述第一加密梯度和所述第二加密梯度进行解第二加密梯度；接收所述被动方发送的第一加密梯度和所述主动方发送的第二加密梯度；[0184]在一种实现方式中，协作方还可以基于主动方已训练轮[0215]在一种实现方式中，可基于第一预设阈值确定第一已训练轮数是否满足同步条[0218]步骤S715，被动方基于所述优化后的第一加密梯度对自[0224]在一种实现方式中，可基于第三预设阈值确定第二已训练轮数是否满足同步条[0227]步骤S720，主动方基于所述优化后的第二加密梯度对自[0231]协调方利用用于同态解密的私钥对第一加密梯度和第二(即主动方)G方拥有数据标签，数据提供方(即被动方)H方拥有G方数据中不具有的某些特[0266]G方计算的加密本地梯度H方计算的加密本地梯度[0269]这里的收敛判断标准为：在每轮训练末尾，计算所有G侧与H侧梯度范数之和[0277]本申请实施例通过改造相关技术中纵向联邦学习线性模由原先的统一由G方计算加密梯度改为由H方与G方各自计算己方梯度。整体流程上G方向H方发送的残差改为己方加密的中间计算结果，因此H方可以结合己方中间计算计算结果自[0287]这里，H方加密后的中间计算结果表示为[[wHxH]]，将该加密后的中间计算结果发送的[[wGxG-y]]，基于线性回归计算的加密残差值[[di]]可以表示为[[wHxH]]+[[wGxG-[0293]在一些实施例中，可以基于第一预设步长和第二预设步长，分别对[[di]]xG和[0294]注意此步骤与步骤S905两方均分别同步进行，相较于旧方案的统一由G方来计算式为：L"-(wx"'l.[0304]本申请实施例阐述了一种在联邦学习纵向框架下的线性模型建模的异步更新机[0305]下面继续说明本申请实施例提供的模型的联合训练装置的实施为软件模块的示[0308]第一确定模块114，用于基于所述第一密文训练结果和所述第二密文训练结果确[0314]第二更新模块，用于基于所述优化后的第一加密梯度对自身的训练模型进行更[0335]当所述收敛信息由所述协调方基于自身发送的第一损失值和所述主动方发送的使所述被动方和所述主动方分别基于所述公钥确定第一加密梯度和[0352]本申请实施例提供一种存储有可执行指令的存储介质，保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperTextMarkupLanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件