CN113947211B 联邦学习模型的训练方法、装置、电子设备和存储介质 （京东科技控股股份有限公司）

务方服务器和数据提供方服务器的特征数量分别对业务方服务器和数据提供方服务器的特征方服务器的特征编号和公钥发送至数据提供方取第M次迭代训练得到的联邦学习模型的目标参2分别获取业务方服务器和所述数据提供方服务器的特征数量及将所述数据提供方服务器的特征编号和公钥发送至所获取第M次所述迭代训练得到的所述联邦学将所述M次迭代训练中当前的迭代训练作为第N次迭代训练，其中，所从所述当前样本集中选取所述样本采样率的样本以生成目标训练从所述特征编码集中选取所述特征采样率的特征编码以生成目标特征编码将所述目标训练集中每个样本的编号，以及所述目标特征编码集中根据所述目标训练集、所述目标特征编码集和所述目标棵数，生成基于梯度提升算法，并根据所述目标参数和所述联邦学习模型计算所述目标训练集中样本的梯度信息，并将所述梯度信根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号接收所述数据提供方服务器发送的解密运算值，并根据所述解密运算值进行节点分重复以上步骤直至模型收敛，以建立所述目标棵数的决策树，3对所述一阶梯度值和所述二阶梯度值进行同态加密以生成根据所述多个梯度返回信息和所述目标特征编码集分别生成对应的从所述多个信息增益之中选择最大信息增益，并将所述最大信息增益对根据所述目标训练集中样本和所述分裂空间信息发送模块，用于分别获取业务方服务器和所述数据提供第三生成子模块，用于从所述当前样本集中选取所述样本采第四生成子模块，用于从所述特征编码集中选取所发送子模块，用于将所述目标训练集中每个样本的编号，所述数据提供方服务器的目标特征编号发送至所述数据提4计算单元，用于计算所述目标训练集中样本的梯度信息生成单元，用于根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号，节点分裂单元，用于接收所述数据提供方服务器发送的解密运对所述一阶梯度值和所述二阶梯度值进行同态加密以生成根据所述多个梯度返回信息和所述目标特征编码集分别生成对应的从所述多个信息增益之中选择最大信息增益，并将所述最大信息增益对根据所述目标训练集中样本和所述分裂空间信息执行时实现如权利要求1-5中任一项所述的联邦学5量分别对所述业务方服务器和所述数据提供方服务器的特征进行编号，以生成特征编码67[0038]根据所述多个梯度返回信息和所述目标特征编码集分别生成对应的多个信息增8[0065]第二获取模块，用于获取第M次所述迭代训练得到的所述联邦学习模型的目标参集中所述数据提供方服务器的目标特征编号发送至所9[0088]根据所述多个梯度返回信息和所述目标特征编码集分别生成对应的多个信息增[0096]第二接收模块，用于接收所述业务方服务器发送的目标训练集中每个样本的编[0097]第三接收模块，用于接收所述业务方服务器发送的当前所训练的样本的梯度信号和公钥，并通过第二接收模块接收业务方服务器发送的目标训练集中每个样本的编号，时减少建模的复杂度，从而使业务方服务器与数据提供方服务器之间的联合训练更加高面实施例或第二方面实施例所述的联邦学习[0112]本申请第六方面实施例提出了一种计算机可读存储介质，其上存储有计算机程[0115]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得导聚集算法)的随机森林和GradientBoosting(梯度提升)的联邦学习模型的训练方法，其中，可将GBDT(机器学习算法)等方案每一棵决策树子模型使用多棵决策树组成的森林替则是多棵决策树的综合结果(在本申请实施例中，随机森林输出可为每颗树模型输出的平赖曼)在相关论文中指出随机森林的泛化误差上界为PE"(forest)SPPE"(tree),其中可为森林中决策树拟合残差项的加权相关系数，PE*(tree)可为森林中决策树的平均泛化误[0134]其中m()代表了第m[0136]由于拟合过程中所以算法GBF的损失函数值是随着合算法本身的变化趋势，匀速衰减的线性衰减次之，加速衰减的指数衰减(底数大于1)最数据提供方服务器的特征编号和公钥发送至数可直接自身的存储空间中获取业务方服务器和数据提供方X1n[0161]需要说明的是，该实施例中所描述的公式(1)可以是基于预设的参数递增变化策[0166]需要说明的是，该实施例中所描述的公式(1)可以是基于预设的参数衰减变化策和第二参数变化速度，可分别控制样本采样率和目标棵数在给定()梯度)迭代训练总样本参与本次建模，则Guest方(业务方服务器)需要同步至各个Host方(数据提供方服务在对特征随机抽样得到sqrt(F)个选中特征后，需将对应的特征信息同步至对应的各个特征编码集中数据提供方服务器的目标特征编号之后，可根据上述的样本的编号确定(获据提供方服务器可将发送(同步)至业务方服L可为左侧[0222]在本申请实施例中，参见图5，其中，融合了随机森林(bagging)和梯度提升效。且由于基于bagging的随机森林建模效果优于单棵的决策树子模型，因而能够在原有GBDT等boosting集成模型上提[0238]步骤606，接收业务方服务器发送的基于私钥和目标分裂点编号生成的密文，其从而使业务方服务器与数据提供方服务器之间的联合训练更加高效，进而提高了建模效提供方服务器进行样本对齐，然后分别获取业务方服务器和数据提供方服务器的特征数[0248]发送模块720用于分别获取业务方服务器和数据提供方服务器的特征数量，并根据特征数量分别对业务方服务器和数据提供方服务器的特征进行编号，以生成特征编码[0257]第三生成子模块，用于从当前样本集中选取样本采样率的样本以生成目标训练提供方服务器的目标特征编号发送至数据提供照本申请图1至图5实施例的联邦学习模型的训练方法中所披露的细节，具体这里不再赘生成特征编码集，以及将数据提供方服务器的特征编号和公钥发送至数据提供方服务器，发送梯度返回信息，并接收业务方服务器发送的基于私钥和目标分裂点编号生成的密文，[0277]第一接收模块820用于接收业务方服务器发送的数据提供方服务器的特征编号和公钥。[0278]第二接收模块830用于接收业务方服务器发送的目标训练集中每个样本的编号，[0279]第三接收模块840用于接收业务方服务器发送的当前所训练的样本的梯度信息，[0281]第四接收模块860用于接收业务方服务器发送的基于私钥和目标分裂点编号生成照本申请图1至图5实施例的联邦学习模型的训练方法中所披露的细节，具体这里不再赘收业务方服务器发送的当前所训练的样本的梯度信息，并根据梯度信息获取梯度返回信术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结