CN110633805A 纵向联邦学习系统优化方法、装置、设备及可读存储介质 （深圳前海微众银行股份有限公司）

本发明公开了一种纵向联邦学习系统优化第一样本数据与第二设备协作训练得到插补模2采用所述第一样本数据与所述第二设备协作训练得到将所述第一样本数据输入所述第一设备中预置的第一将所述第一输出发送给所述第二设备，以供所述第二设根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯度信将属于所述第一设备对应数据特征的本地样本数据输入采用所述本地样本数据和所述预测样本数据，对预置待训练机器学习所述将所述第一输出发送给所述第二设备，以供所述第二将所述第一加密输出发送给所述第二设备，以供所述第二设备在所述第二TEE模块中3所述根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯接收所述第二设备发送的所述加密梯度信息，并在所述第一TEE模块中对所述加密梯将所述第一样本数据和所述第二输出输入预置待训练根据所述预测标签数据和预存的本地实际标所述迭代训练直到检测到满足预设停止条件时，接收所根据所述第二梯度信息更新所述待训练机器学习模型接收所述第二设备发送的第二加密样本数据，其中在所述TEE模块中对所述第二加密样本数据进行解密得到所述第二样本数据，并根据所述第一样本数据和所述第二样本数据对待训练插补模型将目标用户的第一数据输入所述插补模型得到第二数据，其中将所述第一数据和所述第二数据输入所述目标机器学习模型8.一种纵向联邦学习系统优化装置，所述纵向联邦学习系统优化装置部署于第一设对齐模块，用于与所述第二设备进行样本对齐得到所49.一种纵向联邦学习系统优化设备，其特征在于，邦学习系统优化程序，所述纵向联邦学习系统优化程序被处理器执行时实现如权利要求156[0012]根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯[0020]将所述第一加密输出发送给所述第二设备，以供所述第二设备在所述第二TEE模[0021]所述根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关[0022]接收所述第二设备发送的所述加密梯度信息，并在所述第一TEE模块中对所述加7[0031]在所述TEE模块中对所述第二加密样本数据进行解密得到所述第二样本数据，并根据所述第一样本数据和所述第二样本数据对待训练插补模型本数据和所述预测样本数据对预置待训练机器学习模型进行本地训练得到目标机器学习[0036]对齐模块，用于与所述第二设备进行样本对齐得到所述第一设备的第一样本数[0037]训练模块，用于采用所述第一样本数据与所述第二设备协作训8[0046]图6为本发明实施例涉及的一种第一设备与第二设备协作训练插补模型、第一设[0047]图7为本发明实施例涉及的一种第一设备与第二设备在各自TEE模块环境中协作[0048]图8为本发明实施例涉及的一种第一设备与第二设备协作训练插补模型和机器学件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘[0055]本领域技术人员可以理解，图1中示出的设备结构并不构成对纵向联邦学习系统信模块、用户接口模块以及纵向联邦学习系统优化程序。还包括TEE(Trustedexecution9机密性和完整性都得到保护。TEE中运行的受信任应用程序可以访问设备主处理器和内存的全部功能，而硬件隔离保护这些组件不受主操作系统中运行的用户安装应用程序的影响。在本实施例中，TEE模块的实现方式可以有多种，如基于Intel的SoftwareGuard[0057]在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口[0063]根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯的步骤之后，处理器1001还可以用于调用存储器1005中存储的联邦学习隐私数据处理程[0071]将所述第一加密输出发送给所述第二设备，以供所述第二设备在所述第二TEE模[0072]所述根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关[0073]接收所述第二设备发送的所述加密梯度信息，并在所述第一TEE模块中对所述加[0082]在所述TEE模块中对所述第二加密样本数据进行解密得到所述第二样本数据，并根据所述第一样本数据和所述第二样本数据对待训练插补模型样本数据和所述预测样本数据对预置待训练机器学习模型进行本地训练得到目标机器学[0089]步骤S10，与所述第二设备进行样本对齐得到所述第一设备的第一样本数据，其用户U1在数据特征X4和X5下的数据。插补模型可采用变分自动编码器(Variational可采用分裂学习(SplitLearning)的相关的梯度信息更新所述第一部分模型的参数，迭代训练直到检测到满足预设停止条件备继续采用第一样本数据输入第一部分模型得到第一输出，将第一输出发送给第二设备，检测是否满足预设停止条件，则第二设备可将第一损失函数的计算结果发送给第一设备，[0108]步骤S205，将属于所述第一设备对应数据特征的本地样本数据输入所述插补模面数据的场景下，可独自采用插补模型和目标机器学习模型来预测目标用户的购买意向。[0122]如图6为一种第一设备与第二设备协作训练插补模型，第一设备独自训练机器学第二TEE模块中对所述第一加密输出进行解密得到所述第一输出，根据所述第一输出得到[0129]所述步骤SS203中的根据从所述第二设备接收的所述第一梯度信息中与所述第一中对所述加密梯度信息进行解密得到所述第一梯度信息中与所述第一部分模型相关的梯第一TEE模块中对加密梯度信息进行解密，得到原始的第一梯度信息中与第一部分模型相的示意图，第一设备在第一TEE模块中将第一样本数据XA输入插补模型GMA的第一部分模型训练直到满足预设停止条件时，第二设备将GMA-Part2发送给第一设备，第一设备将GMA-Part1和GMA-Part2组合得到训练好的插补则可在第一设备和第二设备中各设置TEE模块，并在TEE模块中对原始的隐私数据进行处第一设备将第一样本数据XA输入插补模型GMA的第一部分模型GMA-Part1中，将第一输出前MA。第二设备将GMA-Part2发送给第一设备，第一设备将GMA-P插补模型对缺失的数据特征进行补全，从而使得第一设备在没有第二设备协作的情况下，[0152]第一设备在TEE模块中对第二加密样本数据进行解密得到第二样本数据。需要说备在TEE模块中根据第一样本数据和第二样本数据对待训练插补模型进行训练，得到插补[0156]训练模块20，用于采用所述第一样本数据与所述第二设备协作训练得到插补模[0161]组合单元，用于将所述第一部分模型和所述第二部分模型组合得到所述插补模在所述第二TEE模块中对所述第一加密输出进行解密得到所述第一输出，根据所述第一输第一TEE模块中对所述加密梯度信息进行解密得到所述第一梯度信息中与所述第一部分模型相关的梯度信息，根据所述第一部分模型相关的梯度信息更新所述第一部分模型的参[0170]第二接收单元，用于接收所述第二设备发送的所述第二输出和所述第一损失函[0173]所述第一接收单元还用于根据所述第二梯度信息更新所述待训练机器学习模型[0176]第二训练单元，用于在所述TEE模块中对所述第二加密样本数据进行解密得到所[0180]本发明纵向联邦学习系统优化装置的具体实施方式