CN113516255B 联邦学习建模优化方法、设备、可读存储介质及程序产品 （深圳前海微众银行股份有限公司）

据模态对应的初始全局特征提取模型分发至各的本地特征提取模型生成目标模态公有样本表各初始模型全局特征提取模型优化为对应的目2将各数据模态对应的初始全局特征提取模型分发至各所述数据模态对应的参与方设接收各所述参与方设备发送的目标模态公有样本表征，并将对在所述联邦公有数据集中获取各所述数据模态对应的公有训其中，所述基于各所述公有训练样本，分别对各所述初始全局将各所述数据模态对应的公有训练样本通过对应的初始全局特征提取模型分别映射计算各所述预测样本表征与对应的目标模态聚合样本表基于各所述公有训练样本对应的样本标签，在各所述预测样基于各所述预测样本表征与各所述预测样本表征对应的正样本表征以及对应的负样基于各所述预测样本表征与对应的目标模态聚合样本表征之间基于各所述参与方设备与各所述数据模态之间的对应关系，在本表征中确定各所述数据模态分别对应的各待聚将各所述数据模态分别对应的各待聚合样本表征分别进行聚合，3基于所述本地私有训练样本，通过在所述初始全局特征提取模型在联邦公有数据集中提取属于所述全局优化后的本地特征提取模型对应的数据模态将所述目标模态公有样本表征发送至联邦服务器，以供所述联模态聚合样本表征，并在所述联邦公有数据集中获取各所述数据模态对应的公有训练样其中，所述基于各所述公有训练样本，分别对各所述初始全局将各所述数据模态对应的公有训练样本通过对应的初始全局特征提取模型分别映射计算各所述预测样本表征与对应的目标模态聚合样本表通过所述初始全局特征提取模型将所有所述本地私有训练样本映射为第一样本表征，基于所述对比学习损失，优化所述本地特征提取模型，得到全局将各所述第一样本表征中与所述第二样本表征对应同一所述本地私有训练样本的样将各所述第二样本表征中不与所述第一样本表征对应同一所述本地私有训练样本的4样本表征作为所述第一样本表征对应的本地基于各所述第二样本表征与各所述第二样本表征对应的本地正样本表征之间的相似度，以及各所述第二样本表征与各所述第二样本表征对应的本地负样本表征之间的相似7.如权利要求5所述联邦学习建模优化方法，其特征在于，所述基于所述对比学习损通过预设分类模型，将各所述第二样本表征分别转换为各所述本地基于各所述输出分类标签和各所述本地私有训练样本对应的基于所述模型总损失，优化所述本地特征提取模型，得到所述8.一种联邦学习建模优化设备，其特征在于，所述所述存储器用于存储实现联邦学习建模优化方法所述处理器用于执行实现所述联邦学习建模优化方法的程序，以实现如9.一种可读存储介质，其特征在于，所述可读存化方法的程序，所述实现联邦学习建模优化方法的程序被处理器执行以实现如权利要求1述计算机程序被处理器执行时实现如权利要求1至3或者4至7中任一项所述联邦学习建模5[0001]本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种联邦学习建联邦学习框架中，横向联邦学习的前提之一为各参与方的样本需要在特征本身上进行对[0006]将各数据模态对应的初始全局特征提取模型分发至各所述数据模态对应的参与表征的知识蒸馏学习训练，以及在各所述初始全局特征提取模型之间进行对比学习训练，获得各所述初始模型全局特征提取模型对应的目标全局特征6[0012]在联邦公有数据集中提取属于所述全局优化后的本地特征提取模型对应的数据取模型对应的数据模态的目标模态公有样本，并基于所述全局优化后的本地特征提取模7处理器执行时可实现如上述的联邦学习建模优化方于现有技术采用的在各参与方的特征本身上进行对齐，以进行横向联邦学习的技术手段，本申请首先将各数据模态对应的初始全局特征提取模型分发至各所述数据模态对应的参同时各数据模态对应的初始全局特征提取模型可利用对比学习将不同数据模态的样本在特征空间上进行对齐，进而实现了间接联合不同数据模态的样本进行横向联邦学习的目8[0031]图3为本申请联邦学习建模优化方法中进行横向联邦学习建模时的交互流程示意[0032]图4为本申请实施例中联邦学习建模优化方法涉及的硬件运行环境的设备结构示[0036]步骤S10，将各数据模态对应的初始全局特征提取模型分发至各所述数据模态对与方设备则针对于自身对应的数据模态维护一本地特征[0039]将各数据模态对应的初始全局特征提取模型分发至各所述数据模态对应的参与9参与方设备得到全局优化后的本地特征提取模型以及得到目标模态公有样本表征的具体而将各目标模态公有样本表征中对应同一数据模态的目标模态公有样本表征分别进行聚[0042]其中，所述将对各所述目标模态公有样本表征进行基于获得各所述数据模态对应的目标模态聚合样标模态公有样本表征中确定各所述数据模态分别对应的各待聚合送的目标模态公有样本表征均为数据模态A对应的待聚合样本表征，参与方设备b1和b2向联邦服务器发送的目标模态公有样本表征均为数据模态B对应的待聚合[0047]在本实施例中，将各所述数据模态分别对应的各待聚合表征的知识蒸馏学习训练，以及在各所述初始全局特征提取模型之间进行对比学习训练，邦公有数据集中获取各所述数据模态对应的公有训练样本，并基于各所述公有训练样本，分别对各所述初始全局特征提取模型进行基于各所述目标模态聚合样本表征的知识蒸馏获得各所述初始模型全局特征提取模型对应的目标全局特征作为联邦服务器选取的数据模态a对应的初始全局特征提取模型的公有训练样本，X3则可直接作为联邦服务器选取的数据模态b对应的初始全局特征提取模型的公各参与方设备在联邦公有数据集中选取的目标模态公有样本作为公[0054]步骤S31，将各所述数据模态对应的公有训练样本通过对应的初始全局特征提取[0056]步骤S32，计算各所述预测样本表征与对应的目标模态聚合样本表征之间的知识组的样本具备同一样本标签，不属于同一所述公有训练样本组的样本具备不同的样本标[0062]将所述公有训练样本对应的公有训练样本组内的其他公有训练样本对应的其他述公有训练样本对应的公有训练样本组外的其他样本对应的其他预测样本表征作为所述[0065]在各所述第二公有训练样本中确定与所述第一公有训练样本具备相同的样本标所述第一正样本对应的预测样本表征作为所述第一公有训练样本对应的预测样本表征的训练样本不具备相同的样本标签的样本作为对应的所述第二公有训练样本对应的第二负[0069]基于所述初始全局特征提取模型输出的各预测样本表征与对应的正样本表征之+)为所述预测样本表征对应的正样本表征，st,)为所述预测样本表征对应的[0075]步骤S33，基于各所述初始全局特征提取模型对应的知识蒸馏损失以及对应的对则会促使各初始全局特征提取模型对于具有同一样本标签的各数据模态的公有训练样本，局特征提取模型输出的预测样本表征会尽可能靠近初始全局特征提取模型对应的目标模初始全局特征提取模型学习对应的数据模态对应的各参与方设备中的全局优化后的本地[0078]基于各所述初始全局特征提取模型对应的知识蒸馏损失以及对应的对比学习损总损失均收敛以及各所述初始全局特征提取模型的迭代次数均达到预设迭代次数阈值等，行聚合的目的，进而在所述联邦公有数据集中获取各所述数据模态对应的公有训练样本，每一目标模态公有样本表征均为基于参与方设备的本地私有训练样本进行优化得到全局应的初始全局特征提取模型可利用对比学习将不同数据模态的样本在特征空间上进行对[0089]步骤A21，通过所述初始全局特征提取模型将所有所述本地私有训练样本映射为[0092]在本实施例中，基于各所述第一样本表征和各所述第二[0093]在各所述第一样本表征中确定与所述第二样本表征对应同一本地私有训练样本的目标样本表征，进而将所述目标样本表征作为所述第二样本表征对应的本地正样本表有训练样本的样本表征作为所述第一样本表征二样本表征，f(x+)为所述第二样本表征对应的本地正样本函数，分别将各所述全连接向量分别转换为各所述本地私有训练样本对应的输出分类标[0114]步骤A30，在联邦公有数据集中提取属于所述全局优化后的本地特征提取模型对表征进行基于数据模态的选择性聚合，获得各所述数据模态对应的目标模态聚合样本表各所述初始模型全局特征提取模型对应的目标全局特征提取模型的具体实现过程可参照本地特征提取模型的具体实现过程与得到全局优化后的本地特征提取模型的具体实现过[0119]进一步地，如图3所示为本申请联邦学习优化方法中进行横向联邦学习建模时的1和head1为组成Client1中的本地特征提取模型，baseN和headN为组成ClientN中的XN为ClientN中的本地私有训练样本，Xpub.a为Client1中的目标模态公有样本，Xpub.b为为所述第二公有训练样本对应的预测样本表征，cr各所述初始全局特征提取模型进行基于各所述目标模态聚合样本表征的知识蒸馏学习训于参与方设备的本地私有训练样本进行优化得到全局优化后的本地特征提取模型输出的，进而使得每一初始全局特征提取模型均可以通过知识蒸馏间接联合对应数据模态的多个[0124]本领域技术人员可以理解，图4中示出的联邦学习建模优化设备结构并不构成对[0126]在图4所示的联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储[0127]本申请联邦学习建模优化设备具体实施方式与上述联邦学习建模优化方法各实[0133]将各所述数据模态对应的公有训练样本通过对应的初始全局特征提取模型分别[0134]计算各所述预测样本表征与对应的目标模态聚合样本表[0135]基于各所述初始全局特征提取模型对应的知识蒸馏损失以及对应的对比学习损述预测样本表征对应的正样本表征和对应的[0138]基于各所述预测样本表征与各所述预测样本表征对应的正样本表征以及对应的[0143]本申请联邦学习建模优化装置的具体实施方式与上述联邦学习建模优化方法各取模型对应的数据模态的目标模态公有样本，并基于所述全局优化后的本地特征提取模[0150]通过所述初始全局特征提取模型将所有所述本地私有训练样本映射为第一样本表征，以及通过所述本地特征提取模型将所有所述本地私有训练样本映射为第二样本表[0154]将各所述第一样本表征中与所述第二样本表征对应同一所述本地私有训练样本[0155]将各所述第二样本表征中不与所述第一样本表征对应同一所述本地私有训练样本的样本表征作为所述第一样本表征对应的本地[0156]基于各所述第二样本表征与各所述第二样本表征对应的本地正样本表征之间的