CN112163675B 一种模型的联合训练方法、设备及存储介质 （深圳前海微众银行股份有限公司）

所述子模型集合中的各个子模型中的参数少于好的子模型由客户端基于训练数据对接收到的述初始全局模型合成当前全局模型。通过本申2从初始全局模型的多个参数中随机选取至少两个参数，并基于所述至少为子模型集合，所述子模型集合中的各个子模型中的参数少于所述初始全局模型中的参将所述子模型集合中的至少两个子模型发送至至少两个客户端，其接收至少一个客户端发送的训练好的子模型，所述训练确定训练参数集，若所述训练参数集中的训练参数处于一个所述训练好的子模型中，则将所述训练参数在所处训练好的子模型中的训练权重值确定为所述训练参数的当前权若所述训练参数处于多个所述训练好的子模型中，则将所述训将所述初始全局模型中的各个训练参数的初始权重值替换为当前获取与自身建立有连接关系的客户端个数和所述初始全局基于所述训练好的子模型确定所述训练参数集中的各个训练参数基于所述训练好的子模型，获取所述训练参数集中的各个训练参数的各个训练权重获取联合训练时长；当所述联合训练时长大于预设时长阈值时，3接收服务端设备发送的子模型，所述子模型中的参数少于初始全从自身存储空间中获取用于对所述子模型进行训练的训对所述子模型进行解析，得到所述子模型包括的各个参数和所述各基于所述训练数据对所述各个参数的初始权重值进行训练，得到基于所述各个参数和所述各个参数的训练权重值确定训练4[0002]联邦学习技术是新兴的一种隐私保护技术，能够保证数将该初始化的全局模型的参数下发给各个客户端进行本地训练，训练完成得到本地模型，[0012]接收服务端设备发送的子模型，所述子模型中的参数少于初始全局模型中的参5子模型由客户端基于训练数据对接收到的子模[0020]合成模块，用于基于所述训练好的子模型和所述初始全局模型合成当前全局模6技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，用户特征相同而用户不完全相同的部分数据进行训7分得到的部分模型发送至不同的客户端进行训练，使得各个客户端仅知道部分模型的参[0053]图2为本申请实施例提供的模型的联合训练方法的网络架[0054]服务端100可以基于本申请实施例提供的模型的联合训练方法，通过将初始全局200利用自身存储空间中的训练数据(例如银行业务数据、医院病理特征数据等)对接收到[0056]根据图3示出的服务端100的示例性结构，可以预见服务端100的其他的示例性结8[0059]存储器140可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性储器可以是随机存取存储器(RAM，RandomAccessMemory)。本申请实施例描述的存储器[0064]图4为本申请实施例提供的模型的联合训练方法的一种实现流程示意图，应用于[0066]这里，所述子模型集合中的各个子模型中的参数少于所述初始全局模型中的参[0067]为了避免各个客户端获知服务端设备的全局模型结构，造成全局模型信息泄52和子模型53中包括的参数均少于初始全局模型9法获知初始全局模型中除子模型中的参数之外的其他参数，因此不会对其他参数进行训[0075]当服务端设备将子模型发送至客户端后，若客户端此时子模型集合，所述子模型集合中的各个子模型中的参数少于所述初始全局模型中的参数；[0081]步骤S31，获取与自身建立有连接关系的客户端个数和所述初始全局模型中的参[0091]步骤S4013，基于所述至少两个参数和所述至少两个参数的初始权重值确定切分然后获取该6个参数的初始权重值，将该6个参数和该6个参数的初始权重值组成的子模型型不会更新初始全局模型中的参数511和参数512的初[0102]步骤S4042，基于所述训练好的子模型确定所述训练参数集中的各个训练参数的[0107]步骤S4043，将所述初始全局模型中的各个训练参数的初始权重值替换为当前权再根据训练参数、训练参数的当前权重值以及初始全局模型中除训练参数以外的其他参模型的训练效果。[0133]在一些实施例中，可判断当前全局模型及其相邻的前9次各次确定的当前全局模[0150]步骤S5033，基于所述各个参数和所述各个参数的训练权重值确定训练好的子模法获知初始全局模型中除子模型中的参数之外的其他参数，因此不会对其他参数进行训[0167]步骤S710，服务端设备将子模型集合中的至少两个子模型发送至至少两个客户[0188]由图1所示的模型的联合训练方法可知，虽然相关技术中的联邦学习很大程度缓数以外的其他参数的结点权重(对应上文中的初始权重值)置为0，这样即使客户端Ci接收[0208]下面继续说明本申请实施例提供的模型的联合训练装置的实施为软件模块的示[0210]第一发送模块92，将所述子模型集合中的至少两个子模型发送至至少两个客户[0216]基于所述至少两个参数和所述至少两个参数的初始权重值确定切分得到的一个[0256]本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperTextMarkupLanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件