CN114627202B 一种基于特异性联邦学习的模型训练方法及装置 （哈尔滨工业大学（深圳））

一种基于特异性联邦学习的模型训练方法本申请提供了一种基于特异性联邦学习的中，服务器端将全局共享模型发送至每个客户二轮起引入加权对比正则化对客户端的局部梯私保护机制的同时缓解客户端在训练过程中的2所述服务器端发送所述全局共享模型至每个所述客户端；所述客户端用所述服务器端接收每个所述客户端发送的所述初步训练完成的全局训练完成的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享模型所述服务器端依据所述上一轮训练完成的全局共享模型集合对所述训练数据进行处所述服务器端依据所述初步训练完成的全局共享模型对所述训练数所述服务器端依据所述第一预测结果、所述第二预测结果集合、所述第所述服务器端依据所述第三预测结果和预先构建的监督重建损失函数确定第二损失所述服务器端依据所述第一损失值和所述第二损失值对所述初步训练完成的全局共3所述服务器端将全部所述训练完成的全局共享模型的平均值设置为所述全局共享模所述客户端接收所述服务器端发送的所述全局所述客户端依据所述全局共享模型和所述本地数据对所述本地模型进所述客户端依据所述训练完成的本地模型和所述本地数据对所述全局共享模型进行所述客户端将所述初步训练完成的全局共享模型发送至所述服务器端所述客户端依据所述第四预测结果、所述第五预测结果和预先构建的本地损失函数，所述客户端依据所述第三损失值对所述本地模型进行训练，获得所述客户端依据所述训练完成的本地模型对所述本地数据进行所述客户端依据所述第六预测结果、所述第七预测结果和预先构建的共享损失函数，所述客户端依据所述第四损失值对所述全局共享模型进行训练，获4全局共享模型发送模块，用于发送所述全局共享模型至每个所述客初级模型接收模块，用于接收每个所述客户端发送的所述初级模型训练模块，用于当所述上一轮训练完成的全局全局模型确定模块，用于依据所述训练完成的全局共享模型集合，本地模型训练模块，用于依据所述全局共享模型和所述本地数据对所全局共享模型训练模块，用于依据所述训练完成的本地模型和初级模型发送模块，用于将所述初步训练完成的全局共享模型发送至所述服务器端；成的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享模型进行训所述客户端，还用于依据所述全局共享模型和所述本地数据对所述本地模型进行训所述客户端，还用于依据所述训练完成的本地模型和所述本地数据对所5所述服务器端，还用于接收每个所述客户端发送的所述初步训练完成的全局共享模所述服务器端，还用于当所述上一轮训练完成的全局共享模型集所述服务器端，还用于依据所述训练完成的全局共享模型集合，更新所6[0002]磁共振(MagneticResonance，MR)成像已经成为放射学和医学的主流诊断工具。7[0014]优选的，所述训练完成的全局共享模型集合包含全部训练完[0017]所述服务器端依据所述上一轮训练完成的全局共享模型集合对所述训练数据进[0018]所述服务器端依据所述初步训练完成的全局共享模型对[0020]所述服务器端依据所述第三预测结果和预先构建的监督重建损失函数确定第二[0021]所述服务器端依据所述第一损失值和所述第二损失值对所述初步训练完成的全[0022]优选的，所述训练完成的全局共享模型集合包含全部训练完[0023]所述服务器端将全部所述训练完成的全局共享模型的平均值设置为所述全局共8[0027]所述客户端依据所述训练完成的本地模型和所述本地数据对所述全局共享模型[0030]所述客户端依据所述全局共享模型对所述本地数据进行处理，获得第四预测结[0036]所述客户端依据所述全局共享模型对所述本地数据进行处理，获得第七预测结9述初步训练完成的全局共享模型发送至所述练完成的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享模型进[0061]图1是本申请一实施例提供的一种基于特异性联邦学习的模型训练方法的框架概[0062]图2是本申请一实施例提供的一种基于特异性联邦学习的模型训练方法的步骤流[0063]图3是本申请一实施例提供的一种基于特异性联邦学习的模型训练方法的步骤流[0064]图4是本申请一实施例提供的一种基于特异性联邦学习的模型训练方法的步骤流[0066]图6是本申请一实施例提供的一种基于特异性联邦学习的模型训练装置的结构框[0067]图7是本申请一实施例提供的一种基于特异性联邦学习的模型训练装置的结构框户端之间的偏移量，本申请还引入了一个加权对比正则化函数来校正全局泛化的更新方[0073]参照图2，示出了本申请一实施例提供的一种基于特异性联邦学习的模型训练方[0080]如所述步骤S110所述，所述服务器端发送所述全局共享模型地模型和所述本地数据对所述全局共享模型进行训练，获得初步训练完成的全局共享模部所述初步训练完成的全局共享模型处理完成后执行S14据对每个所述初步训练完成的全局共享模型进行训练，获得训练完成的全局共享模型集MR图像重建模型划分为存储于所述服务器端的所述全局共享模型和存储于第k个所述客户[0090]其中，Ge和分别表示所述全局共享模型和所述本地模型，x∈CM表示欠采样图所述客户端已经共享了所述初步训练完成的全局共享模型给所述服务器端来寻找多个所[0091]假设第k个所述客户端执行一个本地更新，它首先从所述服务器端接收所述全局轮通信开始前存储于所述服务器端的所述上一轮训练完成的全局共享模型集合是本轮通[0098]所述服务器端可以采用多种融合算法对所述训练完成的全局共享模型集合中包其他预设的算法对多个所述训练完成的全局共享模型进行处理，以更新所述全局共享模服务器端通过所述训练数据和所述监督重建损失函数对每个所述初步训练完成的全局共[0105]所述服务器端可以采用多种融合算法对所述训练完成的全局共享模型集合中包其他预设的算法对多个所述训练完成的全局共享模型进行处理，以更新所述全局共享模[0109]所述服务器端依据所述上一轮训练完成的全局共享模型集合对所述训练数据进[0110]所述服务器端依据所述初步训练完成的全局共享模型对[0112]所述服务器端依据所述第三预测结果和预先构建的监督重建损失函数确定第二[0113]所述服务器端依据所述第一损失值和所述第二损失值对所述初步训练完成的全[0115]参照图4，示出了本申请一实施例提供的一种基于特异性联邦学习的模型训练方的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享模型进行训练，的全部权重参数，或者可以理解为所述客户端接收的是所述全局共享模型的部分权重参一轮训练完成的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享初步训练完成的全局共享模型相比于所述全局共享模型[0135]所述客户端依据所述全局共享模型对所述本地数据进行处理，获得第四预测结[0142]所述客户端依据所述全局共享模型对所述本地数据进行处理，获得第七预测结con的FedMRI算法以及本申请这些模型受益于FL的联邦训练机制。然而，对于分布差异较大的数据集，如fastMRI和可以归因于加权对比规则化使得本申请的算法能够在优化期间有效地纠正客户端和服务[0155]依据基于上述任一所述的模型训练方法训练得到的所述全局共享模型对所述待[0157]参照图6，示出了本申请一实施例提供的一种基于特异性联邦学习的模型训练装所述初步训练完成的全局共享模型发送至所述服[0159]初级模型接收模块420，用于接收每个所述客户端发送的所述初步训练完成的全[0162]参照图7，示出了本申请一实施例提供的一种基于特异性联邦学习的模型训练装[0164]本地模型训练模块520，用于依据所述全局共享模型和所述本地数据对所述本地[0165]全局共享模型训练模块530，用于依据所述训练完成的本地模型和所述本地数据[0166]初级模型发送模块540，用于将所述初步训练完成的全局共享模型发送至所述服务器端；所述服务器端用于接收每个所述客户端发送的所述初步训练完成的全局共享模轮训练完成的全局共享模型集合和所述训练数据对每个所述初步训练完成的全局共享模[0176]参照图8，示出了本申请的一种基于特异性联邦学习的模型训练方法的计算机设块42通常执行本申请所描述的实施例中的和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图8所示，网络适配器20通过总线18与计算机设备12的其他模块通该程序被处理器执行时实现如本申请所有实施例提供的一种基于特异性联邦学习的模型模型和所述本地数据对所述全局共享模型进行训练，获得初步训练完成的全局共享模型，据对每个所述初步训练完成的全局共享模型进行训练，获得训练完成的全局共享模型集机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限[0188]计算机可读的信号介质可以包括在基带中或者作