CN114462577B 一种联邦学习系统、方法、计算机设备及存储介质 （国家电网有限公司大数据中心）

号训练拆分为边缘终端设备的特征提取部分和边2任一边缘服务器用于建立两个完全相同的初始全局模型，将其所述边缘终端设备用于将私密数据集输入所述预训练特征所述边缘服务器作为边缘计算节点，用于基于所述特征向量所述聚合节点用于对各所述边缘训练模型进行模型聚合得到聚合合全局模型未收敛，则基于所述聚合全局模型更新所述初始全局模型中的初始全连接网基于公开数据集对其中一个初始全局模型进行预训练得到预训对所述预训练全局模型进行模型分割操作得到预训练特征提取网提取网络为所述预训练全局模型中除预训练全连接网络之外的部对所述初始全局模型进行所述模型分割操作得到将最高综合指数对应的边缘计算节点确定为下节点对应的边缘训练模型的评价指数以及所述边缘训练模型与所述聚合全局模型的偏离将其中一个初始全局模型对应的预训练特征提取网络发送到边将另一个初始全局模型中的初始全连接网络发送到所述联邦学习系统中的其它边缘3将私密数据集输入所述预训练特征提取网络接收联邦学习系统中的至少一个边缘终端设备基于所述特征向量对接收到的初始全连接网络进行参数训练得到边将所述边缘计算模型同步到聚合节点，所述聚合节点是接收联邦学习系统中各边缘计算节点发送的对各所述边缘训练模型进行模型聚合得到聚合若所述聚合全局模型未收敛，则基于所述聚合全局模型更新所若所述聚合全局模型收敛，则将所述聚合全局模型发送到联邦学所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求5-8中任一项所述的4[0003]但是传统的大数据分析和学习方法需要将边缘终端设备收集到的数据信息上传[0008]所述边缘终端设备用于将私密数据集输入所述预训练特征提取网络得到特征向5[0014]将另一个初始全局模型中的初始全连接网络发送到所述联邦学习系统中的其它6[0034]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0049]图1为本发明实施例一提供了一种联邦学习系统的结构示意图，本实施例可适用[0050]任一边缘服务器110用于建立两个完全相同的初始全局模型，将其中一个初始全[0051]边缘终端设备120用于将私密数据集输入预训练特征提取网络得到特征向量，将7[0052]边缘服务器110作为边缘计算节点，用于基于特征向量对接收到的初始全连接网将边缘终端设备120所采集的数据或经过计算或处理得到的数据传输至边缘服务型进行预训练后进行模型分割后得到的预训练特征提取网络发送到各边缘[0057]边缘终端设备120在接收到边缘服务器发送的预训练特征提取网络之后，用于将[0059]另外，边缘服务器110将另一个初始全局模型进行模型分割后得到的初始全连接有相同的初始全连接网络以及边缘终端设备所发送的特征向量，从而边缘服务器110作为边缘计算节点，将特征向量输入接收到的初始全连接网络进行模型训练得到边缘训练模8[0062]经过上述步骤，聚合节点接收到各边缘计算节点分别训练得到一个边缘训练模分割技术将模型训练过程拆分为边缘终端设备的特征提取部分和边缘服务器的参数迭代聚合节点对各边缘计算节点训练得到的边缘训练模型进行聚合，达到了去中心化的效果，公开数据集对其中一个初始全局模型进行预训练得到的预训练全局模型具有一定的特征9[0084]图2为本发明实施例二提供了一种联邦学习方法的流程图，本实施例可适用于对件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的[0087]S220、将其中一个初始全局模型对应的预训练特征提取网络发送到边缘终端设络之间的低耦合性，基于模型分割技术将模型拆分为特征提取部分和参数迭代更新部分，[0093]图3为本发明实施例三提供了一种联邦学习方法的流程图，本实施例可适用于对件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的集输入预训练特征提取网络得到特征向量，保护了各边缘终端设备的数据隐私和数据安设备的计算资源消耗和存储压力；尤其适用于边缘终端设备计算及存储能力受限的系统，[0103]图4为本发明实施例四提供了一种联邦学习方法的流程图，本实施例可适用于对件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的[0106]S420、基于特征向量对接收到的初始全连接网络进行参数训练得到边缘训练模缘训练模型为部分边缘终端设备基于私密数据集提取的特征向量训练得到[0113]图5为本发明实施例五提供了一种联邦学习方法的流程图，本实施例可适用于对件和/或软件的形式实现，该联邦学习装置可配置于实施例一所提供的联邦学习系统中的应的边缘训练模型的评价指数以及边缘训练模型与聚合全局模型的[0128]所述第一发送模块620，用于将其中一个初始全局模型对应的预训练特征提取网[0129]所述第二发送模块630，用于将另一个初始全局模型中的初始全连接网络发送到[0130]本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例二所提供[0134]所述特征提取模块720，用于将私密数据集输入预训练特征提取网络得到特征向[0136]本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例三所提供[0140]所述参数训练模块820，用于基于特征向量对接收到的初始全连接网络进行参数[0142]本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例四所提供[0148]所述发送模块940用于若聚合全局模型收敛，则将聚合全局模型发送到联邦学习[0149]本发明实施例所提供的联邦学习装置可执行本发明实施例一或实施例五所提供可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行诸如因特网的计算机网络和/或各种电信网络与其他设备交换[0154]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11ROM12和/或通信单元19而被载入和/或安装到计算机设备10上。当计算机程序加载到RAM机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0157]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反[0160]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有边缘终端设备-服务器关系的计算机程