CN113516250B 一种联邦学习方法、装置、设备以及存储介质 （北京百度网讯科技有限公司）

US2021089910A1,2021.03.25质2S3，通过所述目标终端设备对所述任务对应的将所述资源信息输入预先训练好的强化学习模型，通过所S14，基于各个样本终端设备的资源信息以及所述样本任务的特性信息，通过所述模若更新后的模型未满足迭代结束条件，返回S12，并将所述更新后的模型替代上述模3所述基于各个样本终端设备的资源信息以及所述样本任务的特性信息，通过所述模将各个所述任务的特性信息、多个终端设备的资源信集作为所述强化学习模型的环境状态，并基于所述奖励函数对所述强化学习模型进行更将所述资源信息输入更新后的强化学习模型，通过更新后8.一种联邦学习装置，应用于联邦学习系统中的下发子模块，用于将所述任务对应的全局模型下发至所述任务对应的目标终端设备，接收子模块，用于接收各个所述目标终端设备返回的所4第二获取模块，用于获取所述样本任务的特输入模块，用于将所述样本终端设备集、以及各个样本计算模块，用于利用所述调度设备执行所述样本任务若更新后的模型未满足迭代结束条件，返回输入模更新模块，用于将各个所述任务的特性信息、多个所述确定模块，具体用于将所述资源信息输所述存储器存储有可被所述至少一个处理器执行的56习模型的协作训练。联邦学习过程中服务器只需要将待训练的全局模型下发给终端设备，[0012]任务训练模块，用于通过所述目标终端设备对所述任务对应的全局模型进行训7[0020]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特每个任务分配设备资源来更快地使所有任务的模型达到收8的任务即可以理解为学习用于图像分类的模型、语音识别即为学习用于语音识别的模型，[0052]针对每一终端设备，该终端设备的资源信息包括以下信息中的至少一种：内存、9[0055]服务器可以利用多个终端设备的资源信息，分别调度各个终端[0069]通过目标终端设备对任务对应的全局模型进行训练，直至全局模型满足预设条端设备的资源信息以及样本任务的特性信息作为环境状态，并基于奖励函数而学习得到[0082]另一种可实现方式中，强化学习模型可以输出各个任务分别对应终端设备的概[0101]若更新后的模型未满足迭代结束条件，返回S12，并将更新后的模型替代上述模[0103]如图4所示，将各个样本终端设备的资源信息以及样本任务的特性信息作为环境[0105]一种可选的实施例中，可以用预先训练的调度模型初始化动作值函数Q的神经网务的模型权重的集合，:≡可以表示将W定义为包括所有任务的模型权重的集合，是第m个任务的输入输出数据对在模型参数ωm上的模型损}，m表示实现预期损失lm所需的轮数。务器接收到多个终端设备返回的模型参数后jj+1轮之前所有参与训练的设备的数据按[0139]步骤A2，服务器为每个任务创建服务程序使联邦学习环境中的所有任务并行执[0160]参与频率可以理解为针对一任务参与该任务对应的全局模型的训练的参与次[0165]步骤B2，如果不可用设备集[0166]确定不可用设备集合过程中可以引入参与频率的限制参数Nm，也即参与频率阈[0167]若Fkm大于Nm，针对任务m，该终端设备可以理解为是不可用设备集合中的终端设[0169]步骤B4，以任务m的可用设备集合a,任务编号m作为参数调用上述强化学习模型[0180]步骤C6，以任务m的可用设备集合以及训练模式train＝True作为参数更新上[0182]将联邦学习所有任务的模型特征，当前任务m在环境中可用的设备任[0207]图10示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电[0208]如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备[0210]计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0212]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0215]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，