CN114037089B 一种面向异质场景的异步联邦学习方法、装置及存储介质 （中山大学）

(19)国家知识产权局(12)发明专利(72)发明人由林麟刘晟蔡铭章圣律郭子晗周檬贺俊姝限公司44205置及存储介质本发明公开了一种面向异质场景的异步联端的自相关熵高于所述候选客户端中其他客户据所述目标参数对模型聚合的过程进行聚合增从候选客户端中确定目标客户端，其中，所述目标客户端的自从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端对所述目标客户端进行训练，得到目标参数，并所述服务器根据所述目标参数对模型聚合的过程进行聚合增强对所述第一联邦模型进行策略集成处理，得到第二联邦模型对所述第二联邦模型进行模型评估，确定目标联邦模型2从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模根据所述若干个周期和优化后的更新频率，根据所述目标参根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相根据信息性客户端激活策略、多周期分层更新策略、时间权所述时间权重衰减策略和信息权重增强策略，用于根据时间所述策略集成的应用包括：所述信息性客户端激活策略在客多周期分层更新策略在通信优化中的应用、所述时间权重衰减策略在聚合增强中的应用、3所述信息权重增强策略在聚合增强中的应用。5.根据权利要求4所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述对所述第二联邦模型进行模型评估，确定目标联邦模型，包括：计算客户端激活作用下全局模型的准确率和收敛速度，确定最优激活比例；计算通信优化作用下全局模型的准确率和收敛速度，确定最优通信周期；计算聚合增强作用下全局模型的准确率和收敛速度，确定使用信息熵或本地数据集的标签数量；计算集成策略作用下全局模型的准确率和收敛速度，生成模型评估结果。6.一种面向异质场景的异步联邦学习装置，其特征第一模块，用于从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；第二模块，用于对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；第三模块，用于由所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处第四模块，用于对所述第一联邦模型进行策略集成处理，得到第二联邦模型；第五模块，用于对所述第二联邦模型进行模型评估，确定目标联邦模型；所述服务器根据多周期分层更新策略，将通信划分为若干个周期；对模型聚合过程中的深度神经网络的浅层和深层的更新频率进行优化；根据所述若干个周期和优化后的更新频率，根据所述目标参数进行模型聚合，得到第一联邦模型；其中，所述多周期分层更新策略，用于将M轮通信分为个周期，所述深度神经网络的深层在最后的m轮学习中更新，所述深度神经网络的浅层在所有的M轮学习中更新。所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至5中任一项所述的方法。8.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至5中任一项所述的方法。9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的方法。4一种面向异质场景的异步联邦学习方法、装置及存储介质技术领域[0001]本发明涉及人工智能技术领域，尤其是一种面向异质场景的异步联邦学习方法、装置及存储介质。背景技术[0002]随着物联网的快速发展，一个多功能网络得以创建，来连接交通运输、健康护理、行政管理等各领域的大量设备，以支持多样性数据感知和服务体验提升。但由于用户信息变得敏感，数据被统一收集在数据中心的模式可能违反数据安全和隐私保护相关的法律法规，使得数据处理范式开始从集中式数据集成转向分布式参数聚合。[0003]为了消除数据安全和数据隐私造成的数据孤岛，一种名为联邦学习的去中心化机制被提出。该机制通过不共享原始数据的方式，利用每个学习参与者的本地数据和计算资源来训练一个全局模型。联邦学习可以在同步环境下工作，即所有的学习参与者都有相同的工作计划。而允许参与者相对独立、不受其他参与者制约地参与训练的异步联邦学习，更加适于泛在的异质物联网系统。[0004]因目前的研究通常在同步环境下进行，所以异步联邦学习仍然面临诸多挑战。首先，由于本地数据的生成通常与用户的行为一致，所以数据可能在4V特征(即Volume、Variety、Value、Velocity)上有所不同。因此，选择间的异质性，来训练一个高性能的全局模型变的十分困难。其次，所选客户端的运行状态可能会随着时间与空间的变化而发生变化，因此应尽量减小客户端与服务器的通信延迟，减少学习入侵，并有效解决上传本地模型时的延迟问题，以此提高模型训练的性能。[0005]针对这些问题，现有方案多通过解决数据异构性来提高模型准确率，并通过压缩数据包来降低客户端与服务器之间的通信成本，但同时实现准确率的提升和通信成本的降低变的十分困难。最近，一种更先进的解决方案，即设计并联合使用时间加权聚合策略和分层模型更新策略，使模型在准确率和收敛性方面具有更好的性能。然而，如何集成客户端激活、通信优化和聚合增强策略，在提高模型准确率的同时降低通信成本，来有效支持异步联发明内容[0006]有鉴于此，本发明实施例提供一种面向异质场景的异步联邦学习方法、装置及存储介质，以提高模型准确率并且降低通信成本。[0007]本发明的一方面提供了一种面向异质场景的异步联邦学习方法，包括：[0008]从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；[0009]对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；[0010]所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；5[0011]对所述第一联邦模型进行策略集成处理，得到第二联邦模型；[0012]对所述第二联邦模型进行模型评估，确定目标联邦模型。[0013]可选地，所述从候选客户端中确定目标客户端，包括：[0014]从所述候选客户端中的每个客户端获取感知数据；[0015]根据每个客户端中获取到的感知数据，计算每个客户端的自相关熵；[0016]根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相关熵最高的客户端作为所述目标客户端。[0017]可选地，对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服[0018]所述目标客户端获取当前全局模型和本地数据进行训练，得到目标参数；[0019]所述目标客户端将所述目标参数发送至所述服务器；[0020]所述服务器轮询等待接收客户端发送的目标参数。[0021]可选地，所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型，包括：[0022]所述服务器根据多周期分层更新策略，将通信划分为若干个周期；[0023]对模型聚合过程中的深度神经网络的浅层和深层的更新频率进行优化；[0024]根据所述若干个周期和优化后的更新频率，根据所述目标参数进行模型聚合，得到第一联邦模型。[0025]可选地，对所述第一联邦模型进行策略集成处理，得到第二联邦模型，包括：[0026]根据信息性客户端激活策略、多周期分层更新策略、时间权重衰减策略以及信息权重增强策略对所述第一联邦模型进行策略集成处理，得到第二联邦模型。[0027]可选地，对所述第二联邦模型进行模型评估，确定目标联邦模型，包括：[0028]计算客户端激活作用下全局模型的准确率和收敛速度，确定最优激活比例；[0029]计算通信优化作用下全局模型的准确率和收敛速度，确定最优通信周期；[0030]计算聚合增强作用下全局模型的准确率和收敛速度，确定使用信息熵或本地数据集的标签数量；[0031]计算集成策略作用下全局模型的准确率和收敛速度，生成模型评估结果。[0032]本发明实施例的另一方面提供了一种面向异质场景的异步联邦学习装置，包括：[0033]第一模块，用于从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；[0034]第二模块，用于对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；[0035]第三模块，用于由所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；[0036]第四模块，用于对所述第一联邦模型进行策略集成处理，得到第二联邦模型；[0037]第五模块，用于对所述第二联邦模型进行模型评估，确定目标联邦模型。[0038]本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；[0039]所述存储器用于存储程序；[0040]所述处理器执行所述程序实现如前面所述的方法。6[0041]本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。[0042]本发明实施例的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。[0043]本发明的实施例从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；对所述第一联邦模型进行策略集成处理，得到第二联邦模型；对所述第二联邦模型进行模型评估，确定目标联邦模型。本发明能够提高模型准确率并且降低通信成本。附图说明[0044]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0045]图1为本发明实施例提供的整体步骤流程图；[0046]图2为本发明实施例提供的三阶段异步联邦学习模型在MNIST中各类ICA变量的准确率曲线图；[0047]图3为本发明实施例提供的三阶段异步联邦学习模型在MNIST中MLU(200,3,1)和MLU(200,15,5)的准确率增长图；[0048]图4为本发明实施例提供的三阶段异步联邦学习模型在MNIST中TWF、IWE-IE和IWE-LN作用下的准确率曲线图；[0049]图5为本发明实施例提供的三步异步联邦学习模型在MNIST中各类集成策略的准确率增长图。具体实施方式[0050]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。[0051]针对现有技术存在的问题，本发明提出一种面向异质场景的三阶段异步联邦学习机制，实现客户端激活、通信优化和聚合增强策略的集成，在提高模型准确率的同时和降低[0052]从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；[0053]对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；[0054]所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；[0055]对所述第一联邦模型进行策略集成处理，得到第二联邦模型；7[0056]对所述第二联邦模型进行模型评估，确定目标联邦模型。[0057]可选地，所述从候选客户端中确定目标客户端，包括：[0058]从所述候选客户端中的每个客户端获取感知数据；[0059]根据每个客户端中获取到的感知数据，计算每个客户端的自相关熵；[0060]根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相关熵最高的客户端作为所述目标客户端。[0061]可选地，对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服[0062]所述目标客户端获取当前全局模型和本地数据进行训练，得到目标参数；[0063]所述目标客户端将所述目标参数发送至所述服务器；[0064]所述服务器轮询等待接收客户端发送的目标参数。[0065]可选地，所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型，包括：[0066]所述服务器根据多周期分层更新策略，将通信划分为若干个周期；[0067]对模型聚合过程中的深度神经网络的浅层和深层的更新频率进行优化；[0068]根据所述若干个周期和优化后的更新频率，根据所述目标参数进行模型聚合，得到第一联邦模型。[0069]可选地，所述对所述第一联邦模型进行策略集成处理，得到第二联邦模型，包括：[0070]根据信息性客户端激活策略、多周期分层更新策略、时间权重衰减策略以及信息权重增强策略对所述第一联邦模型进行策略集成处理，得到第二联邦模型。[0071]可选地，所述对所述第二联邦模型进行模型评估，确定目标联邦模型，包括：[0072]计算客户端激活作用下全局模型的准确率和收敛速度，确定最优激活比例；[0073]计算通信优化作用下全局模型的准确率和收敛速度，确定最优通信周期；[0074]计算聚合增强作用下全局模型的准确率和收敛速度，确定使用信息熵或本地数据集的标签数量；[0075]计算集成策略作用下全局模型的准确率和收敛速度，生成模型评估结果。[0076]本发明实施例的另一方面提供了一种面向异质场景的异步联邦学习装置，包括：[0077]第一模块，用于从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；[0078]第二模块，用于对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；[0079]第三模块，用于由所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；[0080]第四模块，用于对所述第一联邦模型进行策略集成处理，得到第二联邦模型；[0081]第五模块，用于对所述第二联邦模型进行模型评估，确定目标联邦模型。[0082]本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；[0083]所述存储器用于存储程序；[0084]所述处理器执行所述程序实现如前面所述的方法。[0085]本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有8程序，所述程序被处理器执行实现如前面所述的方法。[0086]本发明实施例的另一方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。[0087]下面结合说明书附图，对本发明的具体实现过程进行详细描述：[0088]步骤1、客户端激活。在每个客户端中收集数据，根据公式(1)计算得到每个客户端的自相关熵SRE:[0091]以自相关熵SRE为标准，根据公式(2)求得ICA(a),选择自相关熵高的客户端作为训练用的参与方：[0094]其中，K₀为客户端总数；CAIk,t为客户端k在第t轮学习中标准化后的客户端激活指所有客户端在第t轮学习的数据大小；CAI代表由SRE计算所得客户端k的初始激活指数；[0095]需要说明的是，本发明实施例中步骤1收集的感知数据包括但不限于：1)智能网联汽车作为客户端时，动态感知与收集汽车的加速度、速度数据以及车内驾驶员的图像、语音数据，数据可以用于驾驶行为分析特别是危险驾驶预测；2)手机作为客户端时，动态感知与于商品推荐系统。[0096]本发明实施例提供的信息性客户端激活策略，是根据自相关熵和数据量大小计算激活指数，将激活指数高的客户端作为信息丰富的客户端，将作为训练用的客户端。器等待并接受上传的本地模型参数。在服务器内进行模型聚合时，引入多周期分层更新策略(MLU),优化DNN浅层和深层参数的更新频率。MLU(M,m,n)代表将M轮通信分为个周期，在每个周期内，深层只在最后n个通信轮次时更新；浅层则在每m个通信轮次更新。[0098]需要说明的是，本发明实施例所获取的目标参数的参数类型及其作用包括：1)、神数量等信息性参数，用于全局模型聚合。模式：(1)MLU阶段内第t轮通信属于1至m-n轮时，浅层单独更新。(2)MLU阶段内第t轮通信属于m-n+1至m轮时，浅层和深层的联合更新。以上两种模式下异步联邦学习服务器均聚合两9数；n为所有客户端的数据大小；TWk,t为客户端k在第t轮通信中标准化后的时间权重；[0103]信息权重增强策略由公式(4)定义，式中IE(Dk,t)为客户端k在第t轮通信中的本 集D,的标签数量；L,表示第i个标签[0106]TWF可以基于标准化权重聚合客户端参数，其值根据参数的生成和处理时间之差[0121]F,使用本地数据计算@;[0123]服务器计算标准化权重TWIWk,t,并用其计算全局参数@+1,,具体包括以下步[0134]4.使用“判决”策略，比较①+与@[0136]本实施例通过实验模拟了60个客户端，基于ModifiedNatio说明数值最小数据量Amax最大数据量L2L6工min初始化数据最小比例初始化数据最大比例每轮学习新数据的最小比例每轮学习新数据的最大比例每轮学习新数据的最小比例0.1%每轮学习新数据的最大比例[0139]其中，客户端激活、通信优化、聚合增强和集成策略的实验结果分别如图2、图3、图机制的优越性。组别策略第200轮通信精度收敛轮数基准线策略集成TWF+IWE-IE+ICA(0.5)+MLU(行训练，并上传参数至服务器；服务器进行聚合时，使用多周期分和深层参数的更新频率；并使用时间权重衰减策略和信息权重增强策略增强模型聚合。本发明有效提高了异步联邦学习全局模型的性能；在做到降低通讯成本的同时大幅提高了准确率与收敛速度。[0143]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。[0144]此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。[0145]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。[0146]在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装[0147]计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。[0148]应当理解，本发明的各部分可以用硬