CN114980109B 一种基于联邦学习的5g智能电网入侵检测方法 （国网福建省电力有限公司电力科学研究院）

一种基于联邦学习的5G智能电网入侵检测本发明涉及一种基于联邦学习的5G智能电地训练一个基于Transformer的入侵检测模型；多次执行步骤S2-S5，各个智能电表将使用最终2步骤S2、智能电表利用收集到的数据在本地训练一个基于Transformer的入侵检测模步骤S4、5G基站接收到在其覆盖范围内参与联邦学习的步骤S5、5G基站将聚合得到的簇模型通过5G核心网传输至云端服务器进行全局聚合；步骤S6、通过多次迭代步骤S2-S5，各个智能电表最终将得到一个高效的入侵检测模智能电表将根据本地的数据训练一个基于Transformer的入侵检测模型，在训练过程基于Transformer的入侵检测模型包括两个Transformer层和两个特征提取层，其中，Transformer层由多头注意力层和前馈网络组成，特征提取层包含卷积层和池化层；假设别特征xcate先经过嵌入层将每个类别特征转化为相同长度的嵌入向量，然后输入家用电器通过家域网HANs将用电数据和流量信息传输至智能当基站Bj收到其覆盖范围内所有参与联邦学习的智能电表的入侵检测模型后，在其附3其中表示智能电表i上传的基于Transformer的入侵检测模型，D表示接入基站Bj的所有智能电表的本地数据量之和；簇模型是根据所有接入智能电基站将得到的簇模型通过5G核心网传输至云端服务器进行全4[0001]本发明涉及智能电网领域，特别是一种基于联邦学习的5G智能电网入侵检测方(AdvancedMeteringInfrastructure,AMI)主要由智能电表，双向通信链路和数据中心使得5G通信技术适合作为AMI系统的通信基础，并且智能电网与5G的结合也将成为未来必[0005]为了解决上述的隐私问题，在2016年McMahan等人提出了联邦学习。在联邦学习联邦学习的智能电表可以仅通过与云端服务器交换模型参数来合作地训练一个高效的入表还可以使用最终得到的入侵检测模型直接在本地执行入侵检测，以降低入侵检测的时5[0009]步骤S2、智能电表利用收集到的数据在本地训练一个基于Transformer的入侵检[0017]智能电表将根据本地的数据训练一个基于Transformer的入侵检测模型，在训练类别特征xcate先经过嵌入层(Embeddinglayer)将每个类别特征转化为相同长度的嵌入向经过层标准化LayerNormalization对所有神经元节点进行规范化，然后输入特征提取层来提取特征；之后，Transformer层和特征提取层的输出经过融合层(Concatenation6[0025]其中表示智能电表i上传的基于Transformer的入侵检测模型，Di是智能电[0034]图3是本发明一实施例提供的方法与使用其他入侵检测模型的方法，在执行联邦[0035]图4是本发明一实施例提供的方法与使用其他入侵检测模型的方法在执行联邦学[0036]图5是本发明一实施例提供的方法与使用其他入侵检测模型的方法在联邦学习下执行200次全局迭代得到的模型的评价指[0037]图6展示了传统联邦学习和本方案在执行联邦学习的过程中基站和云端服务器之7[0041]步骤S2、智能电表利用收到的数据在本地训练一个基于Transformer的入侵检测要包括两个Transformer层和两个特征提取层，其中，Transformer层由多头注意力层(Multi-headAttentionLayer)和前馈网络(FeedForwardNetwork)组成，特征提取层包含卷积层(ConvolutionalLayer)和池化层(PoolingLayer)。假设(x,y)是原始数据集中(CategoricalFeatures)xcate和数值特征(NumericalFeatures)xnum组成的x＝{xnum,特征转化为相同长度的嵌入向量(Embeddings)，然后输入Transformer层来提取类别特征过融合层(Concatenationlayer)和多层感知机输8[0052]其中表示智能电表i上传的基于Transformer的入侵检测模型，Di是智能电则基站上传到云端服务器的模型个数减少为3个。因此本方案可以有效的减少基站和云端图4是本发明一实施例提供的方法与使用其他入侵检测模型的方法在执行联邦学习下，智能电表上传的数据量和验证准确率的对比示意图。图5是本发明一实施例提供的方法与使用其他入侵检测模型的方法在联邦学习下执行200次全局迭代得到的模型的评价指标对比示意图。图6展示了传统联邦学习和本方案在执行联邦学习的过程中基站和云端服务器之9[0058]本发明首先设计了一个可以部署在智能电表处的基于Transformer的入侵检测模