CN115766518B 云边端系统的异常检测模型训练、异常检测方法及系统 （中国船舶集团有限公司第七〇九研究所）

本发明提供可一种云边端系统的异常检测包括：各边端对第一样本日志序列进行特征提基于各边端发送的第一向量表示序列以及对应端在预训练分类模型中增加适配层作为迁移模发明实现了高效地针对海量的终端应用进行异2S101各边端对第一样本日志序列进行特征S102云端基于所述各边端发送的第一向量表示序S103各边端在所述预训练分类模型中增加适配层作S104各边端基于所述第二向量表示序列以及对云端基于第三样本日志序列，对预训练模型进行自监志序列对应的词汇表和所述预训练模型使用的词汇各边端基于特征提取模型，对所述第一样本日志各边端对所述子词序列进行编码，获得向量S602将所述向量表示序列输入至异常检测模型，获其中，所述异常检测模型是基于如权利要求1至2任一项所述4.一种云边端系统的异常检测模型训练系统，其特征在于，所所述各边端用于对第一样本日志序列进行特征提取，获得第一向量表述第一向量表示序列以及对应的异常标注信息发所述云端用于基于所述各边端发送的第一向量表示序列以所述各边端还用于在所述预训练分类模型中增加适配层作为迁移所述各边端还用于基于所述第二向量表示序列以及对应的异常标注信云端基于第三样本日志序列，对预训练模型进行自监3所述各边端具体用于基于特征提取模型对所述第一样本日志序列中的各条日志进行条日志的向量表示组成第一向量表示序列。异常检测模块，用于将所述向量表示序列输入至异常检测其中，所述异常检测模型是基于如权利要求1至2任一项所述4[0002]随着5G(The5thGenerationMobileCommunicationTechnology，第五代移动述第一向量表示序列以及对应的异常标注信息发5预设的词汇表将分词结果转化为子词序列；将所述第一向量表示序列以及对应的异常标注信息发[0025]所述云端用于基于所述各边端发送的第一向量表示序列以及对应的异常标注信[0029]所述各边端具体用于基于所述特征提取模型，对第一样本日志序列进行特征提所述各条日志的向量表示组成第一向量表示序列。影层以及所述第一投影层和所述第二投影层之间6满足规模越发庞大的云边端协同系统异常检测的准确度和实时7行模型的训练和适配，同时传统的迁移学习的方法在当前复杂种类的IOT系统中的表现效[0050]为克服现有技术的不足，本发明提供一种云边端系统的将第一向量表示序列以及对应的异常标注信息发[0053]步骤S102，云端基于各边端发送的第一向量表示序列以模型训练样本的历史日志文本。每条日志文本经过特征提取之后都会获得相应的向量表[0058]各个边端采用预先构建的特征提取模型对部分本地日志文本组成的第一样本日有边端发送的第一向量表示序列和对应的异常标注信息，对多层transformer结构的初始的第二向量表示序列以及对应的异常标注信息进行模型迁移训练得到各个边端独立的异8型进行自监督训练得到，而又由于此训练需要较高的计算效率和大量多样性的日志数据，序列中的各条日志进行特征提取，获得各条日志的向量表示并由此组成第一向量表示序9志文本进行分词，获得分词结果并基于预先设置的子词粒度的词汇表Z将分词结果转化为关的，即向量序列里的每个向量数值的大小都受到其余向量的影响。取这M个向量的平均[0078]基于上述任一实施例，云端将第一向量表示序列X和对应的异常标注信息输入到中云端对接收的第一向量表示序列X，按照每条日志的向量表示xi在X中的位置i的sin和单个的Transformer编码器，多头注意力层为每个具有不同注意力模式的日志消息计算注[0087]边端1_N分别使用各自采集到的少量本边缘域日志文本组成第二样本日志序列，表示序列。的异常检测模型，将向量表示序列输入到异常检测模型中得到日志序列的异常检测结果，词结果，并根据预先设置的子词粒度的词汇表Z将分词结果转化为子词序列，再由多层Transformer编码器转化为蕴含日志语义信息的固定维度的向量序列。将向量序列中的各序列和对应的位置编码序列相加并输入到异常检测模型中，经过多层Transformer编码器[0101]“L1:081109203521146INFOdfs.DataNode$PacketResponder:PacketResponderforblockblk_7503483334202473044[0102]L2:081109203521146INFOdfs.DataNode$PacketResponder:Receivedblockblk_7503483334202473044ofsize23[0103]L3:081109203521148INFOdfs.DataNode$PacketResponder:PacketResponder2forblockblk_7503483334202473044terminating”[0104]L4:11178385702005.06.03R02_M1_N0_C:J12_U112005_06_03_15.42.50.363779R02_M1_N0_C:J12_U11RASKERNELINFOinstructioncacheparity[0105]L5:11179793362005.06.05R02_M0_NC_C:J04_U012005_06_05_06.48.56.695380R02_M0_NC_C:J04_U01RASKERNELINFOgenerat[0106]L6:11185387402005.06.11R30_M0_N9_C:J16_U012005_06_11_18.12.20.931990R30_M0_N9_C:J16_U01RASKERNELFATALdataTLBerrorinterrupt“[0107]L7:11045664212005.01.01sadmin1Jan100:00:21sadmin1/sadmin1[0108]L8:11045664212005.01.01sadmin1Jan1hda:statuserror:stat[0109]L9:11045664232005.01.01sn209Jan100:00:23sn209/sn209sendmail[17795]:unabletoqualifymyowndomainname(sn209)__usingshortname”[0111]1.2基于上节所述的日志语改变在于使用了bytes级的字节对编码方法，使用动态MASK机制，以及去除了NSP(Next_处存在解析误差)，而是直接把原始日志输入到网络，通过分词器切分为一个个token。[0118]如一条长度为L的日志文本，通过分词器和子词词汇表Z转化为长度为M的子词序向量序列是上下文相关的，即向量序列里的每个向量数值的大小都受到其余向量的影响。[0121]3.2云端将向量表示序列X和对应的异常标注信息输入到包含多层Transformer编应位置的xi和pi相加并输入到初始分类单个的Transformer编码器，多头注意力层为每个具有不同注意力模式的日志消息计算注[0124]多层Transformer编码器输出到池化层、dropout层和一个全连接层，并使用[0127]4.1云端将步骤(3)预训练好的预训本进行特征提取得到向量表示序列。示的Transformer编码器的结构中增加含有少量参数的适配层作为迁移模型，此处的适配层由一个下投影层、一个激活层和一个上投影层组成。其中，上、下投影层的维度与[0135]云端720用于基于各边端发送的第一向量表示序列以及对应的异常标注信息，对[0136]各边端710还用于在预训练分类模型中增加适配层作为迁移模型，并对第二样本[0137]各边端710还用于基于第二向量表示序列以及对应的异常标注信息，对迁移模型[0140]特征提取模块810，用于对终端