CN114610515B 基于日志全语义的多特征日志异常检测方法及系统 （电子科技大学）

WO2019060327A1,2019.03.28页.ConferenceonElectronics,Commu第661-666页.基于日志全语义的多特征日志异常检测方本发明公开了一种基于日志全语义的多特注意力机制的BiGRU神经网络模型，得到训练好的BiGRU神经网络模型。将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，并2步骤3：基于所有日志特征向量集训练基于注意力机制的BiGRU神步骤4：将待检测的日志数据集输入训练好的Bi将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，得出当前日志序2.根据权利要求1所述的一种基于日志全语义的多特征日志异常检测方法，其特征在3语义处理模块：对日志数据集进行初步处理，得到日将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，得出当前日志序4.根据权利要求3所述的一种基于日志全语义的多特征日志异常检测系统，其特征在45备一定格式的非结构化提示或告警信息，用于开发者或者用户了解运行状态和定位错误，用日志中的语义关系获得了更好的准确性。Lstm和双向Lstm被广泛地运用于日志异常检软件系统打印日志的日志模板和参数区分开来，通过分析日志模板提取出日志的语义信6方法的训练表现有很大的差异，而现有的提取日志模板无法应用于所有类型的系统日志，[0012]3.日志模板中的单一日志语义特征或者少量地特征无法涵盖日7[0027]步骤2.3：统计每一个不同日志项[0032]将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，得出当前日根据预测结果区分出各日志序列是正常或异8[0045]步骤2.3：统计每一个不同日志项[0047]进一步，所述训练模块中注意力机制的BiGRU神经网络模型包括依次设置的文本[0050]将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，得出当前日理新型的日志模板和日志中出现的00V词的困难问题，本发明中得到的完整的语义文本不的特征无法覆盖其他诸如组件启动和停止之类日志的逻辑异常和系统日志输出的延时异9[0057]图2是基于注意力机制的BiGRU模型图，其中，Dense表示全连接层，word_attention_layer或Attentlon-BasedMask表示attention层，即注意力机制，BiGRU表示词集为：08110920593113INFOdfs.DataBlockScanner：Verificationsucceededfor[0065]我们将日志序列解析中得到的日志项单词组向量化得到我们的日志序列的语义日志项，例如在分布式系统中属于哪个block或者是由哪一个进程输出此日志项来为这个Componentld是指该日志项的相关组件，Timelnterval指的是距上一条日志的输出时间间[0072]BiGRU-Attention模型BiGRU-Attention模型共分为三部分：文本向量化输入层、的输入向量。BiGRU层的目的主要是对输入的文本向量进行文本深层次特征的提取。根据[0075]BiGRU-Attention模型中引入了attention层，Attention层的输入为上一层中经过BiGRU层激活处理的各层的隐层状态，Attention层由attention机制分配的不同概率权[0077]基于所有日志特征向量集训练基于注意力机制的BiGRU神经网络模型，得到训练[0078]对于每一条日志序列提取其上面的四类特征向量作为其特征集Feat