CN119474040A 基于大语言模型的日志解析与检索增强生成方法和装置 （中南大学）

基于大语言模型的日志解析与检索增强生本申请涉及了一种基于大语言模型的日志日志组对应的日志模板。本方法使用到了RAG技术和LLM的结合，并依据日志模板库和前缀解析2根据检索增强生成和前缀解析树，在日志模板库中寻找与所述目标日志在所述日志模板库存在与所述目标日志向量相似或相同的在所述日志模板库不存在与所述目标日志向量相似或相同的日志模2.根据权利要求1所述的基于大语言模型的日志解析与检索增强生成方法，其特征在根据所述前缀解析树，采用基于向量的稠密检索和基于关键字的稀根据所述大语言模型从所述N条日志模板中选取出相似或相3.根据权利要求2所述的基于大语言模型的日志解析与检索增强生成方法，其特征在在所述日志模板库存在与所述目标日志向量相似的日志模板的情在日志模板映射表中存在所述目标日志模板的情况下，志模板映射表中包含有所述日志模板库中的日志组与对应的一类日志模板之间的映射关4.根据权利要求3所述的基于大语言模型的日志解析与检索增强生成方法，其特征在在所述日志模板映射表中不存在所述目标日志模板的情况下，根据在所述相似的日志模板能够整合所述目标日志的情况下，5.根据权利要求3所述的基于大语言模型的日志解析与检索增强生成方法，其特征在3在所述日志模板映射表中构建所述目标日志模板与所述新日志组之间6.根据权利要求1所述的基于大语言模型的日志解析与检索增强生成方法，其特征在仅采用正则表达式从所述目标日志中提取出日7.根据权利要求6所述的基于大语言模型的日志解析与检索增强生成方法，其特征在8.一种基于大语言模型的日志解析与检索增检索模板模块，用于根据检索增强生成和前缀解析树，在处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，求1至7任一项所述的基于大语言模型的日志解析与检索增4[0006]本发明实施例的主要目的在于提出一种基于大语言模型的日志解析与检索增强所述目标日志存放于相似或相同的日志模板对应的日在所述日志模板库不存在与所述目标日志向量相似或相同的日志模板的情况下，5根据所述前缀解析树，采用基于向量的稠密检索和基于关键字的稀疏检索方式，根据所述大语言模型从所述N条日志模板中选取出相似或相述日志模板映射表中包含有所述日志模板库中的日志组与对应的一类日志模板之间的映在所述日志模板映射表中构建所述目标日志模板与所述新日志组之间的映射关6仅采用正则表达式从所述目标日志中提取出日至少一个控制处理器能够执行上述的基于大语言模型的日志解析与检索[0022]图1是本申请实施例提供的基于大语言模型的日志解析与检索增强生成方法的示7图7是本申请实施例提供的基于大语言模型的日志解析与检索增强生成装置的示[0027]步骤S140，在日志模板库存在与目标日志向量相似或相志向量相似或相同的日志模板的情况下，采用大语言模型解析出目标日志的目标日志模[0033]因目标日志向量可以拆分为多个token（标记前缀解析树中的叶子节点表示日8志目标库中日志模板的token。因此可以基于前缀解析树在日志模板库中寻找与目标日志向量相似或相同的日志模板，判断相似的手段一般为将目标日志向量的token和日志模板步骤S210和步骤S220中通过RAG的多路召回手段利用前缀解析树获取到N条和目标日志向第一种情况，在日志模板库存在与目标日志向量相似或相同的日志模板的情况映射表中包含有日志模板库中的日志组与对应的一类日志模板之间的9[INFO]Userjohn.doeattemptedlogingfromIP192.168.1.10,but[INFO]Userjane.smithattemptedlogingfromIP192.168.1.11,but[0049]（1）相较于传统的LLM大语言模型解析的方法，方法使用到了RAG技术和LLM的结[0064]将目标日志进行向量转化，并在向量化后与日志模板库使用余弦相似度和关键字等找到相关的日志模板，重排序阶段使用Reranker模型排序出与目标日志向量中的token数量一致。另外，如果目标日志向量化之后的日志向量中的token序列与一个日志组对应的日志模板的token序列完全对齐（其中通配符<*>能与任意token进行匹配则证明目标日志向量与该日志模板是严格匹配。然后将目标日志存放至任意的一个日志组对应的日志模板的token序列不完全对齐，但至少与其中一个日志组对[0068]例如：模板prefetching<*>failed与目标日志向量prefetching<*>fail可能会被认为是宽松匹配。模板prefetching<*>failed可能会与目标日志向量prefetching<*>所述基于大语言模型的日志解析与检索增强生日志分配模块1400用于在日志模板库存在与目标日志向量相似或相同的日志模述的基于大语言模型的日志解析与检索增强生成方法的相关内容同样适用于基于大语言[0082]该电子设备可以为包括手机、平板电脑、个人数字助理（PersonalDigital可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分