CN115529595B 一种日志数据的异常检测方法、装置、设备及介质 （中国农业银行股份有限公司）

本发明实施例公开了一种日志数据的异常目标关键字段从与各待检测服务器所关联的日志数据中获取与目标关键字段相匹配的待转换转换日志数据处理，得到对应的待使用日志数用日志数据建立与待使用日志数据对应的目标警规则从待使用日志数据中确定出待检测服务的技术方案提高了日志数据异常检测和异常处2根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字基于索引模板中映射的数据格式对所述待转换日志数据处理，得到数据建立与所述待使用日志数据对应的目标日基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待检测根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器其中，所述异常原因分析模型是预先通过异常事件以所述根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原通过所述贝叶斯网络模型计算所述异常特征的条件概率，并将最大基于并行的采集方式从与各所述待检测服务器关联的日志数据中采集包含所述目标索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的根据所述索引模板中映射的数据格式将待转换日志数据的格式转换基于所述索引模板的日志数据分组方式将所述待使用日志数据进述索引模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应将所述待使用日志数据发送至日志存储服务器中并存储，以在对所3基于所述目标日志数据索引确定待分析日志数据，并基于所述预设将所述预设告警规则对应的预设异常事件确定为与所述待检测服务器对应的目标异基于所述异常原因从预置异常处理方案库中确定与所述异常原因对应的目标异常处理方案；基于所述目标异常处理方案对所述待检测服务器进待转换日志数据获取模块，用于根据目标关键字段从与各待检测服务数据中获取与所述目标关键字段相匹配的待志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数据异常原因确定模块，用于根据所述目标异常事件和异常原因分其中，所述异常原因分析模型是预先通过异常事件以通过所述贝叶斯网络模型计算所述异常特征的条件概率，并将最大其中，所述存储器存储有可被所述至少一个处理器执序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_7中任一项4令，所述计算机指令用于使处理器执行时实现权利要求1_7中任一项所述的日志数据的异5[0003]现有的日志异常检测方式运维人员利用关键字搜索日志信息，使用Linux脚本工具进行检查，根据原有经验进行定位和原因的分析，找出实际的故障点。或者预先通过实时的日志检测系统进行异常信息的采集和匹配，为运维人员在分析异常问题时提供依[0007]根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关[0010]基于所述目标日志数据索引和预设告警规则从所述待使用日志数据中确定出待[0011]根据所述目标异常事件和异常原因分析模型确定出所述待检测服务器的异常原6的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，[0024]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特7员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0034]图1为本发明实施例一所提供的一种日志数据的异常检测方法的流程图，本实施8日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志数式将所述待使用日志数据进行分组，以建立与所所述待使用数据对应的目标日志数据索9的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标日志输协议从所述日志存储服务器中获取待使用标异常日志数据，目标异常日志数据对应的事件作为待检测服务器对应的目标异常事件。[0053]将所述预设告警规则对应的预设异常事件确定为与所述待检测服务器对应的目知道该请求被处理时间，进而将处理时间时间与预先的告警规则中的请求时间阈值对比，可以基于该目标异常处理方案对待检测服务器了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，[0067]图2为本发明实施例二提供的一种日志数据的异常检测方法的流程图，本实施例[0074]将收集到的日志转换成索引模板的数据格式，按照服务等级对数据进行分片存了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，[0088]待转换日志数据获取模块310，用于根据目标关键字段从与各待检测服务器所关联的日志数据中获取与所述目标关键字段相匹配的待[0090]目标日志数据索引建立模块320，用于基于索引模板中映射的数据格式对所述待模板的日志数据分组方式和所述待使用日志数据建立与所述待使用日志数据对应的目标[0091]目标异常日志数据确定模块330，用于基于所述目标日志数据索引和预设告警规[0092]异常原因确定模块340，用于根据所述目标异常事件和异常原因分析模型确定出据中采集包含所述目标关键字段的日志数据，并将所述日志数据确定为待转换日志数据；[0099]日志数据存储模块，用于将所述待使用日志数据发送至日志存储服务器中并存址以及目标传输协议从所述日志存储服务器中获取待使用[0101]日志数据分析匹配模块，用于基于所述目标日志数据索了现有技术中日志数据的异常检测效率低的问题，实现了实时对日志数据进行异常检测，[0110]本发明实施例所提供的日志数据的异常检测装置可执行本发明任意实施例所提[0112]图5为本发明实施例四提供的一种电子设备的结构示意图。电子设备旨在表示各至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种如因特网的计算机网络和/或各种电信网络与其他[0115]处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0118]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务面或者该网络浏