版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(12)发明专利司3号楼四层专利权人北京天融信科技有限公司限公司11710GO6F40/186(2020.01)审查员黄帷本公开涉及一种日志解析模板的生成方法、确定目标日志的格式和目标日志的一个或多个特征字段基于一个或多个特征字段,确定初始解析模板2获取待解析的目标日志;确定所述目标日志的格式和所述目标日志的一个或多个特征字段,其中,所述目标日志的格式包括kv格少一种;基于所述一个或多个特征字段,确定初始解析模板;基于所述格式修正所述初始解析模板,得到日志解析模板;所述基于所述一个或多个特征字段,确定初始解析模板包括:确定所述一个或多个特征字段预设的字段解析模板;选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值;将未选择的各字段解析模板合并为初始解析模板;建立所述初始解析模板与所述至少一个特征值之间的关联关系;所述基于所述格式修正所述初始解析模板,得到日志解析模板包括:当所述格式为长文本格式时,通过在初始解析模板中增加正则提取命令得到所述日志解析模板;当所述格式为kv格式或json格式时,在所述日志解析模板中增加地理位置信息和资产当所述格式为syslog格式或长文本格式中特征字段为ip时,在所述日志解析模板中增加地理位置信息和资产信息。2.根据权利要求1所述的方法,其特征在于,所述确定所述目标日志的格式包括:基于Java第三方类库判断所述目标日志的格式是否为kv格式或json格式;若否,则基于RFC3164数据标准判断所述目标日志的格式是否为syslog格式;若否,则确定所述目标日志的格式为长文本格式。3.根据权利要求2所述的方法,其特征在于,基于所述格式修正所述初始解析模板,得到日志解析模板包括:基于所述格式为长文本格式,使用预先设置的一个或多个正则表达式,与所述目标日志进行正则匹配,得到匹配成功的一个或多个目标正则表达式;在所述初始解析模板中增加正则提取命令,得到日志解析模板;其中,所述正则提取命令用于:基于所述一个或多个目标正则表达式,与所述目标日志进行正则匹配,将匹配成功的日志数据的字段名称标记为对应的目标正则表达式所标识的特征字段名称。4.根据权利要求3所述的方法,其特征在于,所述基于所述格式修正所述初始解析模基于所述格式为kv格式或json格式,在所述日志解析模板中增加地理位置信息和资产信息获取命令;其中,所述地理位置信息和资产信息获取命令被配置为在所述正则提取命令之后执行;且所述地理位置信息和资产信息获取命令被配置为:将所述一个或多个特征字段的名称与字符串‘ip匹配,对匹配的特征字段的特征值进行ip格式正则校验,若校验通过,则基于该特征值获取对应的地理位置信息和资产信息。5.根据权利要求3所述的方法,其特征在于,所述基于所述格式修正所述初始解析模3基于所述格式为syslog格式或长文本格式,在所述日志解析模板中增加地理位置信息其中,所述地理位置信息和资产信息获取命令被配置为在所述正则提取命令之后执行;且所述地理位置信息和资产信息获取命令被配置为:基于特征字段为ip字段所对应的特征值获取对应的地理位置信息和资产信息。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:基于所述初始解析模板与所述至少一个特征值之间的关联关系,建立所述日志解析模板、日志格式和所述至少一个特征值之间的关联关系。获取待解析的目标日志;确定所述目标日志的格式和所述目标日志的一个或多个特征值,其中,所述目标日志的格式包括kv格式、json格式、syslog格式和长文本格式中的至少一种;基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,所述关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系;基于所述日志解析模板对所述目标日志进行解析;所述基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板包括:确定所述一个或多个特征字段预设的字段解析模板;选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值;将未选择的各字段解析模板合并为初始解析模板;建立所述初始解析模板与所述至少一个特征值之间的关联关系;当所述格式为长文本格式时,通过在初始解析模板中增加正则提取命令得到所述日志解析模板;当所述格式为kv格式或json格式时,在所述日志解析模板中增加地理位置信息和资产当所述格式为syslog格式或长文本格式中特征字段为ip时,在所述日志解析模板中增加地理位置信息和资产信息。获取单元,用于获取待解析的目标日志;第一确定单元,用于确定所述目标日志的格式和所述目标日志的一个或多个特征字一种;第二确定单元,用于基于所述一个或多个特征字段,确定初始解析模板;修正单元,用于基于所述格式修正所述初始解析模板,得到日志解析模板;所述基于所述一个或多个特征字段,确定初始解析模板包括:确定所述一个或多个特征字段预设的字段解析模板;选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值;将未选择的各字段解析模板合并为初始解析模板;4建立所述初始解析模板与所述至少一个特征值之间的关联关系;所述基于所述格式修正所述初始解析模板,得到日志解析模板包括:当所述格式为长文本格式时,通过在初始解析模板中增加正则提取命令得到所述日志解析模板;当所述格式为kv格式或json格式时,在所述日志解析模板中增加地理位置信息和资产信息;当所述格式为syslog格式或长文本格式中特征字段为ip时,在所述日志解析模板中增加地理位置信息和资产信息。9.一种日志解析装置,其特征在于,包括:获取单元,用于获取待解析的目标日志;第一确定单元,用于确定所述目标日志的格式和所述目标日志的一个或多个特征值,其中,所述目标日志的格式包括kv格式、json格式、syslog格式和长文本格式中的至少一选择单元,用于基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,所述关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系;解析单元,用于基于所述日志解析模板对所述目标日志进行解析;所述基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板包括:确定所述一个或多个特征字段预设的字段解析模板;选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值;将未选择的各字段解析模板合并为初始解析模板;建立所述初始解析模板与所述至少一个特征值之间的关联关系;当所述格式为长文本格式时,通过在初始解析模板中增加正则提取命令得到所述日志解析模板;当所述格式为kv格式或json格式时,在所述日志解析模板中增加地理位置信息和资产信息;当所述格式为syslog格式或长文本格式中特征字段为ip时,在所述日志解析模板中增加地理位置信息和资产信息。10.一种电子设备,其特征在于,包括:存储器;计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1至6中任一项所述的日志解析模板的生成方法或如权利要求7所述的日志解析方5技术领域[0001]本公开涉及计算机技术领域,尤其涉及一种日志解析模板的生成方法、日志解析方法、装置及设备。背景技术[0002]随着大数据技术的不断成熟,大数据日志审计系统越来越流行。大数据日志审计系统可以实时地采集用户网络中各种不同厂商的网络设备、安全设备、主机、操作系统、以及各类应用系统产生的日志但对此类信息需要进行一定的转义编码,形成特定的数据格式以便用户可以在分析平台上对采集到的解析日志进行查询、统计、关联分析等处理使用。由于现在的系统相对复杂且体量巨大,一个系统所包含的设备种类较多,因此日志源信息的数据格式也就花样繁多。传统的做法是针对每一种类型的设备,编写一套相应的解析代码,将日志源信息转成展示层能使用的数据格式。[0003]通常情况下,日志解析人员经常花费大量的精力编写该类日志源信息的解析并作调试,以便能将日志接入平台中做进一步的使用,但编写过的解析规则没有集中管理,对于同类的数据都需要重新编写该规则完成解析,无法复用。发明内容[0004]为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种日志解析模板的生成方法、日志解析方法、装置及设备,以减少日志解析人员的编写成本,提高了编写效率。[0005]第一方面,本公开实施例提供一种日志解析模板的生成方法,其特征在于,包括:[0006]获取待解析的目标日志;[0007]确定所述目标日志的格式和所述目标日志的一个或多个特征字段;[0008]基于所述一个或多个特征字段,确定初始解析模板;[0009]基于所述格式修正所述初始解析模板,得到日志解析模板。[0010]第二方面,本公开实施例提供一种日志解析方法,其特征在于,包括:[0011]获取待解析的目标日志;[0012]确定所述目标日志的格式和所述目标日志的一个或多个特征值;[0013]基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,所述关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系;[0014]基于所述日志解析模板对所述目标日志进行解析。[0015]第三方面,本公开实施例提供一种日志解析模板的生成装置,其特征在于,包括:[0016]获取单元,用于获取待解析的目标日志;[0017]第一确定单元,用于确定所述目标日志的格式和所述目标日志的一个或多个特征字段;[0018]第二确定单元,用于基于所述一个或多个特征字段,确定初始解析模板;6[0019]修正单元,用于基于所述格式修正所述初始解析模板,得到日志解析模板。[0020]第四方面,本公开实施例提供一种日志解析装置,其特征在于,包括:[0021]获取单元,用于获取待解析的目标日志;[0022]第一确定单元,用于确定所述目标日志的格式和所述目标日志的一个或多个特征[0023]选择单元,用于基于所述格式、所述一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,所述关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系;[0024]解析单元,用于基于所述日志解析模板对所述目标日志进行解析。[0025]第五方面,本公开实施例提供一种电子设备,包括:[0026]存储器;[0027]处理器;以及[0028]计算机程序;[0029]其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面和第二方面所述的方法。[0030]本公开实施例提供的一种日志解析模板的生成方法、日志解析方法、装置及设备,通过确定目标日志的格式和目标日志的一个或多个特征字段,基于一个或多个特征字段,确定初始解析模板,用于完成对不同格式日志的解析工作,并基于目标日志的格式修正初始解析模板,使得初始解析模板更加完善,相同格式的日志能够更加快速的完成解析,减少日志解析人员的编写成本,提高了编写效率,降低了后期的运维成本。附图说明[0031]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。[0032]为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。[0033]图1为本公开实施例提供的一种日志解析模板的生成方法流程示意图;[0034]图2为本公开实施例提供的一种判断目标日志的格式的流程示意图;[0035]图3为本公开实施例提供的一种确定初始解析模板的流程示意图;[0036]图4为本公开实施例提供的一种修正初始解析模板的流程示意图;[0037]图5为本公开实施例提供的一种日志解析方法的流程示意图;[0038]图6为本公开实施例提供的一种日志解析模板生成的装置示意图;[0039]图7为本公开实施例提供的日志解析的装置示意图;[0040]图8为本公开实施例提供的电子设备的结构示意图。具体实施方式[0041]为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可7以相互组合。[0042]在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施[0043]Logstash是一个开源的服务器端数据处理管道,可以同时从多个数据源获取数(Elasticsearch,分布式全文搜索引擎)或不同类型的数据库中。[0044]数据从源端传输到存储位置的过程中,Logstash中的过滤器能够解析各个事件,志和警报等信息。Logstash中的过滤器解析事件后可以识别已命名的字段以构建结构,并将它们转换成通用格式,以便提高分析数据的效率。[0045]Logstash能够动态地转换和解析数据,不受格式或复杂度的影响。具体步骤如下1)至4):(JavaScriptObjectNotation,JS对象简谱)、xml(ExtensibleMarkup标记语言)等类型数据派生出结构;[0047]2)人工根据已提取出结构的数据找出IP类型字段的数据(例如“172.16.213.132”),并再次通过配置的方式获取其他地理位置信息;[0048]3)对于时间类型字段需要转换为标准格式;[0049]4)完成该类数据的解析。[0051]1)当使用Logstash的过滤器编写数据解析时,需要在互联网查询相关文档,若要对json类型的数据做提取时,需要按照Logstash所提供的方式进行配置,如设置数据的字[0052]2)编写过的过滤器规则没有集中管理,对于同类的数据都需要重新编写该规则完[0053]3)人工成本高,需要不断的进行调试才能得出想要的日志结果。[0054]因此,本公开至少一个实施例提供了一种日志解析模板的生成方法、日志解析方法、装置及设备,通过确定目标日志的格式和目标日志的一个或多个特征字段,基于一个或多个特征字段,确定初始解析模板,用于完成对不同格式日志的解析工作,并基于目标日志的格式修正初始解析模板,使得初始解析模板更加完善,相同格式的日志能够更加快速的完成解析,减少日志解析人员的编写成本,提高了编写效率,降低了后期[0055]图1为本公开实施例提供的一种日志解析模板的生成方法流程示意图。如图1所示,该日志解析模板的生成方法包括但不限于如下步骤S101至S104:[0057]网络设备、系统及服务程序等,在运作时都会产生日志(log),日志用于记录事件;每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。[0058]网络操作系统都设计有各种各样的日志文件,如应用程序日志,安全日志、系统日8(WorldWideWeb,万维网)日志、DNS(DomainNameSystem,域名系统)服务些根据系统开启的服务的不同而有所不同。在系统上进行操作时,日志文件通常会记录下操作的一些相关内容。[0059]可选的,日志可以是结构化类数据,也可以是非结构化类数据。[0060]S102、确定目标日志的格式和目标日志的一个或多个特征字段。和长文本格式。当获取到待解析的目标日志时,可以确定该目标日志的格式和其包含的一个或多个特征字段。“194.2.3.2”,可以确定日志的格式为kv格式,其包含的特征字段有设备类型(devicetype[0064]在现有技术中,为了便于解析不同的特征字段的特征值,对每个特征字段设置有对应的字段解析模板,字段解析模板用于解析对应的特征字段的特征值,因此,在确定目标日志的一个或多个特征字段后,可以基于这些特征字段各自对应的字段解析模板,得到用于解析目标日志的初始解析模板。在一些实施例中,初始解析模板为一个或多个特征字段各自对应的字段解析模板合并得到的模板。“194.2.3.2”。该日志的特征字段为dev_type、tim应的字段解析模板合并为初始解析模板,当再次接收到的日志中包括特征字段:dev_type、time和ip,则可以使用该初始解析模板进行解析。[0067]考虑到与日志相关的其他信息(例如地理位置信息、资产信息等)可以与日志解析结果一并提供给运维人员,而不同的日志格式获取日志相关的其他信息的方式可能不同,因此,需要基于日志格式修正初始解析模板,得到日志解析模板,日志解析模板不仅能够解析日志本身包含的信息,而且能够解析日志相关的信息。[0068]可见,本公开实施例通过获取待解析的目标日志;确定目标日志的格式和目标日志的一个或多个特征字段;基于一个或多个特征字段,确定初始解析模板,从而完成对不同格式日志的解析工作,并基于该格式修正初始解析模板,使得初始解析模板更加完善,后续相同格式的日志可以直接使用日志解析模板进行解析,从而减少日志解析人员的代码工作[0069]图2为本公开实施例提供的一种判断目标日志的格式的流程示意图,如图2所示,确定目标日志的格式包括如下步骤S201至S203:[0070]S201、基于Java(计算机编程语言)第三方类库判断目标日志的格式是否为关键值(Key-Value,kv)格式或JS对象简谱(JavaScriptObjectNotation,json)格式;若否,则执行步骤S202;[0071]S202、基于RFC3164数据标准判断目标日志的格式是否为系统日志(syslog)格式;[0072]S203、确定目标日志的格式为长文本格式。9断目标日志的格式属于哪种格式,先用现有的java第三方类库判断是否为kv格式或json格式,若是则标记为kv格式或json格式结束步骤;若否,则用RFC3164数据标准判断是否为syslog格式,若是则标记为syslog格式结束步骤,若否,则志的格式种类能够快速的找到相对应的模板,基于其格式及其包含的特征完成解析,提高了解析效率。[0074]图3为本公开实施例提供的一种确定初始解析模板的流程示意图,该流程可以应用于图1中的步骤103,如图3所示,基于一个或多个特征字段,确定初始解析模板包括如下步骤S301至S304:[0075]S301、确定一个或多个特征字段预设的字段解析模板。[0076]在现有技术中,为了便于解析不同的特征字段的特征值,对每个特征字段设置有对应的字段解析模板,字段解析模板用于解析对应的特征字段的特征值。征字段dev_type对应的字段解析模板可以解析该特征字段,得到的特征值为waf;特征字段time对应的字段解析模板可以解析该特征字段,得到的特征值为:2021/08/0133:12:11;特征字段ip对应的字段解析模板可以解析该特征字段,得到的特征值为:194.2.3.2。[0078]S302、选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值。“194.2.3.2”。该日志的特征字段为dev_type(设备类型)、time(时间)和ip征字段dev_type对应的字段解析模板解析该特征字段,得到的特征值为waf。[0080]S303、将未选择的各字段解析模板合并为初始解析模板。“194.2.3.2”。该日志的特征字段为dev_type(设备类型)、time(时间)和ip(地特征字段dev_type,则未选择的特征字段为time和ip,因此,将特征字段time对应的字段解析模板和特征字段ip对应的字段解析模板合并为初始解析模板;同理,若选择特征字段dev_type和特征字段ip,则未选择的特征字段为time,因此,将特征字段time对应的字段解析模板作为初始解析模板。[0082]S304、建立初始解析模板与至少一个特征值之间的关联关系。[0084]在一些实施例中,若选择特征字段dev_type对应的字段解析模板解析该特征字段,得到的特征值为waf,则未选择的特征字段为time和ip,因此,将特征字段time对应的字段解析模板和特征字段ip对应的字段解析模板合并为初始解析模板,进而建立该初始解析模板与特征字段dev_type的特征值waf之间的关联关系。[0085]相应地,后续获取新的日志,若该日志包括特征字段dev_type且对应的特征值为waf,则可以基于已建立的waf与初始解析模板之间的关联关系,直接选择waf关联的初始解[0086]在另一些实施例中,若选择特征字段dev_type对应的字段解析模板解析该特征字段,得到的特征值为waf,并且选择特征字段ip对应的字段解析模板解析该特征字段,得到的特征值为194.2.3.2,则未选择的特征字段为time,因此,将特征字段time对应的字段解析模板作为初始解析模板,进而建立该初始解析模板与特征值waf和特征值194.2.3.2之间的关联关系。[0087]相应地,后续获取新的日志,若该日志包括特征字段dev_type和ip,且对应的特征值分别为waf和194.2.3.2,则可以基于已建立的waf、194.2.3.2与初始解析模板之间的关联关系,直接选择waf、194.2.3.2关联的初始解析模板,快速解析该日志,无需再次确定该[0088]可见,本实施例通过建立一个或多个特征值与初始解析模板的关联关系,以便后续获取新的日志后,直接基于一个或多个特征值选择关联的初始解析模板,快速解析该日志,无需再次确定该日志的初始解析模板,提[0089]图4为本公开实施例提供的一种修正初始解析模板的流程示意图,如图4所示,基于格式修正初始解析模板,得到日志解析模板可以包括但不限于以下步骤S401和S402:[0090]S401、基于格式为长文本格式,使用预先设置的一个或多个正则表达式,与目标日志进行正则匹配,得到匹配成功的一个或多个目标正则表达式。[0091]其中,正则表达式(RegularExpression,用于描述一匹配特定的字符串。通过特殊字符+普通字符来进行模式描述,从而达到文本匹配目的工具)。MAC(MediaAccessControl,介质访问控制)地址和端口等,通过使用一个或多个正则表达式与目标日志进行正则匹配,可以得到匹配成功的一个或多个目标正则表达式。[0094]其中,正则提取命令用于:基于一个或多个目标正则表达式,与目标日志进行正则匹配,将匹配成功的日志数据的字段名称标记为对应的目标正则表达式所标识的特征字段[0095]例如,当目标日志为长文本格式的日志时,先使用预先设置的一个或多个正则表达式与目标日志进行正则匹配(如进行时间、主机、ip、MAC、端口等正则匹配),得到匹配成功的一个或多个目标正则表达式;在初始解析模板中增加这些正则提取的命令,使得长文本格式日志与上述正则表达式进行正则匹配,并将匹配成功的日志数据的字段名称标记为对应的目标正则表达式所标识的特征字段名称,得到日志解析模板。[0096]可见,本实施例中,对于格式为长文本格式的日志,通过在初始解析模板中增加正则提取命令得到日志解析模板,这样,后续获取新的长文本格式的日志后,使用日志解析模板解析该日志时,可以执行正则提取命令,实现与该日志的正则匹配,得到该日志更多的特[0097]在一些实施例中,图4所示的修正初始解析模板的流程还可以包括图4中未示出的步骤S403:[0098]S403、基于格式为kv格式或json格式,在日志解析模板中增加地理位置信息和资产信息获取命令;其中,地理位置信息和资产信息获取命令被配置为在正则提取命令之后执行;且地理位置信息和资产信息获取命令被配置为:将一个或多个特征字段的名称与字11符串‘ip'匹配,对匹配的特征字段的特征值进行ip格式正则校验,若校验通过,则基于该特征值获取对应的地理位置信息和资产信息。[0099]本实施例通过对kv格式或json格式中特征字段ip进行正则检验后,补充地理位置信息和资产信息,便于后续分析使用该日志,提高了日志分析效率。[0100]在一些实施例中,图4所示的修正初始解析模板的流程还可以包括图4中未示出的步骤S404:[0101]S404、基于格式为syslog格式或长文本格式,在日志解析模板中增加地理位置信息和资产信息获取命令;其中,地理位置信息和资产信息获取命令被配置为在正则提取命令之后执行;且该地理位置信息和资产信息获取命令被配置为:基于特征字段为ip字段所对应的特征值获取对应的地理位置信息和资产信息。[0102]本实施例通过对syslog格式或长文本格式中特征字段为ip时,补充地理位置信息和资产信息,便于后续分析使用该日志,提高了日志分析效率。[0103]在一些实施例中,日志解析模板的生成方法还可以包括:基于初始解析模板与至少一个特征值之间的关联关系,建立日志解析模板、日志格式和至少一个特征值之间的关联关系。时,日志解析模板、kv格式和特征值waf之间的关联关系是可以建立的,因为该日志有3个特征值,所以,特征值也可以是三个值中任意一个,也可以是两两组合,还可以是全部的三个值。[0105]可见,本实施例通过建立日志解析模板、日志格式和至少一个特征值之间的关联关系,后续对相同日志格式且包括相同特征值的日志,可以根据该关联关系,直接选择日志解析模板,快速解析该日志,无需再次确定该日志的日志解析模板,提[0106]图5为本公开实施例提供的一种日志解析方法的流程示意图。该方法可以包括但不限于以下步骤S501至S504:[0108]S501和上述的5101的实现原理和具体方法是一致的,此处不再赘述。[0109]S502、确定目标日志的格式和目标日志的一个或多个特征值;[0110]当获取到待解析的日志时,确定该日志的格式和其包含的一个或多个特征。例如:日志为:dev_type=“waf”time=“2021/08[0111]S503、基于格式、一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系。模板的关联关系。那么,若获取新的日志为:dev_type=“waf"time=“2021/08/011"ip=“194.2.3.2”,可以确定日志格式为kv,且dev_type的特征值为waf,那么基于前述的关联关系,可以直接确定该新的日志所使用的日志解析模板。[0114]本公开实施例通过获取待解析的目标日志;确定目标日志的格式和目标日志的一个或多个特征值;基于格式、一个或多个特征值和预先建立的关联关系,选择日志解析模板;其中,关联关系为日志解析模板、日志格式和至少一个特征值之间的关联关系;基于日志解析模板对目标日志进行解析,完成了对目标日志的解析工作,无需再次确定该日志的[0115]图6为本公开实施例提供的日志解析模板的生成装置示意图。该日志解析模板的生成装置可以执行日志解析模板的生成方法实施例提供的处理流程,如图6所示,日志解析模板的生成装置60包括:获取单元61、第一确定单元62、第二确定单元63和修正单元64;其中,获取单元61用于获取待解析的目标日志;第一确定单元62用于确定目标日志的格式和目标日志的一个或多个特征字段;第二确定单元63用于基于一个或多个特征字段,确定初始解析模板;修正单元64用于基于格式修正初始解析模板,得到日志解析模板。[0116]可选的,第一确定单元62确定目标日志的格式包括:基于Java第三方类库判断目标日志的格式是否为kv格式或json格式;若否,则基于RFC3164数据标准判断目标日志的格[0117]可选的,第二确定单元63用于:确定一个或多个特征字段预设的字段解析模板;选择至少一个字段解析模板解析对应的特征字段,得到至少一个特征值;将未选择的各字段解析模板合并为初始解析模板;建立初始解析模板与至少一个特征值之间的关联关系。[0118]可选的,修正单元64用于:基于格式为长文本格式,使用预先设置的一个或多个正则表达式,与目标日志进行正则匹配,得到匹配成功的一个或多个目标正则表达式;在初始解析模板中增加正则提取命令,得到日志解析模板;其中,正则提取命令用于:基于一个或多个目标正则表达式,与目标日志进行正则匹配,将匹配成功的日志数据的字段名称标记为对应的目标正则表达式所标识的特征字段名称。[0119]可选的,修正单元64还用于:基于格式为kv格式或json格式,在日志解析模板中增加地理位置信息和资产信息获取命令;其中,地理位置信息和资产信息获取命令被配置为在正则提取命令之后执行;且地理位置信息和资产信息获取命令被配置为:将一个或多个特征字段的名称与字符串“ip”匹配,对匹配的特征字段的特征值进行ip格式正则校验,若校验通过,则基于该特征值获取对应的地理位置信息和资产信息。[0120]可选的,修正单元64还用于:基于格式为syslog格式或长文本格式,在日志解析模板中增加地理位置信息和资产信息获取命令;其中,地理位置信息和资产信息获取命令被配置为在正则提取
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025至2030自动售货机行业市场深度研究与战略咨询分析报告
- 银行发了贷款协议书编号后
- 积石山章丘协议书
- 2025-2030人工智能行业伦理构建规则讨论及企业社会责任担当规划的方案
- 室外给排水班组施工协议书
- 2025-2030人工智能算法应用推广现状调研与发展潜力评估报告
- 2025-2030人工智能技术应用领域发展趋势与市场规模分析报告
- 2025-2030人工智能医疗影像识别设备研发第三方合作与医院应用价值分析评估报告
- 人社业务档案管理制度
- 老干部档案管理制度
- 草原补偿协议书
- 江苏省2025年普通高中学业水平合格性考试试卷英语试卷(含答案详解)
- 2025年全国新闻记者职业资格考试(新闻采编实务)题库及完整答案
- 人教鄂教版(2017秋)小学科学四年级上册期末综合质量检测卷(含答案)
- 腭裂喂养护理:新生儿与婴儿喂养技巧
- 呼吸机管路护理与VAP预防的关键措施
- (2026年)植入式静脉给药装置(输液港)团体标准解读课件
- 服装上下游合同范本
- 宁波大学《通信原理》期末考试试题
- GB∕T 5824-2021 建筑门窗洞口尺寸系列
- 中学生两会模拟提案
评论
0/150
提交评论