GeryLog2-splunk-spark-大数据日志分析需求文档.docx

*基于日志分析软件需求规格说明书第0.9版2015年3月版本历史日期版本作者说明2015年2月27日V0.1闻文创建2015年3月3日V0.8闻文核心需求章节基本编写完毕2015年3月6日V0.9闻文初稿完成本文档中的所有内容为上海复深蓝信息技术有限公司的机密和专属所有。未经上海复深蓝信息技术有限公司的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。目 录1.引言41.1.编写目的41.2.项目背景41.3.系统现状说明41.4.术语和缩略语42.项目概述52.1.项目目标52.2.项目范围52.3.业务流程图53.功能性需求63.1.功能模块列表63.2.功能模块73.2.1.核心需求73.2.2.功能模块71. 引言1.1. 编写目的本需求文档为*基于日志分析系统需求参考编写的。为提高*信息化基础建设过程中，日志分析带来提高系统性能的价值依据。1.2. 项目背景1.3. 系统现状说明 参考资料文件名称发布日期发布单位日志分析平台系统设计v0.2.docx2014年12月30日*日志系统需求2.doc2015年2月17日*graylog2-docs.pdf2015年2月26日graylog表1-1：参考资料列表1.4. 术语和缩略语缩略语、术语解释消息输入项创建消息输入的一个项目消息流控制消息同类属性的为一个流向Dashboard消息监控报表的视图表1-2：术语和缩略语列表2. 项目概述2.1. 项目目标提高*信息化建设综合问题的排除能力和分析能力。2.2. 项目范围收集需要日志分析功能的所有软件系统。2.3. 业务流程图图2-1：业务流程图3. 功能性需求3.1. 功能模块列表序号模块需求项编号优先级1日志查找日志查找001高报表显示002高3消息流消息流操作003高Show Metrices on004低规则配置005高告警配置006高4DashboardsDashboard操作007高组件操作008高5资源资源操作009中6系统输入010高用户011中表3-1：功能模块列表3.2. 功能模块3.2.1. 核心需求核心需求包括三点：报警、日志统计分析、异动检测。3.2.2. 功能模块. 日志统计分析通过根据日志产生的时间相对一个固定的时间查询消息、根据日志产生的时间相对一个绝对的时间查询消息、根据基于特定语法的关键词查询消息。统计出日志结果的总数，在当前时间总数中分时间维度查看报表，当前结果字段可选择显示的方式。搜索类型类型解释Relative（相对的）相对于固定时间。在15分钟之前、30分钟之前、45分钟之前、1小时之前、2小时之前、3小时之前、1天之前、1个月之前、1年之前产生出来的消息记录。或者 All 所有的记录全部显示Absolute（绝对的）定义开始yyyy-MM-hh HH:mm:ss.SSS定义结束yyyy-MM-hh HH:mm:ss.SSSKeyword（关键字）基于特定搜索的语法的关键字查询表3-2：搜索功能类型表基于对消息Keyword（关键字）搜索，参考表格中“输入查找”的特定语法，得出查找消息的结果参照表格 “语法解释”的内容。输入查找 语法解译ssh消息中包含ssh的内容ssh login消息中包含ssh 或者 login 的内容“ssh login”消息中完全匹配“ssh login”的内容type:ssh消息中字段类型是ssh的内容type:(ssh login)消息中字段类型是 ssh 或者 login的内容type:“ssh login”消息中字段类型完全匹配是“ssh login”的内容_missing_:type消息中没有字段类型的内容_exists_:type消息中有字段类型的内容表3-3：搜索功能语法表 查询的消息记录结果，以报表柱状图的方式查看。以年、季度、月、周、天、小时、分钟七种时间维度进行查看报表。通过柱状图查看当前时间维度消息的总数，同时对应相应的消息总数的用占用的物理容量。对于每条已截获的消息流，可根据该流当中选择所有字段、默认字段、自选字段、不选字段进行查看每条字段当中的实际统计值。在单个字段有可操作的显示方式，其中统计、快速显示值参考以下表格中的内容。生成图表功能有选值查看功能：实际值（Mean）、最大值（Maximum）、最小值（Minimum）、求和（total）、总条数（Count）；报表查看类型：面积（Area）、条（Bar）、线（Line）、散点图（scatterplot）；分析视图方式：分钟（Minute）、小时（Hour）、天（Day）、周（Week）、月（Month）、季度（Quarter）、年（Year）。字段可操作的统计方式功能描述可操作统计（Statistics）统计消息总数、有效数、标准偏差、最小数、最大数、求和、方差、平方和Add DashBroad快速显示值（Quick values）统计当前字段的内容及重复的个数，所占总个数的百分比Add DashBroad生成图表（Generate chart）按照当前字段生成图表，用不同的时间维度展示视图显示Add DashBroad表3-4：搜索结果字段统计类型表 查询出的结果单个消息和柱状视图两个方式都可以加入DashBoard中，当前结果可以保存在本地文件当中，也可以作为结果集保存在服务器上。. 消息流消息流是对于消息输入项中，配置对消息的 MessageID 和 Index 两个参数相同的消息进行截获。填写消息流标题、消息流描述创建完成不带消息输入项的的空消息流。消息流列表当中显示消息流的名称、消息流描述、IO（messages/second）、配置规则数（展开所有配置规则清单可做删除、修改操作）、创建人、创建时间、删除当前消息流操作。消息流配置项配置的值Tittle创建消息流的标题Description创建消息流的描述表3-4：消息流配置表.1. 编辑消息流修改之前定义好消息流的名称，描述信息。.2. 编辑规则一条消息流可添加多个规则，编辑完成的规则可修改、删除。.3. 快速添加规则在消息输入项消息获取过程当中，建立消息流的规则机制。自定义当前消息的规则检测消息输入项的异动情况，定义消息异动的阀值。定义的表达式可通过消息记录数量、字段名称，表达式定义丰富可完全匹配、表达式匹配、大于、小于、字段存在，以上条件可实现表达式的条件反转。规则类型规则描述Match exactly完全匹配Match regular expression正则表达式匹配Greater than大于Smaller than小于Field presence字段存在表3-5：消息规则表达式类型表当前消息流进行规则限制。限制的规则为在当前消息流中某一个字段和消息总数值进行规则，输入限制规则的字段名称，选择该字段规则的类型完全匹配、正则表达式匹配、大于数值、小于数值、记录必须有当前字段的五种匹配方式之一。同一个消息流当中可以增加多个规则，对于已增加的规则可实现修改、删除等操作。流规则字段Filed选择需要加规则的字段Type选择需要加规则字段的规则类型Value规则类型的约束值Inverted约束值的条件反转表3-5：消息流规则表单.4. 告警管理对于消息流在一段时间内截获的消息可定义报警表达式，定义邮件报警、发送Http消息头方式的报警事件。配置告警条件1. 消息数量条件一段时间内定义消息流截获当前消息数量的阀值，灵活配置触发阀值启动项目，截获的当前消息记录次数可大于 | | 小于 | | 等于阀值时，触发报警动作。配置项目项目解释Start Stop Time配置告警监控的起止时间More or Less or Equal to大于或者小于或者等于的选择Threshold阀值的定义表3-6：消息数量告警条件配置值表 2. Field值条件自定义截获消息的字段和截获当前字段数值的阀值，灵活配置触发阀值启动项目，截获的当前消息记录字段数值大于 | | 小于 | | 等于阀值时，触发报警动作。 配置项目项目解释Start Stop Time配置告警监控的起止时间More or Less or Equal to大于或者小于或者等于的选择Field定义需要监控的字段名称Threshold阀值的定义表3-7：Filed值告警条件配置值表触发警告的动作1. 发送Http请求以上条件触发警告动作，可向服务器发送自定义的Http请求。配置项目项目解释URL向服务器发送http请求的URL表3-8：Http请求配置表2. 通知邮件的发送自定义通知邮件发送的邮箱账号，邮件的主题内容。邮件接收人为系统的登录用户，邮箱账号可通过警告的接收自行添加。 配置项目项目解释Sender执行告警事件的邮件的发送人Body发送告警事件的邮件主题Subject发送告警事件邮件的详细内容表3-9：邮件请求配置表警告的接收配置接收告警邮件的用户名和邮箱账号，用户名必须是系统的管理员。配置项目项目解释Username系统管理员的账号Email Address接收告警邮件的邮箱账号表3-10：邮件接收配置表.5. Show Metrices on（度量器）所有节点提供一组用于诊断内部指标，调试和监控。通过JMX访问所有度量。其中每组用于诊断内部指标包含汇总信息(tatal)、实际值（0 events/sec）、一分钟内的平均值（1 minute avg）、五分钟内的平均值（1 minute avg）、十五分钟内的平均值（1 minute avg）。属性类别后缀名称作用StreamsStreamorg.graylog2.plugin.streams.StreamStreamRuleorg.graylog2.plugin.streams.StreamRule Buffersoutputbufferorg.graylog2.buffers.OutputBufferPcessorsDashboardwidgetsorg.graylog2.dashboards.widgetsFiltersFilters ExtractorFileterorg.graylog2.filters.ExtractorFilterRulesFilterorg.graylog2.filters.RulesFilterstaticFieldFilterorg.graylog2.filters.StaticFieldFilterStreamMatcherFilterorg.graylog2.filters.StreamMatcherFilterInitializersIndexerSetupServiceorg.graylog2.initializers.IndexerSetupServiceoutputsetupServiceorg.graylog2.initializers.OutputSetupServiceinputscodecs.RandomHttpMessageCodecorg.graylog2.inputs.codecs.RandomHttpMessageCodeccodecs.sysLogcodec.decodeTimeorg.graylog2.inputs.codecs.SyslogCodec.decodeTime codecs.sysLogcodec.resolveTimeorg.graylog2.inputs.codecs.SyslogCodec.resolveTime 表3-11：度量器类型表.6. 流操作暂停、启动操作。当前流是启动状态时，可做暂停操作。当前流是暂停状态时，可做启动操作。.7. 克隆当前消息流对当前消息流包括消息流规则进行复制成为一个新的消息流，需要定义新消息流的名称和描述。. Dashboards.1. Dashboard操作Dashboard是将各个显示的报表以组件的形式加入到显示仪表盘中。创建Dashboard输入标题、描述信息即创建完成。一个Dashboard可以添加多个组件，DashBorad创建列表中查看当前Dashboard关联组件的总和、创建人、创建时间。实现编辑、删除等操作。Dashboard属性Dashboard属性描述Tittle创建Dashborad的标题Description编写当前标题的描述 表3-12：DashBoard配置表.2. 组件操作查找结果、Streams、数据输入项(system_input)、字段统计(statistics)、快速统计(Quick values)、生成报表(Generate chart)均可加入到DashBorad组件中显示。Dashboard有解锁和加锁两种状态，在解锁状态下，可以修改Dashboard属性、组件名称、修改组件缓存时间、拖动组件到任意位置、删除组件。在锁定状态组件全部都不可编辑。Dashboard支持屏显示和编辑。. 资源资源是消息输入项配置过程中统配的资源标识符，查看配置在当前资源标识符下的所有消息输入项消息的个数。饼图呈现各个资源所占总资源的百分比，点击所占不同比例的饼图，进入当前资源维度的视图。从拉动资源视图时间距离，自动生成开始结束时间，实现查找当前时间段内的消息记录。选择不同的时间维度，查看当前时间下的视图。时间维度显示方式Last Hour显示刻度最小单位10分钟Last Day显示刻度最小单位3小时Last Week显示刻度最小单位1天Last Monch显示刻度最小单位2天Last Year显示刻度最小单位1月All所有表3-13：资源时间维度选择表. 系统.1. 数据源输入数据源输入是将多种类型的消息以消息输入项的形式把当前消息器类型输入到系统当中。消息输入项的操作正在获取消息的消息输入项，使用暂停、删除、操作(编辑输入、提取管理、增加静态字段、消息输入源) 暂停/启动正在获取的消息的消息输入项有两种状态，启动可使用暂停操作，暂停可使用启动操作； 删除对于建立的项目输入项可实现删除； 操作 编辑输入、提取管理、增加静态字段、消息输入源。消息输入项类型的描述Internal metrics reporter内部度量报告的消息输入项JSON path from HTTP APIHttp Api 中获取 JSON的值Kafka Input Kafka的消息输入项Random HTTP message generator自动生成任意的Http 消息输入项Raw/Plaintext TCP暗文/明文 Tcp协议Raw/Plaintext UCP暗文/明文 Udp协议Syslog TCP系统日志的 Tcp 协议Syslog UDP系统日志的 Udp 协议表3-14：消息输入项类型表 增加消息输入项多种消息输入的类型可以增加，选择需要增加的消息输入类型；当前的消息输入项是作用于当前的服务器节点或者所有的集群服务器节点；填写当前消息输入项的名称；是否将当前的消息源利用主机地址字符串的形式重写；填写定义当前消息输入源的资源名称；填写定义当前消息输入源的产生消息的时长；填写定义当前消息输入源产生消息时长的最大偏差值；是否允许节流输入。编辑项目使用操作Global input(Started on all nodes)创建后不可操作Title修改消息输入流名称Override source重写源默认是所有的消息源，定义获取消息的字符串的主机Sourece name该消息的输入流的资源归属Sleep time多久一次产生消息Maximum random sleep time deviation最大任意一次睡眠时间的偏差Allow throttling this input. 允许节流输入表3-15：增加消息输入项配置表提取管理提取管理是已创建好的消息提取器，在消息输入项中对原来消息中的某一个字段进行内容匹配，匹配到的内容存储在当前记录的新字段当中。导入/导出提取器将自定义的格式的提取器导入到消息输入项中，手动添加的提取器可导出自定义格式的脚本文件中。手动添加提取器加载 message 根据MessageID 和 index 查询出该条消息记录。选择需要提取内容的字段，选择提取方法，以下创建提取器表单，成功创建提取器。编辑项目说明操作Regular expression一组用来匹配提取的正则表达式1. 总是尝试提取（Always try to extract）2.只尝试提取当包含当前字段中包含这些内容的是记录（Only attempt extraction if field contains string）3.只尝试提取当包含当前字段中匹配当前正则表达式的内容（Only attempt extraction if field matches regular expression）Store as field存储的字段名称提取出的内容定义新字段存储在当前的记录中Copy or Cut复制或剪切对于提取器符合匹配提取的内容，是从原纪录中复制或者剪切操作到当前记录的新字段中Extractor title提取的标题当前提取器的标题Add converter匹配到的数据进行类型转换1. Numeric2. Date3. Flexible date4. Hash5. Lowercase6. Uppercase7. Split & Count8. Key = Value pairs to fields9. CSV to fields10. Anonymize IPv4 addresses11. Syslog level from PRI12. Syslog facility from PRI表3-16：增加消息提取器配置表提取方法使用操作SubstringBengin index & End index输入开始提取字段值字符串的开始下标，输入结束提取字段值字符串的结束下标。Regular expression正则表达式匹配当前字段值的内容。Split & indexSplit by & Target indexCopy input复制输入的当前字段Grok pattern使用 Gork 模式提取当前字段值表3-17：提取方法类型表增加静态字段消息输入项中的所有的消息加上一个静态字段，以便区分是当前消息输入项中的消息。字段属性字段值Key字段的名称Value字段的值表3-18：增加静态字段配置表当前消息输入项中消息源获取