基于ELK的Packetbeat和watcher数据监控V1.0

ELKPacketbeat网络数据监控,提纲,ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研,ElasticSearch特点,ElasticSearch是一个基于ApacheLucene的开源数据搜索引擎，它的特点有：,实时：可以进行实时的数据搜索和分析分布式：分布式文件存储，并将每个字段都编入索引RESTfulAPI：对外提供一系列基于JAVA和HTTP的API，用于索引、查询、修改大多数配置JSON：输入输出格式为JSON，快捷方便多租户：可根据不同用途分索引，同时操作多个索引,ElasticSearch使用案例,维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。英国卫报使用Elasticsearch来处理访客日志，以便能将公众对不同文章的反应实时地反馈给各位编辑。StackOverflow将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展现。GitHub使用Elasticsearch来检索超过1300亿行代码。每天，GoldmanSachs使用它来处理5TB数据的索引，还有很多投行使用它来分析股票市场的变动。,ElasticSearch安装,ES的安装很简单，可参考官网https:/www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html服务启动后测试下是否运行正常：,head插件：elasticsearch/bin#./plugininstallmobz/elasticsearch-headKopf插件：elasticsearch/bin#./plugininstalllmenezes/elasticsearch-kopf,ElasticSearch插件,安装ES插件，来查看集群状态、查看数据信息等。,Logstrash简介,Logstash是一个接收，处理，转发日志的工具，由Jruby语言编写，并运行在Java虚拟机上。,在Logstrash的生态系统中主要分为4大组件：Shipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到Redis暂存。BrokerandIndexer：接受并索引化事件SearchandStorage：允许对时间进行搜索和存储WebInterface：基于WEB的展示页面,Logstrash简介,Logstash使用管道方式进行日志的搜集处理和输出。主要做3件事：Collect：数据输入Enrich：数据加工，如过滤，改写等Transport：数据输出,Kibana介绍,Kibana是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。,Kibana安装配置,Kibana安装比较简单，可参考官网https:/www.elastic.co/downloads/kibana,默认情况下，Kibana会连接运行在localhost的Elasticsearch。要连接其他Elasticsearch实例，修改kibana.yml里的ElasticsearchURL，然后重启Kibana。从Kibana访问Elasticsearch索引的配置方法,1.配置包含时间戳的索引：可以用来做基于时间的处理2.索引定期生成且索引名中包含时间戳：提高搜索性能，Kibana会至搜索你指定的时间范围内的索引。,Kibana-Discover,在Discover页交互式探索数据。你可以访问到所匹配的索引模式的每个索引的每条记录。你可以提交过滤搜索请求，然后查看文档数据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。,Kibana-Discover,在Discover页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。可以直接输入简单的请求字符串，也就是用Lucenequerysyntax，也可以用完整的基于JSON的ElasticsearchQueryDSL。,简单文本搜索：直接输入文本字符串搜索特定字段中的值：格式：字段名:值搜索值的范围：格式：字段名:【start_valueTOend_value】指定复杂搜索标准：使用布尔操作符AND，OR，NOT,kibana-Visualize,你可以用Visualize页来设计可视化。可以保存可视化或者合并到dashboard里。,创建一个新的可视化：第一步：选择一个可视化的类型：区块图、折线图等第二步：选择数据源：可以选择新建或者读取一个已保存的搜索，作为你可视化的数据源。第三步：可视化编辑器,kibana-Visualize-区块图,Y轴是数值维度，有以下聚合可用,Count:返回元素的计数Average：返回一个数值字段的平均值Sum：返回一个数值字段的总和Median：返回一个数值字段的中间值Min：返回一个数值字段的最小值Max：返回一个数值字段的最大值UniqueCount：返回一个数值字段的去重数值Percentiles：返回一个数值字段的百分比分布,图形的X轴是buckets维度，指明从你的数据集中将要检索什么信息，支持以下聚合,DateHistogram:基于时间的展示Histogram：基于数值字段创建，指定数值间隔Range：基于数值字段创建，指定一系列区间DateRange：基于时间创建，指定时间区间IPv4Range：基于IPv4创建，指定IPv4区间Terms：展示一个字段的元素值Filters：添加过滤器SignificantTerms：展示实验性聚合结果,kibana-Visualize-区块图,kibana-Visualize-区块图,kibana-Visualize-折线图,kibana-Visualize-表格数据,定义metrics表格列，定义buckets来切割表格成行,kibana-Visualize-Metric,为你选择的聚合显示一个单独的数字,kibana-Visualize-饼图,饼图的分片大小通过metrics聚合定义。这个维度可以支持以下聚合：,Count:返回元素的计数Sum：返回一个数值字段的总和UniqueCount：返回一个数值字段的去重数值,buckets聚合指明从你的数据集中将要检索什么信息。,kibana-Visualize-饼图,kibana-Visualize-竖条图,kibana-Visualize-地图,地图显示一个由圆圈覆盖着的地理区域。这些圆圈则是由你指定的buckets控制,地图使用Geohash聚合作为他们的初始化聚合。从下拉菜单中选择一个坐标字段。Precision滑动条设置圆圈在地图上显示的颗粒度大小。一旦你定义好了一个X轴聚合。你可以继续定义子聚合来完善可视化效果。,kibana-Dashboard,一个Kibanadashboard能让你自由排列一组已保存的可视化。然后你可以保存这个仪表板，用来分享或者重载。简单的仪表板：,用户可以对仪表板做多样化操作：1.添加可视化到仪表板2.保存仪表板3.加载已保存的仪表板4.定义仪表板元素5.移动容器6.改变容器大小7.删除容器8.修改可视化9.分享仪表板并嵌入到其他用户的仪表板中,ELK套装,logstashagent监控并过滤日志，将过滤后的日志内容发给redis(只处理队列不做存储)，logstashindex将日志收集在一起交给全文搜索服务ElasticSearch，通过Kibana结合自定义搜索进行页面展示,提纲,ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研,几种beats,在生产环境中，数据搜索需求会更复杂一些，通过logstash写正则，实在是个费时费劲的事。而beats就比较简单高效。,beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat：用来收集日志Topbeat：用来收集系统基础设置数据，如cpu、内存、每个进程的统计信息Winlogbeat：监控windows下面的日志信息Packetbeat：是一个网络包分析工具，统计收集网络信息。,Packetbeat是网络协议抓包和处理的一个框架，用来嗅探和分析网络流量，关联他们到事物，并且使用Elasticsearch来分析，然后进行点对点查询。,Packetbeat介绍,Packetbeat的安装很简单，可参考官网https:/www.elastic.co/downloads/beats/packetbeat配置文件：/etc/packetbeat/packetbeat.yml,在ES中加载Packetbeat索引模板，执行命令curl-XPUThttp:/localhost:9200/_template/packetbeat-d/etc/packetbeat/packetbeat.template.json,启动Packetbeat：sudo/etc/init.d/packetbeatstart,Packetbeat协议,目前支持了常见的一些协议：ICMP、DNS、HTTP、MySQL、PostgreSQLRedis、Thrift-RPC、MongoDB、Memcache，也可进行协议的扩展。,协议扩展开发可参考：https:/www.elastic.co/guide/en/beats/packetbeat/current/new-protocol.html,在文件/etc/packetbeat/packetbeat.yml中可以注释某协议以禁用该协议，如果使用任何非标准的端口，也可进行添加。否则，为默认端口。,Packetbeat介绍,Packetbeat在kibana中的视图展示：,基于Packetbeat创建TCP等协议可视化图表,Packetbeat安装好后界面展示的是基于HTTP的应用层数据分析展示，在discover页面，可以看到Packetbeat提供的解析字段：,transport和type可以获取到udp、tcp、icmp、dns协议数据，因此在创建绘图时可根据这两个字段帅选出并展示基础协议。具体方法可查看kibana章节,基于Packetbeat创建TCP等协议可视化图表,小结：由于目前Packetbeat中可添加的字段有限，绘制可视化图标展示也较粗糙，没有延迟、重传、地图、链接分析等相关统计,提纲,ELK基础知识Packetbeat知识介绍Watcher知识介绍业内大数据分析系统调研,Watcher介绍,Watcher是Elasticsearch的一个插件，提供警报和通知，并可定义基于数据的变化简单地定义一个条件，触发指定条件后Watcher会执行相关的警报和通知。几大功能特点：1.根据ES数据的变化自动触发通知如异常登录失败、应用程序响应时间高于平均值，或者发生意外错误时发送通知。2.主动监控Elasticsearch集群对接Watcher与Marvel服务。可以监控集群状态，如节点加入或离开集群，查询高峰，内存使用率太高时候可以发送通知。3.自定义通知可以轻松设置电子邮件通知，也可以既集成到第三方的监控服务，如通过Watcher发送警报给Nagios，PagerDuty等4.分析历史记录可以在Kibana服务中查询Watcher的历史触发记录,支持嵌套或者多级的通知5.高可用支持Watcher作为ElasticSearch集群的一部分运行，能够很好的应对部分硬件和网络故障。,Watcher案例介绍,配置流程：1.设置定时器和输入源(错误数据的查询条件)2.设置触发条件（是否查询到了错误数据）3.设置触发动作(发现错误后执行Action),监控错误数据案例，每10秒搜索一次数据，发现错误后，记录一条错误记录。,Watcher案例介绍,监控ElasticSearch集群状态：每10秒检测一次集群状态，如果集群状态错误，则发送邮件给运维,Watcher在kibana上的监控,当一个Watcher