基于ELK的Packetbeat和watcher数据监控

1、ELK Packetbeat网络数据监控、概览、ELK基本知识Packetbeat知识简介Watcher知识简介行业大规模数据分析系统研究、ElasticSearch功能、ElasticSearch功能、elastic search是Apache luce cearch实时：允许实时数据搜索和分析，将分布式文件存储和每个字段编入索引RESTful API:提供索引、查询、用于大多数配置的基于JAVA和HTTP的API JSON:将输入和输出格式设置为JSON，快速、轻松的多租户：可以根据不同的用途对索引进行分区并同时操作多个索引。ElasticSearch使用案例，Wikipedia使用Ela

2、sticsearch执行全文搜索，姜潮显示关键字，并提供搜索建议功能，如search-as-you-type和did-you-mean。英国卫报通过Elasticsearch处理访问者日志，允许公众对各种报道的反应实时反馈给编辑。StackOverflow将全文搜索与地理位置和相关信息结合起来，以显示与more-like-this相关的问题。GitHub使用Elasticsearch搜索超过1300亿行代码。Goldman Sachs用于每天处理5TB数据的索引，许多投资线用于分析股票市场的变化。ElasticSearch安装，ES位于主页https:/www . elastic . co/g

3、uide/en/elastic search/reference/current/_ installation，Head插件：elastic search/bin #。/plugin install mobz/elastic search-head kopf插件：elastic search/bin #。安装/plugin install lmenezES/elastic search-kopf、elastic search插件、ES插件以查看群集状态、查看数据信息等。Logstrash简介，Logstash是接收、处理和传递日志的工具，它以Jruby语言编写，并在Java虚拟机上运行。Log

4、strash的生态系统主要分为四个组件：Shipper:log collector。负责监视本地日志文件中的更改，及时收集日志文件中的最新内容并将其输出到Redis暂存。Broker and Indexer:允许搜索和保存事件和索引：web界面：基于web的显示页，Logstrash简介，可以使用管道收集和输出日志。主要执行三个任务：Collect:数据输入Enrich:过滤、复盖等数据处理Transport:数据输出、Kibana介绍、Kibana是Apache开源协议，它使用基于浏览器的Elasticsearch分析和搜索仪表板。Kibana安装配置，Kibana安装比较简单，可以参考主页

5、https:/www . elastic . co/downloads/Kibana。默认情况下，kiba na连接到在localhost上运行的Elasticsearch。要连接其他Elasticsearch实例，请在kibana.yml中修改Elasticsearch URL，然后重新启动kibana。从Kibana访问Elasticsearch索引的配置方法，1 .配置包含时间戳的索引：可以用作基于时间的处理2。定期生成索引，索引名称包含时间戳：提高搜索性能，Kibana搜索您指定的时间范围内的索引。在Kibana-Discover、Discover页上交互检索数据。可以访问匹配索引模式

6、中每个索引的每个记录。您可以提交筛选器搜索请求并确认文档数。您还可以查看与搜索请求匹配的文档总数，并获取字段值的统计信息。如果在索引模式下配置了时间字段，文档的时间分布将在页面顶部显示为条形图。在Kibana-Discover、Discover页上提交搜索时，可以搜索与当前索引样式匹配的索引数据。您可以直接输入简单请求字符串。这意味着您可以使用Lucenequery syntax，也可以使用完整的基于JSON的Elasticsearch查询DSL。简单文本搜索：文本字符串搜索直接输入特定字段的值。格式：字段名：值搜索值的范围：格式：字段名： start _ value to end _ val

7、ue指定复杂的搜索标准：布尔运算符AND，OR，not，kiba na-visue可以保存可视化或将其合并到dashboard中。，创建新的可视化：第一步：选择可视化类型：区块图、折线图等第二步：选择数据源：选择新搜索，或者将保存的搜索读取为可视化数据源。第3步：可视化编辑器，kiba na-visualization-方框图，y轴是数字维，可以使用以下聚合：Count:返回元素的数量Average。返回数字字段的平均值Sum:数字字段的总和。Median:返回数字字段的中间值Min。返回数字字段的最小值。Max:返回数字字段的最大值。Unique Count:返回数字字段的数值。Percen

8、tiles:数据块维(表示要从数据集检索的信息)的百分比分布，日期Histogram :基于时间的显示Histogram:创建基于数字字段的显示，指定数字间隔Range:创建基于数字字段的显示，指定范围Date Range:创建基于时间的显示，指定时间间隔iii 用于表行剪切的buckets定义、kiba na-visualization-metric、用户选择的聚集的单独数字显示、kiba na-visualization-饼图以及饼图的碎片大小是通过metrics聚集定义的。 Count:返回元素的数量Sum。返回数字字段的总和。Unique Count:返回数字字段的数值，buckets

9、聚合表示要从数据集检索的信息。kiba na-visualization-饼图、kiba na-visualization-垂直条形图、kiba na-visualization-地图和地图显示由圆包围的地理区域。该圆由使用Geohash聚合作为初始化聚合的用户指定的buckets控制。从下拉菜单中选择“坐标”字段。Precision滑块设置圆在地图中显示的颗粒性大小。一旦定义了x轴聚合。要改进可视化，可以继续定义子集。使用Kibana-Dashboard、Kibanadashboard可以自由排列已保存的可视化组。然后可以保存、共享或重新加载此仪表板。简单的仪表板：用户可以使仪表板多样化。1

10、 .向仪表板添加可视化2 .保存仪表板3。加载保存的仪表板4。定义仪表板元素5。移动容器6。更改容器大小7。永久删除货柜8。视觉化修正9。共享仪表板，包含在其他用户的仪表板中，ELK软件包、logstash agent监视和筛选日志。将过滤后的日志内容发送到redis(仅队列不能处理和存储)后，logstash index将日志收集到全文搜索服务ElasticSearch中，通过Kibana与自定义搜索一起显示页面、概述、ELK基础知识分子Packetbeat知识介绍Watcher知识介绍业界大规模数据分析系统调查，多个banaBeats更简单、更高效。beats是将其他类型的数据徐璐传输到e

11、lasticsearch的代理。Beats可以直接将数据发送到elasticsearch，也可以通过logstash发送到elasticsearch。Beats包含三个典型示例：Filebeat、Topbeat和Packetbeat。Filebeat:用于日志收集Topbeat:用于收集系统首选项数据(如CPU、内存、每个进程的统计信息)Winlogbeat:在windows中监视日志信息Packetbeat:用于统计收集网络信息的网络包分析工具。Packetbeat是网络协议捕获和处理的框架，它可以探测和分析网络流量，将网络流量连接到事物，使用Elasticsearch进行分析和点对点查询。

12、，packetbeat简介，packetbeat位于主页https:/www . elastic . co/downloads/beats/packet beat配置文件：/etc /etc/packetbeat，协议扩展开发参考：https:/www . elastic . co/guide/en/beats/packet beat/current/new-protocol . html/etc/eetc否则，这是默认端口。Packetbeat简介、显示kibana中的Packetbeat视图：协议可视化图表(包括基于Packetbeat创建TCP)、Packetbeat安装后界面显示基于H

13、TTP的应用层数据分析演示，并允许您在discover页上查看Packetbeat提供的分析字段：Kibana一章，基于Packetbeat创建TCP的协议可视化图表，摘要：由于当前可添加到Packetbeat的字段有限，可视图标显示也是相关统计信息，如延迟、重发、地图、链接分析，概述，ELK基础知识Packetbeat知识介绍业界大型数据分析系统研究简介几个主要特征：1。根据ES数据更改自动触发通知，例如例外登录失败、平均以上应用产品回应时间或出现意外错误时发送通知。2.Elasticsearch群集坞站预监控Watcher和Marvel服务。您可以监督丛集状态，例如节点加入或退出丛集、查询

14、上限、记忆体使用量过高时传送通知等。3.自定义通知可以方便地设置电子邮件通知，也可以集成到第三方监视服务中，如通过Watcher发送警报(在Nagios、PagerDuty等中)。分析历史记录可以从Kibana服务查询Watcher的历史触发器历史记录，并支持嵌套或多步骤通知。5。高可用性支持Watcher作为ElasticSearch群集的一部分运行，可以很好地应对某些硬件和网络错误。Watcher示例简介，配置过程：1。计时器设置和输入源(无效数据的查询条件)2。设置触发条件(是否查询了无效数据)3。设定触发动作(发现错误后执行Action)、监视错误资料案例、每10秒撷取资料，以及发现错误后记录错误。watcher案例简介，ElasticSearch群集状态监视：每10秒检测群集状态，在群集状态无效时将邮件发送到生产维，在kibana中监视Watcher，在触发Watcher时创建watch