基于elk的packetbeat和watcher数据监控v10.doc

elasticsearch特点elasticsearch 是一个基于apache lucene的开源数据搜索引擎，它的 特点有： ?实时：可以进行实时的数据搜索和分析 ?分布式：分布式文件存储，并将每个字段都编入索引 ?restful api：对外提供一系列基于java和http的api，用于索引、查 询、修改大多数配置 ?json：输入输出格式为json，快捷方便 ?多租户：可根据不同用途分索引，同时操作多个索引elasticsearch使用案例?维基百科使用 elasticsearch 来进行全文搜索并高亮显示关键词，以及提供 search-as-you-type、did-you-mean等搜索建议功能。 ?英国卫报使用 elasticsearch 来处理访客日志，以便能将公众对不同文章的 反应实时地反馈给各位编辑。 ?stackoverflow 将全文搜索与地理位置和相关信息进行结合，以提供morelike-this相关问题的展现。 ?github 使用 elasticsearch 来检索超过1300亿行代码。 ?每天，goldman sachs 使用它来处理5tb数据的索引，还有很多投行使用 它来分析股票市场的变动。elasticsearch安装es的安装很简单，可参考官网 https:/www.elastic.co/guide/en/elasticsearch/reference/c urrent/_installation.html 服务启动后测试下是否运行正常：elasticsearch插件安装es插件，来查看集群状态、查看数据信息等。 head插件： elasticsearch/bin# ./plugin install mobz/elasticsearch-head kopf插件： elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopflogstrash简介logstash是一个接收，处理，转发日志的工具，由jruby语言编写，并运行在java 虚拟机上。 在logstrash的生态系统中主要分为4大组件： ?shipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的最新 内容收集起来，输出到redis暂存。 ?broker and indexer：接受并索引化事件 ?search and storage：允许对时间进行搜索和存储 ?web interface：基于web的展示页面logstrash简介logstash使用管道方式进行日志的搜集处理和输出。主要做3件事： ?collect：数据输入 ?enrich：数据加工，如过滤，改写等 ?transport：数据输出kibana介绍kibana 是一个使用 apache 开源协议，基于浏览器的 elasticsearch 分析和搜索仪 表板。kibana安装配置kibana安装比较简单，可参考官网https:/www.elastic.co/downloads/kibana默认情况下，kibana 会连接运行在 localhost 的 elasticsearch。要连接其他 elasticsearch 实例，修改kibana.yml 里的 elasticsearch url，然后重启 kibana。 从 kibana 访问 elasticsearch 索引的配置方法1.配置包含时间戳的索引：可以 用来做基于时间的处理 2.索引定期生成且索引名中包含 时间戳：提高搜索性能，kibana 会至搜索你指定的时间范围内的 索引。kibana-discover在 discover 页交互式探索数据。你可以访问到所匹配的索引模式的每个索引的每 条记录。你可以提交过滤搜索请求，然后查看文档数 据。你还可以看到匹配搜 索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文 档的时序分布情况会在页面顶部以柱状图的形式展示出来。kibana-discover在 discover 页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。 可以直接输入简单的请求字符串，也就是用 lucene query syntax，也可以用完整 的基于 json 的 elasticsearch query dsl。 ?简单文本搜索：直接输入文本字符串 ?搜索特定字段中的值：格式：字段名:值 ?搜索值的范围：格式：字段名:【start_value to end_value】 ?指定复杂搜索标准：使用布尔操作符 and，or，notkibana-visualize你可以用 visualize 页来设计可视化。可以保存可视化或者合并到 dashboard 里。 创建一个新的可视化： 第一步：选择一个可视化的类型：区块图、折线图等 第二步：选择数据源：可以选择新建或者读取一个已保存的搜索，作为你可 视化的数据源。 第三步：可视化编辑器kibana-visualize-区块图y轴是数值维度，有以下聚合可用count:返回元素的计数 average：返回一个数值字段的平均值 sum：返回一个数值字段的总和 median：返回一个数值字段的中间值 min：返回一个数值字段的最小值 max：返回一个数值字段的最大值 unique count：返回一个数值字段的去重数值 percentiles：返回一个数值字段的百分比分布图形的 x 轴是buckets 维度，指明从你的数据集中将要检索什么信息，支持以下聚合date histogram:基于时间的展示 histogram：基于数值字段创建，指定数值间隔 range：基于数值字段创建，指定一系列区间 date range：基于时间创建，指定时间区间 ipv4 range：基于ipv4创建，指定ipv4区间 terms：展示一个字段的元素值 filters：添加过滤器 significant terms：展示实验性聚合结果kibana-visualize-区块图kibana-visualize-区块图kibana-visualize-折线图kibana-visualize-表格数据定义metrics表格列，定义 buckets 来切割表格成行kibana-visualize-metric为你选择的聚合显示一个单独的数字kibana-visualize-饼图饼图的分片大小通过 metrics 聚合定义。这个维度可以支持以下聚合：count:返回元素的计数 sum：返回一个数值字段的总和 unique count：返回一个数值字段的去重数值buckets 聚合指明从你的数据集中将要检索什么信息。kibana-visualize-饼图kibana-visualize-竖条图kibana-visualize-地图地图显示一个由圆圈覆盖着的地理区域。这些圆圈则是由你 指定的 buckets 控制地图使用 geohash 聚合作为他们的初始 化聚合。从下拉菜单中选择一个坐标字 段。precision 滑动条设置圆圈在地图上 显示的颗粒度大小。 一旦你定义好了一个 x 轴聚合。你可以 继续定义子聚合来完善可视化效果。kibana-dashboard一个 kibana dashboard 能让你自由排列一组已保存的可视化。然后你可以保存这 个仪表板，用来分享或者重载。 简单的仪表板：用户可以对仪表板做多样化操作： 1.添加可视化到仪表板 2.保存仪表板 3.加载已保存的仪表板 4.定义仪表板元素 5.移动容器 6.改变容器大小 7.删除容器 8.修改可视化 9.分享仪表板并嵌入到其他用户 的仪表板中elk 套装logstash agent 监控并过滤日志，将过滤后的日志内容发给redis(只 处理队列不做存储)，logstash index将日志收集在一起交给全文搜 索服务elasticsearch ，通过kibana 结合自定义搜索进行页面展示提纲? elk基础知识 ? packetbeat知识介绍 ? watcher知识介绍? 业内大数据分析系统调研几种beats在生产环境中，数据搜索需求会更复杂一些，通过logstash写正则，实在是个 费时费劲的事。而beats就比较简单高效。beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数 据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。 beats有三个典型的例子：filebeat、topbeat、packetbeat。 ?filebeat：用来收集日志 ?topbeat：用来收集系统基础设置数据，如cpu、内存、每个进程的统计信息 ?winlogbeat：监控windows下面的日志信息 ?packetbeat：是一个网络包分析工具，统计收集网络信息。packetbeat介绍packetbeat是网络协议抓包和处理的一个框架，用来嗅探和分析网络流量， 关联他们到事物，并且使用 elasticsearch 来分析，然后进行点对点查询。packetbeat的安装很简单，可参考官网https:/www.elastic.co/downloads/beats/packetbeat 配置文件： /etc/packetbeat/packetbeat.yml在es中加载packetbeat索引模板，执行命令curl -xput http:/localhost:9200/_template/packetbeat d/etc/packetbeat/packetbeat.template.json启动packetbeat： sudo /etc/init.d/packetbeat startpacketbeat协议目前支持了常见的一些协议：icmp、dns、http、mysql、postgresql redis、thrift-rpc、mongodb、memcache，也可进行协议的扩展。在文件/etc/packetbeat/packetbeat.yml 中可以注释某协议以禁用该协议， 如果使用任何非标准的端口，也可 进行添加。否则，为默认端口。协议扩展开发可参考： https:/www.elastic.co/guide/en/beats/packetbeat/current/ new-protocol.html /article/54packetbeat介绍packetbeat在kibana中的视图展示：基于packetbeat创建tcp等协议可视化图表packetbeat安装好后界面展示的是基于http的应用层数据分析展示，在discover 页面，可以看到packetbeat提供的解析字段：transport和type可以获取到udp、tcp、icmp、dns协 议数据，因此在创建绘图时可根据这两个字段帅 选出并展示基础协议。具体方法可查看kibana章 节基于packetbeat创建tcp等协议可视化图表小结：由于目前packetbeat中可添加的字段有 限，绘制可视化图标展示也较粗糙，没有延 迟、重传、地图、链接分析等相关统计提纲? elk基础知识 ? packetbeat知识介绍 ? watcher知识介绍? 业内大数据分析系统调研watcher介绍watcher是elasticsearch的一个插件，提供警报和通知，并可定义基于数据的 变化简单地定义一个条件，触发指定条件后watcher会执行相关的警报和通 知。几大功能特点： 1.根据es数据的变化自动触发通知 如异常登录失败、应用程序响应时间高于平均值，或者发生意外错误时发送通知。 2.主动监控elasticsearch集群 对接watcher与marvel服务。可以监控集群状态，如节点加入或离开集群，查询高峰， 内存使用率太高时候可以发送通知。 3.自定义通知 可以轻松设置电子邮件通知，也可以既集成到第三方的监控服务，如通过watcher发 送警报给nagios，pagerduty等 4.分析历史记录 可以在kibana服务中查询watcher的历史触发记录,支持嵌套或者多级的通知 5.高可用支持 watcher作为elasticsearch集群的一部分运行，能够很好的应对部分硬件和网络故障。watcher案例介绍监控错误数据案例，每10秒搜索一次数据，发现错误后，记录一 条错误记录。配置流程： 1.设置定时器和输入源(错误数据的查询条件) 2.设置触发条件（是否查询到了错误数据） 3.设置触发动作(发现错误后执行action)watcher案例介绍监控elasticsearch集群状态：每10秒检测一次集群状态，如果集群状态错 误，则发送邮件给运维watcher在kibana上的监控当一个watcher被触发后，watch_record文件被创建且添加到watcher历史索引中，名 称形式为watch_history-yyyy.mm.dd，可以像其他elasticsearch索引一样，搜索 watcher历史，在kibana中监控和可视化watch的执行情况。 在kibana中配置监控watches：watcher在kibana上的监控通过kibana监控watcher的历史数据提纲? elk基础知识 ? packetbeat知识介绍 ? watcher知识介绍? 业内大数据分析系统调研业内大数据分析系统调研开源数据分析系统（moloch、haka、bro、 beats）云利来imapriverbed steelcentral appresponseip、http、tcp、udp、 dhcp、icmp等bigswitch自带分 析系统dhcp、dns、icmp协 议字 段 解 析ip、http、dns、ip address、 tcp、udp、http、dns hostname、ssh、irc、 ssl/tls、dhcp、icmp、 mysql、postgresql、redis、 thrift-rpc、mongodb、 memcache byte、byte_in、byte_out、 client_ip、client_port、 client_proc、connection_id、 source.ip，dest.ip，dest.ipv6， direction，type（thrift、http、 mysql、pgsql、mongodb、 redis、dns、flow）， transport，responsetime， port，source.port，dest.port， ip，， dns.response_code，dns.id， icmp_id，method，status， _bytes_total 支持告警，但需后台脚本或api 执行创建 bit、in_bit、out_bit、 retransmit、 server_latency、 client_latency、protocol、 protocol_dport、byte、 packet、sip、dip、 p_oo_oder、out_packet、 in_packet、syn_receive、 province、city、dport、 t_gt400、t_flow、status、 domain、url、t_fail、 retname、address、 tcp延迟告警，tcp重传告 警，http延迟告警， http状态告警、ddosamqp-tcp、gre、webmhttps-tcp、ssdp-udp、 mpc-lifenet-udp、mswbt-srv-tcp、 netbios-ns-udp、 mysql-tcp、limnr-udp、 vrrp、netbios-dgm-udp （应用），payload （server、client）、 packet throughput、 response time、packet loss、connect failed 提供告警且帮助快速定位网 络性能问题的关键dhcprequest、dhcppack、 chaddr、ciaddr、cname、 yiaddr、dhcpoptions、 leasetime、hops、xid、 dnsmessge、clientip、 servername、qnamelist、 eventtype、alias、 policyname、shost、 dhost、ipaddr、 macaddr告 警业内大数据分析系统调研开源数据分析系统（moloch、haka、bro、 beats）云利来imapriverbed steelcentral appresponse外部ip、内部ip、吞吐量、 连接请求数（客户端、服务 器）、服务响应时间、往返 时间、应用组、ip协议、成 员ip、ip会话、子网、业务 组、互联网服务提供商自治 域、目的自治域、vlan、 监控接口组、语音视频利用、 页面利用率、页面性能、网 络性能（丢包、包重传率、 往返时间、重传时延、重传 率、）、web应用（页面 数量、页面大小、页面时间 等）、每个应用流量所对应 的ip、rtcc响应时间区分 表内包含的一些参数展示， 能分析出是网络问题是服务 器端还是客户端的问题bigswitch自带分 析系统sflow（源端口和目的端口