培训-ELK日志监控报警实战课件

ELK日志监控报警实战磁云科技张人杰2018.10.1612ELK日志监控报警实战磁云科技张人杰12什么是ELKE:

ElasticSearchL:

LogstashK:

Kibana211/22/2022什么是ELKE:ElasticSearch211/22/2运行效果当服务器宕机时,立即发送邮件通知311/22/2022运行效果当服务器宕机时,立即发送邮件通知311/22/202环境搭建(一)

ElasticSearch安装1、安装elasticsearch的yum源的密钥rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch2、配置elasticsearch的yum源vim/etc/yum.repos.d/elasticsearch.repo[elasticsearch-6.x]name=Elasticsearchrepositoryfor6.xpackagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md3、安装elasticsearchyuminstall-yelasticsearch

411/22/2022环境搭建(一)

ElasticSearch安装1、安装ela环境搭建(一)

ElasticSearch环境搭建1、需要安装jdk1.8版本以上的java-version2、创建elasticsearchdata的存放目录，并修改该目录的属主属组mkdir-p/data/es-datachown-Relasticsearch:elasticsearch/data/es-data3、修改elasticsearch的日志属主属组chown-Relasticsearch:elasticsearch/var/log/elasticsearch/4、修改elasticsearch的配置文件vim/etc/elasticsearch/elasticsearch.yml

511/22/2022环境搭建(一)

ElasticSearch环境搭建1、需要安/etc/elasticsearch/elasticsearch.yml编辑找到配置文件中的，打开该配置并设置集群名称:elk-tang找到配置文件中的，打开该配置并设置节点名称:elk-tang-1修改data存放的路径path.data:/data/es-data修改logs日志的路径path.logs:/var/log/elasticsearch/注释配置内存使用用交换分区#bootstrap.memory_lock:true监听的网络地址network.host:开启监听的端口http.port:9200增加新的参数，这样head插件可以访问es(5.x版本，如果没有可以自己手动加)http.cors.enabled:truehttp.cors.allow-origin:"*"611/22/2022/etc/elasticsearch/elasticsear启动ElasticSearch/etc/init.d/elasticsearchstart

711/22/2022启动ElasticSearch/etc/init.d/ela创建开机自启动服务chkconfigelasticsearchon811/22/2022创建开机自启动服务chkconfigelasticsear其他需要修改的参数vim/etc/security/limits.conf在末尾追加以下内容（elk为启动用户，当然也可以指定为*）elksoftnofile65536elkhardnofile65536elksoftnproc2048elkhardnproc2048elksoftmemlockunlimitedelkhardmemlockunlimitedvim/etc/security/limits.d/XXX-nproc.conf将里面的1024改为2048（ES最少要求为2048）*softnproc2048vim/etc/elasticsearch/elasticsearch.yml加入以下内容bootstrap.system_call_filter:false911/22/2022其他需要修改的参数vim/etc/security/lim再次启动/etc/init.d/elasticsearchrestart1011/22/2022再次启动/etc/init.d/elasticsearch环境搭建（二）

安装elasticsearch-head插件安装node.jssudocurl-sL-o/etc/yum.repos.d/khara-nodejs.repo/coprs/khara/nodejs/repo/epel-7/khara-nodejs-epel-7.reposudoyuminstall-ynodejsnodejs-npm安装headgitclonegit:///mobz/elasticsearch-head.gitcdelasticsearch-headnpminstallnpmrunstart1111/22/2022环境搭建（二）

安装elasticsearch-head插件环境搭建（三）

安装Logstash环境Logstash需要安装到产生日志的服务器上rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearchyuminstall-ylogstashrpm-qllogstashln-s/usr/share/logstash/bin/logstash/bin/1211/22/2022环境搭建（三）

安装Logstash环境Logstash需要Logstash配置input{file{path=>["/var/log/nginx/access.log"]start_position=>"beginning"ignore_older=>0}}filter{grok{patterns_dir=>"/opt/logstash/patterns"match=>{"message"=>"%{NGINXACCESS}"}add_field=>[“resp_code”,“%{response}”]}geoip{source=>"http_x_forwarded_for"target=>"geoip"database=>"/etc/logstash/GeoLite2-City.mmdb"add_field=>["[geoip][coordinates]","%{[geoip][longitude]}"]add_field=>["[geoip][coordinates]","%{[geoip][latitude]}"]}mutate{convert=>["[geoip][coordinates]","float"]convert=>["response","integer"]convert=>["bytes","integer"]replace=>{"type"=>"nginx_access"}remove_field=>"message"}date{match=>["timestamp","dd/MMM/yyyy:HH:mm:ssZ"]}mutate{remove_field=>"timestamp"}}output{elasticsearch{hosts=>[":9200"]index=>"logstash-nginx-access-%{+YYYY.MM.dd}"}stdout{codec=>rubydebug}}1311/22/2022Logstash配置input{1311/22/2022建立grok使用的表达式mkdir-pv/opt/logstash/patternsvi/opt/logstash/patterns/nginxNGUSERNAME[a-zA-Z\.\@\-\+_%]+NGUSER%{NGUSERNAME}NGINXACCESS%{IPORHOST:clientip}-%{NOTSPACE:remote_user}\[%{HTTPDATE:timestamp}\]\"(?:%{WORD:verb}%{NOTSPACE:request}HTTP/%{NUMBER:httpversion}|%{DATA:rawrequest})\"%{NUMBER:response}(?:%{NUMBER:bytes}|-)%{QS:referrer}%{QS:agent}\"(?:%{IPV4:http_x_forwarded_for}|-)\"1411/22/2022建立grok使用的表达式mkdir-pv/opt/logGeoIP的数据库解析ipwget/download/geoip/database/GeoLite2-City.tar.gztar-xzvfGeoLite2-City.tar.gzmvGeoLite2-City_20181030/GeoLite2-City.mmdb/etc/logstash/.1511/22/2022GeoIP的数据库解析ipwgethttp://geoli测试配置文件并启动Logstash服务logstash-t-f./elk.confnohuplogstash–f./elk.conf2>&1>/dev/null&1611/22/2022测试配置文件并启动Logstash服务logstash-t环境搭建（四）

Kibanawgethttps://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz#注意需要与ES对应的版本tar-xzfkibana-6.4.2-linux-x86_64.tar.gzmvkibana-6.4.2-linux-x86_64/usr/localln-s/usr/local/kibana-6.4.2-linux-x86_64//usr/local/kibanavim/usr/local/kibana/config/kibana.yml1711/22/2022环境搭建（四）

Kibanawgethttps://art/usr/local/kibana/config/kibana.yml编辑server.port:5601server.host:""elasticsearch.url:"http://localhost:9200"kibana.index:".kibana"1811/22/2022/usr/local/kibana/config/kiban安装screen,以便于kibana在后台运行yum-yinstallscreenscreen/usr/local/kibana/bin/kibana1911/22/2022安装screen,以便于kibana在后台运行yum-yKibana安装完成打开浏览器并设置对应的indexhttp://localhost:56012011/22/2022Kibana安装完成打开浏览器并设置对应的indexhtt在Kibana上安装sentinl插件用于发送邮件提醒1、到/sirensolutions/sentinl/releases上选择合适的版本2、在服务器上运行：/usr/local/kibana/bin/kibana-plugininstall/sirensolutions/sentinl/releases/download/tag-6.4.2-0/sentinl-v6.4.2.zip3、重启kibana4、在kibana界面上配置sentinl2111/22/2022在Kibana上安装sentinl插件用于发送邮件提醒1、到注意：需要定时清理日志文件定期清理nginx日志文件echo'::1--[03/Nov/2018:20:28:03+0800]"GET/HTTP/1.1"2000"-""Mozilla/5.0(X11;Linuxx86_64;rv:52.0)Gecko/20100101Firefox/52.0""-"'>/var/log/nginx/access.log定期清理ES中的日志文件curl-XDELETEhttp://localhost:9200/nginx-*-`date+%Y-%m-%d-d"-$ndays"`2211/22/2022注意：需要定时清理日志文件定期清理nginx日志文件2211防火墙配置所有端口仅对内网开放2311/22/2022防火墙配置所有端口仅对内网开放2311/22/2022结束张人杰2018.11.42411/22/20222411/22/2022ELK日志监控报警实战磁云科技张人杰2018.10.16252ELK日志监控报警实战磁云科技张人杰12什么是ELKE:

ElasticSearchL:

LogstashK:

Kibana2611/22/2022什么是ELKE:ElasticSearch211/22/2运行效果当服务器宕机时,立即发送邮件通知2711/22/2022运行效果当服务器宕机时,立即发送邮件通知311/22/202环境搭建(一)

ElasticSearch安装1、安装elasticsearch的yum源的密钥rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch2、配置elasticsearch的yum源vim/etc/yum.repos.d/elasticsearch.repo[elasticsearch-6.x]name=Elasticsearchrepositoryfor6.xpackagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md3、安装elasticsearchyuminstall-yelasticsearch

2811/22/2022环境搭建(一)

ElasticSearch安装1、安装ela环境搭建(一)

ElasticSearch环境搭建1、需要安装jdk1.8版本以上的java-version2、创建elasticsearchdata的存放目录，并修改该目录的属主属组mkdir-p/data/es-datachown-Relasticsearch:elasticsearch/data/es-data3、修改elasticsearch的日志属主属组chown-Relasticsearch:elasticsearch/var/log/elasticsearch/4、修改elasticsearch的配置文件vim/etc/elasticsearch/elasticsearch.yml

2911/22/2022环境搭建(一)

ElasticSearch环境搭建1、需要安/etc/elasticsearch/elasticsearch.yml编辑找到配置文件中的，打开该配置并设置集群名称:elk-tang找到配置文件中的，打开该配置并设置节点名称:elk-tang-1修改data存放的路径path.data:/data/es-data修改logs日志的路径path.logs:/var/log/elasticsearch/注释配置内存使用用交换分区#bootstrap.memory_lock:true监听的网络地址network.host:开启监听的端口http.port:9200增加新的参数，这样head插件可以访问es(5.x版本，如果没有可以自己手动加)http.cors.enabled:truehttp.cors.allow-origin:"*"3011/22/2022/etc/elasticsearch/elasticsear启动ElasticSearch/etc/init.d/elasticsearchstart

3111/22/2022启动ElasticSearch/etc/init.d/ela创建开机自启动服务chkconfigelasticsearchon3211/22/2022创建开机自启动服务chkconfigelasticsear其他需要修改的参数vim/etc/security/limits.conf在末尾追加以下内容（elk为启动用户，当然也可以指定为*）elksoftnofile65536elkhardnofile65536elksoftnproc2048elkhardnproc2048elksoftmemlockunlimitedelkhardmemlockunlimitedvim/etc/security/limits.d/XXX-nproc.conf将里面的1024改为2048（ES最少要求为2048）*softnproc2048vim/etc/elasticsearch/elasticsearch.yml加入以下内容bootstrap.system_call_filter:false3311/22/2022其他需要修改的参数vim/etc/security/lim再次启动/etc/init.d/elasticsearchrestart3411/22/2022再次启动/etc/init.d/elasticsearch环境搭建（二）

安装elasticsearch-head插件安装node.jssudocurl-sL-o/etc/yum.repos.d/khara-nodejs.repo/coprs/khara/nodejs/repo/epel-7/khara-nodejs-epel-7.reposudoyuminstall-ynodejsnodejs-npm安装headgitclonegit:///mobz/elasticsearch-head.gitcdelasticsearch-headnpminstallnpmrunstart3511/22/2022环境搭建（二）

安装elasticsearch-head插件环境搭建（三）

安装Logstash环境Logstash需要安装到产生日志的服务器上rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearchyuminstall-ylogstashrpm-qllogstashln-s/usr/share/logstash/bin/logstash/bin/3611/22/2022环境搭建（三）

安装Logstash环境Logstash需要Logstash配置input{file{path=>["/var/log/nginx/access.log"]start_position=>"beginning"ignore_older=>0}}filter{grok{patterns_dir=>"/opt/logstash/patterns"match=>{"message"=>"%{NGINXACCESS}"}add_field=>[“resp_code”,“%{response}”]}geoip{source=>"http_x_forwarded_for"target=>"geoip"database=>"/etc/logstash/GeoLite2-City.mmdb"add_field=>["[geoip][coordinates]","%{[geoip][longitude]}"]add_field=>["[geoip][coordinates]","%{[geoip][latitude]}"]}mutate{convert=>["[geoip][coordinates]","float"]convert=>["response","integer"]convert=>["bytes","integer"]replace=>{"type"=>"nginx_access"}remove_field=>"message"}date{match=>["timestamp","dd/MMM/yyyy:HH:mm:ssZ"]}mutate{remove_field=>"timestamp"}}output{elasticsearch{hosts=>[":9200"]index=>"logstash-nginx-access-%{+YYYY.MM.dd}"}stdout{codec=>rubydebug}}3711/22/2022Logstash配置input{1311/22/2022建立grok使用的表达式mkdir-pv/opt/logstash/patternsvi/opt/logstash/patterns/nginxNGUSERNAME[a-zA-Z\.\@\-\+_%]+NGUSER%{NGUSERNAME}NGINXACCESS%{IPORHOST:clientip}-%{NOTSPACE:remote_user}\[%{HTTPDATE:timestamp}\]\"(?:%{WORD:verb}%{NOTSPACE:request}HTTP/%{NUMBER:httpversion}|%{DATA:rawrequest})\"%{NUMBER:response}(?:%{NUMBER:bytes}|-)%{QS:referrer}%{QS:agent}\"(?:%{IPV4:http_x_forwarded_for}|-)\"3811/22/2022建立grok使用的表达式mkdir-pv/opt/logGeoIP的数据库解析ipwget/download/geoip/database/GeoLite2-City.tar.gztar-xzvfGeoLite2-City.tar.gzmvGeoLite2-City_20181030/GeoLite2-City.mmdb/etc/logstash/.3911/22/2022GeoIP的数据库解析ipwgethttp://geoli测试配置文件并启动Logstash服务logstash-t-f./elk.confnohuplogstash–f./elk.conf2>&1>/dev/null&4011/22/2022测试配置文件并启动Logstash服务logstash-t环境搭建（四）

Kibanawgethttps://artifacts.elastic.co/downloads/kibana/kibana-6.4.2-linux-x86_64.tar.gz#注意需要与ES对应的版本tar-xzfkibana-6.4.2-linux-x86_64.tar.gzmvkibana-6.4.2-linux-x86_64/usr/localln-s/usr/local/kibana-6.4.2-linux-x86_64/