ELK日志分析系统搭建

ELK日志分析系统搭建elk套件是指elasticsearch、logstash、kibana三件套，它们可以组成一套日志分析和监控工具。本文说明安装过程和典型的配置过程，由于三个软件各自的版本号太多，建议采用官网(https://www.elastic.co/downloads)推荐的搭配组合，版本不搭会引起好多其他问题。本文具体安装版本如下：elasticsearch版本：2.4.0logstash版本：2.4.0kibana版本：4.6.1redis版本：3.2.1jdk版本：1.8.0操作系统版本：Centos7.0ELK的典型部署图如下：*UpShipper«/_/*UpShipper«/_/copylogginglogtashgJsnipfier13L0gsofservice#3安装过程1、安装Java下载JDK压缩包。TK解压到/user/local/下，结构。配置JAVA_HOM环境变量:.IOR&dis5骐ElaslilesfrBFchKibana形成/usr/local/jdk1.8.0/bin这种目录echo'exportJAVA_HOME=/usr/local/jdk1.8.0'>>~/.bashrc2、安装logstash使用root用户进行安装，实际上解压后直接运行就可以了tar-zxvflogstash-2.4.0.tar.gzcdlogstash-2.4.0可通过bin/logstash-e'input{stdin{}}output{stdout{}}'测试[root@localhostlogstash-2.4.0]#bin/logstash-e'input{stdin。}output{stdout。}'Settings:Defaultpipelineworkers:8Pipelinemainstarted键入：helloelktest显示：2016-10-20T03:55:59.121Zlocalhost.localdomainhelloelktest表示把从标准输入设备输入的内容再通过标准输出设备输出。3、安装elasticsearchtar-zxvfelasticsearch-2.4.0.tar.gzcdelasticsearch-2.4.0新版本不能直接用root用户启动(一些旧版本可以)，但是新版本用root用户启动时会提示：[root@localhostelasticsearch-2.4.0]#bin/elasticsearch&[2]6322Exit1bin/elasticsearch[root@localhostelasticsearch-2.4.0]#Exceptioninthread"main"java.lang.RuntimeException:don'trunelasticsearchasroot.atorg.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:94)atorg.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:160)atorg.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:286)atorg.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)Refertothelogforcompleteerrordetails.解决办法：useraddelktestpasswdelktest返回elasticsearch-2.4.0文件位置chown-Relktestelasticsearch-2.4.0//此步骤很重要suelktest进入config,修改elasticsearch.yml配置文件，将其中的network.host改为自己的ip,并将注释取消

最后回到安装目录elasticsearch-2.4.0,再通过bin/elasticsearch&启动就OK了。关掉防火墙(systemctlstopfirewalld.service),在浏览器上输入ip:9200可查看elasticsearch版本信息：{"name":"GeorgeTarleton","cluster_name":"elasticsearch","version":{"number":"2.4.0","build_hash":"ce9f0c7394dee074091dd1bc4e9469251181fc55","build_timestamp":"2016-08-29T09:14:17Z","build_snapshot":false,"lucene_version":"5.5.2"},"tagline":"YouKnow,forSearch"}4、安装kibanatar-zxvfkibana-4.6.1-linux-x86_64.tar.gzcdkibana-4.6.1-linux-x86_64修改config下的kibana.yml文件，将elasticsearch.url改成"http://ip:9200",并将注释取消bin/kibana//启动在浏览器上输入http://ip:5601即可看到效果5、安装redistar-zxvfredis-3.2.1.tar.gzcdredis-3.2.1makesrc/redis-server../redis.conf//启动服务端#src/redis-cli//#src/redis-cli//可以通过客户命令进行操作配置过程以下配置过程描述的是Logstashshipper采集nginx服务器的访问日志，入库至1Jredis中，然后Logstashindexer从redis获取数据后，输出到elasticsearch进行存储和索引，最后通过Kibana进行数据查看和统计。1、配置nginx日志输出格式1)编辑nginx日志输出格式，命令：vi/usr/local/nginx/conf/nginx.conf,修改http节段中access_log格式相关的内容如下：log_formatmain'$remote_addr-$remote_user[$time_local]"$request"''$status$body_bytes_sent"$http_referer"''"$http_user_agent""$http_x_forwarded_for"';access_loglogs/test_access.logmain;关闭防火墙，命令：systemctlstopfirewalld.service3)启动nginx,命令：/usr/local/nginx/sbin/nginx2、配置Logstash读取nginx日志在logstash安装目录下的patterns中加入一个文件nginx,内容(与上面的log_format相对应)：NGUSERNAME[a-zA-Z\.\@\-\+_%]+NGUSER%{NGUSERNAME}NGINXACCESS%{IPORHOST:clientip}-%{NOTSPACE:remote_user}\[%{HTTPDATE:timestamp}\]\"(?:%{WORD:verb}%{NOTSPACE:request}(?:HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response}(?:%{NUMBER:bytes}|-)%{QS:referrer}%{QS:agent}%{NOTSPACE:http_x_forwarded_for}2)在Logstash的配置目录下添加一个文件nginx-test-shipper.conf,编辑内容如下：input{file{path=>"/usr/local/nginx/logs/test_access.log"start_position=>"beginning"}}filter{mutate{replace=>{"type"=>"nginx_access"}}grok{match=>{"message"=>"%{NGINXACCESS}"}}date{match=>["timestamp","dd/MMM/YYYY:HH:mm:ssZ"])geoip{source=>"clientip"))output{redis{host=>""data_type=>"list"key=>"logstash:test:access_log"})注：如果要Logstash要入远程redis库，需要配置redis库的password,如：output{redis{host=>""#修改为redis服务器的IP地址data_type=>"list"password=>"xxxxxx"#redis库的访问密码key=>"logstash:test:access_log"}}启动Logstashshipper：bin/logstash-fconf/nginx-test-shipper.conf3、配置Logstashindexer从redis读取日志数据，输出到elasticsearch1)在Logstash的配置目录下添加一个文件nginx-test-indexer.conf,编辑内容如下：input{redis{host=>""#修改为redis服务器的IP地址port=>"6379"password=>"xxxxxx"#redis库的访问密码key=>"logstash:test:access_log"data_type=>"list"codec=>"json"type=>"logstash-arthas-access"tags=>["arthas"]}}output{elasticsearch{hosts=>":9200"#这里的地址要与elasticsearch.yml中的network.host一致index=>"logstash-arthas-access-%{+YYYY.MM.dd}"}}2)启动Logstashindexer：bin/logstash-fconf/nginx-test-indexer.conf4、酉己置elasticsearch及kibana1）进入elasticsearch安装目录下的config子目录，修改elasticsearch.yml配置文件，将其中的network.host改为自己的ip,并将注释取消。2）启动elasticsearch：回到安装目录，执行bin/elasticsearch&。3）修改config下的kibana.yml文件，将elasticsearch.url改成"http://ip:9200",并将注释取消。4）启动kibana：回到安装目录，执行bin/kibana&。查看es中各索引所对应的数据记录数的命令：curl04:9200/_cat/indices?v5、配置redis（可选）如果不需要远程访问，使用默认配置即可。如果需要远程访问，需要修改配置文件redis.conf中相关项的值如下：项名称取值说明bind在前面加上#,注释掉bind项protected-mode把yes修改为norequirepass去掉前面的#注释，设置为自己的访问密码附1:nginx的安装下载安装包nginx-1.10.1.tar.gz(HYPERLI