ELK日志分析组件.docx

ELK日志分析组件一定义ELK是什么？ E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。 L=LogStash ，一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元 K=Kibana ，一款配合ElasticSearch的web可视化界面，内置各种查询，聚合操作，并拥有漂亮的图形化展示功能 为什么要用ELK？ 在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重要的信息，如应用程序的log记录的error，warn级别的log，通常在量小的情况下，我们可以直接vi+awk+sed+grep定位原因，在量大的时候，这种方式就捉襟见肘了，而且我们还要各种聚合，或者基于异常多个关键词的搜索，并有且，或，交，并，差，补，排序等一些操作，而且相应速度必须给力，如果线上环境出了故障，能够立刻准确定位，ELK就是高手，在百万大军中取上将首级，犹如探囊取物，所以这时候ELK就非常适合了，当然除此之外，ELK也经常在运维工作中大放光彩，在应用级别的实时监控，非常适合一些重要核心服务的预警。 2、 准备环境Linux 系统：centos7Java版本：JDK1.7+（可以用openjdk）组件：Logstash版本：1.4.2； ElasticSearch版本：1.4.2； Kibana版本：3.1.2；3、 安装步骤3.1、修改selinux安全访问策略配置#setenforce 0#getenforcePermissive# vi /etc/sysconfig/selinuxSELINUX=disabledCentOS6关闭防火墙Service iptables stopChkconfig iptables offCentOS7关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service3.2安装JDK 说明：ElasticSearch和Logstash依赖于JDK # yum -y install java-1.7.0-openjdk* # java -version3.3安装ElasticSearch 说明：ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300。1、 下载ElasticSearch# mkdir -p /opt/software & cd /opt/software#wget /elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz# tar -zxvf elasticsearch-1.4.2.tar.gz -C /usr/local/# ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch 建立软连接2、 安装elasticsearch-servicewrapper，并启动ElasticSearch服务：#wget /elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz# tar -zxvf master.tar.gz# mv /opt/software/elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/# /usr/local/elasticsearch/bin/service/elasticsearch start3、 测试ElasticSearch服务是否正常，预期返回200的状态码 #curl -X GET :92003.4 安装Logstash 说明：Logstash默认的对外服务的端口是9292。1、 下载Logstash#wget /logstash/logstash/logstash-1.4.2.tar.gz# tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/# ln -s /usr/local/logstash-1.4.2 /usr/local/logstash2、 简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：# /usr/local/logstash/bin/logstash -e input stdin output stdout 3、 创建Logstash配置文件，并再次测试Logstash服务是否正常，预期可以将输入内容以结构化的日志形式打印在界面上：# mkdir -p /usr/local/logstash/etc# vi /usr/local/logstash/etc/hello_search.confinput stdin type = human output stdout codec = rubydebug elasticsearch host = port = 9300 # /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf结果：3.5安装Kibana说明：CentOS默认预装了Apache，所以将Kibana的代码直接拷贝到Apache可以访问的目录下即可。1. 下载Kibana# mkdir -p /var/www/html/kibana#wget /kibana/kibana/kibana-3.1.2.tar.gz# tar -zxvf kibana-3.1.2.tar.gz# mv kibana-3.1.2 /var/www/html/kibana2、 修改Kibana的配置文件，把elasticsearch所在行的内容替换成如下： # vi /var/www/html/kibana/config.jselasticsearch: :9200,3、 启动一下HTTP服务：# service httpd start http服务启动失败：原因：没有安装解决：yum install httpd4、 修改ElasticSearch的配置文件，追加一行内容，并重启ElasticSearch服务：# vi /usr/local/elasticsearch/config/elasticsearch.ymlhttp.cors.enabled: true# /usr/local/elasticsearch-2.3.3/bin/service/elasticsearch restart5、 安装完毕，用浏览器访问测试/kibana/index.html3.6配置Logstash再次创建Logstash配置文件，这里将HTTP日志和文件系统日志作为输入，输出直接传给ElasticSearch，不再打印在界面上：# vi /usr/local/logstash/etc/logstash_agent.confinput file type = http.access path = /var/log/httpd/access_log file type = http.error path = /var/log/httpd/error_log file type = messages path = /var/log/messages output elasticsearch host = port = 9300 # nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf &4、 使用说明 1、添加查询条件2时间段查询3、添加查询条件querystring 有must 、notmust、either4、 添加各种类型的仪表盘5、显示所有事件，每页显示100条，左边菜单是过滤条件6、柱状图、饼状图、表格显示查询结果7、柱状图8、饼状图9、 设置 ELK集群搭建1、 准备1.1、修改selinux安全访问策略配置#setenforce 0#getenforcePermissive# vi /etc/sysconfig/selinuxSELINUX=disabledCentOS6关闭防火墙Service iptables stopChkconfig iptables offCentOS7关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service1.2安装JDK 说明：ElasticSearch和Logstash依赖于JDK # yum -y install java-1.7.0-openjdk*yum -y remove java-1.8.0-openjdk* # java -versioninput file path = /tmp/access_log start_position = beginning fil