Logstash + kibana+Elasticsearch 服务端部署文档(以上三个组件都是基于官网最新版).docx

Logstash + kibana+Elasticsearch 服务端部署文档（以上三个组件都是基于官网最新版）logstash服务端操作系统要求:Ubunutu 14.04A. jdk安装步骤1. 连接上操作系统执行jdk 安装源，执行如下命令:sudo add-apt-repository -y ppa:webupd8team/java2. 添加源成功以后如下命令执行命令sudo apt-get update & sudo apt-get -y install oracle-java8-installer即可进行jdk的安装，安装的是最新版jdk1.8u45 Jdk安装完成后我们安装ElasticSearch. B. 安装ElasticSearch1.首先要导入elasticSerach的公共 GPG 密匙 到 apt安装源中，执行如下命令:o wgetqOhttps:/packages.elastic.co/GPGKEYelasticsearch|sudo aptkey add2.创建ElasticSearch 安装源 ，命令如下:echo“deb http:/packages.elastic.co/elasticsearch/1.7/debian stable main”|sudo teea/etc/apt/sources.list.d/elasticsearch1.7.list3. 然后执行安装源更新和安装命令如下:sudo aptget update&sudo aptget install elasticsearch4. 待步骤3完成后我们需要更改配置文件，执行如下命令:sudo vi /etc/elasticsearch/elasticsearch.yml然后修改network.host为localhost 即可如所示:network.host: localhost修改完成保存然后执行重启命令:o sudo service elasticsearch restart5. 修改elasticsearch 操作系统启动时的优先级sudo update-rc.d elasticsearch defaults 95 10执行完以后，elasticsearch 完成启动，接下来我们安装kibana前端搜索界面.C. 安装kibana1. 首先下载kibana 到你的操作系统home目录下 cd ; wget /kibana/kibana/kibana-4.0.1-linux-x64.tar.gz2. 解压文件并编辑配置文件命令如下:解压命令如下:tar xvf kibana-*.tar.gz解压完成后编辑配置文件命令如下: vi /kibana-4*/config/kibana.yml只需要修改其中host即可修改为 localhost，如下所示：host: localhost3. 然后拷贝kibana4 到系统的opt目录下,操作步骤如下:a. 先创建对应文件夹命令如下:sudo mkdir -p /opt/kibanab. 执行拷贝命令: sudo cp -R /kibana-4*/* /opt/kibana/c. 需如果需要kibana 作为服务启动，执行以下步骤:1).首先执行命令下载脚本命令如下:cd /etc/init.d & sudo wget /thisismitch/8b15ac909aed214ad04a/raw/bce61d85643c2dcdfbc2728c55a41dab444dca20/kibana4 2)现在编辑文本下载的脚本，按顺序执行如下命令即可： 1. sudo chmod +x /etc/init.d/kibana4 2. sudo update-rc.d kibana4 defaults 96 9 3. sudo service kibana4 startD. 安装NGINX 1. 首先安装nginx，在命令行执行如下命令: sudo apt-get install nginx apache2-utils 2.安装完成以后创建一个用户，用以基本保护访问的url。命令执行如下: sudo htpasswd -c /etc/nginx/htpasswd.userskibanaadmin 然后输入密码即可建议设置密码Passwod-201506.3.然后进入编辑nginx配置文件，编辑文件如下:sudo vi /etc/nginx/sites-available/default4. 最后形成的配置文件如下:server listen 80;server_;auth_basic “Restricted Access”;auth_basic_user_file /etc/nginx/htpasswd.users;location / proxy_pass http:/localhost:5601;proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection upgrade;proxy_set_header Host $host;proxy_cache_bypass $http_upgrade;5. 配置文件保存后，重启nginx，命令如下：sudo service nginx restartE. 安装logstash 1. 在操作系统加入logstash 安装源，命令如下：echo “deb /logstash/1.5/debian stable main” | sudo tee a /etc/apt/sources.list2. 源加入后，执行安装命令。命令如下:sudo apt-get update & sudo apt-get install logstash3. 配置Logstash服务端配置文件,命令如下:sudo vi /etc/logstash/conf.d/central.conf最后配置文件如下:input redis host = port = 6379type = redis-inputdata_type = listkey = logstashcodec =jsonoutput stdout elasticsearch cluster = elasticsearchprotocol = httphost = index = logstash-%+YYYY.MM.dd然后启动服务端命令如下:sudo service logstash restart,即可启动logstash4. 客户端配置文件，配置文件如下（可以是任何操作系统以及任何目录）:input file type = tomcat path = 本地日志文件路径 codec = plain charset = ISO-8859-1 filter if type = tomcat multiline pattern = (%TOMCAT_DATESTAMP)|(%CATALINA_DATESTAMP) negate = true what = previous if _grokparsefailure in tags drop grok match = message, %TOMCATLOG, message, %CATALINALOG date match = timestamp, yyyy-MM-dd HH:mm:ss,SSS Z, MMM dd, yyyy HH:mm:ss a output stdout codec=rubydebugredis host = redis服务器ip地址port =6379data_type = listkey = logstash 此配置文件只需要替换掉本地日志文件路径为tomcat路径以及其他日志文件路径type 也对应替换即可，这里以windows为例，进入logstash目录的bin目录然后执行如下命令:logstash agent -verbose -config sniff.conf -log ./logs/stdout2.log 即可启动客户端logstash程序F. 创建ssl证书1. 创建证书文件路径，命令如下:a).sudo mkdir -p /etc/pki/tls/certsb). sudo mkdir /etc/pki/tls/private2. 创建证书有两种方法，一种是通过Ip地址来设置证书。另外一种通过FQDN方式来生成证书，下面开始介绍第一种方式:a. Ip地址生成证书1） 编辑openssl配置文件，命令如下:sudo vi /etc/ssl/f 2) 然后找到 v3_ca 这个选项，然后编辑配置 subjectAltName = IP: logstash服务端部署的IP地址 3) 编辑完成后保存退出编辑文件后进入/etc/pki/tls 目录，命令如下: cd /etc/pki/tls,然后敲入生成证书命令命令如下: sudo openssl req -config /etc/ssl/f -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt,即可生成通信SSL证书.b. fqdn证书生成没有第二步骤直接进入第三步生成命令如下:sudo openssl req -subj /CN=logstash_server_fqdn/ -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out cer