《大数据导论》课件-3.4.3日志数据采集存储

大数据导论数

据

采

集日志数据采集存储目录01采集环境搭建

02数据库准备

03编写配置文件

04

测试采集环境日志采集需求1、假设日志信息会记录在/var/log/test.log文件中。2、通过filebeat监测test.log文件中的新增信息，并输出至logstash中。3、logstash监测filebeat传输过来的数据，将数据提取出，加上时间戳，存储至mysql数据库中。采集环境搭建数据库准备1、创建数据库:logsdbcreatedatabaselogsdb；uselogsdb；2、创建数据表:syslogcreatetablesyslog( messagevarchar(200), insert_timevarchar(50) )3、官网下载：mysql-connector-java-5.1.17.jar放置用户目录下，如：/root/mysql-connector-java-5.1.17.jar编写配置文件Filebeat配置文件在filebeat根目录，创建文件log.yml，并输入如下内容filebeat.inputs:#指定数据源类型、路径-type:logenabled:truepaths:-/var/log/test.log#指定输出端为logstashoutput.logstash:hosts:["localhost:5044"]编写配置文件Logstash配置文件在logstash安装目录的config文件夹中，创建文件test.conf文件，并输入如下内容input{beats{port=>5044}}output{

#输出方式一：数据库输出jdbc{connection_string=>"jdbc:mysql://localhost/logsdb?user=root&password=123456&useUnicode=true&characterEncoding=UTF8"driver_jar_path=>"/root/mysql-connector-java-5.1.17.jar"driver_class=>"com.mysql.jdbc.Driver"statement=>["INSERTINTOsyslog(message,insert_time)VALUES(?,?)","[message]","[@timestamp]"]}

#输出方式二：屏幕输出stdout{codec=>rubydebug}}数据库连接字符串写入数据的sql安装logstash-output-jdbc插件Logstash安装output-jdbc插件确保linux系统能够联网切换到logstash的安装目录中输入安装命令：bin/logstash-plugininstalllogstash-output-jdbc该插件使得Logstash可以将数据存储到mysql中测试采集环境1、启动filebeat切换到filebeat目录下执行命令：./filebeat-e-c

log.yml2、启动logstash切换到logstash目录下执行命令：bin/logstash-fconfig/test.conf至此，两个工具都已启动配置文件配置文件测试采集环境输出到stdout的内容数据存储到了mysql数据库中模拟向/var/log/te