《数据采集技术》课件-ELK基础认知

项目6

动态网页数据预处理任务6-3使用ELK实现某官网日志数据预处理叁1Elasticsearch1.什么是ElasticsearchElasticsearch是一个分布式可扩展的实时搜索和分析引擎，使用Java语言开发，由Elastic公司创建并开源维护的，并且作为Apache的开源项目，在云计算方面能够提供稳定、可靠、快速的实时搜索服务。Elasticsearch支持多种语言的编程接口比如Java、.NET（C#）、PHP、Python、ApacheGroovy等。任务6-3使用ELK实现某官网日志数据预处理叁1Elasticsearch2.Elasticsearch安装第一步：将安装包上传到Linux系统中的/usr/local目录下，为Elasticsearch创建安装用户名为“es”第二步：在root用户下解压elasticsearch安装包，为es用户设置对elasticsearch的权限第三步：进入elasticsearch-6.1.0目录修改elasticsearch.yml使任何主机都能够访问elasticsearch第四步：将用户的软硬限制进行调整，打开“

/etc/security/limits.conf”添加配置第五步：调整虚拟内容大小，将虚拟内存调整至262144第六步：切换到“es”用户，启动elasticsearch任务6-3使用ELK实现某官网日志数据预处理叁2LogstashLogstash是一款开源的数据收集引擎，其中内置了约200个插件，可接受各种类型的数据（日志、网络请求、关系型数据库、传感器或物联网等）。Logstash由输入、过滤器和输出三大类插件组成。输入组件（input）：logstash的输入源，用于接收日志，支持从file（文件）、beats（beat组件）、syslog（第三方平台syslog）、stdin（控制台输入）输入数据。过滤组件（filter）：logstash的过滤器，内置了大量的过滤插件，可以对收到的日志进行各种处理。输出组件（output），用于将收集到的数据输出到指定位置。任务6-3使用ELK实现某官网日志数据预处理叁2LogstashLogstash配置文件结构如下所示input{#输入组件配置}Filter{#过滤组件配置}output{#输出组件配置}使用Logstash进行数据收集时需要手动创建扩展名为“.conf”的配置文件，并输入三个组件的配置即可，然后使用Logstash命令启动数据收集，启动命令如下所示。logstash-f./logstash.conf任务6-3使用ELK实现某官网日志数据预处理叁2Logstash（1）INPUT输入组件配置Kafkastdinfilestdin表示标准输入，用于接收命令行中的输入信息，通常用于开发人员对Logstash配置进行测试Kafka插件能够读取Kafka中主题中的事件，能够使Logstash消费Kafka中的数据，消费Kafka中原数据时，事件中会包含Kafka代理的元数据file插件能够以数据流的方式从文件中获取时间，该插件可设置两种操作模式即Tail或Read模式，在Tail模式下Logstash会始终监控数据文件获取新增内容。任务6-3使用ELK实现某官网日志数据预处理叁2Logstash（2）过滤配置Logstash中提供了数十种过滤插件，并且在Logstash中过滤插件是功能最强大，配置最为复杂的插件。过滤插件能够根据要求对数据在采集过程中进行初步的筛选或格式化操作grokgrok过滤器能够将非结构化日志数据解析为结构化数据。%{SYNTAX:SEMANTIC}geoipgeoip能够根据免费的IP地址提供对应的地域信息，其中包括国家、省市和经纬度等，用于绘制可视化地图，主要应用在根据地域统计访问流量的场景。任务6-3使用ELK实现某官网日志数据预处理叁2Logstash（3）输出配置Logstash提供了数十种输出配置插件，能够适应不同的应用场景和业务需求，常用的就是标准输出stdout和Elasticsearch两类，其中stdout在前面示例已经应用过，

使用Logstash采集数据输出到Elasticsearch。参数描述hosts指定Elasticsearch的主机地址和端口Index事件索引，默认值为logstash-%{+YYYY.MM.dd}任务6-3使用ELK实现某官网日志数据预处理叁4KibanaKibana是一个开源的分析与可视化平台，配合Elasticsearch能够实现数据的检索、查看、交互存放以及数据的可视化，可通过丰富的图标功能直观的展示数据信息，达到数据分析的目的，Elasticsearch、Logstash和Kibana个技术简称为ELK。任务6-3使用ELK实现某官网日志数据预处理叁第一步：在“/usr/local/inspur/”目录中创建名为data的文件夹第二步：在“/usr/local/inspur/code/flume-code”目录下编写Flume配置文件，采集/usr/local/inspur/data目录下名为access_2021_05_01.log的日志文件第三步：使用“es”用户启动Elasticsearch服务第四步：使用Logstash消费Kafka的数据并对其进行正则匹配，将