《数据采集技术》课件-Flume简介与核心配置

项目5

动态网页访问日志数据采集使用Flume采集某官网访问日志数据目录Content1使用Kafka消费Flume中某官网访问日志数据

2项目导言零

日志中通常包含了大量的用户访问网站的行为信息，比如页面响应时间、消耗的流量、访问时间、停留时间、是否访问成功等等一系列的信息，网站运营者可通过分析这些信息，对网站运营做出一定的决策。学习目标零知识目标了解什么是日志采集；熟悉日志数据采集的方法；掌握Flume进行数据采集的方法；精通使用Kafka进行消息订阅发布的方法技能目标具备使用Flume拦截器过滤数据的能力；具备熟悉Kafka的脚本操作的能力；具备掌握Flume采集日志文件的能力；具备掌握使用Kafka进行消息发布订阅的能力；素养目标具备精通Flume+Kafka架构实现数据采集的能力。技能目标具备事业心和责任心；具有艰苦奋斗的精神和务实作风；具有健康的体魄，良好的身体素质；具备责任心。使用Flume采集某官网访问日志数据壹Flume简介任务技能Flume是一个由Cloudera开发的分布式、可靠和高可用的海量日志收集和传输系统，具有基于流数据的简单灵活的架构。Flume数据采集配置Flume实现数据采集的方式非常简单，只需编辑相应的配置文件即可完成特定数据的采集与存储。Flume启动启动Flume代理使用名为flume-ng的shell脚本，该脚本位于Flume发行版的bin目录中。Flume拦截器配置Flume能够在数据采集的过程中对事件进行删除或修改，可理解为对事件进行过滤，这些功能是靠拦截器完成的。使用Flume采集某官网访问日志数据壹1Flume简介Flume是一个由Cloudera开发的分布式、可靠和高可用的海量日志收集和传输系统，具有基于流数据的简单灵活的架构。它具有可调整的可靠性机制以及故障转移和恢复机制，具有健壮性和容错性。Flume-og，随着功能的逐渐增多和完善，其存在的缺点也逐渐的暴露出来，Flume-og部分缺点如下：2核心组件设计不合理代码过于臃肿14“日志传输”十分不稳定核心配置缺乏标准3使用Flume采集某官网访问日志数据壹（1）Flume三层架构Flume由三层架构组成，分别为agent、collector和storage。Agent层（前端采集）01包含Flume的Agent组件，与需要传输数据的数据源进行连接Collector（数据汇聚）02通过多个收集器收集Agent层的数据，然后将这些转发到下一层Storage（数据存储）03接收collector层的数据并存储

数据源-->agent层-->collector层-->storage层使用Flume采集某官网访问日志数据壹（1）Flume三层架构

agent中包含三个核心组件分别为Source、Channel和Sink，组件说明如下所示。Sink（数据存储）下沉组件，负责取出Channel中的消息数据，将channel中的event数据发送到文件存储系统或服务器等。采集组件，用于与数据源进行对接，获取数据。Source支持的数据源包括Avro、Thrift、exec、JMS、spoolingdirectory、netcat、sequencegenerator、syslog、http、legacy、自定义类型。Source（数据源对接）Channel（数据汇聚）是一个缓存区，用于链接Source和Sink组件，缓存Source写入的Event使用Flume采集某官网访问日志数据壹（2）Flume扇入与扇出

扇入流（数据流合并）0102Flume日志收集中常见的场景是将客户端大量生成的日志数据发送到存储子系统或一消费者代理。使用Flume采集某官网访问