大数据分析技术应用-Flume的工作原理

第一章Flume原理解析学习目标Flume特点Flume核心概念132知识思政技能Flume安装部署Flume使用场景吃苦耐劳科学探索精神技术前提Centos7.0Hadoop基本操作Flume特点Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理。

Flume的基本架构图：Flume特点flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成。SourceSinkEvent2Event1Event3EventChannelFlume特性（1）flume的可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。（2）flume的可恢复性。Flume一些核心概念（1）Client：Client生产数据，运行在一个独立的线程。（2）Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、avro对象等。）（3）Flow：Event从源点到达目的点的迁移的抽象。

（4）Agent：一个独立的Flume进程包含组件Source、Channel、Sink

Agent使用JVM运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。AgentFlume一些核心概念（5)sourceSource是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event）里，然后将事件推入Channel中。Flume一些核心概念（6)Channel：中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接sources和sinks，这个有点像一个队列。）Flume一些核心概念（7)Sink：从Channel中读取并移除Event，将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）Flume拦截器拦截器：当我们需要对数据进行过滤时，除了我们在Source、Channel和Sink进行代码修改之外，Flume为我们提供了拦截器，拦截器也是chain形式的。Flume数据流Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。Flume数据流值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。Flume多个agent顺序连接可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。多个Agent的数据汇聚到同一个Agent这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。多级流Flume还支持多级流，什么多级流？结合在云开发中的应用来举个例子，当syslog，java，nginx、tomcat等混合在一起的日志流开始流入一个agent后，可以agent中将混杂的日志流分开，然后给每种日志建立一个自己的传输通道。loadbala