hadoop应用12.第周关于flume

1、关于Flume课程内容Flume简介Flume示例Flume配置Flume实战2/51什么是Flume3/51什么是FlumeFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。4/51Flume原理5/51Flume原理6/51Flume原理Flume的数据流由事件(Event)贯穿始终。Event是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，Event由Agent的Source生成，当Source捕获事

2、件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。Channel可以看作是一个缓冲区，它将保存Event直到Sink处理完该Event。Sink负责持久化日志或者把Event推向另一个Source。7/51Flume AgentAgent由Source、Channel和Sink组成。Flume内部有一个或者多个AgentAgent中可以包含多个Source和Sink。Agent是一共独立的守护进程(JVM)8/51Flume Agent-SourceSource 负责数据的产生或收集，一般是对接RPC的程序或者是其他的Flume节点的SinkSource接收数

3、据,并将接收的数据以Flume的Event格式传递给Channel9/51Flume AgentSource类型10/51Flume Agent-ChannelChannel 是短暂的存储容器,负责数据的存储，将从Source处接收到的Event格式的数据缓存起来，直到被Sink消费掉Channel类似一个先进先出的队列，数据只有存储在下一个存储位置（可能是最终的存储位置，如HDFS；也可能是下一个Flume节点的Channel），数据才会从当前的Channel中删除。这个过程是通过事务来控制的，这样就保证了数据的可靠性。11/51Flume Agent12/51Flume Agent-Sin

4、kSink负责数据的转发，它从Channel消费数据(Events)并将其传递给目标地。目标地可能是另一个Sink,也可能是hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr等13/51Flume AgentSink类型14/51Flume的特点Flume提供收集、移动、聚合大量日志数据的服务实时的基于事件的流数据架构在生产和消费者之间启动协调作用提供了事务保证，确保Event可靠传输15/51课程内容Flume简介Flume示例Flume配置Flume实战16/51netcat简介17/51netcat简介netcat是网络工具中的瑞士军刀，它能

5、通过TCP和UDP在网络中读写数据。netcat所做的就是在两台电脑之间建立链接并返回两个数据流。netcat应用场景：建立一个服务器，传输文件，与朋友聊天，传输流媒体或者用它作为其它协议的独立客户端。18/51Flume配置-netcat19/51课程内容Flume简介Flume示例Flume配置Flume实战20/51Flume配置（1）-定义流21/51Flume配置（1）定义流示例22/51说明：一个名为agent_foo的agent，从一个外部的avro client读取数据，然后经过channel，再发送到HDFSFlume配置（2）-配置组件23/51Flume配置（2）配置组件

6、示例24/51Flume配置-单agent多流25/51Flume配置-单agent多流示例26/51Flume配置多agent流27/51为了能使数据流跨越多个agent或者跳，前一个agent的sink和当前一跳的source需要同样是avro类型的，并且sink需要指定source的hostname（或者ip地址）和端口号。Flume配置多agent流（1）28/51Flume配置多agent流（2）29/51合并数据流30/51扇出流31/51扇出流扇出（fan out）：一个Source的数据发送到多个SinkFlume支持多路输出event流到一个或多个目的地。这是靠定义一个多路数

7、据流实现的，它可以实现复制和选择性路由一个event到一个或者多个channel。这个扇出可以是复制（replicating）或者多路输出（multiplexing）。在复制数据流的情况下，每一个event被发送所有的channel中在多路输出的情况下，一个event被发送到一部分可用的channel中32/51扇出流配置（1）33/51扇出流配置（2）34/51扇出流示例（1）35/51课程内容Flume简介Flume示例Flume配置Flume实战36/51实验说明Spooling Directory Source37/51实验38/51实验Spooling Directory Source监测配置的目录下新增的