Flume安装和配置

1、第一章 Flume基础篇一、核心概念1、 Event 数据传输基本单元 。 构成 header(可选的)+ byte array(载有数据)。2、 Client 将原始log包装成events并且发送它们到一个或多个agent的实体。3、 AgentFlume流的基础部分。包含Sources, Channels, Sinks和其他组件，它利用这些组件将events从一个节点传输到另一个节点或最终目的。Flume为这些组件提供了配置、生命周期管理、监控支持。4、Source负责接收events或通过特殊机制产生events，并将events批量的放到一个或多个Channels。有event驱动和

2、轮询2种类型的Source。5、Channel位于Source和Sink之间，用于缓存进来的events，当Sink成功的将events发送到下一跳的channel或最终目的，events从Channel移除。持久化水平。Channels支持事务。提供较弱的顺序保证。可以和任何数量的Source和Sink工作。6、Sink 责将events传输到下一跳或最终目的，成功完成后将events从channel移除。类型：HDFS、HBase 存储events到最终目的的终端的Sink Null Sink 自动消耗的Sink Avro 用于Agent间通信的IPC Sink必须做用于一个确切的Chan

3、nel。7、Interceptor用于Source的一组Interceptor，按照预设的顺序在必要地方装饰和过滤events。内建的Interceptors允许增加event的headers比如：时间戳、主机名、静态标记等等。定制的interceptors可以通过内省event payload（读取原始日志），在必要的地方创建一个特定的headers。8、Channel Selector允许Source基于预设的标准，从所有Channel中，选择一个或多个Channel。内建的Channel Selectors：复制Replicating: event被复制到相关的channel复用Mult

4、iplexing: 基于hearder，event被路由到特定的channel9、Sink Processor多个Sink可以构成一个Sink Group。一个Sink Processor负责从一个指定的Sink Group中激活一个Sink。Sink Processor可以通过组中所有Sink实现负载均衡；也可以在一个Sink失败时转移到另一个。Flume通过Sink Processor实现负载均衡（Load Balancing）和故障转移（failover）。所有的Sink都是采取轮询（polling）的方式从Channel上获取events。这个动作是通过Sink Runner激活的。S

5、ink Processor充当Sink的一个代理。内建的Sink Processor：Load Balancing Sink Processor 使用RANDOM, ROUND_ROBIN或定制的选择算法Failover Sink ProcessorDefault Sink Processor（单Sink）第二章 公司Collect项目各个组件1、 collect.flume.plugin第三章 Flume1.6.0单机版安装与配置环境：JDK1.6及以上、Telnet工具（远程连接、明文发送）1、 解压缩apache-flume-1.6.0-bin.tar.gztar zxvf apache

6、-flume-1.6.0-bin.tar.gz2、 在conf下新建simple.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe th

7、e sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c13、$ bin/flume-ng agent -conf conf

8、 -conf-file example.conf -name a1 -Dflume.root.logger=INFO,console4、$ telnet localhost 44444第四章 Flume常见问题解决1、少zookeeper-3.4.5-cdh5.5.0-20150721.160244-261.jar包2、第五章 Flume Configuration研究1、simple.conf单个agent配置文件# example.conf: A single-node Flume configuration# Name the components on this agenta1.sou

9、rces = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000

10、a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1这种结构定义了一个agent a1。a1有一个在端口44444监听数据的source，一个用来事件数据缓存在内存的channel，和一个把事件数据输出到控制台的sink。这个配置文件命名了各个组成部分，然后介绍了它们的类型和配置参数。一个给定的配置文件可以定义几个指定的agent；当一个给定的Flume进程工作的时候，告诉这个进程哪个已经命名的agent会起作用的标记会被通过。3、 flume-site.conf