Flume的安装与配置学生操作手册

Flume的安装与配置学生操作手册1.1、什么是FlumeApacheFlume（简称Flume）是一种分布式、基于流水线模型、可靠、容错、易于管理的架构，可以收集、日志记录和转移大量数据，特别适合收集日志文件，如Apache服务器日志或系统日志。Flume的架构主要由Flume代理、Flume事务管理器和接收端组成，它们分别负责数据的收集、路由和存储。Flume代理充当节点和连接器之间的中间层，它接收节点上的数据，然后基于源定义的路由规则将数据路由到一个或多个目标连接器上。Flume事务管理器负责Flume代理发来的数据，它负责检查数据是否有效，然后针对节点发来的数据，采用数据分割、校验、存储操作等优化、分发处理。接收端可以是HDFS、Hbase等，它们接收Flume发来的数据并存储入库，提供的数据存储可靠性和可用性。Flume的使用要求，系统高度可靠性。它使用基于流水线模型的可靠转移机制，可以保证数据在跨域传输过程中不会丢失。同时，Flume还支持基于失败重试机制的容错，不会因为某个节点故障而影响整个系统运行。此外，Flume也可以满足用户对管理及控制需求，提供数据转移状态可视化、日志转移管理和完成率等。总的来看，Flume是一种分布式数据采集、传输的有效架构，它可以有效的传输日志数据，保证了可靠性及容错性，同时提供简便的管理控制，是目前的大数据日志采集、传输的一种有效工具。它的主要作用是收集实时数据，它可以实时采集通过网络端口传输至本地的传感器数据，进而进行实时数据的分析。1.1.1Flume的三大核心组件：Source：数据源Channel：临时存储数据的管道Sink：目的地各们组件之间的架构如图1-1所示(1)Source：数据源通过source组件可以指定让Flume读取哪里的数据，然后将数据传递给后面的channel(2)Channel：接受Source发出的数据可以把channel理解为一个临时存储数据的管道Channel的类型有很多：内存、文件，内存+文件、JDBC等Flume内置支持读取很多种数据源，基于文件、基于目录、基于TCP\UDP端口、基于HTTP、Kafka的等等、并且他也是支持自定义的(3)Sink：从Channel中读取数据并存储到指定目的地Sink的表现形式有很多：打印到控制台、HDFS、Kafka等。注意：Channel中的数据直到进入目的地才会被删除，当Sink写入目的地失败后，可以自动重写，不会造成数据丢失，这块是有一个事务保证的。1.1.2Flume的安装与配置(1)上传apache-flume-1.9.0-bin.tar.gz至/export/software/中，如图1-2所示(2)解压软件至指定上目录：cd/export/software/tar-zxvfapache-flume-1.9.0-bin.tar.gz-C/export/servers/(3)更改文件名：mv/export/servers/apache-flume-1.9.0-binflume-1.9.0(4)配置CONF文件cd/export/servers/flume-1.9.0/confcpflume-env.sh.templateflume-env.shviflume-env.sh添加Java环境变量：exportJAVA_HOME=/export/servers/jdk1.1.3Flume脚本的编写在/export/servers/flume-1.9.0/conf新建文件example.conf，命令如下：cd/export/servers/flume-1.9.0/confviexample.conf大文件中添加如下文档并保存：#example.conf:一个单节点的Flume实例配置#配置Agenta1各个组件的名称a1.sources=r1#Agenta1的source有一个，叫做r1a1.sinks=k1#Agenta1的sink也有一个，叫做k1a1.channels=c1#Agenta1的channel有一个，叫做c1#配置Agenta1的sourcer1的属性a1.sources.r1.type=netcat#使用的是NetCatTCPSource，这里配的是别名，Flume内置的一些组件都是有别名的，没有别名填全限定类名a1.sources.r1.bind=localhost#NetCatTCPSource监听的hostname，这个是本机a1.sources.r1.port=44444#监听的端口#配置Agenta1的sinkk1的属性a1.sinks.k1.type=logger#sink使用的是LoggerSink，这个配的也是别名#配置Agenta1的channelc1的属性，channel是用来缓冲Event数据的a1.channels.c1.type=memory#channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据a1.channels.c1.capacity=1000#内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多a1.channels.c1.transactionCapacity=100#source和sink从内存channel每次事务传输的event数量#把source和sink绑定到channel上a1.sources.r1.channels=c1#与sourcer1绑定的channel有一个，叫做c1a1.sinks.k1.channel=c1#与sinkk1绑定的channel有一个，叫做c1(2)Flume脚本的运行，具体操作步骤如下：输入命令进入文件夹cd/export/servers/flume-1.9.0/用下面的命令加载这个配置文件启动Flume：bin/flume-ngagent--confconf