hadoop7天教程3高级6flume原理和使用

深入浅出hadoop

——培训讲师：吴超

课程安排Flume是什么、应用场景**Flume的使用***常用的分布式日志收集系统flume概述flume是一个分布式的数据收集系统，具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快，完全可以用于生产环境。flume的核心是agent。agent是一个java进程，运行在日志收集端，通过agent接收日志，然后暂存起来，再发送到目的地。Flume核心概念核心概念：agent、source、channel、sink、interceptorsource可以接收各种格式的数据，如console、thrift、exec、httpdentsink可以发送到各种不同的目的地，如hdfs、hbase、文件、控制台等channel缓冲数据，可以放在内存、文件、数据库等interceptor可以在数据传递过程中改变其属性信息安装步骤1.下载apache-flume-1.4.0-bin.tar.gz和apache-flume-1.4.0-src.tar.gz2.两个都解压缩，然后把src文件夹中的内容全部复制到bin文件夹3.核心是写配置文件#agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.sources.source1.type=spooldiragent1.sources.source1.spoolDir=/root/hmbbsagent1.sources.source1.channels=channel1agent1.sources.source1.fileHeader=falseerceptors=i1erceptors.i1.type=timestamp#配置sink1agent1.sinks.sink1.type=hdfsagent1.sinks.sink1.hdfs.path=hdfs://hadoop0:9000/hmbbsagent1.sinks.sink1.hdfs.fileType=DataStreamagent1.sinks.sink1.hdfs.writeFormat=TEXTagent1.sinks.sink1.hdfs.rollInterval=1agent1.sinks.sink1.channel=channel1agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d#配置channel1agent1.channels.channel1.type=fileagent1.channels.channel1.checkpointDir=/root/hmbbs_tmp123agent1.channels.channel1.dataDirs=/root/hmbbs_tmp启动脚本执行命令bin/flume-ngagent-nagent1-cconf-fconf/example-Dfl