第九章 FusionInsight 技术基础 - Flume架构原理

HCNP,FusionInsight,R2CXX,1.0,2015.12,占英华/00108545,新开发,张伟/301377,Flume架构原理,学完本课程后，您将能够：了解Flume的架构理解Flume的基本概念了解Flume的可靠性掌握Flume的安装与配置,Flume架构Flume基本概念Flume可靠性Flume安装与配置,Flume架构,Source,Channel,Sink,Log,HDFS,Source,Channel,Sink,Source,Channel,Sink,HDFS,Log,Flume基础架构：Flume可以单节点直接采集数据。如图，该场景主要适用于集群内节点上日志信息收集。,Flume多agent架构：该场景主要应用于收集FusionInsight集群外节点上的日志，并经过多个Flume节点最终汇聚到集群内。,Flume架构（续）,events,Source,events,ChannelPorcessor,Interceptor,ChannelSelector,Channel,events,Channel,events,Sink,SinkRunner,SinkProcessor,events,events,Flume架构Flume基本概念Flume可靠性Flume安装与配置,基本概念-Event,Event是Flume数据传输的基本单元。Flume以Event的形式将数据从源头传送到目的地。Event由可选的Headers和载有数据的一个byte数组构成。数据对Flume是不透明的，Flume在传输过程中可以根据配置对数据过滤。Headers是容纳了key-value字符串对的无序集合，key在集合内是唯一的，可以根据键值选择发到不同的目的地。Headers可以在上下文路由中使用扩展。,publicinterfaceEventpublicMapgetHeaders();publicvoidsetHeaders(Mapheaders);publicbytegetBody();publicvoidsetBody(bytebody);,基本概念-Source,Source负责接收events或通过特殊机制产生events，并将events批量的放到一个或多个Channels。有驱动和轮询2种类型的Source：驱动型source：外部主动发送数据给Flume，驱动Flume接受数据轮询型source：Flume周期性主动去获取数据Source必须至少和一个channel关联。,基本概念-Channel,Channel位于Source和Sink之间，用于临时缓存events，当Sink成功地将events发送到下一跳channel或最终目的，events从Channel移除。不同Channels提供不同的持久化水平:MemoryChannel：不会持久化FileChannel：基于WAL（预写式日志Write-AheadLog）实现JDBCChannel：基于嵌入式Database实现Channels支持事务提供较弱的顺序保证,基本概念-Sink,Sink负责将events传输到下一跳或最终目的，成功完成后将events从channel移除。必须作用于一个确切的channel。,基本概念-Interceptor,Interceptor：拦截器，主要在数据（event）放入到channel前对数据过滤或者在数据中增加某些额外信息。Flume支持用户根据规则扩展拦截器，从而实现对数据在采集后对数据精确过滤。Flume自带的Interceptors允许采集时将某个节点的主机名、时间戳等信息从源断携带到目的地，而目的地根据这些信息归档采集到的数据。,基本概念-ChannelSelector,ChannelSelector允许Source基于预设的标准，从所有Channel中，选择一个或多个Channel，即同一个数据源可以分发到不同的目的。内建的ChannelSelectors类型:复制Replicating：event被复制到相关的channel，即数据都放到同一个目的地复用Multiplexing：基于hearder，event被路由到特定的channel,基本概念-sinkProcessor,一个SinkProcessor负责从一个指定的SinkGroup中激活一个Sink，该Sink从channel中获取数据保存到目的中。Flume的SinkProcessors类型:LoadBalancingSinkProcessor：负载均衡器使用RANDOM,ROUND_ROBIN来激活不同的sink保存数据FailoverSinkProcessor：故障转移，当一个sink保存数据失败时，会使用另外一个sink来保存数据DefaultSinkProcessor：使用指定的、单一的sink来保存数据,Flume架构Flume基本概念Flume可靠性Flume安装与配置,Flume可靠性,可靠性基于:Flume级联时事务的间接交换Flow中，Channel的持久特性可用性:内建的Loadbalancing支持内建的Failover支持,Channel,Sink,Source,Channel,Starttx,Takeevents,Sendevents,Starttx,Putevents,Endtx,Endtx,Agent间的事务交换,Flume可靠性（续）,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,source,channel,sink,正常Flow,Agent之间通信故障,故障恢复后，Flow回到正常状态,Flume架构Flume基本概念Flume可靠性Flume安装与配置,Flume安装,Flume安装分为Client端和Server端安装：如果只是从集群内收据信息，那么只需安装Server；如果是从集群外收集信息，那么需要安装Client和Server。Flumeserver端包括flume和monitorServer两种角色：flume执行flume业务实体。monitorServer用于管理客户端实例，目前只支持告警功能。,Flume安装（续）,FlumeClient安装方法：在FusionInsightManager界面，选择ServiceFlumeDownloadClient，下载客户端安装包。将上述安装包上传到要安装的节点上，解压，执行安装包中如下脚本和命令安装：./install.sh-d/opt/FlumeClient-fip-uroot-grootcflume/conf/perties上述命令中：-d是安装路径，-f是Flume的MonitorServer其中任一IP，-u是Flumeclient运行时用户，-gFlumeclient运行时用户组，-c是客户端配置文件信息。,Flume配置,Flume的配置采用声明式配置：先声明source、channel、sink的名字,client.sources=static_log_sourceclient.channels=static_log_channelclient.sinks=static_log_sink然后根据类型和改名字配置其他参数信息，如下:client.sources.static_log_source.type=spooldirclient.sources.static_log_source.spoolDir=/srv/BigData/client.channels.static_log_channel.type=fileclient.sinks.