




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据导论数
据
采
集Filebeat介绍目录01Filebeat介绍
02Filebeat组成
03工作原理04filebeat.yml文件配置05启动FilebeatFilebeat简介Filebeat是本地文件的日志数据采集器,作为服务器上的代理安装,监视日志目录或特定日志文件,并将它们转发给Elasticsearch或Logstash、kafka等Filebeat是一个轻量级日志传输Agent,占用资源少,而且安装配置也比较简单,支持目前各类主流操作系统及Docker平台。Filebeat包含两个部分:Inputs和Harversters。Inputs:负责管理harvesters和发现可读的资源。Harverster:负责读取日志文件,一行一行的读,并将读到的内容发送到输出管道,一个Harverster对应了一个日志文件。Filebeat组成部分工作原理Filebeat主要通过配置文件filebeat.yml中设置的参数来实现控制输入与输出。1、将日志文件作为filebeat的输入或者通过inputs配置日志文件的路径2、filebeat启动harversters,读取相关的日志文件,提取相应的数据3、经由缓存区,输出到配置文件中的output配置的输出端,如logstash。1.log2.log3.logharversters1harversters2harversters3input1缓存区LogstashFilebeatfilebeat.yml文件配置filebeat的如何工作运行,依赖于filebeat.yml配置文件的参数文件路径:filebeat安装根目录/filebeat.yml涉及输入输出的filebeat配置项有两个:采集配置输出配置InputOutputfilebeat.yml文件配置inputs采集配置常用配置type:指定input类型,有log、stdin、redis、tcp、syslog等fields:可以自定义添加字段,到output中去,后续可以使用这些字段paths:日志文件的目录filebeat.yml文件配置Outputs输出配置filebeat支持输出到多种输出端1、ElasticsearchOutput:输出到es里。2、LogstashOutput:输出到logstash里。3、RedisOutput:输出到redis里。4、FileOutput:输出到file里。5、ConsoleOutput:输出到console里。由于不同的输出配置参数不一样,因此官网提供了默认配置文件,找到对应的Filebeat版本,找到Configure-->output-->输出端启动filebeat配置好filebeat.yml文件后运行命令:./
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 环保自卸车租赁合同范本
- 绿化垃圾清运合同协议书
- 空乘解除合同协议书范本
- 江苏充电桩转让合同范本
- 海外团队游学服务协议书
- 汽车个人租赁合同协议书
- 经济合同敬业协议书模板
- 热处理长期加工合同范本
- 电梯门装修工程合同范本
- 砖厂废铁价转让合同范本
- 3C认证全套体系文件(手册+程序文件)
- 木工三级安全教育试卷
- 中学田径基础校本课程教材
- 永能选煤厂生产安全事故应急救援预案
- 河北省邯郸市各县区乡镇行政村村庄村名居民村民委员会明细及行政区划代码
- 浙江省建设领域简易劳动合同(A4版本)
- 城市规划原理课件(完整版)
- 浙江省本级公务车辆租赁服务验收单(格式)
- 糖代谢紊乱的实验诊断
- 400T汽车吊主臂起重性能表
- 大信审计执业问题解答-存货监盘审计指引
评论
0/150
提交评论