《大数据导论》课件-3.4.2Logstash简介_第1页
《大数据导论》课件-3.4.2Logstash简介_第2页
《大数据导论》课件-3.4.2Logstash简介_第3页
《大数据导论》课件-3.4.2Logstash简介_第4页
《大数据导论》课件-3.4.2Logstash简介_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大数据导论数

据

采

集Logstash介绍目录01logstash简介

02logstash工作原理03logstash配置

Logstash简介Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地Logstash工作原理Logstash的数据处理过程主要包括：Inputs（输入）,Filters（过滤）,Outputs（输出）三部分，均以插件形式存在，用户通过定义pipeline配置文件，设置需要使用的input，filter，output插件，以实现特定的数据采集，数据处理，数据输出等功能（1）Inputs：用于从数据源获取数据，常见的插件如file,syslog,redis,beats等（2）Filters：用于处理数据如格式转换，数据派生等，常见的插件如grok,mutate,drop,clone,geoip等（3）Outputs：用于数据输出，常见的插件如elastcisearch，file,graphite,statsd等Logstash工作原理输入：采集各种来源的数据数据往往以各种各样的形式，或分散或集中地存在于各个系统中。Logstash支持各种输入选择，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web应用、数据存储以及各种AWS服务采集数据。Logstash工作原理筛选：实时解析和转换数据数据从源传输到存储库的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。Logstash能够动态地转换和解析数据，不受格式或复杂度的影响。如：利用Grok从非结构化数据中派生出结构从IP地址破译出地理坐标将PII数据匿名化，完全排除敏感字段简化整体处理，不受数据源、格式或架构的影响Logstash工作原理输出:选择存储库，导出数据Logstash提供众多输出选择，可以将数据发送到要指定的地方，并且能够灵活地解锁众多下游用例。支持的输出端见官网的列表：Logstash配置logstash的配置文件是以conf作为后缀名主要由三部分组成。1、input：用于配置输入源列表，支持多条输入源配置2、filter：用于配置对数据源的数据进行筛选和处理3、output：用于配置对经过处理后的数据，传输或者保存到输出端信息不同的输入输出源，配置的参数不同，详见官网列表#输入input{

...}#过滤器filter{

...}#输出output{

...}Logstas

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论