基于ELK的实时日志分析系统PPT课件

.,1,基于ELK的实时日志分析系统,主讲人：吴晓刚2014.02.24,.,2,一：需求与挑战,二：ELK日志分析方案架构,三：ELK主要特性,四：集群的管理与监控,五：数据看板Demo,目录CONTENTS,.,3,需求与挑战,能做类似搜索引擎的全文索引和查询,能按需对搜索结果做实时聚合计算,系统无缝水平扩展,接口适配方式丰富，数据拆分灵活,支持多样的日志类型:IIS,vdesk,mobile,AX,Remedy,etc,能满足日志量随着业务量不断增长的需要,各个日志的字段都要能够组合搜索，速度也要可以接受,可以做多维度的实时日志分析,.,4,ELK日志分析解决方案,.,.,ElasticSearch搜索引擎Logstash日志搬运、拆解Kibana数据看板,Kibana,.,5,携程Ops日志系统架构,.,6,Logstash-概览,数据加工厂,数据搬运工,.,7,Logstash丰富的Plugin,.,8,ElasticSearch特性,底层基于ApacheLucene实时索引,实时分析分布式，高可用冲突管理，避免数据丢失支持全文搜索面向文档,SchemaFreeRestfulAPI开源，免费(Apache2OpenSourceLicense),.,9,ES集群示例,.,10,ES对比关系型数据库,.,11,ES-Facet,用户希望在任意选定的时间范围，实时获取以下信息：访问量最高的Uagent,ClientIP是哪些出现5xx,4xx最高的URL是哪些服务器平均响应时间变化如何响应时间最慢的系统服务是哪些是否有某些IP访问频度过高从而可能是攻击行为Etc.Facet让这些需求的实现变得容易!,.,12,ESFacets实例,统计某时间段http错误日志里数量排名前7的错误代码,.,13,ESFacets实例,.,14,Kibana数据分析看板,不足:无用户权限管理无基于用户的配置管理内置看板类型有限，部分需求无法满足解决方案:通过防火墙限制访问用户IP二次开发提供用户登录和基于用户的配置管理功能在Kibana框架内按需开发专用看板,.,15,客户端集成,官方提以下主流编程语言Client:JavaGroovyPHPPerlPythonRuby,Python调用ES示例:,.,16,ES集群管理与监控(现状),监控,.,17,ES集群管理与监控(将来),.,18,监控数据实例硬件配置,ESDataNodes:4x(8vcoreCPU+64GBRAM+30TBHD,Raid5)LogstashIndexer2x(8vCoreCPU+64GBRAM)Redislogstashindexer共享服务器ESMasterNodeslogstashindexer共享服务器,.,19,监控数据实例-数据量（截至2014/02/07),截至2014/02/07,Open索引(可检索)：保留最近7天Closed索引(不可检索):保留最近30天,峰值流入数据量:40Mbps,峰值索引日志条数:5000/秒,.,20,监控数据实例ESDataNodeOSstats,.,21,监控