日志分析平台建设方案

1、v1.0可编辑可修改日志分析平台建设方案目录、现状和需求 2一现状与问题2二需求说明与分析2二、建设目标2三、系统设计 2一技术选型2二系统架构31. 架构图32. 架构分析3三系统介绍4四、实施方案5一系统配置51. 软件52. 硬件5二系统搭建55、现状和需求一现状与问题1. 日志文件分散在各个应用效劳器,开发人员必须远程登录才能查看日志,不利于 效劳器平安管控,加大生产效劳器的风险；2. 效劳器上各工程日志配置很随意,文件分布杂乱,没有统一的标准和治理；3. 日志文件占用效劳器大量的硬盘空间,如不及时清理会发生硬盘占满,影响系统 的正常运行；4. 对于超过百兆的日志文件根本没法翻开和关键

2、字搜索,不利于问题的快速定位和排查；5. 集群和分布式的系统需要查看多个效劳器的日志6. 日志保存的时间不统一,不能长时间保存日志二需求说明与分析1. 不需要开发人员登录生产效劳器就能查看日志;2. 统一标准日志的配置和输出格式；3. 实时的将日志文件从效劳器中迁出；4. 提供日志的检索和统计分析的平台；建设目标搭建支持高并发高可靠的日志分析平台,方便开发人员快速的检索日志, 排查问题,同时提供友好的分析和统计的界面.三、系统设计一技术选型针对这些问题,为了提供分布式的实时日志搜集和分析的监控系统,我们采用了业界通用的日志数据治理解决方案- 它主要包括 Elasticsearch 、Logst

3、ash 和Kibana三个系统.通常,业界把这套方案简称为ELK,取三个系统的首字母.调研了ELK技术栈,发现新一代的logstash-forward 即Filebeat ,使用了 golang,性能超logstash ,部署简单,占用资源少,可以很方便的和logstash和ES对接,作为日志文件采集组件.所以决定使用ELK+Filebeat的架构进行平台搭建.为了支持日志的高并发和高可靠需要进了消息队列MQ,这里选择了 kafka,相对其他消息中间件,kafka有支持大并发,快速持久化等优点, 而且ELK+Filebeat对kafka 的兼容性也很好.最终,我们采用Elasticsearch

4、+ Logstash+ Kibana+ Filebeat+ Kafka+ Zookeeper 架构搭建日志分析平台.二系统架构1.架构图2.架构分析第一层、数据采集层最左边的是业务效劳器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash效劳.第二层、数据处理层,数据缓存层logstash 效劳把接受到的日志经过格式处理,转存到 本地的kafkabroker+zookeeper集群中.第三层、数据转发层这个单独的Logstash节点会实时去kafka broker集群拉数据,转发至 ESDataNode.第四层、数据持久化存储ES DataNode 会把收

5、到的数据,写磁盘,建索引库.第五层、数据检索,数据展示ES Master + Kibana 主要 协调ES集群,处理数据检索请求,数据展示.三系统介绍1. Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易治理等特点.基于Apache Lucene构建,能对大容量的数据进行接近实时的存储、搜索和分析操作.通常被用作某些应用的根底搜索引擎,使其具有复杂的搜索功能；2. Logstash :数据收集额外处理和数据引擎.它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置；3. Kibana :数据分析和可视化平台.通常与

6、Elasticsearch配合使用,对其中数据进行搜索、分析和以统计图表的方式展示；4. Filebeat : ELK协议栈的新成员,在需要采集日志数据的server 上安装Filebeat ,并指定日志目录或日志文件后,Filebeat就能读取数据,迅速发送到Logstash 进行解析,亦或直接发送到Elasticsearch 进行集中式存储和分析.5. Kafka :数据缓冲队列.作为消息队列解耦了处理过程,同时提升了可扩展性.具有峰值处理水平,使用消息队列能够使关键组件顶住突发的访问压力,而不 会由于突发的超负荷的请求而完全崩溃.6. Zookeeper:是一种在分布式系统中被广泛用来作为：分布式状态治理、分布式协调治理、分布式配置治理、和分布式锁效劳的集群.kafka增加和减少效劳器都会在Zookeeper节点上触发相应的事件 kafka系统会捕获这些事件,进行 新一轮的负载均衡,客户端也会捕获这些事件来进行新一轮的处理.四、实施方案一系统配置1.软件2.硬件4台内网linux 效劳