基于实时日志收集系统在运维的实践

1、基于实时日志收集系统在运维的实践技术创新，变革未来架构与概况实践讲解遇到的问题目 录?Q&AQ01架构与概况1. 手机微博MAPI日志系统概况.服务于微博手机客户端的服务端.服务于微博客户端视频服务.服务于微博客户端基础架构.服务于用户增长.服务于手机微博MAPI的SLA及KPI1.1 手机微博MAPI日志架构rsyslog数据流Kafka应用rsyslogrsyslog应用rsyslog应用第三方ES KafkaHangoutES集群数据池统计部门统计部门rsyslog应用Spark Stream ngHDFS第三方KibanaES实时API服务离线 Sparks a结果集Kafka实时晌应

2、相关服务统计应用其他应用rsyslog02实践讲解2.实践讲解.对于最基本的一些问题的查询.链路监控.从客户端角度对服务端进行性能分析.客户端视频多维度间的计算.ES实时API服务.成本核算2.实践讲解.链路监控.总体情况判断七层，webserver，后端接口超时情况2.实践讲解我方一个接口平均时长报警需要判断是第三方哪个接口引起的2.实践讲解我方一个接口平均时长报警需要判断是第三方哪个接口引起的2.实践讲解.Webserver层与第三方调用层有相同维度.使用Webserver层URL作为两层共用的key2.实践讲解.链路监控.具体情况通过两层共有的sessionID，标记用户链路2.实践讲解

3、.从客户端角度对服务端进行性能分析.服务于服务端性能调优.AB调优对比.从用户角度分析延时问题2.实践讲解.从客户端角度对服务端进行性能分析.本地等待时间.dns查询时间.tcp建立连接时间.ssl握手时间.发送上行数据时间.等待服务器响应时间.读取header时间.读取body时间2.实践讲解.从客户端角度对服务端进行性能分析2.实践讲解.从客户端角度对服务端进行性能分析.AB调优对比2.实践讲解.客户端视频多维度间的计算.Timelion.支持不同维度的计算.函数式的语法.丰富的展现形式.提供了多种函数2.实践讲解.客户端视频多维度间的计算.首贞错误率例：首贞错误率 = 首贞错误量 总量.

4、es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).mvavg(20)2.实践讲解.客户端视频多维度间的计算.首贞错误率例：首贞错误率 = 首贞错误量 总量.es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).points().label(首贞错误率).title(视频错误率点图)2.实践讲解.客户端视频多维度间的计算.首

5、贞错误率例：首贞错误率 = 首贞错误量 总量. (.es(index=logstash-video-*, q=video_firstframe_status:error).divide(.es(index=logstash-video-*).derivative().mvavg(20).label(今日首贞错误率),.es(index=logstash-video-*, q=video_firstframe_status:error offset=-1d).divide(.es(index=logstash-video-* offset=-1d).derivative().mvavg(20).

6、label(昨日首贞错误率).title(视频错误率点图)2.实践讲解.ES实时API服务解决用户对ES集群数据直接查询的需求封装ES复杂的查询语法并优化语法 避免ES升级带来的语法变化可以监控用户的行为增强ES集群可控性资源使用透明2.实践讲解.ES实时API服务权限方面app_name app_key集群 索引2.实践讲解.ES实时API服务具体语法ES: metrics() aggregation(aggregation(aggregation(.)MYSQL: select metrics from table where key=value group by SINAOPSESRES

7、T:size: 10, agg_key: desc,indexName: logstash-mweibo-, fields: programname: v4-nginx-error-waf, waftype: error,host: *xxxx*, query_string:video_valid_play_duration:3000,timestamp:now-1d/2016-11-19-20-302016-11-19-21-30,timeFormat:day/month, avg/min/max/uniq/sum/percent:xxxx, isDetail:yes,app_name:xx

8、xxx,app_key:xxxxxxx2.实践讲解.ES实时API服务具体应用：客户端crash实时计算分析平台 各省份地区实时监控及调度报警聚合大屏监控作为动态扩容驱动因子2.实践讲解2.实践讲解2.实践讲解2.实践讲解2.实践讲解03遇到的问题3.遇到的问题.日志丢失问题.ES集群监控问题.ES服务器质量不均衡问题.Rsyslog中转到Kafka队列的架构迁移.Kafka的监控与管理3.遇到的问题.日志丢失与延时问题Rsyslog impstats模块可以对每一个发送的事件进行监控3.遇到的问题. ES集群监控问题 thread poolbulk_active bulk_queue search_activesearch_queue loadheap disk各种buffernode count slow log3.遇到的问题. ES集群监控问题3.遇到的问题. ES集群监控问题3.遇到的问题. ES服务器质量不均衡问题根据不同机器的回归负载情况对机器上的分片进行预迁移根据业务不同进行预分布，保证独立资源服务独占自己的资源池， 共享用户使用公用资源。3.遇到的问题. Rsyslog中转到Kafka队列