大数据应用--系统监控与日志分析

1、大数据应用大数据应用-系统监控与日志分系统监控与日志分析析3/18/2022目录 网易有道简介 在线服务监控 离线日志分析3/18/2022有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒更快一秒找到想要的好东西。 关于有道3/18/2022有道产品 搜索类3/18/2022有道产品 翻译类 其他产品3/18/2022在线监控与离线分析3/18/2022设计原则 不影响正常服务 水表不能把水堵了 通用性 如果不够通用3/18/20223/18/2022目录 有道产品简介

2、 在线服务监控 离线日志分析3/18/2022在线服务监控 访问控制系统 性能监控系统 异常报警系统3/18/2022访问控制系统 主要目的：防止非用户抓取 冲击系统服务 影响访问统计 非法使用数据 挑战 灵活的控制规则 减小对产品服务的影响3/18/2022访问控制规则 过滤规则 Key: Header字段，parameter Key: 正则表达式 例子： Ip=123.45.*, agent=“firefox.*” 频度控制 统计时间（span） 次数的阈值（threshold） 例子： span:3600000 threshold:10003/18/2022访问控制系统 总体结构 旁路统

3、计 规则封禁 访问控制服务器 维护规则库 按规则进行统计 为产品生成封禁列表 产品服务端 转发请求 同步封禁列表 实施访问控制3/18/2022访问控制系统3/18/2022性能监控系统 功能：实时统计服务中的性能参数 如处理时间、吞吐率等 特点 通用性 集中的数据分析与存储 直观的展现方式3/18/2022性能监控的需求 通用性 各种产品不同的需求 自定的统计量 不同的编程语言 性能要求 减小对产品服务的影响 大数据量的分析与存储3/18/2022监控系统的设计 松耦合 通过日志文件交换数据 文本格式 自定义统计量 的三元组 大数据量 多分辨率压缩存储3/18/2022监控系统结构图3/18

4、/20223/18/20223/18/2022异常报警系统 功能 自动筛查日志中的Exception 发现问题自动发信报警 优点 通用性强 使用简单3/18/2022目录 有道产品简介 在线服务监控 离线日志分析3/18/2022离线日志统计 主要的目的 用户使用习惯 用户对产品的好感度 系统运行状态 市场推广情况3/18/2022日志收集 集中的日志服务器 产品的服务器是分布式的，需要统一分析 所有产品公用，降低运营复杂度 大数据量存储 服务器建立本地缓存 最终保存在分布式文件系统中 压缩存储 防止日志丢失 支持备份服务器 分布式文件系统保证可靠性3/18/2022日志收集系统3/18/20

5、22日志分析 主要的挑战 超大数据量 运算时间的要求 组合统计 解决方法 分布式计算3/18/2022分布式分析程序3/18/2022常规统计 访问量 时间 地域 用户 新用户：推广与传播的效果 老用户：真正使用这个产品 功能切换 页面切换 产品切换3/18/2022一些有意思的统计规律 周末与非周末 什么时候流量更大？3/18/2022周末与非周末工具（网页搜索、海量词典）vs 娱乐（视频搜索、音乐搜索）平时需要工具，周末需要娱乐平时需要工具，周末需要娱乐3/18/2022一些有意思的统计规律 不同的时段访问有区别吗？ 搜索和吃饭的关系？3/18/2022工具 vs 娱乐白天需要工具，晚上需要放松白天需要工具，晚上需要放松3/18/2022公网 vs 教育网白领和中小学生要早睡，大学生都是夜猫子白领和中小学生要早睡，大学生都是夜猫子3/18/2022更多的分析 有道阅读的12个有趣的发现 订阅博客范围，新老各有地盘 职业和阅读习惯 阅读真的变成快餐了 明