版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、大数据应用大数据应用-系统监控与日志分系统监控与日志分析析2/22/2022目录 网易有道简介 在线服务监控 离线日志分析2/22/2022有道的发起者是一群执着于搜索技术的年轻人,我们发现中文网络中的搜索还远未达到理想,所以希望通过我们现在和将来的努力,把设想中的服务一点点变成现实,分享给大家使用,让你更快一秒更快一秒找到想要的好东西。 关于有道2/22/2022有道产品 搜索类2/22/2022有道产品 翻译类 其他产品2/22/2022在线监控与离线分析2/22/2022设计原则 不影响正常服务 水表不能把水堵了 通用性 如果不够通用2/22/20222/22/2022目录 有道产品简介
2、 在线服务监控 离线日志分析2/22/2022在线服务监控 访问控制系统 性能监控系统 异常报警系统2/22/2022访问控制系统 主要目的:防止非用户抓取 冲击系统服务 影响访问统计 非法使用数据 挑战 灵活的控制规则 减小对产品服务的影响2/22/2022访问控制规则 过滤规则 Key: Header字段,parameter Key: 正则表达式 例子: Ip=123.45.*, agent=“firefox.*” 频度控制 统计时间(span) 次数的阈值(threshold) 例子: span:3600000 threshold:10002/22/2022访问控制系统 总体结构 旁路统
3、计 规则封禁 访问控制服务器 维护规则库 按规则进行统计 为产品生成封禁列表 产品服务端 转发请求 同步封禁列表 实施访问控制2/22/2022访问控制系统2/22/2022性能监控系统 功能:实时统计服务中的性能参数 如处理时间、吞吐率等 特点 通用性 集中的数据分析与存储 直观的展现方式2/22/2022性能监控的需求 通用性 各种产品不同的需求 自定的统计量 不同的编程语言 性能要求 减小对产品服务的影响 大数据量的分析与存储2/22/2022监控系统的设计 松耦合 通过日志文件交换数据 文本格式 自定义统计量 的三元组 大数据量 多分辨率压缩存储2/22/2022监控系统结构图2/22
4、/20222/22/20222/22/2022异常报警系统 功能 自动筛查日志中的Exception 发现问题自动发信报警 优点 通用性强 使用简单2/22/2022目录 有道产品简介 在线服务监控 离线日志分析2/22/2022离线日志统计 主要的目的 用户使用习惯 用户对产品的好感度 系统运行状态 市场推广情况2/22/2022日志收集 集中的日志服务器 产品的服务器是分布式的,需要统一分析 所有产品公用,降低运营复杂度 大数据量存储 服务器建立本地缓存 最终保存在分布式文件系统中 压缩存储 防止日志丢失 支持备份服务器 分布式文件系统保证可靠性2/22/2022日志收集系统2/22/20
5、22日志分析 主要的挑战 超大数据量 运算时间的要求 组合统计 解决方法 分布式计算2/22/2022分布式分析程序2/22/2022常规统计 访问量 时间 地域 用户 新用户:推广与传播的效果 老用户:真正使用这个产品 功能切换 页面切换 产品切换2/22/2022一些有意思的统计规律 周末与非周末 什么时候流量更大?2/22/2022周末与非周末工具(网页搜索、海量词典)vs 娱乐(视频搜索、音乐搜索)平时需要工具,周末需要娱乐平时需要工具,周末需要娱乐2/22/2022一些有意思的统计规律 不同的时段访问有区别吗? 搜索和吃饭的关系?2/22/2022工具 vs 娱乐白天需要工具,晚上需要放松白天需要工具,晚上需要放松2/22/2022公网 vs 教育网白领和中小学生要早睡,大学生都是夜猫子白领和中小学生要早睡,大学生都是夜猫子2/22/2022更多的分析 有道阅读的12个有趣的发现 订阅博客范围,新老各有地盘 职业和阅读习惯 阅读真的变成快餐了 明
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 汽车维修检验工创新方法知识考核试卷含答案
- 陶瓷工艺品彩绘师操作水平测试考核试卷含答案
- 智能硬件装调员安全文化竞赛考核试卷含答案
- 继电器调整工班组管理水平考核试卷含答案
- 婚姻家庭咨询师安全教育水平考核试卷含答案
- 冠心病护理的基本知识与技能
- 胃造瘘管的护理
- 广播电视天线工技术基础竞赛考核试卷含答案
- 遗体防腐师进度管理知识考核试卷含答案
- 2026年齐齐哈尔高等师范专科学校高职单招笔试化学历年参考题库含答案解析
- 2026年消防设施操作员(初级)实操考核试题及答案
- 七年级(上)历史63个核心必背考点
- 《CSCO胰腺癌诊疗指南(2026)》更新要点解读
- 儿童情绪调节量表
- 基于核心素养的小学语文大单元教学设计与实施指南
- 2026年新教材人教版九年级上册英语Unit 2 Inspiring people 教案
- 学校校务公开及信息发布管理办法
- 预制管桩雨季施工方案
- 人教版川教版 三年级上册《生命生态安全》简述式教案
- SLT 336-2025水土保持工程全套表格
- 2026年前程无忧性格测试题目及答案
评论
0/150
提交评论