织云Meis时间序列异常检测全方位解析PPT课件.pptx

织云Metis时间序列异常检测全方位解析 腾讯社交网络运营部 Metis智能运维团队 1 传统时序监控的问题与新思路 检测算法原理与应用 特征工程与打标工程 样本库建设与管理 Metis概述 智能运维应用实践 2 业务规模 轻微的异常就会影响到大量的外网用户 在线2 8亿月活8 05亿 SNG服务器20w 社交类指标240w 3 传统监控与新思路 形态各异 准确率低 维护成本高 随着业务发展 传统监控呈现出的一些问题 4 传统监控与新思路 算法和机器学习的新思路是否可应用 5 传统时序监控的问题与新思路 检测算法原理与应用 特征工程与打标工程 样本库建设与管理 Metis概述 智能运维应用实践 6 常见的机器学习算法 回归 基于实例 正则化 贝叶斯 聚类 基于核 关联规则 决策树 深度学习 7 从大量输入中总结出准确预测的规律 模型 2 1 2 3 1 2 3 1 3 112 12 12 2 22 13 2 32 1 2 1 2 111 1 12 1 2 13 1 3 1 1 2 2 211 1 22 1 2 23 1 3 2 1 3 2 311 1 32 1 2 33 1 3 3 1 x x1 x2 x3是我们的输入y是期望的输出a b c d W b 是我们要求解的参数f是转换函数 公式 函数 算法 模型 也就是我们要找的 规律 数值型预测0 1型预测概率型预测等 8 技术路线演进 9 技术框架 离线模块 数据存储 统计算法 无监督算法输出疑似异常 样本库 人工标注 特征工程 离线计算 有监督算法 离线计算 数据提取 统计算法 无监督算法输出疑似异常 加载有监督模型 特征工程 实时计算 有监督算法 输出异常 在线模块 ABTest模块 人工审核 Atest 实验模型A Btest 实验模型B 10 第一层 统计判别算法 3sigma算法与控制图算法的优缺点 11 第一层 无监督算法 无监督学习算法的优缺点 12 第一层 无监督算法 13 第一层 无监督算法 14 第一层 无监督算法 15 第二层 有监督算法 有监督算法能解决的问题 16 2020 1 7 17 传统时序监控的问题与新思路 检测算法原理与应用 特征工程与打标工程 样本库建设与管理 Metis概述 智能运维应用实践 18 特征工程 特征是数据中抽取出来的对结果预测有用的信息 特征工程包含了特征提取 特征构建 特征选择等模块 样本 初始特征分布情况 特征监控 样本分析 全流程特征分析 参数分析 误差分析 特征有效性分析 离散化 离群点分布 共线性 缺省值 去均值 归一化 特征有效性分析 特征选择 特征组合与转换 模型调优 更新模型 因子化 相关性 缺省值 因子化 连续特征 离散特征 标准化 19 特征工程 20 特征工程 统计特征 最大值 最小值 值域最小值位置 最大值位置均值 中位数平方和 重复值方差 偏度 峰度同比 环比 周期性自相关系数 变异系数 21 特征工程 拟合特征 移动平均算法带权重的移动平均算法指数移动平均算法二次指数移动平均算法三次指数移动平均算法奇异值分解算法自回归算法深度学习算法 22 特征工程 分类特征 熵特征值分布特征小波分析特征 聚类Kmeans分类器 23 打标工程 输出异常视图到前端页面人工确认是否真的异常 假异常则校正后台根据人工校正的结果 存下校正后的所有结果 正常记为1 异常记为0 24 传统时序监控的问题与新思路 检测算法原理与应用 特征工程与打标工程 样本库建设与管理 Metis概述 智能运维应用实践 25 样本库管理与建设 样本库管理 样本是核心价值样本的丰富程度制约检测效果 格式 长度 标签 分类 正负 时间戳 标志 来源 样本查看 权限 类别 业务维度等样本查找 字段检索 相似度检索 时间片检索样本分类 标记 算法分类等 训练 提取 伪装 构造 分类 样本的积累贯穿机器学习的始终 功能集合 北向串联 通用规范 价值积累 26 样本库管理与建设 功能应用 样本库存储 正负 来源 窗口 类别A 类别B 类别C C R U D 提取 分类 查找 添加 伪装 构造 训练模型 离线打标 特征分析 算法调参 样本库管理 Action层 触发功能与样本数据的交互 DAO层 封装与数据进行联络的任务 无业务逻辑 显著提升应用效率和数据规范 Service层 功能模块的逻辑应用实现 数据层 根据样本量选择存储 三级分类 27 Metis时间序列异常检测业务效果 目前效果 90 80 用少量模型覆盖所有曲线 统计判别 无监督 有监督 准确率 计算方法 人工抽查 查看告警出来的时间序列和时间点是否准确辅助工具 打标工程 召回率 计算方法 人工从业务中选择一批异常的时间序列和相应的时间点 然后让这批序列通过现有模型 看看是否被召回辅助工具 样本库管理 28 传统时序监控的问题与新思路 检测算法原理与应用 特征工程与打标工程 样本库建设与管理 Metis概述 智能运维应用实践 29 渐进式的AIOps能力 30 织云Metis 腾讯织云AIOps应用实践 时间序列异常检测 集群智能负载均衡 容量分析与预测 多维根因分析 生死指标监控 学件N 学件 学件 学件 学件 学件组合 学件 学件 学件 学件 学件组合 学件 学件 学件 学件 学件组合 自动扩缩容决策 直播多维根因分析 更多运维场景 学件库 31 串联应用案例 容量分析与预测