从传统运维走向AIOps转型之路

1、从传统运维走向AIOps转型之路技术创新，变革未来目录CONTENTS2、多维异常检测3、告警质量治理4、智能故障分析1、智能运维概述1 智能运维概述智能运维的几个要点服务器规模越来越大应用功能越来越丰富服务的关联越来越复杂引发故障的原因多种多样涉及的团队和人员越来越多海量数据时代面临的挑战智能运维的几个要点全业务流程覆盖故障前给出服务质量和风险点评估，做出故障预警无需人工维护监控策略，故障时自动发出告警多维度的异常检测，自动生成异常判断阈值有效的告警收敛，多维度的对告警进行合并智能对故障根因进行分析，给出最可能的原因，辅助人做决策根据故障原因选择合适的故障自愈策略并执行，自动解决故障2 多维

2、异常检测保证足够的监控覆盖率，及时发现各种异常静态阈值有固定范围，无周期性如CPU、内存使用率需调整的静态阈值无固定范围，无周期性如集群响应时间无固定阈值无固定变化范围，有周期性如PV、UV、订单量、交易额多维监控指标概述监控自动添加无需人工添加监控保证监控覆盖率静态阈值自动生成无需人工维护异常判断阈值可以配置海量的监控策略周期性指标的异常检测业务关键指标的异常检测多维度异常检测基础监控数据自动采集，依靠CMDB信息自动添加基础监控添加监控的几个要素：集群名集群IP列表基础监控策略集群负责人一、监控自动添加二、静态阈值自动生成基于样本统计分布自动计算动态阈值3-sigema样本符合或近似正态分

3、布易受异常值影响Tukeys test不受少量异常值的影响有时过于敏感三、周期性指标的异常检测背景整体规律性较强短期小幅波动较多适用场景网络出口或业务的进出流量集群和域名的访问量宏观业务数据流量预测及异常检测的技术框架智能异常检测的效果基于数据异常程度将异常分为：普通异常、严重异常、陡变异常模型有较好的普适性适用于不同数量级的数据；适用于不同变化规律的数据；适用于不同业务的数据；3 告警质量治理对异常做精准的告警，减少告警数量，提升告警信息含量告警收敛策略减少告警的数量，减少对人的干扰智能告警合并将同类的告警合并起来，并提供告警概况的总结告警质量治理对告警的需求告警收敛精准告警告警发送策略告警

4、分级：邮件-微信-短信-语音连续m次异常则告警/在m分钟时间段内有n次异常则告警告警间隔5分钟，最多告警n次30分钟后未处理则升级，1天后未处理则提醒告警升级后使用升级后的告警级别和接收人告警收敛策略智能告警合并合并时间窗口兼顾合并效果和告警时效性合并时间窗口为1分钟合并收益避免海量告警轰炸快速掌握故障情况辅助决策故障根因合并策略相同用户（对同一个人的告警合并）相同告警状态（异常，升级，恢复等）相同告警方式（语音，短信，微信等）合并维度根据集群合并根据IP合并根据网段合并根据异常种类合并（宕机、端口不通等）根据宿主机与虚拟机的关系合并智能告警合并维度选择类比决策树算法，基于基尼值最小化自动 选

5、择告警合并维度组合；+G = 1 ) ,-+./基尼值输入：数据集 = / /, , , 5 , , 5 /, , 5维度集 = /, , , 5过程：MergeGenerate(, )while do min_gini = 0.5 for F in A dofor k = 1 to do+ = (L+)/(),temp_gini = 1 -+./ +if temp_gini min_gini do min_gini = temp_gini split_dim = Fif min_gini = 0.5 do return = Ffor k = 1 to doMergeGenerate(L+,

6、)智能告警合并告警合并树算法描述：遍历全部备选维度，确认当前合并维度基于合并维度划分数据集，继续选择合并维度3.到达停止条件后停止解决思路：设计告警合并树算法基于基尼值计算，得到纯度提升最高的树形划分集群=?异常种类=?合并条数=16合并条数=14合并条数=16合并条数=258tongcheng端口不通异常种类=?服务器IP=?合并条数=2智能告警合并效果微信告警智能告警合并给出概况信息智能告警合并减少告警数量告警数量变化趋势告警数量对比告警数量减少90%左右4 智能故障分析自动定位故障，给出故障概况，提供相关数据辅助人做决策构建知识图谱服务调用链故障因果关系智能根因分析通过调用链和故障因果关

7、系自动定位故障原因给出概况描述和根因分析视图智能故障分析服务调用链基于公司内部开发框架开源软件等故障因果关系引入专家经验故障关联挖掘存储在图数据库构建知识图谱运维知识图谱服务调用链运维知识图谱多维数据的收集数据是智能的基础我们对数据的渴求是无限的，但现实条件的限制注定了能拿到的数据是很有限的不断收集，逐步打通，快速迭代监控配置历史告警事件CMDB数据发布、变更操作数据库事件多平台告警故障关联服务部署、调用运维画像基础数据平台打通关系挖掘运维知识图谱关联挖掘频繁集挖掘算法可获取频繁项集和关联规则；优化性能，改进算法；基于调用链获取原始数据集此时数据集普遍较小，计算效率可接受；减少随机因素干扰；运维知识图谱相关性检测运维知识图谱指标关联图根因分析行为树逻辑节点选择节点：顺序执行到成功或结束顺序节点：顺序执行到失败或结束重复节点：重复执行到条件异常事件类A宕机异常子树2.行为节点数据处理分析root选择节点顺序节点异常事件类D异常事件类A选择节点异常事件类B异常事件类C根因分析行为树行为节点指标关联分析关联的异常同时发生服务调用分析调用服务同时出现相同/相关异常操