AIOps的探索与实践

1、AIOps的探索与实践目录应用运维的痛点1携程AIOps实践之路2典型应用场景介绍34AIOps的一些思索和展望应用的生命周期开发测试部署运维监控分析发布持续集成持续交付DevOpsOps可用性保障、容量规划等应用告警质量不高准确率、覆盖率、及时性故障诊断效率低下告警风暴、根因定位、及时止损应用画像缺失重要性识别、容量规划、健康报告应用运维的一些“痛点”目录应用运维的痛点1携程AIOps实践之路2典型应用场景介绍3AIOps的一些思索和展望4携程AIOps实践之路运维方式的转变脚本时代 工具时代 自动化时代 智能时代人员结构的转变运维工程师运维开发工程师 运维AI工程师提出数据开发场景的平台诉

2、求提供稳定数据平台、满足各类 场景，降低数据开发门槛携程AIOps实践之路丰富应用画像网络异常检测通用异常检测平台精细化混合部署动态容量优化故障自愈效率质量成本异常检测容量预测故障诊断容量调整故障自愈成本优化携程AIOps实践之路AIOps实践异常指标检测智能弹性扩缩容资源混合部署智能告警诊断Online资源非业务高峰期 间运行Offline作业通过机器学习替代传统的固定阈值方案报警风暴中快速定位出故 障根源设计容量模型，动态调配 生产资源目录应用运维的痛点携程AIOps实践之路典型应用场景介绍3AIOps的一些思索和展望4(一) 监控时序的异常检测提升告警质量订单指标业务指标应用指标基础监控

3、指标监控时序指标异常检测流程DBHiveRest APIMonitor数据源配置数据集过滤异常检测告警状态机规则引擎预筛选算法集生成告警检测副本告警质量评判算法介绍有无标注监督类分类、回归半监督类分类、回归、聚类无监督类聚类、降维有无参数有参模型假设分布：Gaussian、Grubbs、Tukey等AR、MA、ARMA、 Holt-Winters、LSTM等无参模型直方图、熵、iForest等3-SigmaTukeyGrubbsiForest基于分布统计的异常检测xf(x)基于统计特性的异常检测基于频域滤波=0方法：DFT(离散傅里叶变换) = FFT(快速傅里叶变换) 2其中由2 替代基于频

4、域滤波时间序列周期发现自相关技术频域滤波技术频谱分析技术时频转换应用告警准确率、召回率达90%+和95%+应用告警全面替换为智能模式大部分时序数据都无标注不是所有时序都需要被“智能”检测不同的场景使用不同的检测算法异常检测的质量评估是个难点实践总结(二) 应用异常智能诊断提高故障排查效率、快速止损智能故障诊断 告警风暴Which one is theRoot Cause?应用调用关系故障影响因子故障关联性诊断 =1.相关性打分、聚合 , 2.后验概率打分 |= | 其中 , = 相关性打分10.80.60.40.20发布事件B量化应用指标告警事件A相关系数 = 0.98告警相关性聚合告警应用A

5、相关系数 = 0.98告警应用B后验概率打分事件A表示告警事件事件B表示变更事件P(A|B)代表似然概率P(A)、P(B)分别表示先验概率P(B|A)表示后验概率|=特征知识库异常文本解析专家标注特征提取知识库匹配APP信息组织匹配原因标签应用A酒店Redis应用B酒店Redis应用C酒店Redis应用D酒店Redis应用E风险控制SOA Server应用F酒店Redis应用G酒店Redis快速定位RCARCA分析结果：发布导致故障诊断由原来数十分钟将至分钟级告警质量是故障诊断的前提故障影响因子分析+专家经验知识库是核心服务调用链挖掘+关联打分是关键诊断结果的质量评估是个难点实践总结(三) O

6、nline/Offline混合部署大幅降低数据中心部署成本的创新技术混合部署背景Online应用Offline作业部署架构Task 1Task 2Task 3Task 4Task 5Task 1Online NodeAPPAPPAPPIDC网络宿主机监控报警上线发布基础 设施APPTask 2APPAPPTask 3APPAPP资源画像混部资源池 在线资源池 作业画像规则引擎统一调度离线作业Offline Node离线资源池Task 4Offline NodeTask 5CPU、IO隔离资源+应用画像用来筛选合适的Online资源供作业运行作业画像用来筛选合适运行的作业资源调度、退出保护机制保障不同业务的服务质量关键技术及挑战资源维度标签：CPU密集、内存消耗、IO密集型等聚类算法：K-means、DBSCAN等业务维度标签：预定类、引擎类、下单类、支付类等服务调用链挖掘专家经验高级(复合)标签：重要性、稳定性、活跃度、健康指数等图论模型：PageRank、声望打分等专家经验+单维度标签组合资源、应用画像减少Offline资源的采购成本探索一种创新的部署模式，为容器时代的混部积 累经验新数据中心的网络、大数据等建设提供标准实践总结45%作业数比230%利用率提升10%核数比10%作业效率提升目录应用运维的痛点1携程AIOps实践之路2典型应用