海量大数据平台运维智能化实践

1、海量大数据平台运维智能化实践技术创新 变革未来运维新趋势智能感知设备立体图像/红外激光测距仪雷达传感器智能决策视觉识别处理电脑资料库智能控制系统自动泊车碰撞预警车道保持系统无人驾驶全方位系统感知立体化监控运维事件异常自动检测智能运维决策简单/复杂规则诊断树/图机器学习自动化执行自愈流程运筹优化容量自动管理无人运维目录运维新趋势Tesla运维解决方案DataOps数据化运维数据价值转化AIOps征程阿里大数据运维我们的客户大数据核心业务承载集团的存储和计算超大规模几万 台服务器 几十 个集群服务集团几十 个用户承载集团几十 个实时作业重要业务媒体大屏 菜鸟 阿里妈妈 客满 智能服 务实时数仓An

2、alyticDB承载集团几十 个算法作业重要业务阿里妈妈、智能语音承载集团几十个业务运维分层解决方案Tesla大数据业务运维SRE应用目录运维新趋势Tesla运维解决方案DataOps数据化运维数据价值转化AIOps征程数据是一种新能源新能源算法技术通用的数据处理挑战：有效地收集、清洗数据实效性、准确性有序、有结构地分类组织和存储管理用算法打通、连接，分析这些数据有效、智能地将价值数据提炼、展示 出来什么是数据化运维定义：把所有系统运维数据采集起来、真正打通，深度挖 掘运维数据的价值，为运维提供数据决策基础和依 据，从系统“稳定性、成本、效率、安全”多个维 度，驱动自动化、智能化运维运营，真正

3、实现 AIOps。DataOps - AIOPS：相对于传统运维的改变，就是把传统的使用命令、 人工决策的运维过程，变成使用数据+算法（规则或 机器学习）的模式。进而为AI应用到运维场景提供 铺垫，是AIOps的前奏。怎么做数据化运维我们的使命：为阿里大数据保驾护航我们的方法：用阿里大数据运维分析利用“阿里大数据”来构筑“阿里大 数据”的数据化运维体系数据化运维体系：运维数据应用运维数据服务运维数据计算运维数据采集图出自书大数据之路DataOps 数据化一切运维对象，数据驱动运维提供自助式全链路的诊断视角通过一个作业的入口，关联延伸到整个系统的上下游资源满足/配置检查/数据依赖/历史对比/长尾

4、倾斜.结果报告稀疏图形 资源争抢任意机器进程 CPU消耗分析毛刺图形 部分长尾数据化运维案例全链路分析诊断数据采集算法分析决策执行1数据采集链路3决策执行链 路决策进程影响进程影响时间数据影响数据影响时间影响范围重启服务15*5服务组件重新部署15*0服务组件重载配置00*0服务组件内核升级15400*0整机重启机器11200*1200整机进入无盘11200*1200整机重新克隆15400*永久整机整机维修1345600*永久整机机器下线1永久*永久整机数据盘维修00disk: sdx永久部件系统盘维修1345600disk: sda永久部件决策定义数据化运维案例硬件自愈2建模预 测反馈目录运

5、维新趋势Tesla运维解决方案DataOps数据化运维数据价值转化AIOps征程从运维数据到知识 价值提取数据化一切对象运维全域数据结构化一切数据运维知识图谱数据：索引数据百W关联多种外部runtime数据源 几百T作用：系统全息投影，利用实体以及 实体之间的关系，再结合外部 数据源的系统runtime数据真 实还原业务场景，做到精细粒 度感知连接一切数据运维搜索SRE Search：整合集团所有运维资 源（元数据、运维工 具系统等）为SRE打造垂直领域 搜索服务，运维习惯 的改变，通过搜索到 达一切站点功能Map，站内垂直搜索让数据说话数据即视图可视化：基于Grafana扩展多种数据源数据直

6、接提供按需可视化的格式前端通用可视化组件， 对接数据服务接口即 可展示图表一处提供，随处展示让数据流动数据驱动运维业务应用案例ChatOps 智能运维助理简单、重复的工作信息直达减少重复咨询解放生产力搜索兜底意图目录运维新趋势Tesla运维解决方案DataOps数据化运维数据价值转化AIOps征程智能数据化运维智能感知/智能决策/智能执行事件关联/事件流图知识图谱智能预测无监督机器学习深度学习神经网络规则&算法结合ChatOps + NLP无人值守高度自动化流程从无人驾驶看 AIOps无人运维系统具备完全自动运维的能力系统能够自动处理各种异常的场景系统能够提供人机对话的方 式与人交互。Human OpsScript/Tools OpsPlatform/