面向连接的智能运维体系：阿里大数据运维实践

1、面向连接的智能运维体系面向连接的智能运维体系 阿里大数据运维实践 大纲大纲 Big data ops 产品运维历程产品运维历程 智能运维理念智能运维理念 Tesla产品体系产品体系 运维价值重塑运维价值重塑 01. 02. 03. 04. OTS Hadoop 02 04 产品运维历程产品运维历程 01 Before 2012 人工人工&脚本脚本 工具整合，业务增长工具整合，业务增长 2016 智能运维体系建设智能运维体系建设 Hbase Galaxy TT Histore MaxCompute AnalyticDB Jstorm SLS 03 2014 自动化平台自动化平台 2013 501

2、/51:1 产品运维历程产品运维历程 困境 求变 新生 2014 产品运维历程产品运维历程 智能运维理念智能运维理念 是否有可以借鉴？ 何种智能理念？ 产品发展方向和终态？ 智能运维理念智能运维理念 末端末端 连接连接 分析分析 展现展现 1.末端：直接操作 系统，应用程序，硬件，网 络 的产品。 2.分析：实现运维人员思考问题，分析需求，排 查故障的产品， 3.连接：实现分析与末端产品驱动与反馈的连系 产品。 4.展现：将智能平台的状态 以多种可视化的方式 表达出来。 AEC T-Flow IDPS TDS Change Line T-clone Star Agent CMDB ICS ch

3、ange free Ali monitor ACL 智能运维理念智能运维理念 T-Flow 工作流工作流 Simple Flow Multi Flow Tesla产品体系产品体系 T-Flow 关键末端产品关键末端产品-系统层指令序列调度的服务系统层指令序列调度的服务 Simple Flow Tesla产品体系产品体系 T-Flow A B C param1 Tesla产品体系产品体系 T-Flow Simple Flow Template /home/admin/update -t _%_ param2param3 自动 忽略 自动 重试 异常 报警 自动 忽略 超时 时间 /home/ad

4、min/update -t _%_ 自动 重试 异常 报警 cluster011.1.1.4$ cluster011.1.1.5$ cluster011.1.1.2$ cluster011.1.1.3$ cluster011.1.1.4$ cluster011.1.1.5$ cluster011.1.1.3$ clustre011.1.1.7$/home/admin/tools(-p t 3)-data) module1 yum xxx module1) /home/admin/tools(-precheck yum xxx module1) yum xxx module1) yum xxx

5、/home/admin/tools(-postcheck)-restart) /home/admin/tools(-p 1 t 4) Failed /home/admin/tools(-p 1 t 6) /home/admin/tools(-p 1 t 6) Tesla产品体系产品体系 T-Flow Simple Flow Instance 123 4 Simple Flow Instance Tesla产品介绍产品介绍 T-Flow Multi Flow Instance = Tesla产品体系产品体系 T-Flow 案例 1. GalaxyUpgradePool 2. UpgradeReg

6、ionServer 3. FlightingUpdate simple flow simple flow multi flow Tesla产品体系产品体系 T-Flow Tesla产品体系产品体系 T-Flow Tesla产品体系产品体系 T-Flow Tesla产品体系产品体系 T-Flow 30000+ 实例运行实例运行 Tesla产品体系产品体系 T-Flow Tesla产品体系产品体系 ICSintelligent Connection Service ICS 关键连接服务层关键连接服务层-解决事件与末端产品的连接解决事件与末端产品的连接 监控事件监控事件 日志分析日志分析 流程事件流

7、程事件 AEC T-flow Noc Tesla产品体系产品体系 ICS 外部系统外部系统 监控系统1 监控系统2 日志分析1 其他第三方 触发器触发器 监控系统1 配置，数据 监控系统2 配置，数据 日志分析1 配置，数据 其他第三方 配置，数据 事件处理事件处理 插件注册插件注册 抑制通知抑制通知 事件调度事件调度 冲突检查冲突检查 K-V 依赖依赖 执行器执行器 T-flow 执行 器接口 AEC执行器 接口 SSH执行器 接口 消息订阅 服务 末端系统末端系统 T-flow AEC PSSH Tclone 其他末端 服务 intelligent Connection Service 系

8、统架构系统架构 Tesla产品体系产品体系 ICSintelligent Connection Service 案例 盘古分布式文件系统一副本高危事件 Tesla产品体系产品体系 ICSintelligent Connection Service Tesla产品体系产品体系 ICSintelligent Connection Service Tesla产品体系产品体系 ICSintelligent Connection Service Tesla产品体系产品体系 ICSintelligent Connection Service Tesla产品体系产品体系 ICSintelligent Con

9、nection Service 容量检查，调参/缩扩容 硬件异常 ,维修下线 分布式文件系统副本高危加速修补 核心应用服务Hang 紧急轮换 Tesla产品体系产品体系 TDS Troubleshoot Decision Service 关键末端分析型产品关键末端分析型产品-提供通用线上故障智能分析及处理方案提供通用线上故障智能分析及处理方案 Checkpoint配置配置 执行类型：Check API，Check Script 分析结果：example： A，B，C 边条件配置边条件配置 上游节点：Checkpoint 下游节点：Checkpoint / ICS 上游结果表达式：case=A，

10、case=C ， case=A&B 排查点排查点1 排查点排查点2 排查点排查点3 排查点排查点4 排查点排查点5 日志分析日志分析 监控报警监控报警 故障工单故障工单 ICS Tesla产品体系产品体系 TDS Troubleshoot Decision Service TDS 排查点排查点6 排查点排查点7 排查点排查点8 Tesla产品体系产品体系 AEC & Crond 关键末端产品关键末端产品-应用环境实时维护应用环境实时维护 rpm，文件，目录，文件，目录 低部署成本，简单通用 灰度发布，低消高效 规则多样,文件模板 多级绑定,灵活组合 Tesla产品体系产品体系 AEC & Crond 关键末端产品关键末端产品-集中管理线上服务器定时调度任务集中管理线上服务器定时调度任务 Cro