面向连接的智能运维体系：阿里大数据运维实践.ppt

面向连接的智能运维体系 阿里大数据运维实践 大纲Bigdataops 产品运维历程智能运维理念Tesla产品体系运维价值重塑 01 02 03 04 OTS Hadoop 02 04 产品运维历程 01Before2012人工 脚本 工具整合 业务增长 2016智能运维体系建设 Hbase Galaxy TT HistoreMaxComputeAnalyticDBJstormSLS032014自动化平台2013 50 1 5 1 1 产品运维历程 困境求变新生 2014 产品运维历程 智能运维理念 是否有可以借鉴 何种智能理念 产品发展方向和终态 智能运维理念末端连接 分析展现 1 末端 直接操作系统 应用程序 硬件 网络的产品 2 分析 实现运维人员思考问题 分析需求 排查故障的产品 3 连接 实现分析与末端产品驱动与反馈的连系产品 4 展现 将智能平台的状态以多种可视化的方式表达出来 AEC T FlowIDPS TDS ChangeLineT clone Star AgentCMDB ICS changefree Alimonitor ACL 智能运维理念 T Flow工作流 SimpleFlow MultiFlow Tesla产品体系T Flow 关键末端产品 系统层指令序列调度的服务 SimpleFlow Tesla产品体系T FlowAB C param1 Tesla产品体系T Flow SimpleFlowTemplate home admin update t param2 param3 自动忽略 自动重试异常报警 自动忽略 超时时间 home admin update t 自动重试异常报警 cluster01 1 1 1 4 cluster01 1 1 1 5 cluster01 1 1 1 2 cluster01 1 1 1 3 cluster01 1 1 1 4 cluster01 1 1 1 5 cluster01 1 1 1 3 clustre01 1 1 1 7 home admin tools p t3 data module1yumxxxmodule1 home admin tools precheck yumxxxmodule1 yumxxxmodule1 yumxxx home admin tools postcheck restart home admin tools p1 t4 Failed home admin tools p1 t6 home admin tools p1 t6 Tesla产品体系T FlowSimpleFlowInstance 1 2 3 4 SimpleFlowInstance Tesla产品介绍T FlowMultiFlowInstance Tesla产品体系T Flow案例1 GalaxyUpgradePool2 UpgradeRegionServer3 FlightingUpdate simpleflowsimpleflowmultiflow Tesla产品体系T Flow Tesla产品体系T Flow Tesla产品体系T Flow Tesla产品体系T Flow 30000 实例运行 Tesla产品体系T Flow Tesla产品体系ICS intelligentConnectionService ICS 关键连接服务层 解决事件与末端产品的连接监控事件 日志分析流程事件 AEC T flowNoc Tesla产品体系ICS 外部系统监控系统1监控系统2日志分析1其他第三方 触发器监控系统1配置 数据监控系统2配置 数据日志分析1配置 数据其他第三方配置 数据 事件处理插件注册抑制通知事件调度冲突检查K V依赖 执行器T flow执行器接口AEC执行器接口SSH执行器接口消息订阅服务 末端系统T flowAECPSSHTclone其他末端服务 intelligentConnectionService系统架构 Tesla产品体系ICS intelligentConnectionService 案例盘古分布式文件系统一副本高危事件 Tesla产品体系ICS intelligentConnectionService Tesla产品体系ICS intelligentConnectionService Tesla产品体系ICS intelligentConnectionService Tesla产品体系ICS intelligentConnectionService Tesla产品体系ICS intelligentConnectionService 容量检查 调参 缩扩容硬件异常 维修下线分布式文件系统副本高危加速修补核心应用服务Hang紧急轮换 Tesla产品体系TDSTroubleshootDecisionService 关键末端分析型产品 提供通用线上故障智能分析及处理方案 Checkpoint配置 执行类型 CheckAPI CheckScript分析结果 example A B C 边条件配置 上游节点 Checkpoint 下游节点 Checkpoint ICS 上游结果表达式 case A case C case A B 排查点1排查点2 排查点3 排查点4 排查点5 日志分析监控报警 故障工单 ICS Tesla产品体系TDSTroubleshootDecisionServiceTDS 排查点6 排查点7 排查点8 Tesla产品体系AEC Crond关键末端产品 应用环境实时维护rpm 文件 目录 低部署成本 简单通用灰度发布 低消高效规则多样 文件模板多级绑定 灵活组合 Tesla产品体系AEC Crond关键末端产品 集中管理线上服务器定时调度任务 Crond管