TDSQL自动化运营体系概述

1、TDSQL自动化运营体系概述第一章 TDSQL自动化运营体系第二章 TDSQL日常事务处理自动化第三章 TDSQL故障分析自动化 第四章 总结01第一章：TDSQL自动化运营体系021.1 DBA的日常工作1.3 TDSQL自动化的后台处 理流程1.2 TDSQL自动化运营平台-赤兔1.1 DBA的日常工作031.2 TDSQL自动化运营平台-赤兔04自 动 化 流 程日常类事务数据库运营平台-赤兔TDSQL集群创建实例权限申请DDL 实例下线参数调整扩容读写分离重做备机备份手工切换在线SQL问题诊断故障类事务性能分析数据回档告警策略调整异常监控/告警自动容灾切换日常巡检1.3 TDSQL自动

2、化的后台处理流程05赤兔管理台OSSOSSOSSMetaCluster负载均衡监控采集SQL引擎SQL引擎SQL引擎schedulerSet2主 Agent+MySQL从1从NSet1主 Agent+MySQL从1从N扁鹊onlineddl第二章：TDSQL日常事务处理自动化062.1 重做DB节点2.3 自动化的安全性保障2.2 在线DDL2.1 重做DB节点07发起重做加载镜像赤兔主节点保护实时显示节 点状态重装DB删除限速自动拉取DB参 数拉取镜像选择最优数据源拉取进程互斥压缩加速建立同步自动确认同步点自动恢复同步TDSQL2.1 重做DB节点-案例082.2 在线DDL09DDL赤兔自

3、定义开始时间拷贝数据备机延迟检测活跃链接检测切表切表加锁检测和保护切表模式自由选择TDSQL2.2 在线DDL-案例102.3 自动化的安全性保障11权限申请onlineddl实例下线切表加锁保护防密码覆盖隔离定时删除重做DB节点扩容备份模式自主选择/路由切换回退主节点保护互斥检测/加锁保护第三章：TDSQL故障分析自动化123.1 如何提升故障 定位能力3.3 扁鹊-DB可用 性分析3.2 TDSQL故障自 动化分析平台-扁 鹊3.5 扁鹊-DB可靠 性分析3.4 扁鹊-DB性能 分析3.1 如何提升故障定位能力13DBA故障分析 经验沉淀智能分析平台- 扁鹊3.2 TDSQL故障自动化分析

4、平台-扁鹊14其他分析性能分析可靠性分析可用性分析字符集问题导数据失败SQL频率统计ELK热点表锁等待大事务长事务SQL不合理无法利用索引索引缺失监控异常分析无主键表表数据空间慢查询优化体检报告冗余索引myisam表死锁资源消耗统计主备切换根 因分析SQL审计日志分析sql,事务时耗Sql优化，审查show slave status 表结构innodb事务信息 表processlistInnodb statusDB系统信息快照DB历史监控库OS监控SQL执行时耗ClientIP请求时间戳慢查询时间性能指标 key- time - value主备切换时间点TOPiotopiostatvmstat

5、异常事务风险SQL主备延迟分析历史TOP 慢SQL历史TOP 慢SQL用户输入 SQL慢查询并发3.3 扁鹊-DB可用性分析15仲裁agentM备探活agentM备探活agentM主探活同步同步探活：模拟用户请求3.3 扁鹊-DB可用性分析16 故障分类机器故障DB重启资源耗尽 数据采集Db系统信息快照DB历史监控库OS监控 故障分析磁盘日志分析磁盘IO性能分析磁盘使用率DB启动时间DB core文件磁盘IO分析线程池状态分析大事务分析 可用性可用性问题主DB agent探活失败业务主DB探活心跳agent备DBbinlogrelaylo g删除1000W行等待故障特征心跳写入超时产生大bin

6、log文件Innodb影响行数 突增大量事务 prepared状态3.3 扁鹊-DB可用性分析-大事务173.3 扁鹊-DB可用性分析-大事务183.4 扁鹊-DB性能分析19 故障分类网络延迟SQL问题系统资源锁等待 数据采集DB系统信息快照DB历史监控库OS监控 故障分析网卡流量分析网络延迟波动索引分析SQL分析cpu使用率分析IO使用率分析Swap使用分析事务锁等待分析事务时耗分析 可用性性能问题SQL执行慢3.4 扁鹊-DB性能分析-锁等待20会话2会话1等待分析时间点1：分析DB当前锁等待状态分析information_ schema库下表： innodb_ trx innodb_

7、lock_ waits innodb_ locks 得到会话之间锁等待的依赖关系， 找到会 话1持有锁而未提交 时间 会话1 会话2 00:00:00 begin begin 00:00:01 update t set value=a1 where id=1. 00:00:02 update t set value=a2 where id=2 (会话阻塞) 00:00:20分析时间点1 00:01:10 commit 00:02:00分析时间点23.4 扁鹊-DB性能分析-锁等待213.4 扁鹊-DB性能分析-锁等待22分析时间点2：会话1已经commit，事后分析故障特征会话2更新表t超时 时间点time1会话X的事务在时间点time1持 有t表的行锁SQL日志按客户端ip:port聚合 还原事务语法解析分析事务中访问表的方式,是 否 可 能 持 有 锁 select/update/分析事务 开启/提交时间提前事务信息事务执行时间事务持锁列表事务SQL执行间隔事务耗时3.4 扁鹊-DB性能分析-锁等待233.5 扁鹊-DB可靠性分析24系统状态表空间分布冗余索引死锁诊断锁等待诊断慢查询分析DB状态检查表检查25