数据库智能优化系统探索与实践

1、数据库智能优化系统探索与实践技术创新，变革未来AgendaWhy阿里数据库优化服务诉求HowCloudDBA关键技术Now数据库智能优化探索Q & AQ & AAgendaWhy阿里数据库优化服务诉求HowCloudDBA关键技术Now数据库智能优化探索Q & AQ & A数据库优化服务诉求业务诉求服务产品化全局规模优化 主动诊断智能异常发现 容量预估业务发展速度远超DBA人员发展速度数据库规模大，成本压力数据库性能带来的稳定性风险(如烂SQL)业务负载变化常态化，报警前故障已发生 业务场景复杂，数据库性能容量预估难 .数据库优化服务诉求用户诉求信息透明自助化诊断优化 持续优化量化跟踪，流程闭

2、环 产品化输出“数据库运行的怎么样？”“数据库调用时延为啥变高了？” “数据库刚优化了怎么又慢了 ？” “上次的优化效果怎么样 ？” “我们需要DBA啊.“CloudDBAAlibaba用户身边的数据库专家人工具化自动化智能化CloudDBA是一个数据库智能优化产品，面向开发人员提供自助化诊断优化 服务，致力于成为用户身边的数据库专家。AgendaWhy阿里数据库优化服务诉求HowCloudDBA关键技术Now数据库智能优化探索Q & AQ & ACloudDBA整体架构产品设计原则自助化流程闭环主动诊断规模优化 数据驱动 智 能 化分析建议采纳跟踪评估采集SQL优化闭环需求 分析数据模 型设

3、计库表设 计/变更SQLReview线下 测试预发/线 上部署线上 监控主动 优化优化 建议采纳 建议量化 评估开发流程闭环优化流程闭环持续优化压测慢日志 全量SQL流水AliSQLSQLTemplate实时/离线计算全局分析需优化SQL集合When/What to Optimize?Continuous & Adaptive Self-tuningHow to OptimizeSQL诊断优化Deploy & Evaluate建议推送量化跟踪SQL优化 What-if Optimizer全局视角代价评估(CBO)动态采样空间优化实例迁移？紧急扩容？删除数据？数据驱动 数据通道AliSQL Se

4、rverDBAgentKafkaAliSQL(RocksDB) SQL实时性能、 离线分析结果AliSQL ServerDBAgentAliSQL ServerDBAgentjStormSparkODPS(SQL流水、性能数据）AliSQL ServerDBAgent数据采集指标丰富(OS/DB/Log/SQL等) 秒级采集全网覆盖实时分析多维度实时汇聚 秒级延迟全量SQL分析离线分析性能成本模型 容量预测超大数据量数据驱动 全量SQL分析数据驱动-全量SQL业务价值实时全量SQL性能查看SQL Workload优化性能热点分析 性能优化度 量SQL审计SQL模型分析 数据驱动全局优化量化全网

5、优化收益建立全网性能成本模型全网性能成本基线发现规模优化点AgendaWhy阿里数据库优化服务诉求HowCloudDBA关键技术Now数据库智能优化探索Q & AQ & A智能优化自动化到智能化异常检测/关联分析主动预警容量预估自诊断，自优化 图片来源智能优化探索空间预测Goal: Value:基于历史增长趋势预测空间可用天数 自动扩容决策提供输入全局实例调度策略输入Challenges: 无规律导入/删除数据Algorithm:Prophet(Facebook) RDP(Ramer Douglas Peucker)Result:智能优化探索异常发现被动诊断 - 主动诊断未报警DB已经异常？历史特征学习？快速发现异常？智能优化探索自诊断，自优化SummaryWhy阿里数据库优化服务诉求HowCloudDBA关键技术Now数据库智能优化探索Q & AWe are hiring!Java技术专家/高级专家数据库诊断优化Java后端