陆⾦所AI SQL审核系统架构介绍

1、陆所AI SQL审核系统架构介绍项背景研发过程未来展望项背景研发过程未来展望1. 项背景SQL的性能对核系统可率关重要。SQL审核系统会遭遇开发和DBA的资源瓶颈。1.1 SQL审核流程04 上线批准SQL审核系统特点：SQL审核系统对所有应、每个版本下的每笔SQL进管理审核系统会动成每个版本的SQL本差异以及导致的执计划差异开发和DBA会审核每个版本发变更的SQL、导致的执计划差异以及对性能的影响发版平台对于SQL审核系统建强依赖01 代码提交02 差异较03 审核1.2 SQL审核平台新版本旧版本审核和分类过程就是一个打标签数据的过程打标签过程需要大量的开发和DBA人力资源SQL审核 平台

2、完成 事前准备审核通过不通过分类优化上线1.3 审核流程的展开项背景研发过程未来展望2. 研发条件SQL审核系统运了3年，我们有了下这些数据：每个应版本的SQL代码改动数据和当时在产环境的执计划变动数据每个应版本上线前后的数据字典和统计信息备份每个应版本上线前DBA的审核意数据每个应版本上线后在每笔SQL在产环境的运时效数据那么，是否可以基于历史数据 + AI算法来模拟DBA对SQL的审 核？2.1 研发思路找到SQL代码、执计划、统计信息、绑定变量和执效率之间的相关性。通过相关性基于SQL代码、执计划、统计信息、绑定变量来预测执效率。2.2 第个版本实现对SQL执效率的预测SQL 语句执行计

3、划统计信息输入VAESbaggingword embedding特征嵌入信息压缩降维特征裁剪模型生产监控数据绑定变量找SQL各个维度的信息和生产执行效率的相关性目标线性回归预测模型2.2 特征嵌目标：将模型不可读的TEXT格式转换为可读的数字格式SQL语句使用tf-idf（词频逆文档频）转化执行计划使用素数编码转化统计信息和绑定变量直接并入矩阵SQL 语句执行计划统计信息tf-idf素数编码绑定变量2.2 信息压缩特征提取VAEs 信息压缩m53随机深林特征裁剪， 每个特 征对应的权重（information gain）m381000500100531005001000SQL的特征是个特别宽的

4、稀疏矩阵， 这也是需要 引用信息压缩的主要原因编码器解码器数据分布有明显的两极化宏观roc粗粒度学习2.2 对SQL的执时进预测使用线性回归对SQL的执行时长进行预测：在生产环境选取300条SQL按照执行时长从低到高排序，生成实际曲线（橙色）使用线性回归生成预测曲线（蓝色）m38线性回归Y=WX细粒度学习2.2 在陆所上线后的效果基于拟合度下，把AI作为SQL审核平台的第一道环节，AI审核通过即直接上线，人工不再审核。SQL审核总量里80%的SQL都是符合性能预期的，这些SQL由AI直接审核后上线，也节省了80%的人工审核工作 量。2.3 第个版本实现对SQL优化案的搜索自动化平 台完成 事前

5、准备审核通过不通过分类优化上线第一个版本第二个版本2.3 案的选择频率派 P(Y,X)贝叶斯派 P(Y|X) P(X|Y)P(Y)频率派:基于数据分布得到目标与输入 的联合分布强依赖数据量。探索空间大贝叶斯派:基于经验知识得到目标与输入 的条件概率先验的加入缩小探索空间可以很自然的将DBA的知识融入到模型中2.3 基于叶斯的启发式搜索SQL 语句 = ()()执行计划统计信息启发式搜索绑定变量构建启发函数数据预处理有向图2.4 特征预处理：LUparser陆所SQL解析器目标：解析出SQL中列，表, 查询条件，子查询或视图的连接关系，把信息保存在有向图（direct graph）。为了让机器能

6、看懂SQL代码的结构。2.4 LUparser陆所SQL解析器Luparser的SQL解析过程，为了让机器能读懂SQL代码的结构。SQL语句正则化分词深度优先完全遍历建立图连接深度优先遍历，并存入图。图会以 id 和 type 分别存入到两个哈希表中为什么深度优先：希望能保存tokens的前后关系，方便未来SQL重写基于节点的type 从（SUB TAB COL）依次 建立连接关系基于正则化方法，将SQL转换成精度不高的AST图的id图的种类，我们制定以下种类：COL-字段，TAB-表名，SUB-子查询/视图, VALUE-数值，OPT-操作( , in, order by ) FUNC 方法

7、(max, count),STRUCT 其他来自哪个keyword属于哪个statement e.g. where , Value，With在第几层（被嵌套一次 level+1）Alias name来自哪个表/schema父类边（多个）子类边（多个）2.5 基于叶斯的启发式搜索结合 历史评审结+DBA review 经验构建建议/问题状态， 种类索引表链接分页子查询有无索引链接关系排序其他索引有无视图构建索引联合查询绑定变量1233.1233.1233索引分页子查询(*, )(*, )(*, )(-, )(-, )(-, )状态与状态之间基于 启发函数做关联(, )t：当前搜索状态搜索地图：状

8、态库状态（S） ： python方法， 输出必须包含数值（计算启发值）状态到状态：通过启发函数来选择。搜索终止条件：当发现没有可选的状态，或候选状态为空基于贝叶斯的启发函数2.5 训练启发函数(, )1.基于历史评审意见2.基于DBA经验对函数做调 整统计状态与状态之间 的条件和联合概率真实dba建议状态修正e.g. 索引问题更倾向于查找区分度和直方图12*, 1 , |分词映射成 状态对DBA建议做分词同义词3.在转给换定，X抓下取，关计算联合概率键字，应和射条成件搜概索率地图2.6 陆所上线后的效果上线前对接代码库和发版平台，对审核不通过的SQL，先给出一轮优化建议供开发和DBA参考。上线

9、后对接监控平台，监控平台捕获慢查询后，调用AI SQL审核服务接口，自动给出优化建议。同时AI明确优化建议优于CBO的执行计划才会给出建议反馈。2.7 真实案例介绍基于启发式搜索查找最优索引策略。索引问题划备选索引原始执行计寻传参后AI建议执行计划Oracle 10053跟踪结果， task_id的索引等值筛选比id的索引范围筛选cost更低，CBO选择task_id索引传参后CBO原始执行计划项背景研发过程 三未来展望3.1 背景叶斯派基于DBA经验，也受限于DBA经验。能否通过强化学习让AI训练出突破现有DBA经验 的优化案。如果全局最优解在DBA认知范 围外，则贝叶斯派将永远无法找 到该解3.2 第三个版本基于对抗模型的算法SQL生成器SQL 优化器SQL 恶化器SQL语句图链接关系表统计信息结构训练迁移学习拓 扑 结 构拓扑结构数据库