OceanBase查询优化器工程方案

1、OceanBase查询优化器工程方案技术创新 变革未来 查询优化器简介 OceanBase查询优化器工程实践议题大纲查询优化器简介统计信息优化器CPUIONET代价模型selectR1.a, R2.bfromR1, R2whereR1.c = R2.cSCAN(R1)HJ执行计划80ms100ms1s50ms10msSCAN(R2)找到代价最小计划SCAN(R1)NLJSCAN(R2)查询优化器面临的挑战精准的代价模型 和统计信息海量计划空间高效的计划管理机制统计信息CPUIONET代价模型l采样误差，滞后l静态模型: 比如buffer命中率，IO RT等l单表谓词选择率: 比较准确(动态采样

2、，多列直方图等技术)l多表连接谓词选择率: 基于均匀分布假设，错误率很高统计信息和代价模型选择率计算 &中间结果估计查询优化器面临的挑战精准的代价模型 和统计信息海量计划空间高效的计划管理机制计划空间星型查询等价逻辑计划个数表个数等价逻辑计划个数53210230415114688204980736252013265923015569256448星型查询如何高效的枚举执行计划？物理算子实现 + 基于代价的改写 + 分布式优化查询优化器面临的挑战精准的代价模型 和统计信息海量计划空间高效的计划管理机制计划管理plan baseline计划缓存计划演进plan cache优化器select * fr

3、om R whereR.a = 1 and R.b = 1select * from R whereR.a = ? and R.b = ?参数化是否参数化优化一次是否缓存缺点需要解决不同参数对应不同计划问题计划过多优化时间不可忽略 查询优化器简介 OceanBase查询优化器工程实践议题大纲查询改写（基于规则+基于代价）计划缓存计划演进自适应计划匹配OceanBase优化器总体框架执行器统计信息基表访问路径选择连接顺序和连接算法其它算子分配执行反馈计划添加执行器优化器代价模型 查询优化器简介 OceanBase查询优化器工程实践统计信息和代价模型 计划空间计划管理议题大纲基表访问路径选择如何评

4、估一个索引的代价扫描索引代价: 扫描行数，大部分场景是顺序扫描回表代价: 回表行数，随机扫描如何获取行数信息(选择率计算)统计信息(直方图)动态采样传统计算方式是否适合基于LSM-TREE的存储引擎？索引代价计算例子查询: select * from t1 where c2 200 and c2 800 and c3 200 and c2 800) = 0.1, Sel(c3 P2) P2): 把P1物理属性转化成P2物理属性代价R1HJEX(HASH)EX(HASH)R2R1HJEX(Broadcast)R2P1:100msP2:150msTC(P1-P2) =20ms对P1结果按照P2结果

5、分区方式进行重分区 查询优化器简介 OceanBase查询优化器工程实践统计信息和代价模型 计划空间计划管理议题大纲参数化计划缓存slelec高t *并fro发m，R 低wh时ere延R.a = 1 and R.b = 1plan cacheselect * from R whereR.a = ? and R.b = ?参数化优化+缓存l为什么参数化？为每一个参数缓存一个计划是不切实际的大部分查询一个计划能满足所有参数需求l为什么缓存？性能考虑是否命中计划性能百us级别几个ms级别参数化计划缓存带来的问题商户占比淘宝50%美团10%LV0.1.l查询: 找出特定商户过去一年总销售额l数据存在倾

6、斜，不同参数需要缓存不同计划主表扫描索引扫描蚂蚁商户域的账单场景自适应计划匹配plan cache执行引擎执行反馈SQL直方图自适应计划匹配l自适应计划匹配只有必要才会缓存多个计划通过渐进式的合并选择率空间来达到划分的目的计划演进新计划plan baseline执行SQLbaseline不存在baseline计划不一样baseline计划一样演进真实 流量老计划新baseline老baseline放弃plan cacheplan baseline新计划失 败成功l计划演进: 对新生成计划进行验证，保证新计划不会造成性能回退统计信息更新/SCHEMA变更/优化器参数变更/计划演进时机计划演进过程创建替换5%95%小结 查询优化器立足于自身架构和业务场景特点基于LSM-TREE的存储引擎 Share-noth