数据库课件：第4章 数据库查询优化

数据库优化查询查询优化2代数优化3物理优化4优化步骤51查询处理1查询处理几种数据库的体系结构查询处理步骤查询操作算法示例WebFormsApplicationFrontEndsSQLInterfacesUnsophisticatedusers(customers,travelagents,etc.)Sophisticatedusers,applicationprogrammers,DBadministratorsSQLCOMMANDSPlanExecutorOperatorEvaluatorParserOptimizerQueryEvaluationEngineTransactionManagerLockManagerConcurrencyControlFilesandAccessMethodsBufferManagerDiskSpaceManagerRecoveryManagerIndexFilesDataFilesSystemCatalogDatabase数据库通用体系结构SQLSever体系结构MySQL体系结构1查询处理几种数据库的体系结构查询处理步骤查询操作算法示例查询处理阶段及主要内容查询分析查询检查查询优化

查询执行

查询处理步骤关系代数表达式查询语句执行计划执行引擎查询输出数据有关数据统计信息语法分析与翻译优化器数据1）

查询分析对查询语句进行扫描、词法分析和语法分析从查询语句中识别出语言符号进行语法检查和语法分析SELECTe.ename,e.sal,s.gradeFROM empe,salgradesWHERE e.salBETWEENs.losalANDs.hisal2）查询检查根据数据字典对合法的查询语句进行语义检查根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查检查通过后把SQL查询语句转换成等价的关系代数表达式RDBMS一般都用查询树(语法分析树)来表示扩展的关系代数表达式把数据库对象的外部名称转换为内部表示3）查询优化查询优化：选择一个高效执行的查询处理策略查询优化分类：代数优化：指关系代数表达式的优化物理优化：指存取路径和底层操作算法的选择查询优化方法选择的依据：基于规则(rulebased)基于代价(costbased)基于语义(semanticbased)4）查询执行依据优化器得到的执行策略生成查询计划代码生成器(codegenerator)生成执行查询计划的代码1查询处理几种数据库的体系结构查询处理步骤查询操作算法示例

一、选择操作的实现例：Select*fromstudentwhere<条件表达式>；考虑<条件表达式>的几种情况：

C1：无条件；

C2：Sno＝'200433103046'；

C3：Sage>20；

C4：Sdept＝'CS'ANDSage>20；

SnoSNameSSexSageSdept

200333103213蔡立雄男19CS200333103222陈宇锋男21IS200333103231崔继明男20ES200333103240邓小忻女22IS200333103277郭冠鸿男19CS200333103286何英炜男23ES200433103019张彬彬男22IS200433103028张胜超男18CS200433103046张佳祺女24CS……Innodb逻辑存储结构InnoDBtablespacesfileheaderpageheaderInfimum&supermumuserrecordsfreespacepagedirectoryfiletrailer16KB16KBNoneleafsegmentleafsegmentB-Treepage存储了整个表行数据，有序数据无顺序插入表中，UID是主键PK选择操作的实现方法简单的全表扫描方法对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出

适合小表，不适合大表SnoSNameSSexSageSdept

200333103213蔡立雄男19CS200333103222陈宇锋男21IS200333103231崔继明男20ES200333103240邓小忻女22CS200333103277郭冠鸿男19CS200333103286何英炜男23ES200433103019张彬彬男22IS200433103028张胜超男18CS200433103046张佳祺女24CS……选择操作的实现索引(或散列)扫描方法适合选择条件中的属性上有索引(例如B+树索引或Hash索引)通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组选择操作的实现（续）［例-C2］以C2为例，Sno＝‘200433103046’，并且Sno上有索引(或Sno是散列码)使用索引(或散列)得到Sno为‘200333103240’元组的指针通过元组指针在student表中检索到该学生［例-C3］以C3为例，Sage>20，并且Sage上有B+树索引使用B+树索引找到Sage＝20的索引项，以此为入口点在B+树的顺序集上得到Sage>20的所有元组指针通过这些元组指针到student表中检索到所有年龄大于20的学生。选择操作的实现（续）［例-C4］以C4为例，Sdept＝‘CS’ANDSage>20，如果Sdept和Sage上都有索引：算法一：分别用上面两种方法分别找到Sdept＝‘CS’的一组元组指针和Sage>20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生算法二：找到Sdept＝‘CS’的一组元组指针通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage>20)是否满足把满足条件的元组作为结果输出。二、连接操作的实现连接操作是查询处理中最耗时的操作之一，本节只讨论等值连接(或自然连接)最常用的实现算法。［例2］SELECT*FROMStudent，SC WHEREStudent.Sno=SC.Sno；连接操作的实现方法嵌套循环方法(nestedloop)排序-合并方法(sort-mergejoin)索引连接(indexjoin)方法HashJoin方法嵌套循环方法(nestedloop)对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)检查这两个元组在连接属性(sno)上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止

排序-合并方法(sort-mergejoin）适合连接的诸表已经排好序的情况如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组排序-合并方法当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来重复上述步骤直到Student表扫描完200215121200215122200215123200215124...200215121192200215121285200215121388200215122290200215122380...排序-合并连接方法示意图排序-合并方法Student表和SC表都只要扫描一遍如果2个表原来无序，执行时间要加上对两个表的排序时间对于2个大表，先排序后使用sort-mergejoin方法执行连接，总的时间一般仍会大大减少索引连接(indexjoin)方法在SC表上建立属性Sno的索引，如果原来没有该索引对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组把这些SC元组和Student元组连接起来循环执行a)b)，直到Student表中的元组处理完为止HashJoin方法把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中步骤：划分阶段(partitioningphase)：对包含较少元组的表(比如R)进行一遍处理把它的元组按hash函数分散到hash表的桶中试探阶段(probingphase)：也称为连接阶段(joinphase)对另一个表(S)进行一遍处理把S的元组散列到适当的hash桶中把元组与桶中所有来自R并与之相匹配的元组连接起来HashJoin方法上面hashjoin算法前提：假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中以上的算法思想可以推广到更加一般的多个表的连接算法上查询优化2代数优化3物理优化4优化步骤51查询处理查询优化的目的和意义查询优化在关系数据库系统中有着非常重要的地位关系查询优化是影响RDBMS性能的关键因素由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性由DBMS进行查询优化的好处用户不必考虑如何最好地表达查询以获得较好的效率系统可以比用户程序的优化做得更好优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。优化器可以考虑数百种不同的执行计划，而程序员一般只能考虑有限的几种可能性。优化器中包括了很多复杂的优化技术各种数据库查询优化的执行代价评估策略RDBMS通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案集中式数据库执行开销：磁盘存取块数(I/O代价)处理机时间(CPU代价)查询的内存开销分布式数据库总代价=I/O代价+CPU代价+内存代价＋通信代价I/O代价是最主要的查询优化的必要性论证举例例：求选修了课程Ｃ2的学生姓名

SELECTStudent.Sname FROMStudent,SC WHEREStudent.Sno=SC.Sno ANDSC.Cno='2'查询过程的假设条件假设1：外存：（Student:1000条,SC:10000条,选修2号课程:50条）假设2：一个内存块装元组:10个Student,或100个SC,内存中一次可以存放:5块Student元组,1块SC元组和若干块连接结果元组假设3：读写速度：20块/秒假设4：连接方法：基于数据块的嵌套循环法执行策略1Ｑ1＝ПSname(бStudent.Sno=SC.Sno∧SC.Cno='2'

(Student×SC))

①Student×SC

读取总块数=读Student表块数+读SC表遍数*每遍块数

=1000/10+(1000/(10×5))×(10000/100)

=100+20×100=2100

读数据时间=2100/20=105秒不同的执行策略，考虑I/O时间中间结果大小=1000*10000=107(1千万条元组)写中间结果时间=10000000/10/20=50000秒

②б

读数据时间=50000秒

③П

总时间=105＋50000＋50000秒=100105秒

=27.8小时执行策略2Ｑ2＝ПＳname(бSC.Cno='2'(StudentSC))

①

读取总块数=2100块 读数据时间=2100/20=105秒 中间结果大小=10000（减少1000倍） 写中间结果时间=10000/10/20=50秒

②б：读数据时间=50秒

③П：忽略不计总时间＝105＋50＋50秒＝205秒=3.4分钟

执行策略3Ｑ3＝ПSname(StudentбSC.Cno='2'(SC))

①б：

读SC表总块数=10000/100=100块；

读数据时间=100/20=5秒

中间结果大小=50条不必写入外存

②：读Student表总块数=1000/10=100块

读数据时间=100/20=5秒

③П

：忽略不计总时间＝5＋5秒＝10秒执行策略4Ｑ4＝ПＳname(StudentбSC.Cno='2'(SC))假设SC表在Cno上有索引，Student表在Sno上有索引

①б

读SC表索引=

读SC表总块数=50/100<1块 读数据时间

中间结果大小=50条，不必写入外存查询优化的必要性（续）②

读Student表索引=

读Student表总块数=50/10=5块 读数据时间③П

总时间<0.4秒查询优化2代数优化3物理优化4优化步骤51查询处理查询优化的一般准则选择运算应尽可能先做

目的：减小中间关系在执行连接操作前对关系适当进行预处理按连接属性排序在连接属性上建立索引

投影运算和选择运算同时做目的：避免重复扫描关系将投影运算与其前面或后面的双目运算结合目的：减少扫描关系的遍数查询优化的一般准则某些选择运算＋在其前面执行的笛卡尔积

===>连接运算例：бStudent.Sno=SC.Sno(Student×SC)

StudentSC提取公共子表达式关系代数等价变换规则关系代数表达式等价指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的上面的优化策略大部分都涉及到代数表达式的变换常用的等价变换规则设E1、E2等是关系代数表达式，F是条件表达式连接、笛卡尔积交换律

E1×E2≡E2×E1 E1E2≡E2E1 E1FE2≡E2FE1连接、笛卡尔积的结合律

(E1×E2)×E3≡E1×(E2×E3)(E1E2)E3≡E1(E2E3)(E1E2)E3≡E1(E2E3)

F

F

F

F关系代数等价变换规则（续）投影的串接定律

πA1,A2,

,An(πB1,B2,,Bm(E))≡πA1,A2,,An(E)假设：E是关系代数表达式Ai(i=1，2，…，n),Bj(j=l，2，…，m)是属性名{A1,A2,…,An}构成{Bl，B2，…，Bm}的子集选择的串接定律

бF1（бF2（E））≡бF1∧F2(E)选择的串接律说明选择条件可以合并这样一次就可检查全部条件。

关系代数等价变换规则（续）选择与投影的交换律(a)假设:选择条件F只涉及属性A1，…，AnбF(πA1,A2,,An(E))≡πA1,A2,,An(бF(E))

(b)假设:F中有不属于A1,…,An的属性B1,…,BmπA1,A2,,An

(

бF

(E))≡ πA1,A2,,An(бF

(πA1,A2,,An,B1,B2,,Bm(E)))关系代数等价变换规则（续）选择与笛卡尔积的交换律(a)假设：F中涉及的属性都是E1中的属性

бF(E1×E2)≡бF(E1)×E2

(b)假设：F=F1∧F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性 则由上面的等价变换规则1，4，6可推出：

бF(E1×E2)≡бF1(E1)×бF2(E2)

关系代数等价变换规则（续）(c)假设：F=F1∧F2，F1只涉及E1中的属性，F2涉及E1和E2两者的属性

бF(E1×E2)≡бF2(бF1(E1)×E2)

它使部分选择在笛卡尔积前先做关系代数等价变换规则（续）选择与并的交换 假设：E=E1∪E2，E1，E2有相同的属性名

бF(E1∪E2)≡бF(E1)∪бF(E2)

选择与差运算的交换 假设：E1与E2有相同的属性名

бF(E1-E2)≡бF(E1)-бF(E2)关系代数等价变换规则（续）投影与笛卡尔积的交换 假设：E1和E2是两个关系表达式，A1，…，An是E1的属性，B1，…，Bm是E2的属性

πA1,A2,…,An,B1,B2,…,Bm

（E1×E2)≡

πA1,A2,…,An（E1)×πB1,B2,…,Bm(E2)关系代数等价变换规则（续）投影与并的交换

假设：E1和E2有相同的属性名

πA1,A2,…,An(E1∪E2)≡πA1,A2,…,An(E1)∪πA1,A2,…,An(E2)小结1-2:连接、笛卡尔积的交换律、结合律3：合并或分解投影运算4：合并或分解选择运算5-8：选择运算与其他运算交换5，9，10：投影运算与其他运算交换关系代数表达式的优化算法（1）分解选择运算利用规则4把形如бF1∧F2∧…∧Fn(E)变换为бF1

(бF2(…(бFn(E))…))（2）通过交换选择运算，将其尽可能移到叶端对每一个选择，利用规则4～8尽可能把它移到树的叶端。（3）通过交换投影运算，将其尽可能移到叶端对每一个投影利用规则3，9，l0，5中的一般形式尽可能把它移向树的叶端。关系代数表达式的优化算法（4）合并串接的选择和投影，以便能同时执行或在一次扫描中完成利用规则3～5把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成尽管这种变换似乎违背“投影尽可能早做”的原则，但这样做效率更高。关系代数表达式的优化算法（5）对内结点分组把上述得到的语法树的内节点分组。每一双目运算(×，，∪，-)和它所有的直接祖先为一组(这些直接祖先是б，π运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组，但当双目运算是笛卡尔积(×)，而且其后的选择不能与它结合为等值连接时除外。把这些单目运算单独分为一组。关系代数表达式的优化算法（6）生成程序生成一个程序，每组结点的计算是程序中的一步。各步的顺序是任意的，只要保证任何一组的计算不会在它的后代组之前计算。查询优化2代数优化3物理优化4优化步骤51查询处理物理优化代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径对于一个查询语句有许多存取方案，它们的执行效率不同，仅仅进行代数优化是不够的物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划物理优化的方法：基于启发式规则的优化基于代价估算的优化两者结合的优化方法一、基于启发式规则的优化选择操作的启发式规则连接操作的启发式规则选择操作的启发式规则对于小关系，使用全表顺序扫描，即使选择列上有索引 对于大关系，启发式规则有：对于选择条件是主码＝值的查询，查询结果最多是一个元组，可以选择主码索引一般的RDBMS会自动建立主码索引对于选择条件是非主属性＝值的查询，并且选择列上有索引，要估算查询结果的元组数目如果比例较小(<10%)可以使用索引扫描方法否则还是使用全表顺序扫描对于选择条件是非等值查询或者范围查询，并且选择列上有索引，要估算查询结果的元组数目如果比例较小(<10%)可以使用索引扫描方法否则还是使用全表顺序扫描基于启发式规则优化(续)对于用AND连接的合取选择条件如果有涉及这些属性的组合索引优先采用组合索引扫描方法如果某些属性上有一般的索引则可以用索引扫描方法否则使用全表顺序扫描。对于用OR连接的析取选择条件，一般使用全表顺序扫描连接操作的启发式规则如果2个表都已经按照连接属性排序选用排序-合并方法如果一个表在连接属性上有索引选用索引连接方法如果上面2个规则都不适用，其中一个表较小选用Hashjoin方法基于启发式规则优化(续)可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表)。

理由：设连接表R与S分别占用的块数为Br与Bs连接操作使用的内存缓冲区块数为K分配K-1块给外表如果R为外表，则嵌套循环法存取的块数为Br+Bs/(K-1)Br显然应该选块数小的表作为外表二、基于代价的优化启发式规则优化是定性的选择，适合解释执行的系统解释执行的系统，优化开销包含在查询总开销之中编译执行的系统中查询优化和查询执行是分开的可以采用精细复杂一些的基于代价的优化方法基于代价的优化一、统计信息基于代价的优化方法要计算各种操作算法的执行代价，与数据库的状态密切相关数据字典中存储的优化器需要的统计信息：对每个基本表该表的元组总数(N)元组长度(l)占用的块数(B)占用的溢出块数(BO)基于代价的优化（续）对基表的每个列该列不同值的个数(m)选择率(f)如果不同值的分布是均匀的，f＝1/m如果不同值的分布不均匀，则每个值的选择率＝具有该值的元组数/N该列最大值该列最小值该列上是否已经建立了索引索引类型(B+树索引、Hash索引、聚集索引)基于代价的优化（续）对索引(如B+树索引)索引的层数(L)不同索引值的个数索引的选择基数S(有S个元组具有某个索引值)索引的叶结点数(Y)基于代价的优化（续）二、代价估算示例全表扫描算法的代价估算公式如果基本表大小为B块，全表扫描算法的代价cost＝B如果选择条件是码＝值，那么平均搜索代价cost＝B/2基于代价的优化（续）2.索引扫描算法的代价估算公式如果选择条件是码＝值如［例1-C2］，则采用该表的主索引若为B+树，层数为L，需要存取B+树中从根结点到叶结点L块，再加上基本表中该元组所在的那一块，所以cost=L+1如果选择条件涉及非码属性如［例1-C3］，若为B+树索引，选择条件是相等比较，S是索引的选择基数(有S个元组满足条件)最坏的情况下，满足条件的元组可能会保存在不同的块上，此时，cost=L+S基于代价的优化（续）如果比较条件是＞，＞＝，＜，＜＝操作假设有一半的元组满足条件就要存取一半的叶结点通过索引访问一半的表存储块cost=L+Y/2+B/2如果可以获得更准确的选择基数，可以进一步修正Y/2与B/2基于代价的优化（续）3.嵌套循环连接算法的代价估算公式嵌套循环连接算法的代价

cost＝Br+Bs/(K-1)Br如果需要把连接结果写回磁盘，

cost＝Br+Bs/(K-1)Br+(Frs*Nr*Ns)/Mrs其中Frs为连接选择性(joinselectivity)，表示连接结果元组数的比例Mrs是存放连接结果的块因子，表示每块中可以存放的结果元组数目。基于代价的优化（续）4.排序-合并连接算法的代价估算公式如果连接表已经按照连接属性排好序，则

cost＝Br+Bs+(Frs*Nr*Ns)/Mrs。如果必须对文件排序需要在代价函数中加上排序的代价对于包含B个块的文件排序的代价大约是(2*B)+(2*B*log2B)查询优化2代数优化3物理优化4优化步骤51查询处理优化的一般步骤把查询转换成某种内部表示代数优化：把语法树转换成标准（优化）形式物理优化：选择低层的存取路径生成查询计划，选择代价最小的优化的一般步骤(续)（1）把查询转换成某种内部表示例：求选修了课程Ｃ2的学生姓名

SELECTStudent.Sname FROMStudent,SC WHEREStudent.Sno=SC.Sno ANDSC.Cno='2';把查询转换成内部表示语法树结果project(Sname)

select(SC.Cno=2)

join(Student.Sno=SC.Sno)

StudentSC关系代数语法树πSname

SC.Cno=’2’

Student.Sno=SC.S

×

StudentSC（2）代数优化利用优化算法把语法树转换成标准（优化）形式

πSname

Student.Sno=SC.Sno

SC.Cno=2

×

StudentSC（3）物理优化选择低层的存取路径优化器查找数据字典获得当前数据库状态信息选择字段上是否有索引连接的两个表是否有序连接字段上是否有索引然后根据一定的优化规则选择存取路径如本例中若SC表上建有Cno的索引，则应该利用这个索引，而不必顺序扫描SC表。（4）选择代价最小生成查询计划在作连接运算时，若两个表(设为R1，R2)均无序，连接属性上也没有索引，则可以有下面几种查询计划：对两个表作排序预处理对R1在连接属性上建索引对R2在连接属性上建索引在R1，R2的连接属性上均建索引对不同的查询计划计算代价，选择代价最小的一个。在计算代价时主要考虑磁盘读写的I/O数，内存CPU处理时间在粗略计算时可不考虑。SQL语句优化IN操作符优化但是用IN的SQL性能总是比较低的，从执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别：DB试图将其转换成多个表的连接，如果转换不成功则先执行IN里面的子查询，再查询外层的表记录，如果转换成功则直接采用多个表的连接方式查询。由此可见用IN的SQL至少多了一个转换的过程。一般的SQL都可以转换成功，但对于含有分组统计等方面的SQL就不能转换了。推荐方案：在业务密集的SQL当中尽量不采用IN操作符。

NOTIN操作符优化此操作是强列推荐不使用的，因为它不能应用表的索引。推荐方案：用NOTEXISTS或（外连接+判断为空）方案代替<>操作符优化不等于操作符是永远不会用到索引的，因此对它的处理只会产生全表扫描。推荐方案：用其它相同功能的操作运算代替，如

a<>0改为a>0ora<0

a<>’’改为a>’’NULL优化ISNULL判断字段是否为空一般是不会应用索引的，因为B树索引是不索引空值的。推荐方案：用其它相同功能的操作运算代替，如aisnotnull改为a>0或a>’’等。不允许字段为空，而用一个缺省值代替空值，如申请状态字段不允许为空，缺省为申请。>及<操作符优化大于或小于操作符一般情况下是不用调整的，因为它有索引就会采用索引查找特殊情况：如右表的数据分布执行A>2与A>=3的效果就有很大的区别了，因为A>2时ORACLE会先找出为2的记录索引再进行比较，而A>=3时DB则直接找到=3的记录索引。0…01…12…23…330万条30万条39万条1万条LIKE操作符优化LIK