关系查询处理和查询优化PPT课件

-,1,第九章关系查询处理和查询优化,-,2,查询处理与优化,如何以有效的方式处理用户查询是RDBMS有效实现的关键问题之一数据库的更新运算要么是简单的（如插入一个元组），要么与一个复杂的更新条件相关联（如删除满足某些条件的元组）复杂的更新首先需要找到要更新的元组，然后才能进行更新。因此，只有能够有效地处理查询，才能有效地实现更新查询处理的中心任务是把使用诸如SQL这样的说明性语言表达的用户查询转换成一系列能够在物理文件上执行的操作，并执行这些操作得到查询结果查询优化是查询处理的关键步骤，它从众多的查询执行方案中选择最有效的执行方案,-,3,关系查询处理和查询优化,9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结,-,4,9.1关系数据库系统的查询处理,9.1.1查询处理步骤9.1.2实现查询操作的算法示例,-,5,9.1.1查询处理步骤,RDBMS查询处理过程查询分析查询检查查询优化查询执行,图9.1查询处理步骤,-,6,9.1.1查询处理步骤（续）,查询分析：进行词法分析、语法分析和语义分析词法分析从查询语句中识别出语言符号，如SQL的保留字、关系名、属性名和各种运算符等其他符号语法分析检查用户查询语句的语法格式，确保查询语句语法上的正确性语义分析可以与语法分析同时进行，将查询转换成更适合进一步处理的内部表示,-,7,9.1.1查询处理步骤（续）,查询检查根据数据字典对合法的查询语句进行语义检查根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查检查通过后把SQL查询语句转换成等价的关系代数RDBMS一般都用查询树，也称语法分析树，来表示扩展的关系代数表达式把数据库对象的外部名称转换成内部表示,-,8,9.1.1查询处理步骤（续）,查询检查查询树例9.1找出提供了P001号零件的供应商名称SELECTSnameFROMSuppliers,SPWHERESuppliers.Sno=SP.SnoANDPno=P001;转换成下图9.2所示的语法树，或者转换成如下关系代数表达式：Q1：Sname(Suppliers.Sno=SP.SnoPno=P001(SuppliersSP),-,9,9.1.1查询处理步骤（续）,查询优化一个给定的查询有多种可能的执行策略例如，例9.1的查询也可以用如下关系代数表达式计算：Q2：Sname(Pno=P001(SuppliersSP)Q3：Sname(SuppliersPno=P001(SP)每个基本运算也可以有多种不同的实现算法一个查询执行计划包括计算查询的关系代数表达式和其中每个基本运算的实现算法查询优化就是从多种可能的查询执行方案中选择一种最有效执行的查询执行计划的过程对于相同的查询，不同的查询执行计划的时间开销可能相差几个数量级例如，使用Q1计算例9.1的查询的I/O开销大约是使用Q3的2000倍,-,10,9.1.1查询处理步骤（续）,按照优化层次分为代数优化和物理优化代数优化vs物理优化代数优化：找到一个与给定的查询表达式等价、但执行起来更加有效的关系代数表达式物理优化：为关系代数表达式选择一个详细的策略，包括为特定的操作选择可用的算法（底层操作算法），选择可用的索引（存取路径）等基于规则的优化vs基于代价的优化基于规则的优化：根据某些启发式规则，通过关系代数的等价变换，得到更有效的关系代数表达式；或者根据某些启发式规则选择实现基本运算的算法基于代价的优化：利用元数据中的统计信息，估计不同的查询执行计划的开销，从中选择最优方案,-,11,9.1.1查询处理步骤（续）,查询执行执行引擎依据优化器得到的查询执行计划生成执行查询计划的代码，执行该代码产生查询结果，并以适当的形式提交用户查询执行之前还要进行安全性检查，确保执行查询的用户必须具有相应的访问权限。任何违反安全性限制的查询都将被拒绝对于数据库的更新操作，除了安全性检查之外，还需要进行完整性检查,-,12,9.1.1查询处理步骤（续）,查询代价的估计为了优化查询，优化器必须知道每个基本运算的代价，进而估计查询执行计划的代价精确地估计代价是困难的，但是粗略的估计是可能的，并且这种粗略估计可以很好地反映不同查询计划的相对优劣查询代价包括CPU代价、I/O代价和内存代价在分布式数据库系统或并行数据库系统中，查询代价还包括通信代价本章，我们只考虑集中式系统内存代价用查询处理所需的内存量度量最坏的情况：内存缓冲区只能容纳数目不多的数据块大约每个关系一块或几块,-,13,9.1.1查询处理步骤（续）,CPU代价用查询所需的CPU时间度量磁盘存取比内存操作慢，并且随着硬件技术的发展，CPU速度的提高也比磁盘速度的提高快得多因此磁盘I/O一直是制约查询处理速度提高的瓶颈通常，I/O代价被认为是估计查询处理代价的合理度量I/O代价包括磁盘寻道时间、旋转延迟时间和实际的数据传输时间磁盘寻道时间和旋转延迟时间依赖于磁头的当前位置，难以精确估计可以假定每个磁盘块的读写大致需要相同的平均寻道时间和旋转延迟时间I/O代价可以用磁盘读写块数近似地估计,-,14,9.1.1查询处理步骤（续）,表达式计算代价评估的统计信息DBMS的数据字典中存储并维护了关于数据库关系的如下统计信息nr：关系r的元组数br：包含关系r的块数lr：关系r的元组长度（字节数）V(r,A)：关系r在属性A上的不同值数目在查询中经常同时出现的属性集上，也有类似的统计量fr：关系r的块因子，即一块能够容纳关系r的元组数当r存储在一个物理文件中时，br=nr/fr关系r的哪些属性（集）上建立了索引，哪种索引（B+树索引、Hash索引、聚集索引B+树索引包括属性A上B+树高度h(r,A)B+树叶节点数l(r,A)等信息,-,15,9.1关系数据库系统的查询处理,9.1.1查询处理步骤9.1.2实现查询操作的算法示例,-,16,9.1.2实现查询操作的算法示例,查询最常用的运算是选择、投影和连接投影运算的实现是简单的通常投影可以并入其他步骤重点讨论选择与连接,-,17,选择操作的实现,例1select*fromstudentwhere：考虑的几种情况：C1：无条件；C2：sno=200215121；C3：sage20;C4:sdept=CSANDsage20,-,18,选择操作的实现（续）,选择操作典型的实现方法1.简单的全表扫描方法对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元祖作为结果输出适合小表，或者满足选择条件的元组所占比例较大2.索引（散列）扫描方法适合选择条件中属性有索引（例如B+树索引或者hash索引）通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组,-,19,选择操作的实现（续）,例1-C2以C2为例，sno=200215121，并且在sno上有索引（或sno是散列码），则可以使用索引（或散列码）得到sno为200215121元组的指针，然后通过元组指针在student表中检索到该学生例1-C3以C3为例，sage20，并且在sage上有B+树索引，则可以使用B+树索引找到sage=20的索引项，以此为入口点在B+树的顺序集上得到sage20的所有元组指针，然后通过这些元组指针到student表中检索到所有年龄大于20的学生例1-C4以C4为例，sdept=CSandsage20，如果sdept和sage上都有索引，那么其中一种算法是：分别用上面两种方法分别找到sdept=CS的一组元组指针和sage20的另一组元组指针，求这2组指针的交集，再到student表中检索，就得到计算机系年龄大于20的学生；另一种算法：找到sdept=CS的一组元组指针，通过这些元组指针到student表中检索，并对得到的元组检查另一些选择条件（如sage20）是否满足，将满足条件的元组作为结果输出,-,20,连接操作的实现,连接操作是查询处理中最耗时的操作之一本章只讨论等值连接（或自然连接）最常用的实现算法例2SELECT*FROMStudent,SCWHEREStudent.Sno=SC.Sno1.嵌套循环方法（nestedloop）2.排序-合并方法（sort-mergejoin或mergejoin）3.索引连接（indexjoin）方法4.HashJoin方法,-,21,连接操作的实现（续）,1.嵌套循环方法对外层循环（Student）的每一个元组（s），检索内层循环（SC）中的没一个元组（sc）检查这两个元组在连接属性（sno）上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止,-,22,连接操作的实现（续）,2.排序-合并方法（sort-mergejoin或mergejoin）如果进行连接的两个关系r和s在连接属性上是有序的，则可以使用归并连接与两个有序文件归并类似排序-合并连接方法的步骤：1.如果连接的表没有排好序，首先对Student表和SC表按连接属性Sno排序2.取Student表中第一个Sno，依次扫描SC表中具有相同的Sno的元组；把它们连接起来（如图所示）3.当扫描到Sno不同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同的Sno元组，把它们连接起来重复上述步骤直到Student表扫描完,-,23,连接操作的实现（续）,-,24,连接操作的实现（续）,Student表和SC表都只需要扫描一遍如果2个表原来无序，执行时间要加上对两个表的排序时间对于两个大表，先排序后使用sort-mergejoin方法执行连接，总的执行时间一般仍会大大地减少,-,25,连接操作的实现（续）,3.索引连接（indexjoin）方法步骤：1.在SC表上建立属性Sno索引，如果原来没有的话2.对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组3.把这些SC元组和Student连接起来循环执行2、3步，直到Student表中的元组处理完为止,-,26,连接操作的实现（续）,4.HashJoin方法把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中步骤：划分阶段（partitioningphase）：对包含较少元组的表（比如R）进行一遍处理把它的元组按hash函数分散到hash表的桶中试探阶段（probingphase）：也称为连接阶段（joinphase）对另一个表（S）进行一遍处理把S的元组散列到适当hash桶中并把元组与桶中所有来自R并与之相匹配的元组连接起来该算法的前提是假设这两个表中较小的表在第一阶段后可以完全放入内存的hash桶中该算法思想可以推广到更加一般的多个表的连接算法上,-,27,关系查询处理和查询优化,9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结,-,28,9.2关系数据库系统的查询优化,查询优化在关系数据库系统中有着非常重要的地位，是影响RDBMS性能的关键因素非关系系统用户使用过程化的语言表达查询要求执行何种操作，以及操作的序列都是由用户来决定的系统为用户提供选择存取路径的手段，而用户必须了解存取路径，为自己的查询选择合适的存取路径对于关系数据库系统，查询优化是机遇，也是挑战用户只需要说明做什么，而不必说明怎么做。这就为查询优化提供了更大的空间，使得系统可以分析查询语义，选择最佳的查询处理方案为了使查询处理速度达到用户可以接受的水平，RDBMS必须使用优化技术，并且为查询选择一种最佳的执行方案也并非一件易事,-,29,9.2关系数据库系统的查询优化（续）,9.2.1查询优化概述9.2.2一个实例,-,30,9.2.1查询优化概述,查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做的更好，原因：1.优化器可以从数据字典中获取许多统计信息，例如：每个关系表中的元组数、关系中每个属性值的分布情况、哪些属性上已经建立了索引等。优化器可以根据这些信息作出正确的估算，选择高效的执行计划，而用户程序则难以获得这些信息2.如果数据库的物理统计信息改变了，系统可以自动对查询进行重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的,-,31,9.2.1查询优化概述（续）,3.优化器可以考虑数百种不同的执行计划，而程序员一般只能考虑有限的几种可能性4.优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术查询优化的总目标：选择有效的策略求得给定关系表达式的值使得查询代价最小（实际上是较小）,-,32,9.2关系数据库系统的查询优化（续）,9.2.1查询优化概述9.2.2一个实例,-,33,9.2.2一个实例,例3求选修2号课程的学生姓名，用SQL表达：SELECTStudent.SnameFROMStudent，SCWHEREStudent.Sno=SC.SnoANDSC.Cno=2假定学生-课程数据库中有1000个学生记录，10000个选课记录其中选修2号课程的选课记录为50个,-,34,9.2.2一个实例(续),系统可以用多种等价的关系代数表达式完成这一查询Q1=Sname(Student.Sno=SC.SnoSc.Cno=2(StudentSC)Q2=Sname(Sc.Cno=2(StudentSC)Q3=Sname(StudentSc.Cno=2(SC),-,35,9.2.2一个实例(续),一、第一种情况Q1=Sname(Student.Sno=SC.SnoSc.Cno=2StudentSC)1.计算广义笛卡尔积把Student和SC的每个元组连接起来的做法是：在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上从SC中读入一块和内存中的Student元组连接，直到SC表处理完再读入若干块Student元组，读入一块SC元组重复上述处理过程，直到把Student表处理完,-,36,9.2.2一个实例(续),设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为读取总块数=读Student表块数+读SC表遍数*每遍块数其中，读Student表100块。读SC表20遍，每遍100块。若每秒读写20块，则总计要花105s连接后的元组数为103104=107。设每块能装10个元组，则写出这些块要用106/20=5104s,-,37,9.2.2一个实例(续),2.作选择操作依次读入连接后的元组，按照选择条件选取满足要求的记录假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5104s满足条件的元组假设仅50个，均可放在内存3.作投影操作把第2步的结果在Sname上作投影输出，得到最终结果第一种情况下执行查询的总时间105+25104105s所有内存处理时间均忽略不计,-,38,9.2.2一个实例(续),二、第二种情况Q2=Sname(Sc.Cno=2(StudentSC)1.计算自然连接执行自然连接，读取Student和SC表的策略不变，总的读取块数仍为2100块花费105s自然连接的结果比第一种情况大大减少，为104个写出这些元组时间为104/10/20=50s，为第一种情况的千分之一2.读取中间文件块，执行选择运算，花费时间也为50s。3.把第2步结果投影输出。第二种情况总的执行时间105+50+50205s,-,39,9.2.2一个实例(续),三、第三种情况Q3=Sname(StudentSc.Cno=2(SC)1.先对SC表作选择运算，只需读一遍SC表，存取100块花费时间为5s，因为满足条件的元组仅50个，不必使用中间文件。2.读取Student表，把读入的Student元组和内存中的SC元组作连接。也只需读一遍Student表共100块，花费时间为5s。3.把连接结果投影输出第三种情况总的执行时间5+510s,-,40,9.2.2一个实例(续),假如SC表的Cno字段上有索引第一步就不必读取所有的SC元组而只需读取Cno=2的那些元组(50个)存取的索引块和SC中满足条件的数据块大约总共34块若Student表在Sno上也有索引第二步也不必读取所有的Student元组因为满足条件的SC记录仅50个，涉及最多50个Student记录读取Student表的块数也可大大减少总的存取时间将进一步减少到数秒,-,41,9.2.2一个实例(续),把代数表达式Q1变换为Q2、Q3，即有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化在Q3中SC表的选择操作算法有全表扫描和索引扫描2种方法，经过初步估算，索引扫描方法较优对于Student和SC表的连接，利用Student表上的索引，采用indexjoin代价也较小，这就是物理优化,-,42,关系查询处理和查询优化,9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结,-,43,9.3代数优化,9.3.1关系代数表达式等价变换规则9.3.2查询树的启发式优化,-,44,9.3.1关系代数表达式等价变化规则,代数优化策略：通过对关系代数表达式的等价变换来提高查询效率关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的两个关系表达式E1和E2是等价的，可记为E1E2,-,45,9.3.1关系代数表达式等价变化规则（续）,常用的等价变换规则：1.连接、笛卡尔积交换律2.连接、笛卡尔积的结合律3.投影的串接定律4.选择的串接定律5.选择与投影操作的交换律6.选择与笛卡尔积的交换律7.选择与并的分配律8.选择与差运算的分配律9.选择对自然连接的分配律10.投影与笛卡尔积的分配律11.投影与并的分配律,-,46,9.3.2查询树的启发式优化,典型的启发式规则：1.选择运算应尽可能先做。在优化策略中这是最重要、最基本的一条。它常常可使执行时节约几个数量级，因为选择运算一般使计算的中间结果大大变小2.把投影运算和选择运算同时进行。如有若干投影和选择操作，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系3.把投影同其前或其后的双目运算结合起来，没有必要为了去掉某些字段而扫描一遍关系4.把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算，连接特别是等值连接运算要比同样关系上的笛卡尔积节省很多时间5.找出公共子表达式。如果这种重复出现的子表达式的结果不是很大的关系，并且从外存中读入这个关系比计算该子表达式的时间少得多，则先计算一次公共子表达式并把结果写入中间文件是合算的。当查询的是视图时，定义视图的表达式就是公共子表达式的情况,-,47,9.3.2查询树的启发式优化（续）,例4下面给出例3中SQL语句的代数优化示例。(1)把SQL语句转换成查询树，如下图所示,图9.3查询树,-,48,9.3.2查询树的启发式优化（续）,为了使用关系代数表达式的优化法，假设内部表示是关系代数语法树，则上面的查询树如下图所示。,图9.4关系代数语法树,-,49,9.3.2查询树的启发式优化（续）,(2)对查询树进行优化利用规则4、6把选择SC.Cno=2移到叶端，查询树便转换成下图所示的优化的查询树。这就是9.2.2节中Q3的查询树表示,图9.4优化后的查询树,-,50,关系查询处理和查询优化,9.1关系数据库系统的查询处理9.2关系数据库系统的查询优化9.3代数优化9.4物理优化9.5小结,-,51,9.4物理优化,代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径对于一个查询语句有许多存取方案，它们的执行效率不同，仅仅进行代数优化是不够的物理优化就是要选择高效合理的操作算法或存取路径，求得优化的