PostgreSQL内核-Portal策略选择机制详解

1、PostgreSQL内核-Portal策略选择机制详解技术创新，变革未来Portal模块介绍Portal模块运行流程Portal模块策略划分原则分析查询执行器框架Portal策略选择模块根据sql语句类型选择 不同执行模块Portal策略选择模块ProcessUtility数据定 义语句执行模块Executor可优化语句 (DML)执行模块特定功能子 模块Portal模块也称为策略选择模块，根据sql语句类型选择不同执行模块 (ProcessUtility和Executor模块)该部分完成了对于查询编译器输出数据的解析，选择预先设定好的执行流程。Sql语句的分类： 可优化语句 数据定义语 句一

2、般可优化语句被转换为 非可优化语句被转换为特殊的会被转换为，操 作集合，比selectinto 包含select和创建表操作可优化语句：主要包括DML语句，这类语句特点是需要查询满足条件的元组 ， 然后返回给用户或者在元组上进行某些操作后写回到磁盘上。由于在执行计划树的生成过程中会根据查询优化理论进行重写和优化，以 加快查询速度，因此，这类语句被称为可优化语句。DML：insert/update/delete/select语句数据定义语句：主要是功能性语句，这类语句包含查询数据元组以外的各种 操作 DDL：Create table、Drop table、Alter table等 DCL：Gra

3、nt语句、Revoke语句等两者编译后输入到执行器的结构不同：可优化语句编译后输入到执行器的结构为执行计划树PlannedStmt数据定义语句编译后输入到执行器的结构为非计划树类型（如T_ViewStmt)SQL语句类型根据查询编译器给出的查询计划树链表来为当前查询选择五种执行策略。在这个过程中，执行策略 选择器会使用数据结构PortalData来存储查询计划树链表以及最后选中的执行策略等信息，我们通 常也把这个数据结构称为“Portal”。Const char*sourceTextList*stmtsPortalStrategystrategyPortalStatusstatusTuples

4、toreStateholdStoreQueryDescqueryDesc查询计划树链表Portal执行策略查询描述符，存储执行查 询需要的所有信息暂存的查询结果portal执行状态原始SQL语句PlannedStmtQuery策略选择器的工作原理是根据查询编译器给出的查询计划 树来为当前查询选择执行策略中的一种，如下图所示：根据命令类型，原子操作个数 以及查询树、计划树上的某些 字段(比如hasModifyingCTE、 utilityStmt等等)来选择策略两种原子操作PlannedStmt和Query命令类型的数据结构typedef enum CmdTypeCMD_UNKNOWN,CMD_

5、SELECT, /* select stmt */CMD_UPDATE, /* update stmt */CMD_INSERT, /* insert stmt */CMD_DELETE,CMD_UTILITY, /* cmds like create, destroy, copy, vacuum,* etc. */CMD_NOTHING /* dummy command for instead nothing rules* with qual */ CmdType;由查询编译输出的每一个查询计划树都包含一个类 型为CmdType的字段，用于标识该原子操作对应的 命令类型。命令类型分为六类：C

6、MD_UNKNOW 表示没有定义CMD_SELECT表示查询操作CMD_UPDATE表示更新操作 CMD_INSERT表示插入操作 CMD_DELETE表示删除操作 CMD_UTILITY表示功能性操作（数据定义语句） CMD_NOTHING用于由查询编译器新生成的操作Portal执行过程对portal进 行初始化执行portal 中的查询释放Portal运 行中占用的 资源，从 PortalHashTable中删除 portalPortal执行策略PORTAL_ONE_SELECT：处理用户提交的SQL语句仅包含一个SELECT类型查询的情况。该策略 调用Executor模块进行处理，最后返

7、回查询结果 如：SELECT * FROM s;stmts链表中只有一个PlannedStmt类型或是Query类型的节点。节点是CMD_SELECT类型的操作。节点的utilityStmt字段和intoClause字段为空。处理流程如下：初始化过程：直接调用ExecutorStart进行执行计划的初始化过程 ，接着设置portal返回元组的属性描述信息执行过程：使用PortalRunSelect直接调用ExecutorRun获取查询结果清理过程：最后在执行完毕后释放所占用的资源将结果返回 给用户Portal执行过程PORTAL_ONE_RETURNING：处理带有RETURNING子句的IN

8、SERT/UPDATE/DELETE语句。如： INSERT INTO sc VALUES(1,1) RETURNING *；满足条件：stmts链表中只有一个包含RETURNING字句（returningList不为空）的原子操作。PORTAL_UTIL_SELECT：处理一些需要返回结果的数据定义语句（FETCH、EXECUTE、EXPLAIN和SHOW）。如：EXPLAIN INSERT INTO sc VALUES(1,1) ；在第一次执行时，运行Portal来完成并将主查询的结果转储到Portal的tuplestore中; 然后根据需要将结果返回给客户端。满足条件：1.stmts链表

9、仅有一个Query类型的节点。2.节点是CMD_UTILITY类型操作。3.节点的utilityStmt字段保存的是FETCH语句（类型为T_FetchStmt）、EXECUTE语句（类 型为T_ExecuteStmt）、EXPLAIN语句（类型为T_ExplainStmt）或是SHOW语句（类型为 T_VariableShowStmt）之一。Portal执行策略select * from T_Personwhere FAge=(select FAge from T_Person where FName=Sun) OR FSalary=(select FSalary from T_Person

10、 where FName=Sun)使用With子句后RETURNING子句的输出，不是数据修改语句的目标表，它形成了剩余查询可以引用的临时表。WITH person_Sun ASselect * from T_Person where FName=Sunselect * from T_Personwhere FAge=person_Sun .FAge OR FSalary=person_Sun .FSalaryWith子查询，也称为公共表表达式，目的是通过查询语句定义一 个 临时集合，避免语句中多层嵌套查询的情况。WITH中的数据修改语句通常具有RETURNING子句，而RETURNING子句

11、的输出，不是数据修改语句的目标表，它形成了剩余查询可以引用的临时表。对于带有INSERT/UPDATE/DELETE的WITH子句，会在公共表表达式中修改数据。我们 需要进行特事特办，特殊处理形成PORTAL_ONE_MOD_WITH策略PORTAL_ONE_MOD_WITH：处理包含WITH子句查询，其中包含修改数据的操作。如：WITH moved_rows AS ( DELETE FROM products WHEREdate = 2010-10-01 AND date 2010-11-01 RETURNING *)INSERT INTO products_log SELECT * FRO

12、M moved_rows; 满足条件：Portal包含一个SELECT查询，同时存在修改数据的公共表表达式。以上三种策略执行流程如下：初始化过程：选择执行策略，并对返回元组类型描述进行初始化 执行过程：用FillPortalStore创建缓存，根据策略调用PortalRunMulti或 PortalRunUtility，把执行结果存放在缓存中，然后用PortalRunSelect调用 RunFromStore从缓存中获取元组返回给用户 清理过程：执行完成后对 占用资源进行释放Portal执行策略执行查询 创建缓存存储 用于返回给用 户的处理结果将结果返回 给用户Portal执行过程PORTAL

13、_MULTI_QUERY：处理以上几种策略以外的所有情况，一个或多个原子操作， 并根据操作类型选择合适的处理部件。前面几种策略的混合，可以处理多个原子操作。执行流程如下：初始化过程：不进行任何处理，因为PORTAL_MULTI_QUERY策 略往往包含多个查询计划树 执行过程：调用 ProtalRunMulti根据执行计划的类型选择Executor或ProcessUtility模块清理过程：执行完成后释放占用资源Portal执行策略PORTAL_MULTI_QUERY：处理以上几种策略以外的所有情况，一个或多个原子操作，并根据 操作类型选择合适的处理部件。执行流程如下：初始化过程：不进行任何处理，因为PORTAL_MULTI_QUERY策略往往 包含多个查询计划树执行过程：调用ProtalRunMulti根据