lvorySQL 2025生态大会暨PostgreSQL高峰论坛：pg-duckdb的实现思路与落地应用

pg_duckdb的实现思路与落地应用IvorySQL

2025生态大会暨PostgreSQL高峰论坛曾满数据库内核研发postgres爱好者、monetdb_fdw作者、openHalo、IvorySQL、

pg_duckdb、orafce等等开源项目贡献者。IvorySQL

2025生态大会暨PostgreSQL高峰论坛

pg_duckdb是什么

pg_duckdb的由来

pg_duckdb的实现思路

pg_duckdb适用场景目录CONTENTSIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb是什么IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb是什么https://github.com/duckdbIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb是什么TPCDS

Query

01测试IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdbPostgreSQL162.149

ms175162.327

mspg_duckdb是什么8核16G

TPCDS测试结果tpcds

query

01120001000080006000400020000IvorySQL

2025生态大会暨PostgreSQL高峰论坛tpcds

query

01

-

99运行时间（

s）pg_duckdbPostgreSQL10936.

42776.024Why

DuckDB/why_duckdbIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的由来IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的由来https://github.com/hydradatabaseIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的由来https://docs.hydra.so/intro/aboutIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的由来/duckdb/pg_duckdbIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路IvorySQL

2025生态大会暨PostgreSQL高峰论坛结论：当用户输入了一条查询语句，

对于DuckDB而言，会执行两次Prepare和一次Execute。对于PostgreSQL而言会执行至少两条甚至两条以上的SQL，且每条的SQL不一定一样，SQL数量取决于当前查询中涉及到的表的数量。技术栈：C/C++SQL的全生命周期理解Foreign

Data

Wrapper

(FDW)

Table

Access

Method

(TAM)

Custom

S

canpg_duckdb的实现思路技术栈和结论IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路PostgreSQL的SQL处理流程IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路DuckDB第一次Prepare调用堆栈（优化器阶段）pg_duckdb.so!DuckdbPrepare(xxx)pg_duckdb.so!CreatePlan(xxx)pg_duckdb.so!DuckdbPlanNode(xxx)pg_duckdb.so!DuckdbPlannerHook_Cpp(xxx)

planner(xxx)pg_plan_query(xxx)pg_plan_queries(xxx)exec_simple_query(xxx)PostgresMain(xxx)BackendRun(xxx)BackendStartup(xxx)ServerLoop(xxx)PostmasterMain(xxx)main(xxx)IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路阅读DuckdbPrepare函数IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路DuckDB第二次Prepare调用堆栈（执行器阶段）pg_duckdb.so!DuckdbPrepare(xxx)pg_duckdb.so!Duckdb_Begin

CustomS

can_Cpp(xxx)

ExecInitCustomS

can(xxx)ExecInitNode(xxx)InitPlan(xxx)standard_ExecutorStart(xxx)pg_duckdb.so!DuckdbExecutorStartHook(xxx)

ExecutorStart(xxx)PortalStart(xxx)exec_simple_query(xxx)PostgresMain(xxx)BackendRun(xxx)BackendStartup(xxx)ServerLoop(xxx)PostmasterMain(xxx)IvorySQL

2025生态大会暨PostgreSQL高峰论坛main(xxx)pg_duckdb的实现思路通过debug信息验证两次PrepareIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路DuckDB

Execute调用堆栈pg_duckdb.so!Execute

Query(xxx)pg_duckdb.so!Duckdb_ExecCustomS

can_Cpp(xxx)

ExecCustomS

can(xxx)ExecProcNodeFirst(xxx)ExecProcNode(xxx)ExecutePlan(xxx)standard_ExecutorRun(xxx)ExecutorRun(xxx)PortalRunSelect(xxx)PortalRun(xxx)exec_simple_query(xxx)PostgresMain(xxx)BackendRun(xxx)BackendStartup(xxx)ServerLoop(xxx)PostmasterMain(xxx)IvorySQL

2025生态大会暨PostgreSQL高峰论坛main(xxx)pg_duckdb的实现思路Execute

Query伪代码static

voidExecute

Query(DuckdbScanState

*state)

{auto

&prepared

=

*state->prepared_statement;//

1、处理绑定参数（适用于函数内的查询或者显式PrepareStmt）//

2、将查询暂时挂起auto

pending

=

prepared.PendingQuery(named_values,

true);//

3、执行数据加载的任务//

4、加载完之后

便可执行state->query_results

=

pending->Execute();state->column_count

=

state->query_results->ColumnCount();

state->is_executed

=

true;}IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路IvorySQL

2025生态大会暨PostgreSQL高峰论坛大致流程图pg_duckdb的实现思路依据查询中的表和过滤条件拼接SQLIvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路交由PostgreSQL执行获取相关元组数据IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路将PostgreSQL的行存数据转换成DuckDB的列存数（set

duckdb.threads_for_postgres_scan

=

1）IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路通过输出相关信息验证逻辑IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路简单SQL执行效率会降低IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb的实现思路IvorySQL

2025生态大会暨PostgreSQL高峰论坛加载数据流程图pg_duckdb适用场景IvorySQL

2025生态大会暨PostgreSQL高峰论坛pg_duckdb