lvorySQL 2025生态大会暨PostgreSQL高峰论坛：数据库技术发展历程与时空感知大数据实践

数据库技术发展历程与时空感知大数据实践丁治明中国科学院软件研究所2025-06-27IvorySQL

2025生态大会暨PostgreSQL高峰论坛1数据库技术五十年发展历程回顾时空感知大数据的实时数据管理目录CONTENTSIvorySQL

2025生态大会暨PostgreSQL高峰论坛2数据库技术50年的发展回顾-20世纪60年代•

第一代数据库系统指层次和网状数据库系统•

代表系统：-

IDS（Integrated

Data

Store）•通用电气公司开发了第一个数据可独立存在、多个应用可同时

共享访问的数据库产品。•提出数据库系统三级模式结构，确定了数据库系统的基本结构。-

IMS（Information

Management

System）•1969年，IBM公司研制，层次模型的数据库管理系统。C.W.Bachman（1973）3C.W.Bachman于1973年获图灵奖。IvorySQL

2025生态大会暨PostgreSQL高峰论坛1970年，E.F.Codd发表《大型共享数据库数据的关系模型》论文，为关系数据库技术奠定了理论基础。•

代表系统：–

IBM

San

Jose研究室开发的System

R–

Berkeley大学研制的INGRES•

关系数据模型的提出•

关系数据库的优点–

简单的数学模型–

SQL非过程化的标准语言–

查询优化技术–

事务管理技术E.F.Codd（1981

）4关系数据库之父，1981年获图灵奖。数据库技术50年的发展回顾-20世纪70年代IvorySQL

2025生态大会暨PostgreSQL高峰论坛l

事务处理理论(ACID)与实现技术使得关系数据库走向极致，是最成功的信息技术之一l

保证数据库的完整性和一致性是DBMS的最基本要求l

在数据库和事务处理研究方面的元创性贡献以及在将研究原型转化为商业产品的系统实现方面的技术领袖地位，

1998年获图灵奖l

关系数据库不仅仅是一个产品，而且形成了一个生态：•

产品、标准、工具、应用开发、部署、运行平台。–

产品(

Oracle，

IBM

DB2，MS

SQLServer，PostgreSQL

，

…)–

标准(ISO

SQL，

ANSI

SQL，

…)–

评测(TPC-C，TPC-H，

…)–

工具(PowerDesinger，

…)JamesGray（1998）5James

Gray

于1998年获图灵奖。IvorySQL

2025生态大会暨PostgreSQL高峰论坛新一代数据库系统架构的研究与开发l

1971年至2000年为

，关系数据库的体系架构与实现技术研究l

2001年至2008年为

，提出“one-size

does

not

fit

all

”观点，

l

针对不同应用设计开发了一系列新型数据库系统的体系架构–

开源项目Ingres、Postgres（后改名PostgreSQL）–

商业化

Illustra（后改名Informix）–

流数据库Auraro–

列存储数据仓库C-Store（后改名Vertica）–

高性能OLTP系统H-Store（后改名VoltDB）–

科学数据库SciDB，等等l

2009年至今为

，大数据系统的体系架构设计与实践M.R.Stonebraker（

2014

）6现代主流数据库系统架构的奠基人，2014年获图灵奖。

50年的发展回顾-21世纪IvorySQL

2025生态大会暨PostgreSQL高峰论坛201020012013Redshift1970

1982199320052017关系数据库发展图谱1995

2003MichaelStonebraker1943–加州大学伯克利教授

2014年获图灵奖Ampex(Oraclefor

CIA)

-

>

RSIIvorySQL

2025生态大会暨PostgreSQL高峰论坛E.F.

Codd1923－2003关系数据库理论1981年获图灵奖1973

1983Illustra->

Informix

UniversalServerLarry

Ellison1944-

DB2

UDBIBM

SystemOracle

董事长20172010200119821980198619881984199519957R第一次数据库研讨会以中国科技大学在黄山组织的第一次数据库技术研讨会为标志，从理论学习、技术跟随、原型开发开始，部分高校和研究机构陆续开展了数据库技术的研究。

1977

黄山

首届中国数据库年会中国数据库的发展历程IvorySQL

2025生态大会暨PostgreSQL高峰论坛8成果转化-产学研走向企业化国产数据库在党政、金融、能源、电信等领域实现规模化应等，学习国外主流数据库技术，形成了国产数据库产品，在“863

”“核高基

”

，

，等国家课题的支持下，实现了功能和性能的基本可用。中国数据库的发展历程理论探索少量科研工作者的探索市场竞争市场化：国产数据库进入产品成熟期，随着国家科研项目扶持、试点项目推进，获得了行业用户一定认可，而且阿里、腾讯、华为、中兴等互联网企业和IT领域头部企业布局数据库领域。用

取得突破

在部分领域达到或赶超了国际先进水平。数据库厂商形成，如达梦、金仓、瀚高IvorySQL

2025生态大会暨PostgreSQL高峰论坛全面发展-规模化应用9时空感知大数据的实时数据管理数据库技术五十年发展历程回顾目录CONTENTSIvorySQL

2025生态大会暨PostgreSQL高峰论坛10时空感知大数据：

带有地理

时间标签的、各种感知设备（传感器、机器人、多媒体设备、遥感遥测设备等）所实时采样的数据。

传感器采样的数值型数据，如温度、湿度、压力、PM2.5等等；

多媒体及遥感遥测设备采样的多媒体数据，如交通摄像头抓拍的照片、视频数据；卫星SAR雷达得到的遥感图像数据；水下声纳得到的声纳成像数据等等

…IvorySQL

2025生态大会暨PostgreSQL高峰论坛11时空感知大数据的核心特点与挑战

时空感知大数据具有时空相关性、多源异构性、复杂性、多尺度特性(复杂数据类型、异构数据来源、查询与分析极大地依赖于时空逻辑、微观—中观—宏观)。

数据采集与分析的实时性(如GWAC、FAST、LAMOST等大型科学装置每15秒百万量级数据；物联网数据采集与处理的实时性；

电力SCADA系统实时数据采集)。

大数据分治计算策略难以适用于时空Map/Reduce

、时空JOIN等时空计算场景

…IvorySQL

2025生态大会暨PostgreSQL高峰论坛12GEOgraphic

Spatial-Temporal

big-data

Real-time

Interactive

Analysis

(GSTRiA平台)时空感知大数据典型应用IvorySQL

2025生态大会暨PostgreSQL高峰论坛从节点主节点从节点从节点从节点关键技术存储13IvorySQLSingle,Monolithic,DBMS

kernelStorage

engine

×

nSQLProcessorStorageEngineSQL

processor

×mDivide

monolithic

DB

engine

into

manymicro-engines核心技术1.

分布式并行数据库架构DatabaseParallelINTODividebutedInterface

SpecIvorySQL

2025生态大会暨PostgreSQL高峰论坛Dist

ri14

数据格式（t,pos,

schema,

value），对各类传感器异构采样数据进行统一的接入管理;

以监控对象(Monitored

Objects

≈Sensor)为单位，形成数据序列(动态流式数据)

通过

，获得监控目标的

状态参数信息；

通过传感器

，抽取

，减少数据量；

原始采样数据的分散式溯源存储(

：原始采样

+语意信息

)。核心技术2.

异构传感器数据统一接入技术满足各类应急监控传感器及设备的标准接入要求IvorySQL

2025生态大会暨PostgreSQL高峰论坛双层协同15

基于时空单元（Spacial-

Temporal

Unit）的时空数据表达方法

基于Schema

+

Value的状态感知大数据统一表达方法

基于时空数据类型的时空大数据记录的直接表达方法•ForestFireRecord=(Record

ID:string,

FireObjID:

String,

FireTrack:movingRegion,

Descript:string)；•TrajectoryRecord=(Record

ID:string,VehicleID:string,

TrajectoryU:

movingPointUnit,

Descript:

string)；•LakePollutionRecord=(Record

ID:string,

RegionPollutionState:attributeRegion,

Descript:string)；•TrafficFlowRecord=(Record

ID:string,TrafficState:

attributePolyline,

Descript:

string)核心技术3.

异构传感器数据统一表达模型IvorySQL

2025生态大会暨PostgreSQL高峰论坛16Multi-LevelLSM-Tree时间

时间物理位置核心技术4.

实时存储

内—外存协同存贮与索引IvorySQL

2025生态大会暨PostgreSQL高峰论坛逻辑节点日志逻辑节点日志空间相邻数据记录空间相邻数据记录分布式内存池存储服务存储服务本地内存时序文件时序文件固态硬盘主节点缓存缓存磁盘17城市交通路网人员心理变化污染源时空分布呼吸疾病人群分布重度污染区域(c)

时空人机物多元统计叠加分析

18核心技术5.

时空大数据实时统计与叠加分析(a)

基于时空大数据的统计分析、数据挖掘IvorySQL

2025生态大会暨PostgreSQL高峰论坛(b)

时空导航可视化分析统计输出结果空气污染指数地

理

信息AIOT云-边-端协同数据处理的系统架构

智能卫星大脑、JG智能无人机、

工业大数据、智慧城市大脑IvorySQL

2025生态大会暨PostgreSQL高峰论坛191.

存储至少1亿网格点的空间环境磁场、电子密度、电子温度、离子温度、离子组成、电子含量、速度等主要要素；2.

在100