PostgreSQL平台新技术特性介绍

1、 扬帆起航PostgreSQL 平台新特性介绍目录PG 12 重点新特性风向标PG12重点新特性性能增强AM接口分区表大幅性能提升GiST index include 任意数据组织存储Btree 索引duplicate key存储组织sort by ctid增强性能自定义统计信息支持多列MCV高性能几乎线性提升自动计算并行度覆盖几乎所有复杂查询l 单表10亿测试l 平均提速20倍+l 不需要改写SQLl 自动根据SQL代价启动并行计算l 表扫描l 索引扫描l SQL 过滤l JOIN、子查询l 聚合、自定义函数l 分区表、外部表l 自定义聚合、函数l 排序、建表、物化、创建索引PG11+AM接

2、口PG 12h t t p s : / / g i t h u b . c o m / d i g o a l / b l o g / b l o b / m a s t e r / 2 0 1 9 0 3 / 2 0 1 9 0 3 3 1 _ 0 3 . m dh t t p s : / / g i t h u b . c o m / d i g o a l / b l o g / b l o b / m a s t e r / 2 0 1 9 0 5 / 2 0 1 9 0 5 3 1 _ 0 3 . m d存储引擎扩展zedstore(列存)zheap(支持回滚段)分区表-大量分区性能

3、提升1000个分区、469倍h t t p s : / / g i t h u b . c o m / d i g o ah t t p s : / / g i t h u b . c o m / d i g o al / b l o g / b l o b / m a s t e r / 2 0 1 9 0 5 / 2 0 1 9 0 5 2 1 _ 0 1 . m dl / b l o g / b l o b / m a s t e r / 2 0 1 9 0 3 / 2 0 1 9 0 3 3 1 _ 0 1 . m dIndexinclude痛点：数据离散存储， 查询多条时I O 多，

4、 查询慢， 占用内存多， m e m c p y 效率低。聚集存储（ b + t ） 只有一种存储形态， 聚集K E Y 必须是P K ， 二级索引效率低， 实用性差。P G 1 1 B t r e e ,P G 1 2 G i S T s u p p o r t i n d e x i n c l u d ec r e a t e i n d e x i d x _ t 1 _ 1 o n t 1 ( i d ) i n c l u d e ( c 1 , c 2 , c 3 , i n f o , c r t _ t i m e ) ;Btree,duplicatekeyssortbyct

5、idhtt p s : / /g i t h u b . co m / d i g o a l / b l o g / b l o b / m a ste r / 2 0 1 9 1 1 / 2 0 1 9 1 1 2 8 _ 0 3 . m d1 、d u p l i c a t e k e y s 值按c t i d 排序存储， 减少索引页s p l i t 。原来是按d u p l i c a t e g r o u p 无序存储。2 、提高查询效率（ 有序s c a n ）3 、降低索引存储空间。4 、v a c u u m 时， s c a n t a b l e ， 存储垃圾t u

6、 p l e c t i d s ， 存满v a c u u m m e m o r y ( m a i n t e n a n c e m e m ) ， s c a ni n d e x 回收垃圾i n d e x t u p l e s 。当回收整个d u p l i c a t e k e y s ， v a c u u m 产生的w a l 更少( 涉及的i n d e x p a g e 更 少) ) 。自定义统计信息支持多列MCVWhere a = ? And b=? Or c=? And d=? 评估选择性单列柱状图单列柱状图单列柱状图多列柱状图简单粗暴：单列概率相乘、相加概率

7、更加精准PG12重点新特性功能Reindex Concurrently 不堵塞写操作日志采样SQL/JSON path languageGenerated columnsCase-insensitive and accent-insensitive grouping and orderingChecksum offline 修改，pg_checksum插件支持online开关checksum日志采样h t t p s : / / g i t h u b . c o m / d i g o a l / b l o g / b l o b / m a s t e r / 2 0 1 9 0 4 /

8、 2 0 1 9 0 4 0 5 _ 0 9 . m dl o g _ s t a t e m e n t _ s a m p l e _ r a t e ， 当设置了l o g _ m i n _ d u r a t i o n _ s t a t e m e n t 时， 如果l o g _ s t a t e m e n t _ s a m p l e _ r a t e 也设置了， 它表示百分之多少的超时S Q L 被记录。l o g _ t r a n s a c t i o n _ s a m p l e _ r a t e ， 不管其他任何设置， 它表示百分之多少的事务被记录d

9、u r a t i o n 。（ 事 务为最小粒度单位， 如果一个事务被触发了记录d u r a t i o n ， 这个事务中的所有S Q L 都会被记录。）SQL/JSONpathlanguage新增类型jsonpathh t t p s : / / w w w. p o s t g r e s q l . o r g / d o c s / 1 2 / f u n c t i o n s - j s o n . h t m l # F U N C T I O N S - S Q L J S O N - PAT H风向标PG DNAL i c e n s e社区化开源数据库模块化设计， E a sy e x t e n d a b l e社区化运作有组织有纪律M a j o r s p o n s o rs