Greenplum内核技术优化解读

1、Greenplum内核技术优化解读技术创新，变革未来Contents 目录01 Greenplum 6.0 内核新技术02 Greenplum 6.0 新特性解读03 Greenplum 7.0 展望6.0 内核新技术01PostgreSQL 8.3 Greenplum 5.x (2017/09 发布）PostgreSQL 8.4 master (2017/12) PostgreSQL 9.0 master (2018/03) PostgreSQL 9.1 master (2018/05) PostgreSQL 9.2 master (2018/09) PostgreSQL 9.3 maste

2、r (2018/09)PostgreSQL 9.4 master (2018/10) PostgreSQL 9.4.20 master (2018/12)Greenplum 6.0 2019/09/04 发布内核升级 站在前人肩膀上6.0 完成6个大的版本升级， 集成了来自于PostgreSQL社区的约14000次代码提交融合了社区将近10年的工作结晶全局死锁检测收集每个Segment的依赖关系 Master 构建依赖图周期性检测是否存在环 不支持AO锁优化Procarray锁事务优化只读事务不需要分布式快照 单节点查询两阶段提交 只读事务两阶段提交HTAP 性能优化 (70X)内核升级整体性

3、能提升复制表索引有效 UDFGreenplum 5：Filerep基于文件IO 代码侵入性大 涉及文件数目大不易于扩展Greenplum 6：流复制PostgreSQL 原生的流复制技术网络开销低 端口占用数量 快速replay扩展性好 代码侵入低为 DR、CDC、3副本 打下基础 集群管理复杂度降低全新高可用机制弹性在线扩容不停机 不停业务降低数据移动量数据分布策略一致性Hash 数据类型自适应可自定义弹性数据分布基础设施就绪弹性计算基础设施就绪6.0 新特性解读02集成处理平台TP 性能达70倍提升SELECT : 14万/s INSERT: 4.6万/s UPDATE: 2.4万/s数据

4、类型结构化数据 Key/Value XMLJSON（文档类型） Text （文本数据）Geospatial（地理信息数据）Time Series （时序数据）Image （图像） Graph （图数据）流式数据实时流式数据加载 时序数据分析 流式数据处理混合负载（HTAP）TP 性能达70倍提升SELECT : 14万/s INSERT: 4.6万/s UPDATE: 2.4万/s数据类型结构化数据 XML JSON流式数据实时流式数据加载 时序数据分析 流式数据处理HTAP 超越大数据VelocityVolumeVariety多态存储引擎HeapAppend Optimized 列存（AOC

5、O）外部表全新压缩方式（zstd） Unlogged 表灵活资源管理并发度 CPU 配额 CPU 绑定 内存 配额 磁盘配额安全灵活的认证机制 基于角色的访问控制列级别权限控制混合负载（HTAP）Foreign Data WrapperOracle MySQLPostgreSQL ElasticSearchRedis上百种PXF 框架HDFSHive HBase S3JSONParquet ORCSequenceFileText CSV数据融合，互联互通Spark连接器高效并行连接器 谓词下推、字段投影内存分析支持Spark编程语言Python Scala Java RKafka连接器支持Ex

6、actly Once 并行消息处理支持窗口对窗口支持自定义处理 JSONAvroBinary自定义类型 多字节分隔符大表关联、分组聚集 (SQL 1992)Window函数 (SQL 2003)Cube/Grouping Sets (SQL 1999)亮点SQL特性，大幅提升开发速度JSON (SQL 2016)CREATE TABLE student_score (student, class, scoreTEXT TEXT INT);INSERT INTO student_score VALUES (A, MATH, 98),(B, MATH, 60),(C, MATH, 100),(D,

7、 MATH, 95),(E, MATH, 70),(A, ENGLISH, 90),(B, ENGLISH, 99),(X, ENGLISH, 80),(Y, ENGLISH, 59);SELECT * FROM ( SELECT*,rank() OVER ( PARTITION BY classORDER BY score DESC) rn FROM student_score) dtWHERE rn = 3;student |class| score | rn-+-+-+-B|ENGLISH|99|1A|ENGLISH|90|2X|ENGLISH|80|3C|MATH|100|1A|MAT

8、H|98|2D|MATH|95|3例子：每个科目的前三名JSON 数据类型 (SQL 2016)机器学习MADlib监督学习无监督学习 模型交叉验证人工智能（AI）GPUTensorflow Teras高级分析扩展计算和分析RPythonJava Perl SQLGreenplumRR native机器学习下沉入数据库，50+算法Apache MADlib 支持 AIKubernetes 原生数据库Greenplum 7.0 展望03新特性UPSERTUPDATE 多字段支持行级别安全控制，助力多租户重构日志结构 CUBE GROUPING SETPostgreSQL 9.5完成合并(1867 commits)性能BRIN（Heap） 排序锁优化 哈希关联位图索引扫描内核升级（9.6接近完成）并行扫描、关联、聚