十年数据库技术生态变革创新分析

1、金声玉振十年数据库技术和生态变革创新分析197719831984198819891999199519962005200920092010201020122014201520172019数据库发展的三个时代，成就了三种商业形态商业数据库时代：成就了商业软件时代；开源数据库时代：成就了互联网时代；云（新）数据库时代：是 商业 和 开源、SQL和NewSQL交融的时代，成就了云和数字化时代；行业趋势：走进云数据库时代金声玉振：分布式数据库落地开花北京银行使用 TiDB 承担包括核心网联支付/银联无卡支 付业务，支付 对账，核心批量作业 等一批核心交易应用中国邮政，通过云原生分布式数据库PolarDB

2、-X， 高效支撑了 “双十一”订单业务峰值超过1亿件不停机实施互联网金融业务平台、互联网交易资金存 管平台数据库向OceanBase分布式数据库迁移。2020-08-18 昆山农商银行启动新一代核心系统建 设，采用腾讯云分布式数据库TDSQL工行基于华为云 FusionInsight 金融数据湖中， GaussDB（DWS）等产品承载了关键的金融数据业务中信总行核心，按照3亿用户、15亿账户、日均3亿笔交易十轮 演练，GoldenDB于2020年5月3日14点正式对外营业企业的原生演进：海量数据累积 性能衰减业务爆发式增长互联网式洪峰流量极致的高可用读写分离拆分数据表、数据库混合架构数据库软件

3、的进化：内存分区，分块进程拆分，主从数据表分区ADG 读写分离RAC集群数据库Sharding分布式数据库Scale-Out 和 Scale-Up 的演进核心都是并行和分布式！需求驱动：原生演进和数据库进化路线之争：从集中处理到分布式数据库Sharding 是一种联合使用众多独立数 据库的应用管理的扩展技术数据切分为多个数据库；每个数据库存储一个数据子集（通过范围或者哈希拆分）；每个分片通过复制实现可用性和扩展性；分片是扩展大型网站的主要方法；分片用于需要极高扩展性并需要应用程序为此做出让步应用程序根据键值将请求调度到特定数据库；查询受到限制-基于分片键的简单查询对数据进行反范式化以避免跨分片

4、操作（无联接）这也被称为水平分片分片架构的一种全量变体实现，这种 形态非常常见每个数据库承载全量数据请求基于读写、键值进行分发写操作集中在一个数据库，变更复制到 其他数据库，其他库承载读请求主要受益包括，不需要 reShardGoogle 奠定规模分布式存储系统的理论基础2003 - Google File System2004 - Google MapReduce2006 - Google BigTableOracle 对分布式数据库技术的认知和实践2008 - Global Scale Web 2.0 Data Platforms Sharding2017 Oracle Sharding

5、Option Release8 / 8i （1998）11InternetOracle8 for LinuxOracle Parallel ServerXML &Native Java SupportOnline SupportOracle LinuxAutomatic Undo Segment ManagementMobile DatabaseAutomatic PGAReal Application ClusterActive Data GuardExadata(2008)Database Cloud(2012)Database ReplayGrid InfrastructureAutom

6、atic Storage ManagementClusterwareAutomatic Workload RepositoryFlashbackAutomatic Shared Memory Management宏观进化：数据库技术发展演进方向8109gg20cShardingMultitenant , OnlineClone and RelocateAutonomous Health FrameworkNew In-Memory FeaturesOnline EncryptionMultitenant Snapshot CarouselMem Optimized Row St

7、orePrivate Temporary TablesT1 T2 T3 T4Active Directory IntegrationSharded RACActive DirectoryAutoMLin OML4PyBlockchain TablesJSON Speed and FlexibilityPersistent Memory StoreIn-Memory Vector JoinsSALESITEMSHigh speed data ingestionADG DMLRedirectAutomatic IndexingHybrid Partition TablesJSONImproveme

8、ntsSALES TABLEQ1Q2Q3宏观进化：数据库技术发展演进方向 （2017）微观进化：源自实践的增强和改进9i: 共享内存分区10g: ASM 分片数据存储新增 - HIGH FREQUENCY AUTOMATIC STATISTICS COLLECTION，每15分钟；Automatic statistics gathering jobLGWRLGWRO000B002B003B001B00011g: ASM 磁盘组维护进程12.1: 多日志写进程12.2: LMS 进程拆分为 RMV 和 CR19c: 实时的统计信息微观进化：源自实践的增强和改进表达式参数：20c开始，指定一个表达

9、式作为某些初始化 参数的值，使得数据库能够根据环境变化自动调整参数 值。实现Autonomous 自治。SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger1SQL ALTER SYSTEM SET AQ_TM_PROCESSES = MIN(40, PROCESSES * .1);SQL show parameter aqNAMETYPEVALUEaq_tm_processesinteger30自动索引：借鉴于人工工作的专家系统 It is an expert system that implements what a perfor

10、mance engineer skilled in index tuning would doMonitorOnline ValidationCaptureIdentifyVerifyDecideOne-Click UpgradeAutonomous Data Guard简单透明的主备切换管理Completely transparent to customer applicationsAutomatic failover for zero-data loss scenarios User-initiated failover for other scenarios Computer Assoc

11、iatesopenGauss HuaweiPolarDB for OracleInformix IBMIngresUc BerkeleyInformixPostgreSQL CommunitySQL Server SybasePostgres Uc Berkeley1974年Kingbase 人大金仓2004年2015年之后， 国产厂商购入 源代码2017 印度 HCL 收购SinoDB 星瑞格 Toprow 华胜信泰Gbase 8T 南大通用SQL Server SAPSQL Server MicrosoftPivotalIllustraTo Informix2001年IBM收购Ingres

12、 CorporationCA-OSIngres Corp.王佑曾 (Eugene Wong) 中央研究院院士。 生于 1934 年 12 月 24 日，中国南京市 1980 Ingres ，1988 ACM软件系统奖AntDB 亚信 202004 ，中国移动入股亚信科技，占股20%UXDB 优炫数据库Tbase 腾讯TelePG 中国电信EnterpriseDB云和恩墨用户抉择：最具活力的开源生态1980年生态变革：openGauss 开源和开放PostgreSQL架构关键差异化因素openGaussPostgreSQL宏观 架构执行模型线程模型：动态分配执行线程，支持1万并发进程模型：进程执

13、行模型，一个链接一个进程，小于1000并发内存模型进程内内存被多线程共享，内存安全性好多进程共享内存，内存安全性弱；动态扩展难事务 处理并发控制事务支持CSN快照，procArray免锁高并发事务ID回卷，长期运行性能因为ID回收周期大幅波动日志和检查点增量checkpoint，性能波动15%鲲鹏NUMANUMA多核优化，单机两路性能TPMC 大于150wNUMA多核能力弱，单机两路性能TPMC 60w数据 组织多引擎行存、列存、内存引擎，在研DFV存储引擎仅支持行存SQL引擎优化器支持CBO，吸收工行等大型企业场景优化能力支持CBO，复杂场景优化能力一般SQL解析ANSI/ISO标准SQL9

14、2、SQL99和SQL2003和企业扩展包ANSI/ISO标准SQL92、SQL99和SQL2003GaussDB Kernel是衍生自PostgreSQL-XC，单机逻辑架构与PG接近。GaussDB Kernel和PG在架构和关键技术选择路径上有根本性差异，导致引擎级和组件级实现架构差别很大。openGauss Kernel架构存储引擎MVCC行存 储引擎内存引擎列存储引擎DFV存储引擎（构筑中）数据库主进程数据库后台进程Writer子进程日志写子进程Vacuum子进程统计收集子进程Ckp子进程归档子进程数据缓存区多进程共享内存池Xlog缓冲区数据库线程池SQL接口 AI自调优SQL解析器

15、 ABO优化器SQL EngineSQL优化器In-DB ML并行执行可扩展功能 框架分布式框架（分布式执行/优化/传输）数据 库进 程 n数据 库进 程 1由浅入深：获得可迁移的学习能力2020-03-08 WARNING:database PDB must be vacuumed within 1000001 transactions2020-03-08 HINT:To avoid a database shutdown, execute a database-wide VACUUM in that database.You might also need to commit or rol

16、l back old prepared transactions.2020-03-08 ERROR:could not open relation with OID 2454532020-03-08 CONTEXT:automatic vacuum of table DB.pg_toast.pg_toast_245448could not open relation with OID代码： src/backend/access/common/relation.cautomatic vacuum of table DB.pg_toast代码： src/backend/postmaster/aut

17、ovacuum.cautomatic vacuum of table DB.pg.代码： src/backend/access/table/table.c攻克疑难：openGauss 的技术创新实验验证：新增一个表，插入数据，在系统里删除数 据文件，找不到数据文件，就无法执行vacuum操作， 这时新开一个会话开始刷事务 idpostgres=# select version();versionMogDB (openGauss 1.0.0 build 197f217c) compiled at 2020-09-08 postgres=# select txid_current();txid_c

18、urrent4580988517(1 row)postgres=# select xmin,age(xmin),* from vacuum_test_1; xmin | age | id + 2 |-1 | 1(1 row)解决32位事务号问题，扩展至64位，openGauss解决了 PG 由来已久的一个技术遗留。MogDB：云和恩墨 openGauss发行版MogDB 是 EnMotech openGauss Database Enterprise Edition 的缩写，是云和恩墨 基于华为 openGauss 开源数据库进行定制，推出的企业发行版。2020-07-01 发布 openGa

19、uss 的 Docker 版本；2020-08-30 发布 OpenGaussHA 高可用产品；2020-09-24 发布 在 HC 大会发布 MogDB 商业版；云和恩墨 MogDB 定位：建设自有内核研发团队，融入 openGauss 开源生态，结合自身优势，打造 MogDB 企 业版核心能力，包括：高可用选件、自动化备份恢复选件、一体机产品、自动化运维产品、兼容性选件等，打造最易用的 openGauss 商业版！云和恩墨已经围绕客户需求展开了 openGauss 的推广和技术实践工作；民生银行 云和恩墨和民生银行一起展开了 openGauss 的生产验证和增强， 开发实施了高可用选件，客

20、户已经确定了多个系统迁移计划，云和恩墨和民 生银行在 HC 2020 大会共同获得超级用户大奖；行业趋势：智能化企业级 dbPaaS 时代 20152020百花齐放，十年可期：数据库领域的由乱到治，是一场持久战，可能经历长达十年的过渡期；先建能力，后建系统：百年树人人才培养持久，应先建立平台化服务能力，再构建业务系统；自动智能，变革之机：统一管理平台，多数据库自动化部署，智能运维，推动服务升级和革新。生态变革：2019 中国数据库元年创业派：数据库领域生机勃发的另外一支力量是新兴的独立 数据库创业企业，技术创业者和资本的结合，在新时代催生了 一系列的新兴数据库企业，这其中包括巨杉、PingCA

21、P、偶 数、星环、柏睿数据、星瑞格、易鲸捷等。创业核心多数来自企业派：头部科技企业也参与到了数据库核心攻关中，这其中 包括华为、中兴、浪潮等，华为在2019年推出了 GaussDB， 中兴推出了 GoldenDB，浪潮则是推出了K-DB。深谙企业级 服务之道的头部科技企业的介入，让数据库和商业市场运作彻我以为，一个技术生态的繁荣发展，必须拥有广泛的投入、广泛的参与、广泛的关注，这三者缺一不可。而在 2019年，这三者意外的同时具备了。四大流派，开源自研，百花齐放。学院派：中国数据库发展的40年，最初源于国家的引导、支持和扶植， 在这一阶段，中国数据库的研发始于高校和科研院所，直至今日，源自 高

22、等院校的几大数据库公司仍然是国产数据库的重要参与力量。 这其中 包括人大金仓、武汉达梦、南大通用、神舟通用等。互联网派：随着近年互联网和开源技术的蓬勃发展，互联网企业以高 度的热情参与到了数据库的建设中来。不管是自主研发，还是借助开 源，互联网解决了自身应用的问题，并且依托云平台，展开了云数据库 的应用推广。这其中，阿里巴巴的OceanBase、PolarDB，腾讯的 TDSQL、TBase等，都成为了来之能用，用之能稳的核心武器。1977 黄山 首届中国数据库年会于 Oracle、IBM、Intel、HP、EMC等国际企业，正是因为有底消除了隔膜，迎来了加速奔跑的时代。 了这四十年的厚积薄发，才有了今天的朝气蓬勃，遍地花开。https:/db/74512020-11-17 PingCAP 完成 2.7亿美元融资；2020-10-22 巨杉成功完成数亿元战略融资；2020-10-19 贵阳银行核心业务易鲸捷国产数 据库应用项目，成交金额 4.26亿；2020-06-30 华为 openGauss 开源；2020-06-09 阿里云PolarDB帮1