数据库技术和生态的发展演进

1、万象更新数据库技术和生态的发展演进197719831984198919921994199519962005200920092010201220142015201620172018数据库发展的三个时代，成就了三种商业形态商业数据库时代：成就了商业软件行业；开源数据库时代：成就了互联网；云数据库时代：也是 商业 和 开源 的混合时代，成就了云企业和轻型数字化企业；数据库技术发展的三个时代DocumentRelationalDBaaSNewSQLBig tablesGraphNon-RelationalOperationalPiccoloNoSQLOLAPOLTPNoSQLKey ValueAnal

2、ytic百花齐放的数据库技术新生态行业趋势：数据库是云上终极之战AWS 在10月16日宣布，彻底替换了 Oracle 数据库。将 7500 个 Oracle 中的 75 PB 内部数据迁移到多个AWS 数据库服务。多年来，我们意识到我们花了太多时间来管理和扩 展数千个旧的Oracle数据库。我们的DBA不再专注 于高价值的差异化工作，而是花费大量时间应对事 务率上升和存储数据总量不断增加的挑战。这包括 花费在处理复杂且效率低下的硬件配置，许可证管 理和许多其他问题上的时间，而这些问题现在最好 由现代的托管数据库服务来处理。- JeffBarr2019年10月2日发布：OceanBase数据库服

3、务器 使用的是 204+3 台型号 ecs.i2.16xlarge 阿里云ECS 服务器，其中 204 台作为 Data Node，还 有 3 台作为 root node2013年5月17日Traditional RDBMSNoSQLNewSQLCloud DBMS“SQL”Durability,consistency,recoverability“Elasticity”Scaling simplicity, continuous availability行业趋势：数据库是云上终极之战AvailabilityPartition toleranceCARDBMSConsistency CPMon

4、goDBHBaseAP CouchDBCassandra DynamoDB云数据库发展演进的四大趋势多模（Multi-model）数据库智能化+自动化管控平台新硬件: 软硬件一体化设计高可用行业趋势：toB市场是数据库成败关键toB 市场的认同成为数据库成败的关键，云上和云下的融合是大势所趋;toC 注重极致的用户体验，toB 则注重企业和组织的绩效和效率提升；长期的行业趋势不是将所有数据转移到公共云，而是将云体验转移到数据上来;TPC市场在2019年超过510亿美元，在2024年 以1860美元超出公有云 IaaS & iPaaS 1760亿 的总和，随后将以高增速持续超越。Source:

5、Wikibon, 2018Gartner发现 DBPaaS 是 PaaS 领域增长最快的部分， 预计到2021年它将达到100亿美元。Source:Gartner,2018企业的经历：数据累积 性能衰减业务发展 并发增高拆分数据表分割数据库分布式数据库异构与迁移业务驱动数据库分拆企业的目标：提升性能提高稳定性保障数据安全降低TCO数据库的进化和优化：分分合合数据库软件的进化：内存分区，分块进程拆分，主从数据表分区读写分离Sharding集群分布式多租户机器学习自治智能1/ N1/ N1/ N1/ NApplicationTDDL 1/N互联网：读写分离与分布式架构MMSS主数据库MSMSMSS

6、MMS1/ NTDDL从从混以合Or架ac构le演为进核到心开，源建分立布向式M架y构S，QL获混得合弹的性数伸据缩流动 能力能、力自，主通可过控读能写力分，离赢，得分长散期查发询展负的载自，由缓。解核心 系统的压力，提升系统吞吐量。最初 IOE 架构支持，在高并发情况下的I/O负载、 计算能力等，成为严重的瓶颈，垂直扩展架构遭 遇挑战。从以IOE架构支撑，到混合架构，再到彻底的开源和分布式架构Application TDDL阿里云：计算存储分离到一体机从 POLARDB 到 BOX 一体机阿里CTO张建锋 “双11的四大杀手锏”：自研服务器来做虚拟化、 自研云原生数据库、 计算与存储分离、R

7、DMA网络POLARDB Box内置兼容Oracle语法的数据库引擎； 云平台内置于 Box 一体机中；将数据库之间、云上 云下之间的壁垒逐渐消除。企业：电信行业的 TeleDB 实践Keeper集群 (Scheduler)Zookeeper集群VIPkeepalivedGateway（主）从库AgentkeepalivedGateway（主）主库Agent从库AgentDB层强同步2选1强同步2选1上报geteway状态信息切换命令下发切换控制监控集群状态上报DB状态信息切换命令下发网关层DB层ZOOKEEPER组成模块网关GETEWAY KEEPER以 MySQL 为核心，打造电信级核心数

8、据库平台dbproxyTELEDB 引入增强的半同步机制，应用事务提交时，事务日志至少在主备两个数据库上都完成写入使用线程池技术来解决最大连接数限制问题，以及过多线程带来的系统开销通常采用一主两从的部署架构，引入 Flashback 闪回功能企业：TDSQL落地张家港农商银行张家港农商行是国内银行首次在传统 核心业务系统采用国产分布式数据库核心系统主要分为两大部分，一个为 交易子系统，覆盖银行卡、资金管理 等等；另一个为会计子系统，主要是 资金的交易分离、清算总账迁移的核心系统的数据量在 TB 级， 包括了账户、账目、流水、账单、日 志等数据，原系统为 Sybase数据库分片“一主三备”的模式

9、，保 证主节点故障时可以在40s以内自动 切换到备节点并恢复业务；TDSQL 的核心思想：复制和分片，replica 解决可用性问题；Sharding 解决容量伸缩问题；硬件投入成本下降75%以上。从长 远来看，每年能节省20%的IT投入。TDSQL提供的“赤兔”和“扁鹊”系统为数据库实现自动化运维提供了丰富的工 具，“赤兔”平台能提供上百项监控指标的展示，结合灵活丰富的告警策略提供风 险预警；“扁鹊”作为一套智能检测系统，能轻松应对锁冲突、索引缺失、故障切 换等数据库异常，大幅缩短日常定位排查问题的时间。DN（Database Node）：数据库核心组件，提供数据查询和数 据存储能力；OM（

10、Operation Manager）:工具和命令集，提供日常运维、备份、配置、监控等管理结构和工具链；DM（Database Manager）:图形化运维入口，提供丰富的图形化 运维管理功能；CM（Cluster Manager）：集群管理，管理和监控分布式系统中 各个功能单元和物理资源运行情况， 确保整个系统稳定运行；DT（Developer Tools）:开发工具，Data Studio（DS）SQL 图形化开发工具；数据迁移工具，提供离线、在线等多 种数据迁移方案；企业：GaussDB在国内银行的应用GaussDB 100 OLTP 事务型数据库2018年3月，Gauss OLTP数据库

11、在招商银行综合支付交易系统上线 投产，顺利承接招商银行 “手机银行”和“掌上生活”两大App交易，日 均请求量高达8500万，峰值TPS达到3500。从标准化、自动化 到 智能化，数据库基础运维正在走向 AIOps 的未来，标准化，由运维经验丰富的DBA结合以往案例和经验，提取数据库运维常用的原子操作，形成标准操作流程；自动化，以标准化规范为基础，进行运维工具的开发和测试，形成自动化基本操作流程，原子化服务化支持自动编排；智能化，与运维平台对接，形成系统直观可操作的图形化流程。逐步引入机器学习与智能化算法应用，走向自治。运维：从自动化到智能化运维

12、20.1.020cShardingMultitenant, OnlineClone and RelocateAutonomous Health FrameworkNew In-Memory FeaturesOnline EncryptionMultitenant Snapshot CarouselMem Optimized Row StorePrivate Temporary TablesT1 T2 T3 T4Active Directory IntegrationSharded RACActive DirectoryAutoMLin OML4PyBlockchain TablesJSON S

13、peed and FlexibilityPersistent Memory StoreIn-Memory Vector JoinsSALESITEMSHigh speed data ingestionADG DMLRedirectAutomatic IndexingHybrid Partition TablesJSONImprovements进化：数据库技术发展演进方向现状：数据库功能和采用情况分布样本：据 Bethune 平台 6127 套数据库挑战：企业面临的变革之痛在变革过程中，企业面临的痛点包括：如何甄别可持续性技术方向；如何平稳 过度到新技术方向；如何在新技术方向上重构企业服务体系；

14、如何规避新技术 体系的风险；如何获得必须的服务支撑。基础架构复杂化容器化 虚拟化 超融合 一体机应用架构复杂化集中式应用 分布式应用 微服务数据架构复杂化商用和开源 集中和分布式 国外和国产业务架构复杂化变革压力 创新需求进化：数据库技术发展演进方向智能平台 化软硬 一体云化 融合O2O Oracle to Others，不是重走一次长征路、不是功能和体验的降级，而 应该是循环上升的数据库变更升级历程，应该是更好的开发运维体验，故障自 愈，自动化和智能化（运维） 、甚至免运维。弹性伸缩、故障自愈分布式智能优化、智能运维统一管理、功能内置极速性能、快速上线云化架构、公私融合进化：DBA 的职业发

15、展演进方向战略性工作 - Tasks Specific to the BusinessArchitecture, planning, data modelingData security and data lifecycle managementApplication-related tuningEnd-to-End service level management战术性工作 - Tactical OperationsConfiguration and tuning of systems, network, storageDatabase provisioning, patchingDatab

16、ase backups, H/A, disaster recoveryDatabase optimizationValue Scale创新维护/战略性工作 - Tasks Specific to the BusinessArchitecture, planning, data modelingData security and data lifecycle managementApplication-related tuningEnd-to-End service level management战术性工作 - Tactical OperationsConfiguration and tuni

17、ng of systems, network, storageDatabase provisioning, patchingDatabase backups, H/A, disaster recoveryDatabase optimization一项研究表明，制造业工人失业后进行再就业培训，成功率只有0%15 未来的三十 年，自动化和人工智能将占据美国一半的就业岗位。那些没有技能的劳工，很难在市场上找到自己的位置。-杨安泽（Andrew Yang）进化：DBA 的职业发展演进方向20Value Scale创新维护挑战：数据库的技术生态Oracle 通过长期积累，形成了完善的知识库和根因分析体系

18、，直接对接客户环境。新时代数据库建设原则：生态融合墨天轮致力于在新时代下打造更具创新性的学习形态、构建完整的数据知识体系、承载技术人 的持续成长，共同建设一个有温度的技术社区和全新的数据社群聚合体，以乐知乐享之志，成 同心共济之果。包含20+国产数据库学习 资源、问答、专栏承载 10，000+ 有效问答发布 10，000+知识库承载 100，000+ DBA聚 集、分享、成长未来：开放API，为国产 数据库生态助力新时代数据库建设原则：云化融合公有云和私有云技术架构走向融合，以云模式构建统一的数据库管理能力，通过融合多数据库于 一体，简化企业数据库管理的复杂度：简化：同一套界面，管理不同种类的数据库；类似的操作，降低数据库应用的门槛；赋能：让基础的运维人员 能够完成专业的工作任务， 能够快速准确的处置和解 决常见问题；中台：以云模式构建数据 库系统，实现数据平台的 云化演进，基础设施平台 化，多数据管理中台化；新时代数据库应用原则：数据融通以云模式构建统一的数据库管理能力，通过融合多数据库于一体，构建数据自由转换能力流动：数据是新能源，通过自由的数据交换，多数据库实践，建设数据库