分布式数据库架构设计

1、分布式数据库“计算-存储分离”架构设计实践云数据库要求下的新一代数据库架构金融级在线交易系统对分布式数据库的需求数据量和性能的扩展分布式架构转型事务和一致性高可靠性自主可控与数据安全要求应用案例：分布式数据库在交易型场景的应用银行在线业务系统基于SequoiaDB集群部署某股份制银行银行直销系统、 柜面流水查询、移动终端查 询系统等华南某股份制银行银行全行 柜面无纸化系统（包括业务 数据和影像数据）、近线数 据查询（共30多个业务系统）某省农信系统流程银行、非 结构化数据平台（包括业务 数据和影像数据）案例银行在线业务系统案例银行联机交易业务计算-存储分离：MySQL兼容架构与实现ACID的支

2、持：事务、一致性等，处理OLTPSQL完整支持：MySQL/PostgreSQL语法的完整兼容分布式与扩展性：分布式是新一代架构的基础，扩展性能应对 变化的数据量Multi-model与云架构: multi-model多模数据库引擎，同一引擎处理多种 数据应用场景，符合微服务和云数据库的架构理念HTAP: 混合事务和分析场景，适应更多数据应用需求新一代NewSQL数据库技术趋势MySQL传统主从复制架构MySQL服务（主）MySQL解析器InnoDBAPPMySQL服务（备）MySQL解析器InnoDBMySQL服务（备）MySQL解析器InnoDBAPPAPP读写只读只读binlog shi

3、ppingSequoiaDB MySQL 100%兼容，弹性扩张，多活架构MySQL解析器APPMySQL解析器MySQL解析器APPAPP读写读写读写SequoiaDB分布式数据库MySQL服务（主）读写MySQL服务（主）读写MySQL服务（主）读写计算-存储分离数据库架构SQL解析区数据存储区元数据管理区协调 节点协调 节点协调 节点协调 节点数据 节点数据 节点数据 节点分区1数据 节点数据 节点数据 节点分区2数据 节点数据 节点数据 节点分区3数据 节点数据 节点数据 节点分区4数据 节点数据 节点数据 节点分区5数据 节点数据 节点数据 节点分区6MySQL服务MySQL服务My

4、SQL服务编目节点 编目节点 编目节点主副本1从副本2从副本3每个服务均可 进行读写操作Sequoia DB分 布 式 存 储 引 擎计算存储分离架构兼容MySQL：分布式存储引擎替换使用原生MySQL解析引擎 存储引擎从InnoDB设置为SequoiaDB计算存储分离架构兼容MySQL：MySQL语法兼容使用原生MySQL解析引擎100%支持MySQL语法CRUD操作完美支持计算存储分离架构兼容MySQL：事务和跨表操作使用原生MySQL解析引擎支持多表关联支持跨表跨节点事务操作计算存储分离架构兼容MySQL：视图，存储过程使用原生MySQL解析引擎支持创建视图支持存储过程计算存储分离架构兼

5、容MySQL：索引和访问计划使用原生MySQL解析引擎支持索引支持访问计划计算存储分离架构兼容MySQL使用comment设置MySQL不 支持的特性分区信息不指定分区键则默认使用第一个字 段支持多维分区功能其他A: 20180401, 20180501)A: 20180501, 20180601)A: 20180301, 20180401)A: 20180201, 20180301)A: 20180101, 20180201)数据组1数据组2数据组3主表子表1子表2子表3子表4子表5mysql create table mainCl(a int, b text, c timestamp) e

6、ngine = sequoiadb comment=table_options:IsMainCL:true,ShardingKey:c:1,ShardingType:range;计算-存储分离：MySQL兼容内部设计解析MySQLHandler AdapterSE Handler PoolConfig MgrOptimizer ProxySE Handler AdapterIndexData ParserCondition ParserStorage EngineAPPAPPAPPAPPHandler Adapter：作为适配层与MySQL进行适配对接， 实现与表相关的操作Data Parse

7、r：负责数据记录以及字段的解析Index：负责索引的解析、创建以及索引遍历控制Condition Parser：负责解析查询条件Optimizer Proxy：作为优化器的代理，实现统计信息等 收集Config Mgr：管理存储引擎相关的配置参数SE Handler Pool：存储引擎的句柄资源管理池SE Handler Adapter：实现与存储引擎对接适配性能测试TPCC测试性能名称TPSMySQL8,558.33SequoiaDB11,163.00测试环境服务器数量数据库服务器（3台）应用压力服务器（1台） 服务器配置CPU2 CORE * 24Memory 256GBDisk6 * 3

8、.6TBTPCC测试性能SysBench测试性能名称事务响应(ms)TPS成功率Insert5.2854,513.58100%Select1.42202,886.00100%OLTP68.744,198.29100%测试环境服务器数量数据库服务器（3台）应用压力服务器（1台） 服务器配置CPU2 CORE * 24Memory 256GBDisk6 * 3.6TBSysBench测试性能计算存储分离-分布式存储引擎SequoiaDB 分布式数据库引擎架构计算分布+存储分布SequoiaDB数据存储层采用分布式架构，实现了弹性水平扩展以及高性能和高可用，灵活适应不同规 模企业及不同作业方式的需要

9、。数据切分：系统提供垂直切分和水平切分的多 维分片管理方式，数据可以按多种条件切分， 均匀分布到集群中的各个数据节点。高可用：数据在系统中至少保留三个副本，高 可用机制，保证了数据的持续安全使用。弹性扩容：SequoiaDB的存储节点可按需弹性 扩展，系统支持在线扩容硬件成本降低：分布式架构均采用通用x86服务 器+高密度硬盘，相比传统的“小机+高端存储” 的配置，大大节省了用户投资费用。SequoiaDB 分布式数据库引擎部署模型读写只读读写SequoiaDB： 支持多活架构同城方案1、主备机房使用可靠高速光纤直连2、每个分区主节点在主中心3、平时使用强一致同步策略保障数据不丢4、故障发生时

10、使用takeover工具进行集群分 离，备集群独立运行5、故障恢复后使用merge工具进行集群合并双活方案 1、应用程序直连本地数据中心数据库协调节 点 2、应用程序不需要关注底层数据存储主备中 心复制和通讯策略两地三中心1、远程数据中心使用异步机制进行数据复制2、数据中心之间可进行流量控制保证不会占用过多带宽SequoiaDB： 支持同城/异地容灾，数据零丢失核心交易域信贷业务域信用卡业务域协调节点组1协调节点组2数 据 存 储 区核心业务信贷业务信用卡业务风控系统审计系统客户画像系统SequoiaDB：数据域逻辑与物理隔离sd 运行架构SequoiaDBSearch Engine Conn

11、ectorsearch engineroute agentsearch engine agentshard session managerdata cappeddata cappeddatadataroute agentindex session managerAssync session and Assync session managershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessionTCPlistenerIndexer readershard sessionagent sessionagent sessionexternal data source managerCB managerMain loop