分布式数据库架构创新

1、技术创新，变革未来云数据库时代分布式数据库架构创新新一代NewSQL数据库技术趋势ACID的支持：事务、一致性等，处理OLTPSQL完整支持：MySQL/PostgreSQL语法的完整兼容分布式与扩展性：分布式是新一代架构的基础，扩展性能应对变化的 数据量Multi-model与云架构: multi-model多模数据库引擎，同一引擎处理多 种数据应用场景，符合微服务和云数据库的架构理念HTAP: 混合事务和分析场景，适应更多数据应用需求计算存储 分离架构设计SequoiaDB MySQL 分布式数据库架构SQL解析区数据存储区协调 节点协调 节点协调 节点协调 节点数据 节点数据 节点数据

2、节点分区1数据 节点数据 节点数据 节点分区2数据 节点数据 节点数据 节点分区3数据 节点数据 节点数据 节点分区4数据 节点数据 节点数据 节点分区5数据 节点数据 节点数据 节点分区6MySQL服务MySQL服务MySQL服务元数据管理区编目节点 编目节点 编目节点主副本1从副本2从副本3每个服务均可 进行读写操作MySQL主从复制架构MySQL服务（主）MySQL解析器InnoDBAPPMySQL服务（备）MySQL解析器InnoDBMySQL服务（备）MySQL解析器InnoDBAPPAPP读写只读只读binlog shippingSequoiaDB MySQL 100%兼容，弹性扩

3、张，多活架构MySQL服务（主）MySQL解析器APPMySQL服务（主）MySQL解析器MySQL服务（主）MySQL解析器APPAPP读写读写读写SequoiaDB分布式数据库SequoiaDB MySQL内部设计解析：模块划分Handler Adapter：作为适配层与MySQL进行适配对接， 实现与表相关的操作Data Parser：负责数据记录以及字段的解析Index：负责索引的解析、创建以及索引遍历控制 Condition Parser：负责解析查询条件Optimizer Proxy：作为优化器的代理，实现统计信息 等收集Config Mgr：管理存储引擎相关的配置参数 SE Ha

4、ndler Pool：存储引擎的句柄资源管理池SE Handler Adapter：实现与存储引擎对接适配MySQLHandler AdapterConfig MgrOptimizer ProxySE Handler AdapterIndexData ParserCondition ParserSE Handler PoolStorage EngineAPPAPPAPPAPPSequoiaDB MySQL内部设计解析：线程模型SDB-1SDB-2SDB-3Coord_1Coord_2MySQLTableHandle PoolSequoiaDB Connector PoolSession-1Se

5、ssion-2Session-3SequoiaDB MySQL内部设计解析：查询条件下压开始获取条件树i t em条件树遍历完成？生成BsonObjY当前是否有待 解析的Obj结束新建解析树节点Obj解析i t emN型Y将当前Obj 压栈Y当前节点指针指向 新建的ObjN作为参数push到当 前的Obji t em是函数类 N当前Obj 解析完成？从栈顶pop一个ObjY将当前Obj 作为参 数push到上一步pop出的Obj 节点中当前节点指针指向pop出的Obj 节点NSequoiaDB MySQL内部设计解析：字段下压规则字段定义类型条件字段类型处理规则数据型（tiny、short、l

6、ong、medium、longlong、float、double decimal）（unsigned、 signed）整型（tiny、short、long、medium、longlong）不超过longlong所能表示的范围，转换成longlong处理；超过longlong表示的范围（如：unsigned longlong）， 转换成decimal下压浮点型（float、double）转换成double处理、decimal转换成decimal处理string如果是合法的数值类型（整型或浮点型）转换成decimal处理，否则条件不下压字符类型（char, string, text, blob）字

7、符类型（char, string, text）转成字符串处理blob转成binary处理日期类型（date）字符类型（char, string, text）如果是合法的日期类型转换成日期处理，否则条件不下压时间戳类型(timestamp, datetime)字符类型（char, string, text）如果是合法的时间类型并且时间范围在1902年2037内则转换成时间戳处理，否则条件不下压原生分布式数据库引擎SequoiaDB 分布式数据库架构计算分布+存储分布SequoiaDB 分布式数据库架构SequoiaDB数据存储层采用分布式架构，实现了弹性水平扩展以及高性能和高可用，灵活适应不同规

8、模企业 及不同作业方式的需要。数据切分：系统提供垂直切分和水平切分的多维分片 管理方式，数据可以按多种条件切分，均匀分布到集 群中的各个数据节点。高可用：数据在系统中至少保留三个副本，高可用机 制，保证了数据的持续安全使用。硬件成本降低：分布式架构均采用通用x86服务器+高 密度硬盘，相比传统的“小机+高端存储”的配置， 大大节省了用户投资费用。弹性扩容：SequoiaDB的存储节点可按需弹性扩展， 系统支持在线扩容SequoiaDB MySQL特性：MySQL分区表使用comment设置MySQL 不支持的特性分区信息不指定分区键则默认使用第 一个字段支持多维分区功能其他A: 2018040

9、1, 20180501)A: 20180501, 20180601)A: 20180301, 20180401)A: 20180201, 20180301)A: 20180101, 20180201)主 表子表1子表2子表3子表4子表5mysql create table mainCl(a int, b text, c timestamp) engine = sequoiadbcomment =table_options:IsMainCL:true,ShardingKey:c:1,ShardingType:range;支持多活架构读写只读读写SequoiaDB ：支持两地三中心部署，数据零丢失

10、同城方案1、主备机房使用可靠高速光纤直连2、每个分区主节点在主中心3、平时使用强一致同步策略保障数据不丢4、故障发生时使用takeover工具进行集群分离， 备集群独立运行5、故障恢复后使用merge工具进行集群合并双活方案1、应用程序直连本地数据中心数据库协调节点2、应用程序不需要关注底层数据存储主备中心 复制和通讯策略两地三中心1、远程数据中心使用异步机制进行数据复制2、数据中心之间可进行流量控制保证不会占用 过多带宽SequoiaDB ：数据域逻辑与物理隔离信贷业务域信用卡业务域数 据 存 储 区核心业务信贷业务信用卡业务风控系统审计系统客户画像系统SequoiaDB 3.0 全文检索索

11、引支持sd 运行架构SequoiaDBSearch Engine Connectorsearch engineroute agentsearch engine agentshard session managerdata cappeddata cappeddatadataroute agentindex session managerAssync session and Assync session manag ershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessio

12、nTCPlistenerIndexer readershard sessionagent sessionagent sessionexternal data source managerCB managerMain loopEDSEDSEDSSequoiaDB 3.0 对象存储+文件系统支持平台统一监控管理方案SequoiaDB提供全面的图形 化集群监控功能集群健康状态资源使用状态SequoiaDB提供图形化操作 界面集群部署、扩容集群管理数据CURD操作数据管理，切分、 均衡等MySQL兼容样例SequoiaDB MySQL特性：MySQL语法兼容使用原生MySQL解析引擎 存储引擎从Inn

13、oDB设置为SequoiaDBSequoiaDB MySQL特性：MySQL语法兼容使用原生MySQL解析引擎100%支持MySQL语法CRUD操作完美支持SequoiaDB MySQL特性：MySQL语法兼容使用原生MySQL解析引擎支持多表关联支持跨表跨节点事务操作SequoiaDB MySQL特性：MySQL语法兼容使用原生MySQL解析引擎支持创建视图支持存储过程SequoiaDB MySQL特性：MySQL语法兼容使用原生MySQL解析引擎支持索引支持访问计划案例分享银行在线交易系统在线交易系统是银行的最重要的核心系统之一。随着技术的演进和监管政策的更新，目前银行 核心交易系统面临的

14、主要痛点是：随着互联网业务的发展，核心交易系统在数据量和并发性等性能要求逐渐增多。分布式架构在扩展性、高可用等方面带来了诸多好处，因此银行在线交易系统也存在分布式架构转型 的需求，以应对性能、成本、跨地域管理和数据安全的多种业务要求。事务和数据一致性是核心系统数据库必须要求的特性，保证事务和一致性是在线系统的重要要求。数据量和性能的 扩展分布式架构转型事务和一致性高可靠性自主可控与数据 安全要求支持部署两地三中心与同城双活架构，灾难中数据零丢失产品的逐步国产自主可控以及“两地三中心”等数据安全要求越来越重要。银行在线业务系统银行在线业务系统基于SequoiaDB集群部署某股份制银行银行直销系统

15、、柜面流水查询、 移动终端查询系统等华南某股份制银行银行全行柜面无纸化系统（包括业务数据和影像数据）、近线数据查 询（共30多个业务系统）某省农信系统流程银行、非结构化数据平台（包括业务数据和影像数据）SQL程序访问 SDB应 用 中 间 件保险企业-生产系统瘦身案例统计分析类应用直接以生产库作为数 据源，同一份数据甚至被重复访问， 占用大量生产库的批处理时间窗口。大量近线数据保存在生产库中，近线 数据的查询需要访问生产库，加重生 产库的负担。统计分析类应用直接访问生产库缺少统一的全量数据平台缺乏有效的数据迁移方案当前的近线数据迁移方案效率不高，导致生产库的 规模迟迟不能得到控制，已经影响到个

16、别省份的生 产效率。巨杉数据库：第一个上榜Gartner数据库列表的中国数据库公司受到行业客户广泛认可，拥 有多家500世界强客户及数十 家大型银行客户，在金融行 业树立标杆地位巨杉是国内唯一商业化的新 型分布式数据库，在银行核 心系统大规模取代北美同类 产品，功能性能全面领先国 际竞品中国唯一金融级自主分布式 数据库，受到顶级基金支持， 在自主可控要求下在中国存 在巨大市场空间多模分布式数据库，支持 结构化交易、半结构化以 及非结构化数据数据库开发顶尖团队，中国 第一批数据库内核开发者， 具有丰富行业经验银行客户稳健增长，已经成 为中国最大金融级新型数据 库厂商2017 2018 连续两年入选Gartner数据库推荐报告的国产数据库产品SequoiaDB技