PB级多源异构数据管理实践

1、 PB级多源异构数据 管理实践1SequoiaDB 巨杉数据库应用程序开发 面临怎样的趋势2应用程序开发从烟囱式架构向分布式的转型应用 前端数据库中间件微 服 务数据库微 服 务微 服 务微 服 务数据库微 服 务微 服 务微 服 务数据库微 服 务微 服 务传统架构向微 服务转型应用 前端3数据库应该如何 应对微服务应用框架4数据库如何应对微服务应用框架Oracle IBM DB2MySQLMySQLPGSQLPGSQL分布式数据库MySQL实例MySQL实例PGSQL实例PGSQL实例集中式存储数据紧耦合无法弹性扩张单点故障碎片化存储数据碎片化数据无共享运维成本高分布式存储微服务对应独 立

2、实例物理分散存储 弹性扩张5联机交易业务需要 什么样的分布式数据库6联机交易业务需要什么样的分布式数据库？ACID的支持事务、一致性等，处理OLTPSQL完整支持MySQL/PostgreSQL语法的完整兼容分布式是新一代架构的基础，扩展性能应对变化的数据量Multi-model与多租户multi-model多模数据库引擎，同一引擎处理多种 数据应用场景，符合微服务和云数据库的架构理念HTAP混合事务和分析场景，适应更多数据应用需求传 统 技 术 兼 容 性新 技 术 前 瞻 性分布式7分布式交易型数据库技术发展体系Applicationclusterclusterclustercluster

3、核心信贷CRM票据应用垂直分库分库分表将不同模块的数据表分库存储，库间 不相互关联查询，如果有，必须通过 数据冗余或在应用层二次加工来解决， 对应用程序侵入较大。分布式中间件（路由分发MQ）clusterclusterclustercluster用户组1通过分布式中间件进行用户ID的路由分发，保 证用户的一类操作涉及的表在一个节点上完成， 避免分布式事务。如果有跨节点的事务，则通 过中间件保证其一致性。Applicationclusterclusterclustercluster核心信贷CRM票据核心DB1信贷DB1CRM-DB1核心DB2信贷DB2CRM-DB2核心DB3信贷DB3CRM-D

4、B3核心DBn信贷DBnCRM-DBn票据DB1票据DB2票据DB3票据DBn原生分布式数据库将表分布到不同机器的库上，减轻数据库的压 力物理机的CPU、内存、网络IO负载分摊。支持 分布式事务。Application核心信贷CRM票据核心DB1信贷DB1CRM-DB1核心DB2信贷DB2CRM-DB2核心DB3信贷DB3CRM-DB3核心DBn信贷DBnCRM-DBn票据DB1票据DB2票据DB3票据DBn用户组2用户组3用户组48分布式数据库技术发展体系对比垂直分库起点比较早，应用控制能力强，可进 行深度定制化对于底层数据库没有任何特殊要求， 完全在应用程序内部进行分库分库分表构建中间SQ

5、L解析层，尽可能将标准 SQL拆分成多个子查询下压到下层数 据库，在SQL层进行结果拼装对于底层数据库无特殊要求，在中间 件进行SQL切分（支持XA即可）部分兼容传统SQL，应用程序开发难 度小于垂直分库原生分布式数据库数据库内部处理分布式事务与数据切 分逻辑，对于应用程序完全透明，不 需感知底层数据分布数据库内部原生支持分布式事务，性 能远远高于分库分表高可用与容灾能力由数据库内核原生 支持，不需额外辅助工具应用程序逻辑侵入性极强，应用程序 需要进行复杂逻辑才能进行合理数据 分布拓扑结构调整或扩容时非常痛苦，几 乎不可能完成在线扩容很难支持跨库事务应用程序逻辑侵入性较强，应用程序 需感知底层

6、数据分布结构，才能设计 出优化后的查询逻辑中间件实现分布式事务，跨库事务使 用XA机制，性能大幅度下降作为单点向新型分布式数据库转型的 过渡阶段，技术延续性堪忧技术较新，业界成熟案例相对较少辅助工具相对较少，生态环境有待完 善9优 势劣 势SequoiaDB巨杉数据库10SequoiaDB巨杉数据库介绍首款入选Gartner数 据库推荐报告的国 产分布式数据库产 品超过100家大型金 融企业核心业务系 统上线使用巨杉目前已经规模进入金融、电信、政府等主要行业，拥有超过30家以上的银行 客户以及十余家世界五百强企业客户。11SequoiaDB巨杉数据库SequoiaDB是一款多模（Multi-M

7、odel）数据 库：全面兼容MySQL与PGSQL的分布式NewSQL关系型数据库Posix文件系统兼容的对象存储MongoDB兼容的JSON数据库S3 对象存储服务混合交易分析场景业务的HTAP数据库12三大核心应用场景交易型业务场景替换 MySQL、 PGSQL 等传统关系 型数据库数据中台数据服务与高频只读 类业务提供比 Hbase 更加友 好的开发接口以及更 加简便的运维能力音视频、图片、文件 等对象存储类业务提供比 Ceph 更优的实 时容灾能力以及更加 丰富的内容管理特性内容管理联机交易13SequoiaDB各个计算服务14类型计算引擎用途结构化数据访问SequoiaSQL-MyS

8、QL交易型应用场景，精准查询SequoiaSQL-PostgreSQL交易型应用场景，数据中台应用场景，中等数据量关联聚合查询SparkSQL离线统计分析应用场景，大数据量关联聚合查询SequoiaDB JSON API交易型应用场景，单表增删改查半结构化数据访问SequoiaDB JSON API偏互联网的新型应用场景，半结构化数据功能优先，速度优先非结构化数据访问SequoiaDB JSON API非结构化数据最高速增删改查，适用于影像平台、内容管理、非结 构化数据存储SequoiaS3兼容 Amazon S3 对象存储接口，把巨杉数据库当做对象存储使用SequoiaFS兼容 POSIX

9、fuse 文件系统接口，把巨杉数据库当做网络文件系统使 用SequoiaDB存储与计算分离架构数据库实例区数据存储区元数据管理区协调 节点协调 节点协调 节点协调 节点数据 节点数据 节点数据 节点分区1数据 节点数据 节点数据 节点分区2数据 节点数据 节点数据 节点分区3数据 节点数据 节点数据 节点分区4数据 节点数据 节点数据 节点分区5数据 节点数据 节点数据 节点分区6MySQL实例PGSQL实例S3实例编目节点编目节点编目节点15主副本1从副本2从副本3每个实例均可作为高可用负载 均衡，且能进行对等读写操作Sequoia DB分 布 式 存 储 引 擎SequoiaDB技术特性1

10、6数据分片能力TargetPartition = DHT ( Row-PartitionKey )datagroup1datagroup2datagroup317强大的分布式事务能力传统二段提交机制保证数据跨节点一致性流水类数据按时间与ID二维切 分，避免数据搬迁余额类数据按ID散列，保证均 衡无热点悲观锁MVCC读已提交能力MySQL/PGSQL/SparkSQL保持 100%兼容原生MySQL/PGSQL/ SparkSQL解 析与执行引擎，不需担心语法兼 容访问计划兼容性18锁机制二段提交 2PC表设计原则MySQL兼容能力语法增删改查语法（SQL、DML）视图、存储过程、触发器、自增字

11、段(DDL、DCL)跨节点跨表事务、四种隔离级别、读已提交能力19通讯协议协议级兼容MySQL客户端协议级兼容JDBC驱动支持所有MySQL开发框架访问计划访问计划计算方式兼容MySQL统计信息收集策略兼容MySQLS3 对象存储实例S3 对象存储实例优势1、与 AWS S3 协议级兼容2、支持多版本批次上传3、支持大文件分段上传（断点续传）4、支持元数据标签化管理5、支持元数据标签模糊检索20Posix 文件系统实例支持bashlsLinux Kernelvfsfuselibfuse巨 杉 数 据 库 集 群元 数 据 区对 象 存 储 区文件系统实例优势1、与Posix 文件系统 完整兼容

12、2、支持全部 Linux 文件 系统操作3、应用程序透明无感知4、弹性水平扩张21多租户与HTAP 读写分离MySQL实例1（高可用）MySQL实例2（高可用）PostgresQL实例3（高可用）JSON实例4（高可用）SparkSQL实例1SparkSQL实例222微服务框架下，对成千上万个MySQL数据库实例做到统一化管理， 防止数据碎片化，并对来自不同实例和服务的数据统一实时分析， 避免联机交易与分析业务相互干扰多租户物理隔离能力在一个集群内同时提供关系型数据库以及对象存储实例 尽可能减少用户对于异构产品的学习与运维成本MySQL实例1MySQL实例2S3对象存储Posix文件系统结构化

13、存储格式23非结构化存储格式协议级集群高可用同分区内数据节点之间通过心跳保持连接主节点2轮接收不到超半数节点心跳会自动降备备节点2轮接收不到主节点心跳会发起选举投票超半数节点同意后备节点当选新的主节点24支持多种容灾方案，数据零丢失同城方案1、主备机房使用可靠高速光纤直连2、每个分区主节点在主中心3、平时使用强一致同步策略保障数据不丢4、故障发生时使用takeover工具进行集群分离， 备集群独立运行5、故障恢复后使用merge工具进行集群合并双活方案1、应用程序直连本地数据中心数据库协调节 点2、应用程序不需要关注底层数据存储主备中 心复制和通讯策略两地三中心1、远程数据中心使用异步机制进行

14、数据复制2、数据中心之间可进行流量控制保证不会占 用过多带宽25数据备份恢复数据库实例级备份MySQL/PostgreSQL原生 记录备份策略集群级备份全量离线备份全量在线备份增量在线备份文件系统级备份读节点文件系统全量备份静态文件增量备份分布式集群数据库实例数据库实例数据库实例26异构数据源复制策略异步数据复制策略1、使用JSON或CSV格式定期将异构数据源的原始数据进行导出为 文本文件2、通过FTP等方式将文件传输至巨杉数据库的客户端 3、通过sdbimprt工具将文本文件导入巨杉数据库4、满足异构数据源T+1的数据复制策略，简单可靠准实时数据复制策略1、异构数据源使用相关的工具将日志文件实时解析并写入管道2、通过Apache Storm对管道信息监听并转换为标准DML/DDL命 令3、指令分发至多线程处理服务进行巨杉历史数据库的增删改查4、满足异构数据源T+0的数据复制策略，秒级延时5、当前支持Oracle Golden Gate（对应Oracle数据源）、IBM C