基于Apache ShardingSphere打造分布式数据库

1、技术创新，变革未来基于Apache ShardingSphere 打造分布式数据库分布式数据库核心功能ShardingSphere的实现与规划ShardingSphere的开源与社区123目录CONTENTS核心功能多数据副本自动将数据以强一致、高性能的方式复 制至跨机房多副本分布式事务高性能、完全支持ACID原义的分布式事 务引擎计算存储分离计算节点无状态，可通过水平扩展增加算 力；存储节点可以和计算节点分层优化HTAP混合处理OLTP的事务型操作和OLAP的分析型操作020304010506分布式存储数据存储不受单机磁盘容量限制，可通 过增加数据服务器的数量提升存储能力弹性伸缩可以随时随地

2、动态的对数据节点进行扩 容和缩容实现方案中间件NewSQL稳定型牺牲部分性能以保证稳定性以及 运维经验的复用进取型以高性能换取稳定性的缺失以及 运维经验的不足NewSQL的分类Database-as-a-ServiceTransparentSharding MiddlewareNew ArchitectureWhats Really New with NewSQL? /papers/2016/pavlo-newsql-sigmodrec2016.pdf分布式数据库核心功能ShardingSphere的实现与规划ShardingSphere的开源与社区123目录CONTENTS12数据分片分布式

3、事务核心功能Features3弹性伸缩4分布式治理核心流程SQL解析结果归并SQL改写SQL执行SQL路由分片策略定制化哈希范围标签时间复合u Java类：com.jd.XXXStrategyu 行表达式：t_order_$-uid % 812数据分片分布式事务核心功能Features3弹性伸缩4分布式治理分布式事务抉择外柔内刚01XA两阶段提交事务的标准Saga源 于 论 文 ： /andru/ cs711/2002fa/reading/sagas.pdf02整合分布式事务Sharding Transaction ManagerShardin

4、g-TransactionSharding XA Transaction ManagerSharding BASE Transaction ManagerSQL RevertAtomikos XA ManagerNarayana XA ManagerBitronix XA ManagerXA Transaction SPIServicecomb ManagerBASE Transaction SPISharding Data Source本地事务APISeata Manager两阶段事务模型的得失损失收益并发性能 可用性提交阶段失败的处理分布式柔性事务模型的得失损失收益一致性 & 隔离性 业务

5、侵入分布式 并发性能新一代事务解决方案JDTX分布式 & 1PC完全摒弃两阶段提交的透明化实现方案事务原义支持完全支持ACID的强一致事务高性能插入性能高于本地事务 查询性能高于分布式事务高可用无中心化架构模型跨多元数据库支持RDBMS、NoSQL、MQ等多元资源JDTX内部架构开启事务LSN生成器更新提交回滚恢复引擎MVCC引擎WAL查询更新执行器查询执行器落盘执行器约束校验引擎事务处理器删除获取本地事务元组更新设计亮点Idea无UNDO日志通过约束验证来避免使用undo日志提升性能异步刷盘通过WAL和内存的方式异步化刷盘无损事务方案使用本地事务API完全支持ACID活动事务与数据存储分离充

6、分利用数据库存储引擎的稳定性开发成本最小化充分采用论文思路以及第三方开源整合分布式事务Sharding Transaction ManagerSharding-TransactionSharding XA Transaction ManagerSharding BASE Transaction ManagerSQL RevertAtomikos XA ManagerNarayana XA ManagerBitronix XA ManagerXA Transaction SPIServicecomb ManagerSharding Data Source本地事务APISeata ManagerS

7、harding JDTX Transaction ManagerJDTX ManagerJDTX Transaction SPIBASE Transaction SPI12数据分片分布式事务核心功能Features3弹性伸缩（孵化中）4分布式治理范围扩容DB_0DB_1DB_2DB_n弹性迁移Origin DB_0New DB_0New DB_1Origin DB_1New DB_2New DB_3增量数据存量数据12数据分片分布式事务核心功能Features3弹性伸缩4分布式治理020103服务治理配置动态化跨机房高可用熔断、禁用、失效转移数据治理权限数据脱敏全链路数据压测SQL审核SQL防

8、火墙APM调用链应用拓扑图监控报警可观察性功能列表ShardingSphere分布式数据库解决方案数据库协议SQL解析SQL路由SQL改写SQL执行结果归并ConnectorsNative C API, JDBC, ODBC, .NET, PHP, Python, Perl, Ruby, VBJDTXLSNMVCCWAL查询引擎恢复模式弹性伸缩/ 监控治理/自动化运维工具12可插拔架构SQL兼容度提升未来规划Roadmap3多数据副本45云原生多元数据融合平台云原生数据库数据库集群Sharding-ProxySharding-Sidecar宿主机A业务代码业务代码Service Sidecar

9、宿主机B业务代码业务代码Service SidecarSharding-SidecarSharding- Scaling原生SQL & 本地事务API自动化弹性伸缩MySQL/PostgreSQL Cli/ Workbench宿主机C业务代码Sharding-JDBCUI控制台Sharding- OpenTracing注册中心可观察性& 可视化管理分布式事务Sharding- Transaction透明化去O业务代码MySQL数据库集群ShardingSphere原生OracleSQL原生事务API分布式事务Sharding- Transaction业务代码业务代码Oracle业务代码国产数据

10、库评测业务代码MySQL数据库集群ShardingSphere业务代码国产数据库集群产品评测Verification数据校验动态切换分库分表中间件以分布式为核心的可插拔方案Java开发框架多形态 & 多接入端NewSQL竞品在数据库之上的解决方案重新认识ShardingSphereAll in One的解决方案 微内核 & 开放生态分布式数据库核心功能ShardingSphere的实现与规划ShardingSphere的开源与社区123目录CONTENTS参与开源社区收益01更好的职业生涯公司招聘技术 & 软技能提升 拓展人脉打造个人品牌02享受乐趣成长 成就感社区KEY POINTS社区优于代码尊重和信任合作伙伴自动化测试创建自助渠道公开和远程的工作模式多元化的贡献方式