云数据库分布式架构演进之路

1、从单机到分布式：云数据库架构演进之路技术创新，变革未来主从架构( MySQL )12金融级架构( MySQL Plus )3TP+AP架构( MySQL Plus + ClickHouse )4分布式架( RadonDB )目录CONTENTS主从架构存在问题“上古原生”架构，只是把MySQL”搬”到云主库宕机/网络隔离，业务需要等待恢复主库无法恢复，从库数据一致性无法保证无法满足金融级需求MySQL PlusMySQL Plus 解决了什么问题？无中心化自动选主集群数据强一致主从秒级切换跨区容灾MySQL Plus 架构(三节点)Master(Leader)semi-sync replica

2、tion.semi-sync replicationRaftheartbeatheartbeatpingMySQLpingMySQLpingMySQLXenonMySQLSlave(Follower)Slave(Follower)集群数据强一致rpl_semi_sync_master_timeout=无限大强制semi-sync不降级为异步复制每个事务提交保证集群內多数派收到主从切换，确保新主与旧主数据完全一致(GTID对比)主从秒级切换： master 故障切换主从秒级切换：网络隔离切换无中心化自动选主MySQL Plus 开源社区430+ star上万个节点稳定运行支撑着金融、保险等企业客

3、户对 MySQL 内核无侵入，agent模式/radondb/xenon客户需求来了OLAP 查询能不能给力些？我要快.MySQL Plus + ClickHouseMySQL Plus + ClickHouse 架构ClickHouse 同步 MySQL 传统方案在 ClickHouse 和 MySQL之间挂一个数据同步工具维护成本高，性能低，很难支持 DDL 以及update/delete 操作无法满足企业级需求ClickHouse 实时同步 MySQL 数据/ClickHouse/ClickHouse/pull/10851由青云ClickHouse 团队贡献ClickHouse 实时同步

4、 MySQL数据clickhouse :) CREATE DATABASE mydb ENGINE = MaterializeMySQL(:3306, mydb,root, 123);全量同步：开启事务，记录 binlog 位点，开始同步增量同步：从位点开始实时消费 MySQL binlog，生成 ClickHouse part文件 物理复制：直接把 binlog 生成 ClickHouse 的 part文件，性能非常高效ClickHouse 实时同步 MySQL数据支持MySQL DDL语句支持update/delete 操作支持MySQL 表索引到 ClickHouse索引映射优化MySQ

5、L Plus+ 产品.客户需求又来了我要计算可以任意扩展！RadonDBRadonDB 架构radonradonradonDistributed SQL Nodes(stateless)Storage Nodesraft raft raft raft raft分布式计算节点生成分布式执行计划执行器并行执行orderby/limit/groupby/join等 分布式事务支持事务管理事务可靠性Snapshot Isolation 隔离级别SI隔离级别未提交不可见部分提交不可见SI检测xelabs/go-Jepsen1个更新线程，16个扫表线程100多亿次操作和检测随机 kill 存储节点主副本S

6、torage Nodes存储层由多个 MySQL Plus组成不仅存储还有强大的计算能力raft raft raftStorage Nodes数据分布CREATE TABLE t1(id int, age id) PARTITION BY HASH(id) t1_0002 256, 383 t1_0029 3712, 3839 t1_0030 3840, 3967 t1_0001 128, 255t1_0000 0, 127 t1_0031 3968, 4095raft整张表共 4096 slots每个小表 128 slots小表均匀分散在 node节点扩容小表可动态漂移先全量后增量较大/热度高者优先资源分配最优化CREATE TABLE t1(id int, age id) PARTITION BY HASH(id) t1_0001 128, 255 t1_0002 256, 383t1_0029 3712, 3839 t1_0000 0, 127t1_0030 t1_00313840, 39673968, 4095raftraftraft分布式 OLTP + OLAPRadon + MySQL Plus数据写入到存储层 MySQL 节点普通查询路由到存储层 MySQL 节点复杂查询路由到存储层 Click