2024海量存储和高并发的数据库架构设计实践

海量存储和高并发的数据库架构设计实践

2024

目录

海量业务数据存储方案对比分析

01

传统关系库扩展方法论及企业级案例

02

新方向探索—分布式关系数据库应用实践

03

01海量业务数据存储方案对比分析

数据拆分

分布式存储

分布式事务

兼容问题

数据路由

业务适配

我们应该如何选择

数据拆分：分库分表方案带来的数据路由和分布式事务等复杂问题全部抛给了业务；

分布式存储：学习成本和不可预知的兼容问题，让我们不敢轻易尝试；

道阻且长，没有万金油....

02 传统关系库扩展方法论及企业级案例

02传统关系库扩展方法论及企业级案例

垂直 水平 冷热

垂直拆分：按业务隔离垂直拆表：宽表变窄表

横向扩展，提升系统存储量 热库抗线上流量冷库数据归档

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

商品库分表

系统消息库分表

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

商品库分表

系统消息库分表

存储均匀&访问均匀->取模

手机号查询怎么办？

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

商品库分表

系统消息库分表

查询自己发布的商品

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

pub

pub

商品库分表

两个维度查询必须满足

映射表太重

系统消息库分表

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

商品库分表

系统消息库分表

时效性强

冷热数据拆分

思考：有效期30天

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

用户库分表

商品库分表

系统消息库分表

时效性强

冷热数据拆分

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

分表分少了怎么办？

02传统关系库扩展方法论及企业级案例

分库分表—案例分享

业务修改路由算法，后台清理数据

03 新方向探索—分布式关系数据库应用实践

03新方向探索—分布式关系数据库应用实战

分布式存储

分布式存储，副本集数据同步，提供良好的水平扩展能性

分片存储

数据分片存储，分片内主从同步，提供数据路由解决方案

存储计算分离

存储节点、计算节点均可水平扩展，持续提升系统吞吐量

03新方向探索—分布式关系数据库应用实战

NewSQL数据库引入测试

读写均匀 读多写少

03新方向探索—分布式关系数据库应用实战

模拟业务场景测试

选择场景

IM联系人列表

测试验证

构造数据

模拟流量

03新方向探索—分布式关系数据库应用实战

NewSQL数据库数据迁移

数据迁移

主从同步

双写

流量迁移

切读

停双写

网关层

业务逻辑层

MQ

read

sync

数据访问层

数据访问层

write write

MySQL

Master

TiDB

Slave

03新方向探索—分布式关系数据库应用实战

NewSQL数据库乐观锁问题

业务场景——手机通知栏推送

uid

token

version

ts

U12

P31

XXX

1XXXX

U2

P2

XXX

1XXXX

用户—设备ID映射

U3 default XXX 1XXXX

数据变更场景

1账号登陆多手机

1手机登陆多账号

优化业务，过滤默认值的数据

03新方向探索—分布式关系数据库应用实战

NewSQL数据库乐观锁问题

商品状态流转

id

status

ts

bis

1

0//可售

XXX

XXX

2

1//下架

XXX

XXX

3

2//拍下

XXX

XXX

发布者下架商品0-1

买家拍下商品0-2

Transaction1 Transaction2

BeginTransaction

BeginTransaction

setstatus=1whereid=1andstatus=0

if(affected==1)

setstatus=2whereid=1andstatus=0

........

if(affected==1)

..........

commit commit

03新方向探索—分布式关系数据库应用实战

悲观锁处理方式

Transaction1 Transaction2

BeginTransaction

BeginTransaction

set

status=1whereid=1andstatus=0

setstatus=2whereid=1andstatus=0

//blocking

if(affected==1)

if(affected==1)

........

不会进入

//affected==0

........

commit commit

03新方向探索—分布式关系数据库应用实战

乐观锁处理方式

Transaction1 Transaction2

BeginTransaction

BeginTransaction

set

status=1whereid=1andstatus=0

if(affected==1)

setstatus=2whereid=1andstatus=0

if(affected==1) //affected==1

........

//MQorRPC！如何回滚？