万亿级KV存储架构与实践

1、美团点评万亿级 KV 存储架构与实践目录美团点评 KV 存储发展历程内存 KV Squirrel 架构和实践持久化 KV Cellar 架构和实践发展规划和业界趋势客户端客户端美团点评 KV 存储发展历程memcachedmemcachedmemcached一致性哈希一致性哈希宕机、扩缩容 丢数据扩缩容丢数据RedisRedisRedisRedisRedisRedis美团点评 KV 存储发展历程Tair 中心节点Tair 存储节点ABCD客户端路由表读&写心跳复制中心节点脑裂容灾、扩容难configconfig美团点评 KV 存储发展历程Redis ClusterTairSquirrelCel

2、lar自研自研 + 社区全内存、高吞吐、 低延迟持久化、大容量、 数据高可靠日调用量均已破万亿请求峰值均已破亿目录美团点评 KV 存储发展历程内存 KV Squirrel 架构和实践持久化 KV Cellar 架构和实践发展规划和业界趋势KV 数据分布介绍固定HASH算 法固定数目 数据分片Slot-存储节 点对照表keySlot存储节点HASH路由表高可用宏观：容灾微观：端到端成功率KV 架构和实践Redis集群集群调度平台Squirrel 架构和实践扩缩容服务高可用服务调度服务zookeeper客户端元数据获取读&写Gossip元数据更新管理主1从3主2从1主3从2Squirrel节点容灾

3、HA高可用服主库宕机恢复30s，从库 有必要等这么久吗？集群多，宕机后补副本 累坏人？Squirrel节点容灾ZooKeeper客户端HA1HA2Redis1Redis2监控Kubernetes读Redis4Redis3Squirrel集群Redis4摘替除换Redis4摘替除换Redis4从摘除30s-5s分钟级自动扩容Squirrel跨地域容灾集群间复制跨地域专线不稳定跨地域专线有限的带宽单元化部署，多活架构同步调度同步集群北京主集群Squirrel跨地域容灾主从从主从从上海从集群主从从主从从Redis复制协议同步机同步机Redis复制协议写写同步机managermanager任务调度监控

4、监控影响端到端成功率的因素：数据迁移造成超时抖动持久化造成超时抖动热点key请求导致单节点过载Squirrel端到端成功率Squirrel智能迁移迁移服务Redis提供数据迁移功能，但：Slot迁哪些、往哪迁、谁来迁？想迁的快又怕太快影响业务？迁移大key阻塞业务请求？IDC2IDC1Squirrel智能迁移Redis1Redis2Redis3Redis4MigrateMigrate监控服务迁移任务生成迁移 机1迁移 机2任务下发迁移Slot迁移Slot客户端读写成功率、耗时服务状态反馈就近原则节点间并发批量Migrate根据监控调速大key异步迁Squirrel持久化重构重构持久化机制做不起

5、的RDB无法避免抖动的AOFSquirrel持久化重构mem_backlogisk_backlogisk_backlogd ddisk_backlog写请求异步 线程DBRDBmem_backlogdisk_backlogRDB +disk_backlog减少全量重传减少并控制RDB减少AOF写盘抖动降低了数据可靠性Squirrel热点key普通主热点主热点从热点从监控服务热点Slot统计流控热点key查询热点迁移热点Slot普通主普通从迁移服务热点Slot实时监控热点并止损自动隔离热点并扩容目录美团点评 KV 存储发展历程内存 KV Squirrel 架构和实践持久化 KV Cellar 架

6、构和实践发展规划和业界趋势Cellar 架构和实践中心节点ABCDZooKeeper客户端路由表元数据心跳读&写复制configconfigOB1OB2Cellar节点容灾Handoff想快速Failover却承担不起数据恢复的代价？运维操作导致请求超时？Cellar节点容灾中心节点A1分片主2分片备B1分片备2分片主客户端A故恢障复分片1请求心跳心跳分片1请求分片1复制分片2复制回写增量log秒级容灾静默升级分片1&2 logCellar跨地域容灾集群间复制跨地域专线不稳定跨地域专线有限的带宽单元化部署，多活架构Cellar跨地域容灾HIJK北京主集群ABCD客户端集群内复制集群内复制上海从

7、集集群间复制写读Cellar强一致支付等场景 数据不能丢共识协议：Paxos/RaftRaft：协议详实、工程实践Raft 复制组存储节点4存储节点3存储节点2存储节点1Cellar强一致Slot 1Slot 1Slot 2Slot 1Slot 3Slot 2Slot 3Slot 2Slot 3中心节点Raft组调度客户端读&写读&写读&写读&写multi Raft调度leader影响端到端成功率的因素：数据迁移影响业务请求成功率慢请求阻塞服务队列热点key请求导致单节点过载Cellar端到端成功率Cellar智能迁移A节点B节点客户端Slot 2Slot 3桶2Slot 3Slot 1请求迁

8、移代理请求响应增量logB节点状态响应请求响应节点状态指标引擎压力网卡流量队列长度Cellar快慢队列网络 线程工作队列工作 线程慢请求：超时请 求 1：20网络 线程读快队列读快 线程读慢队列写快队列写慢队列读慢 线程写快 线程写慢 线程TP999延迟降 低86%Cellar热点key普通 数据dataserver普通 数据dataserverdataserver普通 数据热点 数据dataserver普通 数据热点 数据热点key客户端中心节点写读路由表&热点区域热点区域管理普通复制热点复制热点读彻底分散热点读无延迟目录美团点评 KV 存储发展历程内存 KV Squirrel 架构和实践持久化 KV Cellar 架构和实践发展规划和业界趋势服务Redis gossip