云分布式块存储系统设计与实现 PPT课件

分布式块存储系统 设计与实现 1 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 内容提要 个人简介云计算 美团云计算对块存储的需求设计与实现 设计理念 存储结构 并发模型 系统架构 写入策略 错误防护性能测试 2 GMV BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 0 350 700 美团云1 4001 050 2010 2011 2012 2013 2014 2015 研发 承载美团所IDC自建有业务新版本资质机房 3 稳定承载美团所有业务 4 云计算承载研发环境 方案验证新技术探索压力测试鲁棒性测试 小白鼠 平台配额内自助使用 极高的交付效率极高的资源利用率月资源 换手 率 50 5 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 美团云 公有云服务 6 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 内容提要 个人简介云计算 美团云计算对块存储的需求设计与实现 设计理念 存储结构 并发模型 系统架构 写入策略 错误防护性能测试 7 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 IaaS云计算 物理服务器 物理服务器 物理服务器 8 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 IaaS云计算 物理服务器 物理服务器 物理服务器 9 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 三类存储架构 本地磁盘存储 技术简单 性能 成本低 VM迁移困难 可用性低集中共享存储 技术简单 VM易于迁移 成本 可用性低 扩展性低分布共享存储 可靠性 可用性 VM易于迁移 技术困难 10 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 三类存储架构 本地磁盘存储 技术简单 性能 成本低 VM迁移困难 可用性低集中共享存储 技术简单 VM易于迁移 成本 可用性低 扩展性低分布共享存储 可靠性 可用性 VM易于迁移 技术困难 11 QCon全球软件开发大会 IaaS中的存储需求 BroughtbyInfoQInternationalSoftwareDevelopmentConference 12 QCon全球软件开发大会 IaaS中的存储需求 BroughtbyInfoQInternationalSoftwareDevelopmentConference 13 QCon全球软件开发大会 IaaS中的存储需求 BroughtbyInfoQInternationalSoftwareDevelopmentConference 14 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 相关开源项目 SheepdogHDFS GFS HLFS 15 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 21282root17771root19448root18580root20392root 2020202020 00000 809m802m839m824m798m 80m80m79m82m77m 11mS37 410mS27 810mS27 110mS26 510mS13 9 0 10 10 10 10 1 6 38 88ceph osd4 54 46ceph osd6 42 14ceph osd5 52 29ceph osd4 02 15ceph osd 123 7 4 101读IOPS 客户端 5xx 16 407读IOPS Ceph的效率问题服务端 16 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB25GB 50GB26GB 50GB27GB 50GB Sheepdog的数据丢失问题 root node3 10gtest collieclustercheckfixvditest1 399 9 fixedreplica3e563000000fca99 9 fixedreplica3e563000000fec100 0 fixedreplica3e5630000026f5100 0 fixedreplica3e563000002da6100 0 fixedreplica3e563000001e8c100 0 fixedreplica3e563000001530 fixvditest2 950 9 nomajorityofd781e30000012351 2 nomajorityofd781e30000018a53 2 17 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB25GB 50GB26GB 50GB27GB 50GB Sheepdog的数据丢失问题 root node3 10gtest collieclustercheckfixvditest1 399 9 fixedreplica3e563000000fca99 9 fixedreplica3e563000000fec100 0 fixedreplica3e5630000026f5100 0 fixedreplica3e563000002da6100 0 fixedreplica3e563000001e8c100 0 fixedreplica3e563000001530 fixvditest2 950 9 nomajorityofd781e30000012351 2 nomajorityofd781e30000018a53 2 18 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB50GB 50GB25GB 50GB26GB 50GB27GB 50GB Sheepdog的数据丢失问题 root node3 10gtest collieclustercheckfixvditest1 399 9 fixedreplica3e563000000fca99 9 fixedreplica3e563000000fec100 0 fixedreplica3e5630000026f5100 0 fixedreplica3e563000002da6100 0 fixedreplica3e563000001e8c100 0 fixedreplica3e563000001530 fixvditest2 950 9 nomajorityofd781e30000012351 2 nomajorityofd781e30000018a53 2 19 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 内容提要 个人简介云计算 美团云计算对块存储的需求设计与实现 设计理念 存储结构 并发模型 系统架构 写入策略 错误防护性能测试 20 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 设计理念 稳定可靠 在做tradeoff时 稳定压倒 起高性能 能发挥万兆 和SSD的潜 勤俭 低 物 投 能使用单路低端CPU尽可能重用已有服务 21 舍C 取AP stateless timelessorfunctional BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 设计理念 CAP取舍 服务无状态 简化并发模型模块化 层次化 22 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 系统架构 有中心 元数据服务器 HDFS GFS MooseFS 无中心 元数据服务器 ceph gluster sheepdog 23 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 系统架构 有中心 元数据服务器 HDFS GFS MooseFS 无中心 元数据服务器 ceph gluster sheepdog 24 um ol hu O pe ra io Se er fo BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 系统架构 M C S VC enk pS er ve r In O n foChData un k rv tIn 25 Chunk ServerInfo operation BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 系统架构redis C S Vo lum e Op Ch unk S erve rIn fo Data mysql informationManager VM NBD 26 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 并发模型 事件驱动 select poll epoll 多线程多进程 每块硬盘对应 个进程 多协程 27 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 并发模型 事件驱动 select poll epoll 多线程多进程 每块硬盘对应 个进程 多协程 28 每块硬盘对应 个进程 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 并发模型 事件驱动 select poll epoll 多线程多进程 多协程 29 每块硬盘对应 个进程 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 并发模型 事件驱动 select poll epoll 多线程多进程 多协程 30 每块硬盘对应 个进程 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 并发模型 事件驱动 select poll epoll 多线程多进程 多协程 31 CPU0CPU1CPU2BroughtbyInfoQInternationalSoftwareDevelopmentConference CPU核心绑定TCPTCPTCPQCon全球软件开发大会 32 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 可组合的模块结构 33 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 存储结构 64MB64MB64MB 64MB64MB64MB 64MB64MB64MB 64MB64MB64MB 多副本 64MB64MB64MB 34 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 存储结构 ChunkReplicate ChunkReplicate LinearChunkReplicate 35 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 存储结构 ChunkReplicate ChunkReplicate ChunkReplicate Linear Stripe Stripe 36 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 存储结构 ChunkReplicate ChunkReplicate ChunkReplicate Stripe Stripe CacheLinear 37 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 运行时模块结构 虚拟机 38 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 写入策略 Client Replica1Replica2 Replica3 www Client Replica3 w Replica1wReplica2w 39 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 写入策略 Client WRITE REPLICATE Replica2WRITEReplica1 primary WRITEReplica3 40 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 写入策略 Client Replica2WRITEReplica1 primary WRITEReplica3 WRITE REPLICATE 41 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 一些 黑科技 42 BroughtbyInfoQInternationalSoftwareDevelopmentConference 一些 黑科技 NetherSwapQCon全球软件开发大会 43 一些 黑科技 VanguardBroughtbyInfoQInternationalSoftwareDevelopmentConference NetherSwapQCon全球软件开发大会 44 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 一些 黑科技 Vanguard AegisoftheImmortal NetherSwap 45 移形换位 热升级 QEMUQCon全球软件开发大会 MS NBD C S SBroughtbyInfoQInternationalSoftwareDevelopmentConference 46 移形换位 热升级 QEMUQCon全球软件开发大会 NBD MSS SBroughtbyInfoQInternationalSoftwareDevelopmentConference 47 移形换位 热升级 QEMUQCon全球软件开发大会 MS NBD C S SBroughtbyInfoQInternationalSoftwareDevelopmentConference 48 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 先锋盾 抵挡普通伤害 捕获一切异常信号 除以0 内存非法访问 返回到正确场景 壳 setjmp longjmp try throw catch 49 不朽之盾 起死回生 任何时候 恢复到绝对正确的运行状态 QEMUQCon全球软件开发大会 NBD CBroughtbyInfoQInternationalSoftwareDevelopmentConference 50 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 不朽之盾 起死回生 任何时候 恢复到绝对正确的运行状态 QEMU NBD 51 BroughtbyInfoQInternationalSoftwareDevelopmentConference QCon全球软件开发大会 不朽之盾 起死回生 任何时候 恢复到绝对正确的运行状态 QEMU NBD C