华为FusionStorage架构分析-文档资料

1、1华为FusionStorage架构分析常涛2基本功能接口： scsi/iscsi数据服务：快照，克隆，精简配置，分布式cache，备份（全量，增量），复制（基于volume的异步复制）存储基本功能：集群状态控制，分布式数据分布（DHT），rebuild，reblance过程控制，强一致性协议3基本组件FusionStorage Manager: 管理模块，提供告警，监控，日志等信息。FustionStorage Agent：代理进程，实现和FusitonStorage Manager的通信。MDC（meta data cluster）：集群管理，负责集群状态的监控，数据分布规则，数据rebu

2、ild的过程控制。（使用zookeeper）VBS（virtual block system）客户端，提供分布式块存储集群接入点服务。OSD：数据服务组件。每个磁盘对应一个OSD（类似于Ceph）4关键技术：数据分布（数据路由）FusionStorage采用DHT算法 需要全局保存Partition disk 的映射表1）（LUN1，LBA）生产key2）通过key，通过计算hash值可得到 Partition3）通过查找全局的 partition 到disk 的路由表，可知具体的disk的值优点：1）保存partition到disk的映射表，可以实现负载均衡 2）保存的元数据比较少，可以支持

3、的规模比较大。缺点：副本控制和分布的粒度是pool级别，volume级别的数据分布和副本的控制比较难。5关键技术：Cache机制 Write Cache SSD cache，直接写SSD返回 数据定期从SSD批量刷回HDD磁盘 Read Cache： 内存 SSD read cache HDD 磁盘Cache没有啥特别的。关键看cache缓存算法的实现优劣。6关键技术：读写IO流程读操作： 直接读Primary OSD写操作：客户端VBS发给Primary OSDPrimary OSD同时发送给本地磁盘和 Second OSD1) Primary OSD等待 Primary OSD 和 Sec

4、ond OSD的操作都完成，才向客户端应答。没啥特别设计，基本流程都一样。7关键技术：快照/克隆FusionStorage 采用 ROW 快照技术 优点是写操作性能几乎不受损失 读操作，特别是顺序读操作，会有影响？如果使用DHT技术，ROW快照的机制具体如何实现？ Ceph的机制？ 快照的信息记录在每个对象的属性上 Sheepdog的机制？的机制？ 快照的信息记录在整个快照的信息记录在整个volume的属性上的属性上Consistent Group 不支持？ 快照的实现，应该是基于sheepdog的原理实现。ROW机制的快照还是挺不错的。8关键技术：数据一致性协议/掉电保护 每个IO有编号（通

5、过编号，实现顺序处理） 主OSD和备OSD所接收到的IO编号处理顺序完全一致。 ordered request 实现（类似Ceph的pg log, 性能是瓶颈吗？） FusitonStorage的保电介质 NVDIM & PCIe SSD 所有的元数据 + 数据都缓存在 保电介质中，系统掉电重启后replay类似ceph，NVDIM或者PCIe SSD 做日志（包括元数据和数据）9关键技术：平滑扩容 DHT 技术比较容易的支持 Reblance/Rebuild 时的所占资源的控制 （没有提到） 在恢复速度和不影响前端性能之间平衡10关键技术：灾备 基于volume的同步复制 同城双活 基于故障域实现的双活。但是难以实现基于volume的同步复制 基于volume的异步复制 异地复制 基于快照实现的全量和增量备份 可基于Volume的实现11其它功能 分布式缓存 有必要吗？ 如果负载均衡 针对热点？读热点缓存在cache中，写热点也没法分布式啊？ 支持InifiniBand高速网络 Data Scrub 定时检测存储数据 提前预防数据错误 硬盘可靠性 坏块标