华为FusionStorage架构分析

华为FusionStorage架构分析,常涛changtao,基本功能,接口：scsi/iscsi数据服务：快照，克隆，精简配置，分布式cache，备份（全量，增量），复制（基于volume的异步复制）存储基本功能：集群状态控制，分布式数据分布（DHT），rebuild，reblance过程控制，强一致性协议,基本组件,FusionStorageManager:管理模块，提供告警，监控，日志等信息。FustionStorageAgent：代理进程，实现和FusitonStorageManager的通信。MDC（metadatacluster）：集群管理，负责集群状态的监控，数据分布规则，数据rebuild的过程控制。（使用zookeeper）VBS（virtualblocksystem）客户端，提供分布式块存储集群接入点服务。OSD：数据服务组件。每个磁盘对应一个OSD（类似于Ceph）,关键技术：数据分布（数据路由）,FusionStorage采用DHT算法需要全局保存Partitiondisk的映射表,1）（LUN1，LBA）生产key2）通过key，通过计算hash值可得到Partition3）通过查找全局的partition到disk的路由表，可知具体的disk的值,优点：1）保存partition到disk的映射表，可以实现负载均衡2）保存的元数据比较少，可以支持的规模比较大。缺点：副本控制和分布的粒度是pool级别，volume级别的数据分布和副本的控制比较难。,关键技术：Cache机制,WriteCacheSSDcache，直接写SSD返回数据定期从SSD批量刷回HDD磁盘ReadCache：内存SSDreadcacheHDD磁盘,Cache没有啥特别的。关键看cache缓存算法的实现优劣。,关键技术：读写IO流程,读操作：直接读PrimaryOSD,写操作：客户端VBS发给PrimaryOSDPrimaryOSD同时发送给本地磁盘和SecondOSDPrimaryOSD等待PrimaryOSD和SecondOSD的操作都完成，才向客户端应答。,没啥特别设计，基本流程都一样。,关键技术：快照/克隆,FusionStorage采用ROW快照技术优点是写操作性能几乎不受损失读操作，特别是顺序读操作，会有影响？如果使用DHT技术，ROW快照的机制具体如何实现？Ceph的机制？快照的信息记录在每个对象的属性上Sheepdog的机制？快照的信息记录在整个volume的属性上ConsistentGroup不支持？,快照的实现，应该是基于sheepdog的原理实现。ROW机制的快照还是挺不错的。,关键技术：数据一致性协议/掉电保护,每个IO有编号（通过编号，实现顺序处理）主OSD和备OSD所接收到的IO编号处理顺序完全一致。orderedrequest实现（类似Ceph的pglog,性能是瓶颈吗？）FusitonStorage的保电介质NVDIM&PCIeSSD所有的元数据+数据都缓存在保电介质中，系统掉电重启后replay,类似ceph，NVDIM或者PCIeSSD做日志（包括元数据和数据）,关键技术：平滑扩容,DHT技术比较容易的支持Reblance/Rebuild时的所占资源的控制（没有提到）在恢复速度和不影响前端性能之间平衡,关键技术：灾备,基于volume的同步复制同城双活基于故障域实现的双活。但是难以实现基于volume的同步复制基于volume的异步复制异地复制基于快照实现的全量和增量备份可基于Volume的实现,其它功能,分布式缓存有必要吗？如果负载均衡针对热点？读热点缓存在cache中，写热点也没法分布式啊？支持InifiniBand高速网络DataScrub定时检测存储数据提前预防数据错误硬盘可靠性坏块标记磁