全闪存储阵列的设计与实测

1、全闪存阵列的设计与实测1全闪存阵列设计目录2典型应用场景与实测案例什么是闪存？=闪存的出现：去除在线存储系统内唯一的机械部件磁存储方式、机械臂电存储方式、芯片闪存的显著优点 性能高固态硬盘Intel DC S3610 400GBSAS15K希捷ST300MP0005SAS10K希捷ST1200MM0088SAS7.2K希捷ST4000NM00334K随机IOPS8.4w(读)2.5w(写)18015576顺序读MB/s550(读)400(写)160233108215175平均延迟55s(R)66s(W)2ms+3.5ms2.9ms+3.5ms4.16ms+9ms 固态硬盘的随机读写性能是传统磁

2、盘的数百倍，延迟只有传统磁盘的一百至数百分之一！闪存性能举例45万IOPS1536块传统硬盘过去需要1536块硬盘完成的任务，在今天的全闪存上只需要20块硬盘！闪存的显著缺点 擦写寿命与写放大擦写寿命：SLC：典型擦写寿命10万次MLC：典型擦写寿命1万次eMLC：典型擦写1.53万次注：当然根据制程不同，又略有区别写入放大：SSD是以1 page（如4K）写入，而擦除则是以block（128*4K）为最小单位。当发生数据更改时，需要先擦除，而擦除block就需要将其中有效的page移动并写入到其他位置，于是就发生了写放大问题。闪存的典型寿命举例SATA接口的耐磨度和最大容量：Intel 37

3、10：10DWPD，Max 1.2TBIntel 3610：3DWPD，Max 1.6TBIntel 3510：0.3DWPD，Max 1.6TB三星SM863： 3.6DWPD，Max 1.92TB三星PM863： 0.8DWPD，Max 3.84TB高可靠领域：10*1.2=12TB/天传统阵列中的二级读缓存典型的全闪存阵列配盘DWPD(Disk Write Per Day) (全盘磁盘写/每天)基于闪存的三种阵列传统阵列：常见形态传统阵列+少量SSD盘，SSD盘用作二级缓存，提升性能。二级缓存以读居多。混合阵列：常见形态闪存+机械硬盘混合的阵列，闪存、机械硬盘都用于存放数据。数据可在闪存

4、及机械硬盘之间进行迁移。全闪存阵列：未来的方向只采用闪存用作存储介质的阵列。闪存的性能完全不同，全闪存阵列需要完全不同的硬件架构！闪存的特性完全不同，全闪存阵列需要完全不同的软件处理方式！ 关于全闪存阵列的不同设计思路（EMC）关键字：横向扩展节点（不是最强的）0.5ms的延迟（不是最强的）采用XDP与重删，提高利用率采用eMLC降低成本注重性能与功能的平衡基本单元1个UPS2个控制器1个磁盘框 关于全闪存阵列的不同设计思路（IBM）关键字：特殊设计的硬件，追求极致性能，如4模块200万4K随机IOPS低于200s的延迟基本没有高级特性借助SVC等实现高级特性全闪存阵列的不同设计思路（华为）关

5、键字：采用传统双控存储硬件不横向扩展、只纵向扩展宣传最大IOPS 60万，延迟0.5毫秒功能特性丰富宏杉全闪存阵列的设计思路闪存的性能完全不同，因此，全闪存阵列需要完全不同的硬件架构！闪存特性完全不同，因此，全闪存阵列需要完全不同的软件处理方式！硬件架构优化横向扩展设计引擎处理能力设计硬盘通道设计软件架构优化全局磨损平衡写入优化性能与功能的平衡MS7000AF横向扩展硬件架构控制矩阵（8引擎扩展）SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD硬盘通道10核20线程10核20线程10核20线程

6、10核20线程1.5TB高速缓存主机通道横向扩展：通过控制矩阵，可横向扩展至8个控制引擎（PCIE3.0或40Gb/100Gb低延迟以太网）；纵向扩展：多个独立的384Gb通道扩展6个硬盘框（SAS3.0）；主打高性能单引擎处理能力SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD硬盘通道10核20线程10核20线程10核20线程10核20线程1.5TB高速缓存主机通道80CPU线程的处理能力1.5TB高速缓存384Gb交换带宽/25盘30WIOPS/25盘硬盘通道设计全新设计的硬盘通道，确保吞

7、吐性能，是传统存储的4倍以上传统SAS架构：采用24Gb SAS2.0或4Gb FC连续；每个硬盘柜2条链路上行，2条链路向后端纵向扩展；宏杉SSD架构：采用48Gb SAS3.0连接；每个硬盘柜8条链路上行，不纵向扩展；每个硬盘柜25盘，每6个SSD独享2条48Gb SAS3.0通道前端总线CPUCPU后端总线前端总线CPUCPU后端总线SASSASSASSASSASSASSASSASSASSAS硬盘柜纵向继续扩展传统SAS架构24Gb SAS2.0/4Gb FC48Gb SAS3.0X2前端总线CPUCPU后端总线前端总线CPUCPU后端总线SASSASSASSASSASSASSASSAS

8、SASSAS硬盘柜不纵向扩展SSD架构X8瓶颈瓶颈全局磨损平衡基于Cell的RAID3.0 AF技术全局磨损平衡：CRAID3.0将硬盘分块并打散到所有硬盘，实现全局硬盘磨损平衡；写入优化重写软件代码，减少数据回读，满条带刷盘，RAID5写入放大控制在1.6倍左右；同等业务条件下，采用RAID10可以更有效减少回读，提升IO效率。实际测试MS7000AF配置1个SSU配置25块盘4组6块盘RAID10/1块全局热备盘性能延时低于1ms，混合IOPs（70%读+30%写，8KB全随机）30万（1个SSU）性能与功能的平衡生产卷双活卷主机B存储引擎A存储引擎B虚拟卷数据中心A40GE/RDMA灾备

9、卷存储引擎A数据中心C数据中心BGE/10GE复制快照镜像自动精简双活工作模式可选择性能模式：去除复制、快照等高级特性，缩短IO路径，提供极致性能；提供“功能模式”可供选择，在功能模式下，提供足够的性能，同时保留快照、复制等高级特性；MS7000AF规格项目描述MS7000AF架构多引擎架构，支持1-8个引擎横向扩展处理器（每引擎）2*2路Intel多核处理器最大缓存能力（每引擎）1.5TB硬盘柜扩展能力（每引擎）6（每硬盘柜25盘位）硬盘柜接口（每磁盘柜）8*4*12GbSAS接口IO模块类型8Gb/s FC模块、16Gb/s FC模块10Gb/s iSCSI模块、40Gb/s iSCSI模

10、块IOPS（每引擎）300,000（8K全随机，70%读+30%写混合）延迟1ms对比EMC XtremIO 4.01、测试模型：70%读+30%写，8KB全随机2、EMC数据为官网标称数据，宏杉为实验室实测数据宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSUEMCStarter X-BrickEMC1 X-BrickSSD盘数量24（可扩展至50）1224122415（可扩展至25）25Rack Space7U（9U）7U7U7U7U6U6U性能（8K全随机，70%读+30%写）300K100K200K60K120K15

11、0K150K平均延时0.9ms0.5ms0.5ms0.5ms0.5ms0.5ms0.5ms最大带宽6GB/s6GB/s6GB/s6GB/s6GB/s3GB/s3GB/sRAID类型10101055XDPXDP1全闪存阵列设计目录2典型应用场景与实测案例闪存的典型应用场景1234索引数据仓库OLTPVDI随机顺序读取密集型写入密集型索引维护索引以实现更快的数据访问在数据库上运行以加快查询数据块的定位数据仓库存储的数据用于创建报告或者获取商业智能用于数据挖掘、分析、假设检验、建模OLTP零售、金融等面向交易应用如果数据无法访问或者访问速度缓慢，业务可能会受到影响的应用在使用高峰期间，客户体验可能会

12、受到影响的应用VDI在集中式服务器的虚拟机上承载桌面操作系统实现黄金映像的快速检索存在启动风暴、写入分配和延迟等问题闪存的最佳应用：交易性、密集IO的工作负载实测案例：数据库加速（某集团）测试环境业务软件：用友NC系统报表处理数据库：Oracle 12小机：Power 840/AIX 7.1厂商存储阵列任务耗时间原有存储系统原有混合阵列01:03:40IBM测试存储FlashSystem 840；20TB；00:44:36宏杉测试存储MS7000AF；20*400GB SSD00:42:49IBM原有传统阵列宏杉宏杉科技MS7000AF实测试性能优于IBM FS840实测案例：服务器虚拟化（某银行）测试环境平台软件：VMware5.1/SU