FusionStorage分布式存储系统介绍和架构原理

FusionStorage分布式存储系统介绍和架构原理ContentFusionStorage架构FusionStorage特点1234FusionStorage背景FusioFusionStorage应用场景产品对比5传统存储技术在容量、性能和价格上在不断改善1956年世界第一台磁盘存储系统IBM305磁盘介质取代打孔卡容量5MB读写速率10K/s1,000,000$/套1980年，薄膜磁头技术，性能飞跃，容量8*2.52GB读写速率3MB/s1988年IBMHagar大型机专用磁盘存储系统100*5GB,20MB/s，RAID1990年9月EMCSymmetrix420024GB,20MB/sCacheEMCSymmetrix1993年16MBDRAM,1GBGlobalMemory,容量1TB,HypervolumeExtension目前存储在容量上已经轻松达到PB级甚至EB级，控制器从也已支持到16控，Cache也达到TB级别。高端存储平均价格354KUSD*，只有上世纪80年代的35%。整个90年代，存储在不断发展：支持更大的容量，读写性能更强，Cache更大，存储特性越来越丰富IBMDS8000HP3PARStoreServ10000EMCVMAXHDSVSPG1000Huawei18000*数据来源：Gartner2013Q4报告存储技术的发展趋势每次技术发展,存储的性能容量可靠性都得到极大的提升Network传统存储在扩展性方面挑战仍非常大NetworkCacheControllerCacheControllerAPPAPP中低端存储只能垂直扩展CacheCacheControllerController机头无法Scale-out高端存储支持Scale-out，但是…CacheControllerCacheControllerNetwork控制器数量仍有限(目前主流高端是8控和16控)成本高昂：CAPEX+OPEXCacheControllerCacheControllerCacheControllerCacheController传统存储在性能与容量扩展不同步，无法按需扩展非线性扩展成本随着性能的提升而大幅增加性能到达一定程度后受限，需要增加机头甚至更换设备型号需要准确预测未来性能和容量的需求，否则会有推到重来的风险！IOPS容量（成本）传统存储在运维成本高，管理不够精细化VM1APP…VMnAPPLUN1LUN2LUN3VM1APP…VMnAPPVM1APP…VMnAPP扩容周期长，成本高全RAID组划分，主机映射，挂卸载卷等。扩容1套SAN要平均需要1-2周计算和存储系统操作维护、补丁升级均需分开独立完成，管理复杂虚拟化场景下无法做到应用感知大部分应用以VM形式部署，按照应用进行策略管理，更加直观传统存储最小管理颗粒度是LUN，而且多个VM共用一个LUN，LUN操作会影响该LUN上所有VM对此VM的数据进行复制，会影响该LUN上所有VM无法更精细化管理，同时会造成资源浪费传统SAN存储的主要缺点主要问题IOPS瓶颈：主机获得的IOPS受存储系统RAID组磁盘数量限制。带宽瓶颈：10GE/FC带宽在数据仓库场景成为瓶颈容量有限：受有限SAN控制器数量与处理能力限制，存储系统磁盘数量受限。磁盘数据重建时间长：重建期间引入数据丢失风险管理复杂：需要单独的SAN管理系统，学习成本高传统SAN存储Server1Server2Server3CacheHDDHDDHDDSANController10GE/FCServerSAN的原理Server1Server2ServerNVMVMVMVMDB分布式存储系统HDDSSDHDDSSDHDDSSD...SCSI/iSCSI/FCoE/InfiniBand定义：ServerSANisdefinedasacombinedcomputeandpooledstorageresourcecomprisingmorethanonestoragedevicedirectlyattachedtoseparatemultipleservers(morethanone).--bywikibonServerSAN是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源。

专有设备变通用设备计算与存储线性扩展简单管理、低TCOServerSAN的优势一：高可扩展，按需适配堆叠扩展，扩容简单数据自动负载均衡

线性增长，可预期，可获得性能容量按需增减，投资灵活性能容量ServerSAN的优势二：高性价比通用的X86服务器取代专有设备，

减少FC网络、HBA卡等存储专

用硬件，

减少能耗和空间占用分布式机头，性能线性叠加，

消除机头瓶颈NetworkCacheControllerCacheControllerAPPAPPNetworkCacheCacheAPPAPP分布式存储系统XServerSAN的优势三：消除IO瓶颈…VM1VM2VM3VMnHypervisorAPPAPPAPPAPP去中心化，消除集中式机头IO并行处理，可提供百万级IOPS,

媲美中高端存储计算与存储合布，随机IO命中率更高，性

能更强…ServerSAN的优势四：更精细化的管理VM1APP…VMnAPPLUN1LUN2LUN3VM1APP…VMnAPPVM1APP…VMnAPP可单独针对某个业务进行存储策略管理Volume1Volume2Volume3Volumen…无LUN架构，业务直接看到Volume应用感知，管理更直观，更加聚焦管理颗粒度更小，资源利用率更高ServerSAN的优势五：实现旧有业务云化APPAPPDATADATAAPPAPPDATADATADATADATAAPPDATADATA将本地存储DAS变为共享SAN存储实现业务云化实现数据中心既有设备的利旧serverSan前景（Amazon,Facebook,Google,Microsoft,Yahoo等互联网公司自己研发使用的ServerSAN）占据ServerSAN存储的84%，但ServerSAN已经进入了企业的数据中心，虽然只有16%的份额。据Wikibon评估，传统的企业存储在2013年虽然还占据95%的份额，但接下来的10年将持续下降，下降幅度是16.7%。而企业ServerSAN存储将以40.9%的速度野蛮增长，ServerSAN存储的收入将超过传统的存储（包括现在的SAN，NAS，DAS)。现在FusionStorage的诞生随着云计算,大数据等技术的兴起,对存储的性能,可靠性,可扩展性,易用性以及成本提出了更高的要求,而传统存储系统,因受制于架构的限制,已经无法满足企业的需求,成为阻碍企业ICT发展的瓶颈。另外高端存储作为独立网元，不但需要专门管理和维护，而且价格昂贵，让一般企业望而却步。分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。Page16华为云计算存储发展历程ContentFusionStorage架构FusionStorage特点1234FusionStorage背景FusionStorage应用场景产品对比5FusionStorage架构原理以数据块为单元进行数据管理I/O在所有磁盘上负载均衡,无热点,磁盘性能最大化利用故障数据重构迅速,整体性能影响小支持精简配置,无需热备盘Page18一体机DSware软件架构和功能Page19存储接口层：

通过SCSI/iSCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：

提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：

实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。FusionStorage采用分布式集群控制技术和DHT路由技术，提供分布式存储功能特性。系统软件逻辑架构Page20…MDCMDCOSDOSDVBSVBSOSDOSDOSDOSDOSDOSDOSDVBSVBSPAXOSstatuslayerRSM(ReplicatedStateMachine)datalayerStatelessinterfacelayerDriver…状态视图状态视图强一致性数据控制协议：Multi-PAXOS变种，针对高效IO进行特殊优化基于主OSD节点的IO请求排序；IOOrderedRequestbyprimarynode,forStrongconsistency；(supportoffset)支持F冗余；FailStop(F+1replicationtolerantFfailure)；从OSD节点加入集群后需要重新去主OSD节点获取丢失的IO；Statetransfertocatchupbeforerejoin；软件功能模块：ZK&MDC：ZookeeperMetadataController负责集群内部件（OSD、状态视图控制）OSD：ObjectStorageDevice负责数据分布、复制和重建VBS：VirtualBlockSystem负责接收虚拟机的IO请求SCSI…控制流数据流数据复制ZKZKZK数据流VMOracleVM…MDCFusionStorage软件部署图Page21协议栈写IO过程FusionStorage写IO过程FusionStorage数据路由机制FusionStorage数据路由采取分层处理方式：VBS通过计算确定数据存放在哪个服务器的哪块硬盘上；OSD通过计算确定数据存放在硬盘的具体位置；数据路由处理:

系统初始化时，FusionStorage将哈希空间（0~2^32）划分为N等份，每1等份是1个分区（Partition），这N等份按照硬盘数量进行均分。例如：二副本场景下，系统N默认为3600，假设当前系统有36块硬盘，则每块硬盘承载100个分区。FusionStorage会对每个LUN在逻辑上按照1MB大小进行切片，例如1GB的LUN则会被切成1024*1MB分片。当应用侧访问FusionStorage时候，在SCSI命令中会带上LUNID和LBAID以及读写的数据内容，OS转发该消息到本节点VBS模块，VBS根据LUNID和LBAID组成一个key，该key会包含LBAID对1MB的取整计算信息。通过DHTHash计算出一个整数(范围在0~2^32内)，并落在指定Partition中；根据内存中记录的“分区-硬盘”映射关系确定具体硬盘，VBS将IO操作转发到该硬盘所属的OSD模块；

每个OSD会管理一个硬盘，系统初始化时，OSD会按照1MB为单位对硬盘进行分片管理，并在硬盘的元数据管理区域记录每个1MB分片的分配信息。OSD接收到VBS发送的IO操作后，根据key查找该数据在硬盘上的具体分片信息，获取数据后返回给VBS。从而完成整个数据路由过程。FusionStorage协议栈层次Page24Driver/ISCSI

VBSClientRSMSnapshotCacheVDBTCP存储协议相关接口层，将特定协议转换为统一格式的内部消息所有与卷/快照有关的处理，包括拷贝和删除等异步任务DHT消息分发和路由强一致性数据控制协议(副本复制)将对于卷的请求重定向到具体的快照版本，块与快照的对应关系的索引读写缓存、预读、IO合并将Key/Value操作转换为直接对于裸磁盘的读写DiskManager对于磁盘设备的管理与错误处理FusionStorageI/O流程OSD在收到VBS发送的写IO操作时，会将写IO缓存在SSDcache后完成本节点写操作。同时，OSD会周期将缓存在SSDcache中的写IO数据批量写入到硬盘。FusionStorage的读缓存采用分层机制，第一层为内存cache，内存cache采用LRU机制缓存数据，第二层为SSDcache，SSDcache采用热点读机制，系统会统计每个读取的数据，并统计热点访问因子，当达到阈值时，系统会自动缓存数据到

写Cache机制FusionStorage的Cache机制读Cache机制ContentFusionStorage架构FusionStorage特点1234FusionStorage背景FusioFusionStorage应用场景产品对比5FusionStorage软件特点FusionStorage是华为ServerSAN解决方案的核心部件，是一个分布式存储软件，在通用x86服务器上部署该软件把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。FusionStorage分布式存储软件系统具有如下特点：领先的分布式架构。FusionStorage存储软件的采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智能Cache等，这种架构使得整个存储系统没有单点故障。

高性能和高可靠性。FusionStorage存储软件在所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式Cache技术保证了高性能。FusionStorage支持多个数据副本，每个副本分配在不同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时FusionStorage的强一致性复制技术确保各个数据副本的一致性。并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高易扩展和超大容量。FusionStorage的分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持非烟囱式超大容量扩展。计算存储深度融合。FusionStorage存储软件部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，天然支持计算和存储设备的高度融合。高可靠-集群管理FusionStorage分布式存储软件采用集群管理方式，从架构上保证了系统不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。具体为：MDC：集群方式，系统部署3,5或7个MDC模块，MDC模块间采用主备工作方式，当主MDC故障时，备MDC会升为主MDC；FusionStorageManager：主备模式，系统部署2个FusionStorageManager模块；OSD：主备模式，MDC实时监控OSD的状态，当指定Partition所在的主OSD故障时，存储服务会实时自动切换到备OSD，保证了业务的连续性；高可靠-多重数据安全保障机制Page30多副本备份：根据安全级别可灵活配置1副本（相当于RAID10）或多副本（3副本情况下，数据可用性达到11个9)掉电保护,

使用NVDIMM内存、PCIeSSD卡和SSD硬盘,运行过程中会把元数据和缓存数据写入保电介质中，节点异常掉电并重启后，系统自动恢复保电介质中的元数据和缓存数据。

强一致性复制协议：应用程序写入一份数据时，如果成功，后端的一份或多份副本必然一致，再次读时，无论从哪个副本都可读到正确的数据FusionStorage分布式一体化存储App1App2App3Applications多重数据安全保障机制，确保数据安全可靠CacheHDDSSDCacheHDDSSDCacheHDDSSD支持server/机柜级可靠性机柜1存储池服务器1服务器1……机柜2服务器1服务器2…………机柜n服务器n服务器3……主副本备副本主副本备副本APP1APP2APPn机柜1SAN1……机柜2……机柜nAPP2APPn传统方式主副本备副本主副本备副本FusionStorage服务器1服务器2服务器3服务器n故障业务无影响和故障自恢复故障业务中断并需手动恢复高可靠-硬盘可靠性

FusionStorage支持硬盘S.M.A.R.T检测、慢盘检测、硬盘SCSI错误处理、硬盘数据扫描等硬盘可靠性处理，通过上述检测完成读修复、磁盘故障移除和数据重建、坏块标记、有效数据磁盘扫描、S.M.A.R.T超阈值和慢盘处理。有效数据硬盘扫描

通过周期对硬盘有效数据进行读取扫描，防止静默数据错误(silentdatacorruption)，如果扫描发现坏道，则进行“读修复”修复故障扇区。坏块标记（BST）

系统在硬盘扫描或者读数据的过程中，如果硬盘有坏道存在，产生访问错误，FusionStorage会先尝试进行“读修复”操作，如果该数据的所有冗余副本都同时不可用，则会标记坏扇区为BST并产生告警，提示系统在应用层进行数据修复。硬盘亚健康检查

系统通过对硬盘S.M.A.R.T信息以及IO处理能力的监控，识别出硬盘是否处于亚健康状态，并自动将亚健康的硬盘进行数据重建后移除集群。硬盘错误检测

系统在IO处理过程中主动识别硬盘WP,ABRT,DF等错误信息，当发现硬盘出现上述故障时，自动启动数据重建，并将故障硬盘移除集群。并行数据重建、故障自愈、自动负载均衡Page33Disk1P1P2Disk2Disk3Disk6Disk4Disk5Module1Module2Module3P3P4P5P6P7P8P9P10P11P12P13P14P15P16P17P18P19P20P21P22P23P24P1’P2’P3’P4’P5’P6’P7’P8’P9’P10’P11’P12’P13’P14’P15’P16’P17’P18’P19’P20’P21’P22’P23’P24’P9P10P11P12P21P22P23P24P2’P6’P14’P18’P4’P8’P16’P16’(1).在资源池内，磁盘故障后，可以由资源池内的其他节点并行数据重建；在48节点的资源池内，并行重建1T可以小于30分钟；(2).跨机柜、跨服务器、跨刀片的高可用性；(2).故障时可以自动进行数据重建恢复，达到故障自愈，无须人工值守。(3).扩容时可以自动进行负载均衡，提供一致的性能；高性能－DHT环技术消除热点磁盘问题技术特点DHT环技术:DHT由232超大虚拟节点构成的环形空间Partition:将DHT环空间划分为N等份，每一等份是一个分区均衡性：

数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。单调性：

当有新节点加入系统中，系统会重新做数据分配，数据迁移仅涉及新增节点，现有节点上的数据不需要做很大调整。P1P2P3P4P5P6Pn…DHT环物理节点DHT数据逻辑地址数据逻辑地址数据逻辑地址数据逻辑地址…数据逻辑地址Key1Key2Key3Key4…KeynHash分段寻址映射物理空间FusionStorage采用DHT（DistributeHashTable，分布式哈希表）路由数据算法。每个存储节点负责用户卷一小部分数据，基于DHT实现整个系统数据的寻址和存储。

举例说明：应用需要访问LUN1+LBA1地址起始的4KB长度的数据，首先构造key=LUN1+LBA1/1M，对该key进行HASH计算得到哈希值，并对N取模，得到partition号，根据内存中记录的“分区-硬盘“映射表可得知数据归属的硬盘。

Disk1Disk2DisknDHT条带化和突发高性能Page35Keyk1P0P1P2P3P4P5P6P7P8P9P10P11P12P13P14P15P16P17P18P19DHTHash环空间：0~2^32大资源池DHT条带化打散卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；无需预先设置固定RAID组，大资源池适应应用负载的动态变化，资源池中各节点的利用率相同；访问均衡，无热点。访问均衡，无热点,资源池中各节点的利用率相同大资源池集群RAIDArrayApp1App2App3ApplicationsApp1App2App3Applications集群级共享IOLUN内共享IOLUN内共享IOLUN内共享IOVS.RAID节点利用率P2P节点利用率分布式FusionStorage存储传统IPSAN无限制平滑扩展Page36FusionStorage机头无状态，可横向扩展；（每server服务器一个机头）FusionStorage存储与计算同步平滑扩展；（非烟囱式扩展）扩容后无需调整应用部署，即可获得更大的容量和性能；（系统自动负载均衡）扩容时支持即插即用，扩容后系统自动调整负载平衡，真正实现无级平滑扩容AppAppAppAppAppApp计算网络(10GE)Server2Server3Server1Server4待扩容加入节点1Server5待扩容加入节点2FusionStorage分布式一体化存储CacheHDDSSDCacheHDDSSDCacheHDDSSD性能与存储容量同步提升传统存储性能容量20604080100120140VSFusionStorage性能容量20604080100120140(TB)(TB)性能瓶颈性能瓶颈更换机头降低初始投资成本，保护已有投资线性扩容，按需建设，进退自如瘦分配-无任何性能下降Page38架构天然支持分布式瘦分配。如图所示，当用户对卷进行写操作时才分配实际物理空间，FusionStorage仅处理虚拟卷空间和实际物理空间之间的映射关系，对性能无影响。…k1k2k3kxk1k2k3kyk1k2k3kzDiskDiskDiskDiskDiskDiskVolume_1Volume_2Volume_3…kxkxkxkykzkz一体机FusionStorage—链式无限次快照Page39快照采用ROW（Redirectonwrite）技术，即写时重定向，对当前卷读写性能无影响。支持树状的链式快照（基于卷创快照、基于快照创卷），尤其适合于链接克隆场景，大大节省磁盘空间；(典型VDI场景下，可达1:256的链接克隆比)无限次快照，不降低系统性能，同时可支持一致性快照组，用于保证对整个应用或虚拟机的一致性；Snap1Snap2Snap3当前卷原始卷原始卷快照1快照2快照3当前卷1快照1’’快照2’’当前卷4快照1’快照2’当前卷2当前卷3快照基本原理：链式无限次快照：虚拟化LinkedClonePage40依托FusionStorage无限次快照、性能不降低的核心技术，实现1:256的链接克隆比，构建虚拟下环境的差异化竞争力；提升存储空间利用率；同时提升系统性能；(将母卷通过SmartCache机制放置在内存中)主要特点：1.LinkedClone设计原理：……母卷克隆卷上层应用视图达1:256的共享支持批量进行虚拟机卷部署，能够在1秒级批量创建100个卷；主要特点：计算存储存储计算计算计算存储存储超融合基础设施的分布式存储架构ControllerControllerControllerControllerControllerCacheControllerCacheControllerCacheControllerCache无控制器瓶颈：每个节点只管理数据有限的磁盘（一般不超过24）的读写，无性能瓶颈。Cache效率高：每个节点都有4GB大容量高性能NVDIMM或400GB级SSD作Cache，提效提升IOPS。同等磁盘数据下，主机系统获得的IOPS能力相对于传统SAN提升3~5倍高性能－分布式控制器与Cache技术高性能–FDRInifiBand打通网络瓶颈56GbpsFDRInfiniBand，超高速互联。近似无阻塞通信网络，数据交换无瓶颈ns级通信时延，计算存储信息及时传递无损网络QOS，数据传送无丢失主备端口多平面通信，冗余通信无忧超高速单链路速率对比计算存储存储计算计算计算存储存储56GInfiniBand极速互联高性能-分布式“全SSD”

存储系统高IOPS:整柜IOPS2400K（3框*8块*10万IOPS）高吞吐量：整柜带宽120GB/s

(3框*8块*5GB/s)低时延：最小时延可低于250us全SSD存储系统，主要用于OLAP场景，也可用于高性能要求的OLTP场景计算存储存储计算计算计算存储存储全SSD存储系统PCIePCIePCIePCIePCIePCIePCIePCIe单框最大120GB/sIO吞吐率，极大的拓宽了IO瓶颈基于标准硬件的性价比最优方案存储节点PCI-eSSDPCI-eSSD存储节点PCI-eSSDPCI-eSSD存储节点PCI-eSSDPCI-eSSD存储节点PCI-eSSDPCI-eSSD计算节点PCI-eSSDPCI-eSSDCPU计算节点PCI-eSSDPCI-eSSDCPUInfiniBandPCI-eSSD作为主存使用，提高了数据吞吐率业界最快的互联网络（IB），拓宽了计算到存储之间的网络瓶颈大内存，数据缓存大，意味着减少IO的量分布式存储去掉了中心存储固有的机头瓶颈彻底打通OLAP场景IO瓶颈支持分布式文件系统高可靠-同步容灾能力（Beta）优点分布式数据同步（每个节点都参与数据同步，没有SAN的机头性能瓶颈）支持全量同步和增量同步两种模式支持断点续传支持“精简配置”卷同步规格名称规格指标RPO0RTO<4Hour网络时延RTT

<1ms备注：两个站点之间的距离小于100KM。网络带宽>站点业务峰值写I/O带宽容灾镜像卷最大规格8T镜像卷最大规格4096个镜像卷同步高可靠-同步容灾写IO同步容灾典型应用场景Scsi高级特性-iSCSILUNMasking&LUNMapping优点：每个Server能看到指定的卷

通过iSCSI接口访问的LUN个数：Initiator数目*255…DiskDiskDiskDiskDiskVolume1Volume2Volume3D1D2D3DnServer1Server2Server3iSCSI接口D4DiskVolume4…VolumenVBSOSDScsi高级特性-VAAI_XCOPY原理Page50虚拟机虚拟机虚拟机ESX命令数据数据虚拟机虚拟机虚拟机ESX命令数据场景VMware主机进行克隆、部署、迁移等操作时，

如果底层存储支持VAAI特性，Vmware会把部分功能卸载到存储，在加速操作的同时可节约大量VmwareESX主机的CPU资源、IOPS资源、网络带宽资源。状态状态Scsi高级特性-UNMAP

UNMAP：是一个操作系统或应用程序用于精简配置存储阵列空间回收的SCSI命令；作用就是将精简配置卷分配的空闲的空间回收到存储池中，供其他卷继续使用，从而达到存储资源的最大利用。原理图：Page52Scsi高级特性-卷在线扩容功能介绍：随着客户业务的增长，某个已挂载的卷容量已经不能满足用户现有的需求，此时需要扩充卷容量，要求不能影响卷现有业务和离线扩容比较:离线扩容：在Dsware平台上扩容卷后，需要服务器端先卸载卷再挂载卷，才能获取最新容量，这样就不能保证用户业务的连续性。在线扩容：在Dsware平台上扩容卷后，只需要在服务器端刷新磁盘，容量即可刷新，不需要卸载卷再挂载卷FusionStorage分布式存储硬件形态FusionStorage在通用x86服务器上部署分布式存储软件，把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储接口典型硬件1：机架式服务器典型硬件2：刀片式服务器Server1Server2ServerNVMVMVMVMVMVMFusionStorage分布式存储资源池HDDSSDHDDSSDHDDSSD...通用X86服务器硬件要求凡是满足上述硬件要求的X86服务器，都满足了作为FusionStorage存储节点的基本要求。但是建议需要经过FusionStorage认证，经过认证后就可以作为正式商用硬件形态。

组件规格物理形态机架服务器或刀片服务器，X86架构处理器Intel®XeonE5-2600/4600v2系列处理器，Intel®XeonE7-4800/8800v2系列处理器内存按照每TB硬盘1GB内存，推荐》64G内存存储1、至少6个2.5/3.5英寸SAS/SATA/SSD硬盘，其中：

2个用于安装HypervisorOS，剩余的硬盘用于创建分布式块存储资源池

2、要求配置RAID卡，支持RAID0/1网络接口每服务器>4Gb，建议2×10Gb

Cache至少有一个SSD卡或SSD盘作为写cache；FusionStorage关键规格和特性软件特性：块存储功能，SCSI、iSCSI接口；2或3副本份拷贝；存储快照；存储瘦分配；存储链接克隆；存储SSDCache和存储自动分级；数据备份FusionStorage关键规格和特性FusionStorage关键规格和特性FusionStorage支持的介质、网络和Cache类型类别规格说明存储介质SATA：使用在大容量场景NL-SAS：使用在大容量场景SAS：使用在性能相对较高的场景SSD卡：使用在高性能场景SSD盘：使用在高性能场景

存储网络EthernetInfiniBand2015年底支持RoCE(R6C00版本）

cache介质