DDN SFA并行存储系统方案

1、DDN SFA并行存储系统方案DataDirect Networks (DDN)的方案是用户提供一套存储系统主要服务于大容量和高带宽应用，它可以在业务需求改变时，线性地或者独立地扩展性能和容量，不仅能够降低横向扩容存储的复杂性，还能够通过移除存储群集的延迟元素，以提高存储的响应性，以最大限度的灵活性，应对其大数据对系统架构海量数据的规模和吞吐量需求。设备名称DataDirect Networks SFA7700， 该方案使用有一套SFA7700（数据存储）和一台DDN EF3015存储系统（元数据存储）组成一套高性能并行存储系统（1.36PB=228块7200转6TB SAS + 12块150

2、00转600GB SAS）。 技术性能实测的每套SFA7700的最大读性能为12GB/s，写为10.2GB/s。提案使用的SFA7700，其读写吞吐量（带宽）可达10 GB/s以上.规格容量为1.36PB（可扩充至2376TB）的配备, 4U的机箱容纳60块盘，配有一对主动/主动控制器，带有32GB 的高速电池保护存储缓存，SFA7700存储系统， 配有2个容纳84块盘的SS8460扩展柜，其技术数据为：1）一对主动/主动控制器2）支持RAID级别：RAID1，RAID5，RAID63）存储主端口：4个56Gb的FDR Infiniband对外接口或选用4个16Gb的光纤对外接口，8个8Gb的

3、光纤对外接口或选用4个40 GbE的以太网络的对外接口4）两个扩展柜，每柜可容纳84块盘 最多可增加4个扩展柜5) ExaScaler并行文件系统先进性和特色DataDirect Networks (DDN) 在解决极端存储挑战方面有着为行业所认可的丰富的经验。DDN 存储在高性能计算和富媒体处于霸主地位，被用于全球最大型网站、存档设备、数百处全球最大的超级计算机和超过 600 家媒体，在石油行业有广泛的客户。DataDirect Networks 存储融合架构将今日最先进的处理器技术、总线技术和内存架构技术融为一体，并搭配最优化的RAID 引擎与数据管理算法。DataDirect Netwo

4、rks 存储融合架构将今日最先进的处理器技术、总线技术和内存架构技术融为一体，并搭配最优化的RAID 引擎与数据管理算法。整体多线程存储处理能力：多线程存储处理架构保证了主输入输出端口和后台数据管理功能均能以最高的速度全速运作。平衡的存储性能：读和写几乎相同的性能，可达10 GB/s易于扩展：从容应对信息爆炸，只要增加SFA的数目或增加硬盘即可扩所需容量大容量缓存加速输入输出的读取和写入无可匹敌的存储密度：一个标准机架的4U可达336TB智能平行写入技术：使其在处理小文件时同样具有优异性能，达到最优化存储带宽效率存储设备层叠设计：在一个单一的4U机柜中可任意比例使用SSD，SAS和SATA硬盘

5、建设方案方案建议使用Datadirect Networks (DDN)的一组SFA7700组成一套高性能并存储系统，其容量裸容量为1.36PB（使用228块6TB SAS盘）,可用容量为1PB，配有ExaScaler 并行文件系统。该方案的存储系统可提供高达10GB/s读或写带宽。方案配置表1.36PB容量PRODUCTQTYDESCRIPTIONSFA7700-4IBFP1SFA7700 Active/Active Redundant Block Appliance, with 60 drive slots, 4x 56Gb/s FDR IB ports, 64 GB memory, dua

6、l power-fail protection modules, power cables and rail kit.SS8K-SBOD2SS8460 84-slot 6Gb/s SAS/SATA/SSD enclosure. Includes 2x I/O modules, redundant power supplies, power cables, rail kit for rack mounting and cable management arms.SFA-7K7-OS2011SFA7700 SFAOS license for each set of up to 20 drives.

7、H07C0600135NH18606TB 7,200 RPM 6Gb/s SAS drive module for SS7000 enclosureH08C0600135NH181686TB 7,200 RPM 6Gb/s SAS drive module for SS8460 enclosureKIT-CBL7K8SEP1SFA7700/SS8460 cable kit - 4x 3M HD mSAS/mSAS cables connect SS8460 enclosure to SFA7700KIT-CBL7K8SEE1SFA7700 SS8460 Daisychain cable kit

8、 - 2x 3M HD mSAS/HD mSAS cables to daisychain SS8460 to SS8460 enclosureRK42-9900EU-R142U Rack with four PDUs for Europe - 9.9kW MaxES-2OSS-3YR1EXAScaler support, up to 2 OSSes, 3 yearSER20-2S-3PCIE22U DDN Server - Dual 2.0GHz Intel E5-2620 (6 core), 64GB (upgradeable to 192GB max), 2x 300GB SAS, qu

9、ad port 1GigE, 7x Empty PCIe3 Slots, No OS. RHEL subscription or evidence of site subscription required if RHEL is to be installedI-239-2NFC82QLogic QLE2562 8Gbps dual-channel multi-mode optical PCI-Express HBA, LC connector - includes 2x HSR-807-SFPMHQH39B-XTR2ConnectX-3 VPI adapter card, dual-port

10、 QSFP, FDR IB (56Gb/s) / 40GigE, PCIe 3.0 x8 8GT/s, tall bracketHAIBGE-2QD10QG24ConnectX-2 IB/10GE HCA, PCI-e2.0(x8), Dual-Port QSFP QDR (40Gb/s) IB/10GbE-PORT, 5GT/s, Tall Bracket. FOR 10GE, USE CBL-QSFPP-XX or ADPT-CX2-SFPP TO CONVERT FROM QSFP to SFP+EF3015-12X600-2112x 600GB SAS 15K EF3015 RAID

11、System with dual active/active RAID Controllers, 4G Cache, 4x FC 8Gb Host Ports and SFPs, SuperCap-Backed Cache, 22.5 - 31 Rackmount Kit详细模块说明1）SFA7700组成每套含有一对主动/主动控制器，存储系统的核心控制模块，带有32GB的具有后备电源的镜像缓存2）SFA7700基本单元可安装60块磁盘，带有2个可容纳84块磁盘的扩展柜最多可以增加4个扩展柜，每套最多可容纳的磁盘数目可达396块。3）方案中6TB SAS硬盘是业内首款可以经济高效地进行量产的氦气

12、密封式硬盘，具有低功耗，高可靠性4）每套带有4个56Gb的Infiniband对外接口提供存储和外部网络的高速通道5) IB卡，10GbE卡6）2个I/O服务器，每台带有FDR（56Gb）的IB接口，2个双端口10GbE接口7）ExaScaler并行文件系统SFA7700性能参数DDN SFA7700NTAP e5460DenseStakEMC VNX 5500-F System TypeSANSANSANScalability (Total # of Disks)396360250System Throughput12GB/s Read10GB/s Write (cache mirrored

13、)5GB/s Read3GB/s Write (cache mirrored)6.4GB/s Read/WriteSystem IOPS450,000 (SSD)300,000 (SSD)178,000 (SSD)Flash IntegrationYesNoYes but no Application Level IntegrationActive/Active Failover W/Out ReplicationYesYesYes实施测试方案：设备到货清点确认后，详细安装步骤如下：设备安装步骤：设备上架安装从机架滑轨拆下机箱导轨：安装固定机箱导轨：准备机架导轨：固定导轨到机柜：前视图：后视图

14、：将线缆插入导线槽存储设备上架固定导线槽DDN SFA7700存储系统设备线缆连接SFA7700机柜后视图：管理网：SFA7700两个控制器分别通过两个RJ45管理网口与管理网交换机相连，配置管理网络地址。IB SAN网络：SFA7700两个控制分别出两条FQR Infiniband网络与IO服务器节点相连。存储SAS级联存储SFA7700与2个副盘柜SFA8640直接通过SAS线缆连接，连线方式如下图所示：电源线缆连接：每个存储柜出两根16A电源线缆与存储所在机柜PDU相连。DDN EF3015 存储系统线缆连接：DDN EF3015用作整个文件系统元数据存储单元。管理网：DDN EF301

15、5通过一个RJ45端口与管理网交换机相连，配置管理网络地址。存储SAN网络：DDN EF3015存储系统每个控制器通过两根8Gb LC-LC光线线缆与IO 服务器节点相连。IO服务器节点线缆连接：管理网络：每个IO服务器节点通过RJ45端口与管理网交换机相连，配置管理网络地址。IPMI网络：IPMI用于IO服务器直接管理，与管理网端口、线缆复用，配置IPMI网络地址。SAN网络：4根56Gb FQR Inifiniband线缆与DDN SFA存储机柜相连；4根8Gb FC-FC光纤线缆与DDN EF3015存储相连，作为元数据存储网络。业务网络：2个IO服务器节点分别有4条10Bb万兆与业务网交换机相连，配置万兆网络地址。设备安装完毕。测试步骤：使用存储标准测试工具IOzone软件进行测试，测试使用多台Client端对文件系统进行读写测试，测试命令示例如下：./iozone -+m list_3 -r 1M -C -s 10g -+n -i 0 -i 1 -t 16测试结果分别测试1，2，4，8，16 节点当的聚合读、写聚合带宽。Power, Nominal