MSPE-技术类-3-存储硬件架构设计v1.3

1、MSPE培训教材存储硬件架构技术名词解释nCISCCISC：Complex Instruction Set Computer，复杂指令集计算机，现在市面常见的是Intel、AMD的产品，比如Intel XeonnRISCRISC：reduced instruction set computer，精简指令集计算机，现在市面常见的是IBM、FreeScale的产品，比如IBM Power6nASICASIC：Application Specific Integrated Circuit，专用集成电路，厂家为了某种特定需求而设计的专用电路nIAIA架构：架构：Intel Architecture，英

2、特尔体系架构，主要是CISC阵营的产品（至强、酷睿、赛扬等），部分产品属于RISC架构（IOP），少数产品（安腾系列）属于CISC和RISC的结合CISC架构存储阵营nCISCCISC：复杂指令集计算机，主要是Intel、AMD的X86处理器，基于Intel架构的又称IA架构n应用：应用：存储中端存储产品的首选，逐步应用于高端产品。n阵营：阵营：EMC VNX系列/VMAX系列、IBM V7000系列、 Netapp FAS系列、华赛 S5000T系列等。性能迅速增强，成本下降明显已发布针对存储应用的专用芯片标准化程度高，被广泛接收，应用范围广厂家的实力强，发展迅速非针对存储应用，性能不强，成

3、本较高只被少数存储厂家采用CISC架构控制器设计Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead Cache Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead Cache Fanx8 CMI FanFanFanPower SupplyPower SupplyI/O ComplexI/O ComplexFC Module

4、iSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI ModuleFC ModuleiSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI Module2颗Xeon四核处理器(2.33GHz)16GB缓存EMC CX4-960EMC CX4-960控制器架构控制器架构n基于基于CISCCISC架构架构(Intel X86)(Intel X86)的控制器设计的控制器设计包括RAID处理在内的所有功能都由X86处理器提供(软RAID)，对处理器性能、缓存算法的要求都较高需要更高主频或更多数量的处理器、更大的内存、更强调缓存调度算

5、法PCI-E 1.0技术RISC架构存储阵营nRISCRISC：精简指令集计算机，主要是FreeScale、ARM、IBM的产品，比如IBM PowerPCn应用：应用：常见于低端存储产品，较多采用RISC+ASIC混合架构。由于历史原因，部分高端产品还在采用RISC架构。n阵营：阵营：IBM DS3000、台湾盘阵厂家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、锐捷等)性能不高，成本较低主要应用于低端存储领域标准化程度低，接受范围有限厂家的实力和投入有限等原因，发展比较缓慢早期产品速度快、设计简单广泛应用于低端/高端存储领域，中端存储领域应用较少RISC架构控制器设

6、计采用Power PC 440 ROC 800-MHz 处理器(aka Meteor) 超标量核芯，带有一个1.9x MIPS 倍增器，转换成1.5-GHZ x-scale 执行 XOR 和P+QIBM DS3500(LSI Engino 2600)IBM DS3500(LSI Engino 2600)控制器架构控制器架构项目项目DS3500架构RISC处理器Power PC 440最大缓存4GB最大磁盘数96满配主机接口8*FC+6*SAS满配后端接口2*SAS处理器能力弱，整体规格低处理器能力弱，整体规格低ASIC架构存储阵营nASICASIC：专用集成电路，厂商为了某种特定需求（通常是R

7、AID加速）而设计的专用电路n应用：应用：少数上一代中端产品还在采用，部分中低、低端盘阵还在采用，一般采用ASIC+CISC或者ASIC+RISC架构。n阵营：阵营：HDS HUS系列、IBM DS5000（LSI Engino 7900）、Infortrend性能不高，成本不低，无竞争优势，只有少数上一代产品还在采用实现复杂，架构封闭，可移植性差存储厂家的芯片实力远落后于Intel等厂家，发展缓慢专为存储的RAID处理而设计，能够显著提高RAID处理效率需要与CISC处理器协同工作ASIC+CISC混合控制器设计ASIC芯片， RAID处理Xeon芯片，管理功能内存访问带宽低nASIC+CS

8、ICASIC+CSIC混合架构混合架构ASIC：主要承担RAID处理、缓存镜像两部分功能CSIC：承担系统管理、数据管理、数据保护等功能n应用状况和前景应用状况和前景技术更新缓慢技术更新缓慢 (1)处理能力有限; (2)支持的内存容量小；可移植性差可移植性差(1)技术设计和实现复杂(2)通用性差，非常封闭HDS HUSHDS HUS控制器架构控制器架构8-16GB缓存控制器架构设计总结CISC(X86)CISC(X86)ASICASIC应用应用产品产品特点特点复杂指令集计算机，主要是Intel、AMD的X86处理器基于Intel架构的又称IA架构早期无存储专用芯片，性能不强，成本较高标准化程度

9、高，厂家的实力强，发展迅速性能迅速增强，成本下降明显中端存储产品的首选，逐步应用于高端产品EMC CX4系列(Intel)、Netapp FAS系列(AMD)专用集成电路，厂家为了某种特定需求（通常是RAID加速）而设计的专用电路专为存储的RAID处理而设计，与主处理器一起工作，早期能够显著提高RAID处理效率实现复杂，架构封闭，可移植性差，发展缓慢常用于中端存储产品，采用CISC+ASIC混合架构HDS AMS2000、LSI Engino 7900(IBM DS5000)RISCRISC精简指令集计算机，主要是FreeScale、ARM、IBM的产品早期产品速度快、设计简单由于标准化程度差

10、，厂家的实力和投入有限等原因，发展比较缓慢性能不高，成本较低常见于低端存储产品，如Infortrend等低端盘阵由于历史原因，高端产品大多还在采用RISC架构Intel新一代处理器：Jasper Forest处理器集成内存控制器，无需通过北桥连接，访问速度更快，访问带宽更高(256Gb/s)9根内存插槽，最大144GB支持DDR3，频率800/1066/1333DDR3 1333(9*Slot)XOR引擎引擎16 PCI ExpressGen 2QPIJasper Forest多核处理器多核处理器DMI南桥南桥IO模块模块处理器内部集成RAID硬件加速，无需ASIC支持16个PCI-E 2.0

11、通道，最大带宽：单向80Gb，双向160Gb可将8通道用于后端磁盘连接，8通道用于缓存镜像连接QPI:QuickPath Interconnect，通常用于处理器之间的互连单向带宽5.87 GT/s(117.4Gb)可用于连接处理器和前端IO模块三级处理器内部CacheL1：每核32K数据+32K指令L2：每核256K，数据、指令共用LLC：共享8MB，指令、数据共用PCI-E 2.0总线技术PCI-X：竞争共享总线：竞争共享总线PCI Express：点对点传输：点对点传输PCI Express2.0通道通道未编码数据速率（有未编码数据速率（有效的数据速率）效的数据速率）编码数据速率编码数据

12、速率单向单向双向双向单向单向双向双向14Gbps8Gbps5Gbps10Gbps416Gbps32Gbps20Gbps40Gbps832Gbps64Gbps40Gbps80Gbps1664Gbps128bps80Gbps160Gbpsn 串行总线结构串行总线结构 支持点对点传输，每个传输通道独享带宽n 信道聚集信道聚集 有效组合为x1，x2，x4，x8，x16和x32 支持双向传输模式，单信道带宽5Gbps，16信道带宽达到160Gbpsn 用于控制器的前后端接口、缓存镜像通道用于控制器的前后端接口、缓存镜像通道的连接的连接SAS传输技术SASSAS技术技术3 3创新的宽端口技术创新的宽端口技

13、术2 2交换架构交换架构Phy1 1继承继承SCSISCSI技术的稳定和高可靠性技术的稳定和高可靠性SCSISCSI技术技术4 4高扩展性高扩展性PhyPhyPhyPhyPhyPhyPhy四路四路SASSAS宽端口宽端口四路四路SASSAS宽端口宽端口6Gb*4 SASSASSAS技术技术并行并行串行串行SASSAS域域最多可最多可接接1612816128个设备个设备(128(128* *126)126).Fanout ExpanderEdge ExpanderSAS磁盘磁盘SAS适配器适配器Edge ExpanderSAS磁盘技术n 先进的磁盘先进的磁盘接口接口 继承SCSI的稳定可靠性 全

14、双工、点对点数据传输 3.0/6.0Gbps接口传输速率 双端口冗余备份n 多种速率类型多种速率类型 支持15,000/10,000/7,200rpm三种速率n 良好的兼容性良好的兼容性 SATA磁盘兼容 SSD磁盘的主要接口方式 服务器、存储阵列均可使用SAS线缆接口线缆接口SAS磁盘磁盘磁盘接口磁盘接口磁盘厂家的路标FCFC硬盘硬盘(3.5(3.5寸寸) )已经不再有新的已经不再有新的产品型号产品型号10/15K10/15K转硬盘转硬盘全部都是全部都是SASSAS接接口口7200K7200K转的转的2.52.5寸硬盘是寸硬盘是SAS/ SAS/ SATASATA接口接口7200K7200K

15、转的转的3.53.5寸硬盘是寸硬盘是SAS/ SAS/ SATASATA接口接口SSDSSD硬盘以硬盘以2.52.5寸寸SASSAS为主，保为主，保留留3.53.5寸寸FCFCXSAS在业界的应用EMCEMC： VNX系列（新产品，SAS2.0）IBMIBM：V7000（新产品，SAS2.0）HPHP： P4000、P6000（新产品，SAS2.0 ）HDSHDS：HUA系列（新产品，SAS2.0）Netapp: Netapp: FAS3000/6000（混合架构）SASSAS架构架构FCFC架构架构低端低端中端中端高端高端包括EMC、IBM、HP、HDS在内的几乎所有厂家的产品（SAS1.0

16、）HDSHDS：VSP系列（新产品，SAS2.0）IBMIBM：DS8800（新产品，SAS 2.0）EMCEMC：DMX系列HDSHDS：USP系列（老产品）IBMIBM：DS8700（老产品）极少数厂家极少数厂家EMCEMC： CX4系列（老产品）IBMIBM：DS5000HPHP： EVA系列（老产品）Netapp: Netapp: FAS3000/6000（混合架构）SSD技术SSD功耗降低近80%，随机访问速度提升数十倍SSD不需要电池保护，保证提供持续的高性能读写服务功耗比较功耗比较9W 2W 访问时间比较访问时间比较2-8ms0.09ms通过采用写合并、损耗均衡算法、增强型错误校

17、验码(ECC)等技术，MLC的可靠性已经接近于SLCMLC、SLC将同时应用于企业级存储领域VSVSSLC每个单元承受擦写次数是MLC单元的10倍MLC的芯片颗粒读写速度仅为SLC的1/2-1/3相同颗粒数量，MLC的容量是SLC的2倍成本上，MLC远低于SLCVSVS新一代存储硬件技术 PCI-E 2.0最高速的总线带宽技术，单通道带宽5Gb，16通道带宽80GbSAS2.0单端口带宽达到6Gb四路宽端口带宽达到24GbIntel Jasper首次在CPU内置RAID加速引擎支持288GB的大容量缓存SSDPhyPhyPhyPhyPhyPhyPhyPhy四路SAS宽端口四路SAS宽端口6Gb

18、*4 SASX25-E Extreme (SLC), 32GB, SATA, Zeus IOPS, 1TB, SATA, 3.5”(MLC), 256GB, SATAII, 2.5”SSDSSD盘盘随机访问性能提升100倍价格大幅降低，容量接近机械硬盘PCI-E2.0通道通道编码数据速率编码数据速率单向单向双向双向15Gbps10Gbps420Gbps40Gbps840Gbps80Gbps1680Gbps160GbpsDDR3 1333(9*Slot)XOR引擎引擎16 PCI-EGen 2QPIJasper Forest多核处理器多核处理器DMI南桥南桥IO模块模块新一代存储新一代存储IBM

19、 V7000架构设计(基于Intel Jasper)nCPUCPU的的PCIe x16PCIe x16总线成为性能瓶颈总线成为性能瓶颈控制器的核心连接设备是PCIe Switch，其连接了FC主机接口(PCIe x8) 、后端SAS接口(PCIe x8) 、缓存镜像通道(PCIe x8)以及一个扩展槽位(PCIe x8) ，这四部分的总共需要32通道的PCIe的带宽。但是其连接CPU的PCIe总线只有16通道，无法满足要求，这成为了系统的性能瓶颈。n内存容量太小内存容量太小控制器只有2个内存插槽，最大只能配置8GB内存(单根4GB)，相比接口和总线速率，明显偏小。Intel平台在存储厂家的应用

20、项目项目VNX7500DMX4-950架构X86RISC处理器至强 560032*1.3GHz(共41.6GHz)最大缓存96GB128GB最大磁盘数1000360满配主机接口32*FC+16*IP16*FC+10*IP满配后端接口8*12Gb SAS32*4Gb FCnIBMIBM：新产品采用：新产品采用Intel JasperIntel JasperV7000：2010年Q4发布的新一代产品，采用Intel Jasper平台，定位于现有中端产品，与DS5000持平V7000将Intel Jasper的优势限制使用（如果将Intel Jasper平台的优势完全发挥，将完全超越现有DS5000

21、产品）项目项目V7000DS5000架构X86ASIC+CSIC处理器JasperASIC+Xeon最大缓存16GB32GB最大磁盘数240480满配主机接口8*FC+4*IP16*FC满配后端接口4*SAS16*FCnEMCEMC：IntelIntel的全球顶级合作伙伴的全球顶级合作伙伴VNX7500：2011年1月发布，是采用Intel Xeon Westmere平台，其已经接近甚至超越其高端入门级产品DMX4-950（VNX7500只有缓存配置偏小）VNX7500如果采用更强的Intel Jasper平台并将其优势完全发挥，将会严重冲击其高端DMX产品Intel平台在存储厂家的应用（续）

22、n华赛华赛S5000TS5000TS5000T：2011年Q1发布的新一代产品，采用Intel Nehalem平台(Jasper前一代)，定位于现有中高端产品华赛 S5000T的其它规格与EMC VNX7500相当，但内存规格高出数倍。项目项目VNX7500S6800T架构X86X86处理器至强 5600至强5540（4 x 2.53 GHz）最大缓存96GB48/96/192/GB最大磁盘数10001440主机接口槽位数1012个IO模块满配后端接口8*12Gb SASn不足之处不足之处不足1：S5000T采用的至强5540处理器，属于Nehalem平台，是Jasper的前一代，无内置RAI

23、D加速引擎。不足2：S5000T的QPI连接用于2颗CPU之间互联，导致整体带宽不够，无法发挥所有端口的性能。宏杉MS5000架构设计nIntel JasperIntel Jasper多核处理器多核处理器RAID加速：内置异或引擎，提高RAID效率QPI连接：CPU通过QPI连接IO模块，带宽超过100Gbn超大容量高速缓存超大容量高速缓存超大缓存容量：9根内存插槽，最大288GB内存访问加速：CPU直连内存，提升内存访问效率，带宽达256GbnPCI-E 2.0PCI-E 2.0总线总线单通道带宽5.0Gb，前/后端接口及缓存镜像采用PCIe x8，带宽达到40GbnSAS2.0SAS2.0技术技术单通道带宽6.0Gb，每控制器两个四通道SAS宽端口，带宽达到48Gb支