存储基础知识(RAID及磁盘技术).

1、存储基础知识存储基础知识 RAIDRAID技术技术 RAIDRAID基本概念基本概念定义定义 RAID RAID （Redundant Array of Independent DisksRedundant Array of Independent Disks）即）即独立磁盘冗独立磁盘冗 余阵列余阵列，RAIDRAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑技术将多个单独的物理硬盘以不同的方式组合成一个逻辑 硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不 同的组合方式可以分为不同的同的组合方式可以分为不同的

2、RAIDRAID级别级别 RAID 0RAID 0数据条带化，无校验 RAID 1RAID 1数据镜像，无校验 RAID 2RAID 2海明码错误校验及校正（不常用） RAID 3RAID 3数据条带化读写，校验信息存放于专用盘（不常用） RAID 4RAID 4单次写数据采用单个硬盘，专用盘存放校验数据（不常用） RAID 5RAID 5数据条带化，校验信息分布式存放 RAID 6RAID 6数据条带化，分布式校验并提供两级冗余 未使用未使用 RAID 一旦硬盘损坏，资料将丢失! 作业将停顿! 资料仍然存在! 使用使用 RAID RAIDRAID出现原因出现原因 一一 未使用未使用 RAID

3、使用使用 RAID 硬盘容量 单块硬盘 容量 硬盘容量= 单块硬盘容量 x N RAIDRAID出现原因出现原因 二二 一旦硬盘损坏，资料将丢失一旦硬盘损坏，资料将丢失! ! 作业将停顿作业将停顿! ! 未使用未使用 RAID 使用使用 RAID I/O 1I/O 2 I/O 1 I/O 2 (Disk 1) (Disk 2) 节省时间 速度 N x单块硬盘的速度 Total request execution time Software setup Access Time Data Transfer Software Completion RAIDRAID出现原因出现原因 三三 CPU运算速

4、度飞速 提高，数据读写速 度不应该成为计算 机系统处理的瓶颈 RAIDRAID基本概念基本概念 条带条带 分条 条带 硬盘0 硬盘2硬盘1 硬盘3 l大数据块写入RAID时会被分成多个数据块并行写入多块硬盘， 这些大小一致的数据块就称为条带。同时数据读取时会并行从 多块硬盘读取条带数据，最后完整输出。 l条带无疑会大幅度提升整体读写效率。条带无疑会大幅度提升整体读写效率。 RAIDRAID基本概念基本概念 重建（重建（RebuildRebuild） 数据盘 A1A0 P A0 A1 P XOR 故障 数据盘校验盘 A2A2 XOR 数据盘 更换 l某块硬盘出现故障后，一旦将其更换为正常硬盘，R

5、AID便会通过其他硬盘 数据计算出坏盘上原有的数据，再将数据重建回新添硬盘上。 RAIDRAID基本概念基本概念物理卷和逻辑卷物理卷和逻辑卷 RAID10RAID5 RAIDRAID由几块硬盘（物理卷）组成由几块硬盘（物理卷）组成 RAIDRAID可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过 LUNLUN（Logic Unit NumberLogic Unit Number）来标识。）来标识。一个逻辑卷对于主机来说一个逻辑卷对于主机来说 就是一块硬盘（物理卷）就是一块硬盘（物理卷） 物理卷 物理卷 逻辑卷 逻辑卷 多个物理卷上创建1个

6、逻辑卷多个物理卷上创建2个逻辑卷 LUN1 LUN2LUN3 RAID 0 RAID 0 条带存储条带存储(Striping)(Striping) 原理原理：又称数据分条，即把数据分成若干 相等大小的小块，并把它们写到阵列上不 同的硬盘上，这种技术又称“Stripping” （即将数据条带化），RAID0在读写时是 以并行的方式对各硬盘同时进行操作。 q 优点 磁盘空间利用率最高 在所有的级别中，RAID 0的速度是最快的 q 缺点 无冗余功能，如果一个磁盘损坏，则所有 的数据都无法使用 不适合关键业务 q 应用 媒体编辑 图像编辑 需要高带宽的应用 RAID 1 镜像镜像/双工双工 优点 数

7、据安全性相对其它RAID级，是 最好的 缺点 磁盘利用率只有50%，是所有 RAID上磁盘利用率最低的一个级 别 原理原理：即每个工作盘都有一个镜像盘， 每次写数据时必须同时写入镜像盘，读 数据时只从工作盘读出，一旦工作盘发 生故障立即转入镜像盘，从镜像盘中读 出数据。当更换故障盘后，数据可以重 构，恢复工作盘正确数据 q 应用 财务 金融 需要高数据可用性的应用 RAID 3 (条带分布条带分布+专用盘校验专用盘校验) q原理原理：使用至少三块硬盘配置， 在其中的一块硬盘上存贮专用的 校验数据，当某块硬盘出现故障 时，其它硬盘可以通过校验数据 将有故障的硬盘的数据重新恢复 出来。 q特点特点

8、：数据以位或字节的方式存 于各盘（分散记录在组内相同扇 区的各个硬盘上） 优点优点 高可用性 磁盘利用率较高(N-1) 并行I/O传输，顺序读性能较高 缺点缺点 校验盘成为性能瓶颈 每次读写牵动整个组，每次只能完 成一次I/O q 应用应用 流媒体服务器 图像编辑 视频编辑 RAID 5 (条带技术条带技术+分布式校验分布式校验) q原理：原理：RAID5 将所有校验的数 据分别存贮在所有的硬盘上, 每一个硬盘的不同地方既存贮 数据，也存贮校验数据。当某 块硬盘出现故障时，其它硬盘 可以通过校验数据将故障的硬 盘的数据重新恢复出来。 优点优点 高可用性 磁盘利用率较高(N-1),没有固定的校验

9、盘，奇偶校验信息均匀分 布在阵列所属的所有磁盘中 随机读写性能高允许在同一组内并发进行多个写操作 缺点缺点 异或较验影响存储性能 q 应用应用 文件及应用服务器 数据库服务器 Web, E-mail 局域网服务器 RAID6（Double parity drive）高级数据保护）高级数据保护 较高的数据冗余性能；超强的数据保护能力，可以应付多颗盘同 时出错； 允许在同一组内并发进行多个写操作 计算校验地址占用较多的处理时间；较低的 RAID6 P+Q RAID6 P+Q会根据公式计算出P和Q的值，当有 两个数据同时丢失时，仍可以计算出原数据 磁盘1磁盘2磁盘3磁盘4磁盘5 条带1数据1a数据1

10、b数据1cP1Q1 条带2数据2d数据2eP2Q2数据2f 条带3数据3gP3Q3数据3h数据3i 条带4P4Q4数据4j数据4k数据4l 条带5Q5数据5m数据5n数据5oP5 RAID 级别比较级别比较 项目项目RAID0RAID0RAID1RAID1RAID10RAID10RAID5RAID5 、RAID3RAID3 最小配置1243 性能HighestLowest RAID5RAID10 RAID0 RAID1RAID5 RAID10 特点无容错 最佳的 容错 最佳的容错提供容错 磁盘利用 率 100%50%50%(N-1)/N 描述 不带奇偶 效验的条 带集 磁盘镜 像 RAID0与

11、RAID1 的结合 带奇偶效验的 条带集 其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合 于随机存取。需要根据具体的应用情况决定使用那种RAID级别。 RAID性能比较性能比较 RAID级*RAID-0RAID-1RAID-5RAID-10RAID-50RAID-6 别名条带镜象分布奇偶位条带镜象阵列条带 分布奇偶阵列条带分布奇偶条带 容错性没有有有有有有 冗余类型没有复制奇偶位复制奇偶位两种奇偶位 热备盘选项没有有有有有有 需要的磁盘数一个或多个只需2个三个或更多只需4个 不小于6的偶数（6，8， 10，12，14，16）（因 为RAID5最少3个，再做 镜

12、像，就是6个） 四个或更多 可用容量NN / 2 N - 1 N / 2N-2N2 DAS NAS SAN 存储体系架构介绍存储体系架构介绍 服务器直接后挂存储设备，最经济的一种结构。 网络上直接挂接的存储设备，相当于一个网络文件共享服务器。 应用光纤技术 的SAN网络，传输介质为光纤，性能最高，目前使用较广 iSCSI-利用TCP/IP协议连接存储设备,可以理解为SCSI over IP,是将SCSI命 令封装到TCP/IP数据包中,通过IP网络传输SCSI数据。 DAS-直连存储直连存储 Client 2 Server A Application A Server B Applicatio

13、n B Server C Application C Disks for Server A Disks for Server B Disks for Server C Client 3 Client 1 Local Area Network SAN- 存储局域网络存储局域网络 Client 2 Client 3 Client 1 Server A Application A Server B Application B Server C Application C Disks for Server A Disks for Server B Disks for Server C SAN Loca

14、l Area Network Disk Array NAS-网络附加存储网络附加存储 Disks for File System A Disks for File System B NAS Device A File System A NAS Device B File System B Internal/External connectivity to disks or arrays Server A File System A Server B File System B Client 1 Client 2 Client 3 Local Area Network SAN、iSCSI、NAS

15、的特点的特点 NAS 为解决数据共享问题和优化文件（File）存储而产生的 存储技术 文件管理系统在存储设备端，是文件服务+IP的一种技 术 多应用于非结构化数据（文件） SAN 为解决DAS的问题而产生的存储技术 是DAS+网络的一种技术 多应用于OLTP系统（如：ERP） iSCSI iSCSI也叫IP SAN 多应用于PC服务器平台、Windows（SQL Server、 Exchange）、Linux、小型数据库 应用系统应用系统 NAS SAN/iSCSI 操作系统操作系统 文件管理系统文件管理系统 RAID控制控制 磁盘读写磁盘读写 应用系统应用系统IO调用模式调用模式 存储架构适

16、用分类存储架构适用分类 SAN: 提供可用性、可管理性和扩展性 目标应用目标应用: 数据库/ERP/OLTP 灾难恢复 数据仓储 NAS: 易于安装和管理，低价位, 目标应用目标应用: 文件服务器集中/更换 PDM/CAD 文件共享 DAS: 只适用于小型商务只适用于小型商务 IP-SAN与与FC-SAN比较比较 IP-SAN适用环境：异地间的数据交换及容灾，备份，非关键应用的集中存储。 FC-SAN适用环境：关键应用的集中存储、备份及容灾。 优点缺点 IP-SAN 部署成本低 共享网络（IP网络复用，提高 网络利用率） 维护简便 适合远距离传输 传输效率低（正常IP网 络利用率不足50%）

17、传输安全性低 传输延时无保障 一般占用大量主机资源 FC-SAN 传输效率高 传输安全性高 传输延时极小 占用主机资源少 技术成熟 应用范围最广的专业存储架构 部署成本较高 需要专属网络 DAS 优点: 成本低，对于小型用户来说，易于维护 缺点: 性能不高，系统停机多，资源无法共享，多系统环境下的 管理成本增加 NAS 优点: 方便，文件级的数据共享，集中化管理 缺点: 需要贡献文件系统，安全性无法保障，性能一般，磁盘级 数据无法共享集中，复杂系统的成本大，维护难，扩容受限 SAN 优点: 集中化的管理，高性能，减少停机时间，安全保障高 缺点: 成本昂贵、系统复杂。磁盘阵列的兼容性限制了设备选

18、择 空间及资源共享。 机械硬盘机械硬盘 机械式硬盘结构机械式硬盘结构 主轴马达 (Spindle Motor) 磁头 基座(Base Plate) 磁头停放区 (Parking Zone) 盘片 (Media) 传动部件 接口 l容量：容量：指硬盘能存储的数据量大小，以字节为基本单位 l单碟容量：单碟容量：硬盘都是由一个或几个盘片组成的，单碟容 量就是指包括正反两面在内的单个盘片的总容量 l转速：转速：即主轴马达转动速度，单位为RPM（Round Per Minute)，即每分钟盘片转动圈数 l缓存：缓存：是硬盘控制器上的一块内存芯片，具有极快的存 取速度，它是硬盘内部盘片和外部接口之间的缓冲

19、器 机械式硬盘主要指标（一）机械式硬盘主要指标（一） l平均访问时间：平均访问时间：硬盘磁头找到目标数据所需的平均时间 平均寻道时间：磁头寻找目标数据所在磁道所需的平均时间 平均潜伏时间：当磁头移动到数据所在的磁道后，等待指定的数 据扇区转动到磁头下方的时间 l数据传输率：数据传输率： 内部数据传输率：数据从盘片表面传输到硬盘的缓存的速率 外部数据传输率：数据从硬盘的缓存读出到外部总线的速率 机械式硬盘主要指标（二）机械式硬盘主要指标（二） l硬盘的读写速度同硬盘的转速成正比 l更高的转速可缩短硬盘的实际读写时间 l硬盘缓存的大小直接影响硬盘的整体性能 转速和缓存对硬盘性能的影响转速和缓存对硬

20、盘性能的影响 硬盘接口类型硬盘接口类型 硬盘容量发展硬盘容量发展 容容 量量 FC硬盘硬盘 100G B 300G B 750G B 1000G B 146GB 300GB SAS硬盘硬盘 250GB 400GB 500GB 750GB 1000GB SATA硬盘硬盘 73GB 300GB 146GB 500G B 73GB 300GB 146GB 19982010 SCSI硬盘硬盘 73GB 2000G B 2000GB 600GB 450GB 450GB 600GB 硬盘对比硬盘对比 FC磁盘、SAS磁盘、企业级SATA磁盘的性能对比 硬盘类型转速MTBF平均寻道时间持续读写速率应用特点

21、企业级SATA 磁盘 7200 RPM120万小时8.5ms2530MB/秒 大容量、小吞 吐量，高性价 比 SAS磁盘15000 RPM160 万小时3.5ms80 MB/秒 大容量、高可 靠 FC磁盘15000 RPM160 万小时3.5ms4055MB/秒 高可靠、负荷 能力高、企业 级应用 ATA/IDE接口硬盘简介接口硬盘简介 Power 连接器 主/从盘 跳线 40-pin 连接器 lATA（Advanced Technology Attachment）硬盘是传统的桌面级 硬盘，主要应用于个人PC机，也经 常称为IDE硬盘 lATA接口为并行ATA技术，下一代 的产品是串行ATA（

22、SATA） l最高速度133M/S，已达性能极性。 SATA接口硬盘介绍接口硬盘介绍 lSATA：串行ATA (Serial AdvancedTechnologyAttachme nt ) lSATA硬盘采用点对点连接方式，支持 热插拔，即插即用 lSATA采用串行方式进行数据传输，第 二代（SATA ）300MB/s接口硬盘目 前仍是主流，SATAD目前已经商用 ，速率为600MB/s SCSI接口硬盘介绍接口硬盘介绍 lSCSI (Small Computer System Interface )小型计算机系统接口 lSCSI硬盘并发处理性能优异，常 应用于企业级存储领域 lSCSI硬盘采

23、用并行接口，接口速 率目前发展到320MB/s，基本已 经达到极限，已被其串行版本SAS 硬盘完全替代 80-pin 80-pin 公接头公接头 SAS接口硬盘介绍接口硬盘介绍 lSAS(Serial Attached SCSI) 串 行SCSI 接口 lSAS是一种点对点、全双工、双 端口的接口 lSAS专为满足高性能企业需求而 设计，并且兼容SATA硬盘，为 企业用户带来前所未有的灵活性 l接口速率为300MB/S， 600MB/S（SAS） FC接口硬盘介绍接口硬盘介绍 l FC-AL(fibre channel arbitrated loop)是一种双端口 的串行存储接口 l FC-A

24、L利用类似SATA/SAS所用 的4芯连接，提供一种单环拓扑 结构，一个控制器能访问126个 硬盘 l 4Gb/S的硬盘接口速率 Services 固态硬盘固态硬盘 Solid State Disk 固态硬盘的定义固态硬盘的定义 固态硬盘，是由控制单元和固态存储单元（DRAM或 FLASH芯片）组成的硬盘, 简单的说就是用固态电子存储 芯片通过阵列的形式而够成的硬盘。其内部存储单元利用 固态电子存储芯片阵列取代了传统HDD硬盘的磁碟组。固 态硬盘的接口规范定义、功能及使用方法均与普通硬盘完 全相同,在产品外形和尺寸上也完全与普通硬盘一致,包括 3 . 5 英寸、2 . 5 英寸、1 . 8 英

25、寸多种类型。 SSD 基于DRAM 基于FLASH MLC Multi-Level Cell多层单元 NAND NOR SLC Single Layer Cell 单层单元 固态硬盘的存储介质分为两种：固态硬盘的存储介质分为两种： 采用闪存（FLASH芯片）作为存储介质 采用DRAM作为存储介质 固态硬盘的类型固态硬盘的类型 SLC更昂贵，但也更可靠，速度快，且写次数更高（只是容量小）。 SLC和MLC SLC和MLC两者的差异在于每单元存储的数据量（密度），MLC的存储容量比 SLC大，但是SLC更简单可靠，SLC读取和写入的速度都比MLC更快，而且SLC 比MLC更耐用，MLC每单元可擦除1万次至5万次，而SLC可擦除10w次以上，所 以，企业级的闪存产品一般都选用SLC，这也是为什么企业级产品比家用产品 贵很多的原因。 SSD单层单元与多层单元单层单元与多层单元 数据存取速度快数据存取速度快。固态硬盘没有传统硬盘复杂的机械结构， 既没有磁碟，也不存在