MSPE-基础类-2-RAID技术 v1.3ppt课件

1、MSPE培训教材RAID技术12目 录RAID基本概念RAID级别和特点RAID比较和选择RAID硬盘失效处理CRAID简述2RAID出现原因 计算机发展初期，大容量硬盘价格非常高，而需要存储的数据量越来越大容量性能CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈信息时代，数据对企业和个人的重要性越来越大，数据存储安全更需要保障RAID可靠性3RAID基本概念定义 RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。 由加

2、利福尼亚大学伯克利分校（University of California-Berkeley）在1987年，发表的文章：“A Case for Redundant Arrays of Inexpensive Disks”。文章中，谈到了RAID这个词汇，而且定义了RAID的5层级。柏克莱大学研究其研究目的为，反应当时CPU快速的性能。CPU效能每年大约成长3050%，而硬磁机只能成长约7%。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。 另外，研究小组也设计出容错（fault-tolerance），逻辑数据备份（l

3、ogical data redundancy），而产生了RAID理论。研究初期，便宜（Inexpensive）的磁盘也是主要的重点，但后来发现，大量便宜磁盘组合并不能适用于现实的生产环境，后来Inexpensive被改为independence，许多独立的磁盘组。4RAID基本概念级别 根据不同的组合方式可以分为不同的RAID级别RAID 0数据条带化，无校验RAID 1数据镜像，无校验RAID 2海明码错误校验及校正RAID 3数据条带化读写，校验信息存放于专用硬盘RAID 4单次写数据采用单个硬盘，校验信息存放于专用硬盘RAID 5数据条带化，校验信息分布式存放RAID 6数据条带化，分布

4、式校验并提供两级冗余5RAID组合方式级别扩展 同时采用两种不同的RAID方式还能组合成新的RAID级别RAID 0+1先做RAID 0，后做RAID 1，同时提供数据条带化和镜像RAID 10类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能6RAID基本概念 条带 条块分条条带硬盘0硬盘2硬盘1硬盘37RAID基本概念 校验 异或运算P=A0 XOR A1数据A0和A1通过异或运算进行奇偶校验得到校验位PA0值A1值P值000101011110异或 XOR 的校验原理 A1A0P数据盘数据盘校验盘

5、8RAID基本概念 重建（Rebuild） 数据盘A1A0PA0A1PXOR故障数据盘校验盘A2A2XOR数据盘更换9RAID基本概念RAID组状态 RAID组正常工作RAID组降级RAID组重建RAID组创建RAID组失效10RAID基本概念物理卷和逻辑卷 RAID10RAID5RAID由几个硬盘组成 ，从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（Logic Unit Number）来标识物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建2个逻辑卷LUN1LUN2LUN311RAID、逻辑卷的形成过程 物理磁盘物理卷（RAID）

6、12RAID、逻辑卷的形成过程 物理磁盘逻辑卷物理卷（RAID）LUN1LUN2LUN3分割13RAID写数据三种方式 一、整条写整条写的实现方式是：第一步：直接将新写入的数据在cache里通过校验运算，计算出校验数据。第二步：再将需要写入的数据和校验数据同时写进一个条带。如图所示：IO有效率75%14RAID写数据三种方式 二、重构写一个IO写操作,它所写入的条带所在的磁盘数超过RAID磁盘一半时,可采用重构写方式。重构写的实现方式是：第一步：先将所需写入的新数据保存到cache，同时读取其它磁盘上的老数据到cache，再将新数据、老数据做校验运算，得出新校验数据。第二步：再将新数据、老数据

7、和新校验数据同时写入所在的磁盘扇区。如图所示：IO有效率40%读一次IO，写4次IO，有效写数据2次IO，有效率是40%15RAID写数据三种方式 三、读改写（read-modify write） 一个IO写操作,它所写入的条带所在的磁盘数不超过RAID磁盘一半时,可采用读改写方式。读改写的实现方式是：第一步，先将所需写入的新数据保存到cache，同时读取所需要写入扇区上的老数据到cache，同时读取校验盘上相对应扇区上的老校验数据到cache，再将新数据、老数据和老校验数据做校验运算，得出新校验数据。第二步，再将新数据、新校验数据同时写入所在的磁盘扇区。如图所示：IO有效率25%读两次，写两

8、次，有效写IO只有1次，所以有效率是25%16RAID级别 RAID 0 DHLCGKBFJ定义：RAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without Fault Tolerance），以条带形式将RAID组的数据均匀分布在各个硬盘中ABCDEFGH数据AEI17RAID级别 RAID 0 优点极高的读写效率速度快，由于不存在校验，所以不占用CPU资源部署简单缺点无冗余，通常和其他RAID级别混合使用 不适合用于关键数据环境最小硬盘数2RAID 0小结：18RAID级别 RAID 1 RAID 1 定义：RAID 1又称镜像（Mirror），数据同时一致

9、写到主硬盘和镜像硬盘EDCBAEDCBAABCDE=数据19RAID级别 RAID 1 优点提供了很高的数据安全性和可用性 100的数据冗余设计、使用简单不作校验计算，CPU占用资源少缺点空间利用率只有1/2相对于单个硬盘，无法提高写性能硬盘数2RAID 1小结：20A0B0C0D0ECC/AxECC/BxECC/CxECC/DxECC/AyECC/ByECC/CyECC/DyRAID级别 RAID 2 定义：RAID 2 采用早期的海明码校验组成硬盘阵列，RAID中第1个、第2个、第4个第2的n次幂个硬盘都是校验盘。RAID2的硬盘利用率很低，目前基本不再使用A1B1C1D1A2B2C2D2

10、A3B3C3D3ECC/AzECC/BzECC/CzECC/DzA0 A1 A2 A3 B0 B1 B2 B3 C0 C1 C2数据盘校验盘21RAID级别 RAID 3 定义：RAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据 D0C0B0A0D1C1A1B1D2C2A2B2P DP CP AP B异或运算数据盘校验盘A0 A1 A2 B0 B1 B2 C022RAID级别 RAID 3 优点数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文件连续读操作的应用如果有一个硬

11、盘损坏，数据的有效性没有影响缺点校验盘是整个硬盘阵列系统的瓶颈 有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降最小硬盘数3RAID 3小结：23RAID级别 RAID 4 定义：RAID 4是带有共享校验硬盘的独立数据盘（ Independent data disks with shared parity disk），与RAID 3类似，不同在于对数据访问是每次一个盘，而RAID 3是每次一个条带，RAID4的读写性能较差，目前较少使用（NetApp-WAFL）异或运算A0B0C0D0A1B1C1D1A2B2C2D2A3B3C3D3P0P1P2P3A0 A1 A2 A3 B0

12、 B1 B2 B3 C0数据盘校验盘24RAID级别 RAID 5 定义：RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0异或运算A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2校验信息Px分布式存储数据25RAID级别 RAID 5 优点高读取速率，中等写速率提供一定程度的数据安全缺点RAID组里单块硬盘的故障，会导致其他硬盘读写性能大幅

13、度下降 最小硬盘数3RAID 5小结：26RAID级别 RAID 6 定义：RAID 6 是带有两个独立分布式奇偶校验方案的独立数据硬盘（Independent data disks with two independent distributed parity schemes）。广义上讲，能够允许两个硬盘同时失效的RAID级别统称为RAID 6，狭义上讲，特指Intel的RAID P+Q技术。硬盘空间利用率为(N-2)/N，N为RAID6阵列硬盘总数RAID 6技术：目前RAID 6还没有统一的标准，各家公司的实现方式都有所不同：RAID P+Q： INTEL和HDS公司 (XOR+伽罗瓦运

14、算(Galois)）RAID DP： NetApp公司（横向XOR+斜向XOR）RAID ADG：HP公司（两层XOR）27RAID级别 RAID 6原理示例 A1A3A2A4A7A10A8A5A9A13A6A15A11A12A16异或运算A1A2A3A4 A5 A6A7A9横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP1=A1 XOR A6 XOR A11 XOR A16P1P2P3P4横向校验盘斜向校验盘数据盘A8DP1DP2DP3DP4A14DP528

15、RAID级别 RAID 6 优点可以同时允许两块硬盘失效缺点磁盘利用率比RAID5更低校验计算复杂，对控制器性能消耗很大，增加系统负载出现硬盘失效时，RAID重建时对系统性能影响更大，并且重建时间长最小硬盘数4RAID 6小结：29RAID组合级别 RAID 10 定义：RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。 ABCDEFGHAACBBCDDEEFFGGHH30RAID级别 RAID 10 优点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许n个硬盘同时损坏（2N个硬

16、盘组成的RAID10阵列）缺点只有1/2的硬盘利用率最小硬盘数4RAID 10小结：31RAID组合级别 RAID 0+1 ABCDEFGH定义：RAID 0+1是将条带和镜像进行两级组合的RAID级别，第一级是RAID 0，第二级为RAID 1。一般来说，RAID 0+1的失效概率要比RAID 10大，不过无硬盘故障下，RAID 0+1的读取速度要比RAID 10快ABCDEFGHABCDEFGH32RAID组合级别 RAID 50 P13F1定义：RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0A2P02A1A0B2B1P0

17、1B0P03C1C0P00异或运算A0B0 D0 E0 A1 C0 D1F0B1C1D2P12D1D0E2E1P11E0F0P10硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算33RAID级别 RAID 50 优点比单个RAID 5容纳更多的硬盘比单个RAID 5有更好的读性能至多可以容许N个硬盘同时损坏（N个RAID5组成的RAID 50阵列）比相同容量的单个RAID5重建时间更短缺点比较难实现同一个RAID 5组内的两个硬盘损坏会导致整个RAID 50阵列的失效最小硬盘数6RAID 50小结：34常用RAID比较 RAID级别RAID 0RAID 1RAID 3RAID 5RAID 10RA

18、ID 0+1别名条带镜像专用奇偶位条带分布奇偶位条带镜像阵列条带条带阵列镜像容错性无有有有有有冗余类型无复制奇偶校验奇偶校验复制复制热备盘选项无有有有有有读性能高低高高一般高随机写性能高低最低低一般一般连续写性能高低低低一般一般35常用RAID选择 性能可靠性成本RAID0RAID6RAID5RAID10RAID136RAID硬盘失效处理-热备和热插拔 热备：HotSpare 定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性 全局式：备用硬盘为系统中所有的冗余RAID组共享

19、 专用式：备用硬盘为系统中某一组冗余RAID组专用 热插拔：HotSwap 定义：在不影响系统正常运转的情况下，用正常的硬盘物理替换RAID系统中失效硬盘 关键在于热插拔时电子器件的保护机制37全局热备示例 该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘磁盘1磁盘2磁盘3热备盘磁盘4磁盘5磁盘6RAID 5RAID 5磁盘阵列38专用热备示例 该热备盘由系统中指定RAID组专用，可自动顶替该指定RAID组中的一个失效硬盘磁盘1磁盘2磁盘3磁盘4磁盘5磁盘6RAID 5RAID 5磁盘阵列热备盘热备盘39关于硬盘故障的数据统计图：硬盘故障分析定位厂家年故障率08.

20、09-09.0309.04-09.09日立1.84%0.92%0.92%西数1.88%0.89%0.99%迈拓4.52%2.79%1.73%三星4.18%2.25%1.93%希捷5.47%2.89%2.58%表：硬盘故障率统计来源：Google硬盘故障分析，2007.02n据统计，存储系统的硬件故障90%以上是硬盘故障！n故障硬盘中，只有12%是完全的物理损坏，88%属于部分/完全可用 n相比中等压力的硬盘，空闲硬盘的故障率更高图：不同压力下的硬盘故障率来源：法国硬盘网站Hardware.fr来源：历史硬盘故障分析40 4000GB大容量硬盘带来的问题容量 100GB 300GB 750GB

21、1000GB146GB300GBSAS硬盘250GB 400GB 500GB 750GB1TBSATA硬盘 500GB 200773GB 450GB 2003 2008 2010 600GB 20052TB 2009类型业务压力重建时间2TB SATA(7200转)无业务压力20小时持续写压力5-6天600GB SAS(15000转)无业务压力4小时持续写压力22小时 2000GB表：硬盘初始化/重建时间测试环境：RAID5，5+1块硬盘 ：1块2TB SATA磁盘在无流量压力下的重建时间！20小时4TB 20123TB 2012 3TB 1TB 2TB 41CRAID-基于基于Cell的的R

22、AID技术技术优化的同步设置强大的重建功能按LUN同步快速重建快速同步延时同步立即同步局部重建优化重建全盘重建CRAIDCRAID能为我们带来什么？4243什么是Cell？LUNLUN5RAIDDiskDiskLUNLUNDiskDiskDiskDisklDiskDiskCellRAIDRAID以Cell为核心以Cell为核心组织数据，破除LUN与RAID、Disk之间的捆绑关系，在存储阵列内部形成完全的虚拟化架构RAIDDiSKLUN：数据逻辑载体Disk：数据物理载体LUNRAID：磁盘组织方式Cell : 形象称之为“细胞”，指带“活性”的数据单元，存储资源管理的基本单位n以1GB或更小的颗粒度管理数据nLUN、Cell、RAID之间没有绑定关系n空间资源灵活组合，按需获取n按性能需求实时调整Cell43重建方式比较数据盘1 数据盘2数据盘3传统 RAID 5热备盘磁盘重建数据盘1CRAID5数据盘2 数据盘3 热备盘Cell重建Cell2Cell5Cell1Cell6Cell3磁盘重建多磁盘发生介质错误，RAID5不失效，大幅提升可靠性！4445CRAID快速重