MSPE-基础类-2-RAID技术 v1.3课件.ppt

MSPE培训教材RAID技术,1,目录,RAID基本概念RAID级别和特点RAID比较和选择RAID硬盘失效处理CRAID简述,2,RAID出现原因,3,RAID基本概念定义,RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。,由加利福尼亚大学伯克利分校（UniversityofCalifornia-Berkeley）在1987年，发表的文章：“ACaseforRedundantArraysofInexpensiveDisks”。文章中，谈到了RAID这个词汇，而且定义了RAID的5层级。柏克莱大学研究其研究目的为，反应当时CPU快速的性能。CPU效能每年大约成长3050%，而硬磁机只能成长约7%。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。另外，研究小组也设计出容错（fault-tolerance），逻辑数据备份（logicaldataredundancy），而产生了RAID理论。研究初期，便宜（Inexpensive）的磁盘也是主要的重点，但后来发现，大量便宜磁盘组合并不能适用于现实的生产环境，后来Inexpensive被改为independence，许多独立的磁盘组。,4,RAID基本概念级别,根据不同的组合方式可以分为不同的RAID级别,5,RAID组合方式级别扩展,同时采用两种不同的RAID方式还能组合成新的RAID级别,6,RAID基本概念条带,条块,分条,条带,硬盘0,硬盘2,硬盘1,硬盘3,7,RAID基本概念校验,异或运算,P=A0XORA1,数据A0和A1通过异或运算进行奇偶校验得到校验位P,异或XOR的校验原理,A1,P,数据盘,数据盘,校验盘,8,RAID基本概念重建（Rebuild）,数据盘,A1,P,A0,A1,P,XOR,故障,数据盘,校验盘,A2,A2,XOR,数据盘,更换,9,RAID基本概念RAID组状态,RAID组正常工作,RAID组降级,RAID组重建,RAID组创建,RAID组失效,10,RAID基本概念物理卷和逻辑卷,RAID10,RAID5,RAID由几个硬盘组成，从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（LogicUnitNumber）来标识,物理卷,物理卷,逻辑卷,逻辑卷,单个物理卷上创建1个逻辑卷,单个物理卷上创建2个逻辑卷,LUN2,LUN3,11,RAID、逻辑卷的形成过程,物理磁盘,物理卷（RAID）,12,RAID、逻辑卷的形成过程,物理磁盘,逻辑卷,物理卷（RAID）,分割,13,RAID写数据三种方式,一、整条写整条写的实现方式是：第一步：直接将新写入的数据在cache里通过校验运算，计算出校验数据。第二步：再将需要写入的数据和校验数据同时写进一个条带。如图所示：,IO有效率75%,14,RAID写数据三种方式,二、重构写一个IO写操作,它所写入的条带所在的磁盘数超过RAID磁盘一半时,可采用重构写方式。重构写的实现方式是：第一步：先将所需写入的新数据保存到cache，同时读取其它磁盘上的老数据到cache，再将新数据、老数据做校验运算，得出新校验数据。第二步：再将新数据、老数据和新校验数据同时写入所在的磁盘扇区。如图所示：,IO有效率40%,读一次IO，写4次IO，有效写数据2次IO，有效率是40%,15,RAID写数据三种方式,三、读改写（read-modifywrite）一个IO写操作,它所写入的条带所在的磁盘数不超过RAID磁盘一半时,可采用读改写方式。读改写的实现方式是：第一步，先将所需写入的新数据保存到cache，同时读取所需要写入扇区上的老数据到cache，同时读取校验盘上相对应扇区上的老校验数据到cache，再将新数据、老数据和老校验数据做校验运算，得出新校验数据。第二步，再将新数据、新校验数据同时写入所在的磁盘扇区。如图所示：,IO有效率25%,读两次，写两次，有效写IO只有1次，所以有效率是25%,16,RAID级别RAID0,D,H,L,C,G,K,B,F,J,定义：RAID0即没有容错设计的条带硬盘阵列（StripedDiskArraywithoutFaultTolerance），以条带形式将RAID组的数据均匀分布在各个硬盘中,A,B,C,D,E,F,G,H,数据,A,E,I,17,RAID级别RAID0,RAID0小结：,18,RAID级别RAID1,RAID1定义：RAID1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘,E,D,C,B,A,E,D,C,B,A,A,B,C,D,E,=,数据,19,RAID级别RAID1,RAID1小结：,20,RAID级别RAID2,定义：RAID2采用早期的海明码校验组成硬盘阵列，RAID中第1个、第2个、第4个第2的n次幂个硬盘都是校验盘。RAID2的硬盘利用率很低，目前基本不再使用,A0,A1,A2,A3,B0,B1,B2,B3,C0,C1,C2,数据盘,校验盘,21,RAID级别RAID3,定义：RAID3即带有校验的并行数据传输阵列（Paralleledtransferwithparity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据,异或运算,数据盘,校验盘,A0,A1,A2,B0,B1,B2,C0,22,RAID级别RAID3,RAID3小结：,23,RAID级别RAID4,定义：RAID4是带有共享校验硬盘的独立数据盘（Independentdatadiskswithsharedparitydisk），与RAID3类似，不同在于对数据访问是每次一个盘，而RAID3是每次一个条带，RAID4的读写性能较差，目前较少使用（NetApp-WAFL）,异或运算,P0,P1,P2,P3,A0,A1,A2,A3,B0,B1,B2,B3,C0,数据盘,校验盘,24,RAID级别RAID5,定义：RAID5与RAID3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID5是最常用的RAID方式之一,P4,A3,A2,A1,A0,B4,P3,B2,B1,B0,C4,C3,P2,C1,C0,D4,D3,D2,P1,D0,E4,E3,E2,E1,P0,异或运算,A0,B0,C0,D0,A1,B1,C1,E1,A2,B2,D2,校验信息Px分布式存储,数据,25,RAID级别RAID5,RAID5小结：,26,RAID级别RAID6,定义：RAID6是带有两个独立分布式奇偶校验方案的独立数据硬盘（Independentdatadiskswithtwoindependentdistributedparityschemes）。广义上讲，能够允许两个硬盘同时失效的RAID级别统称为RAID6，狭义上讲，特指Intel的RAIDP+Q技术。硬盘空间利用率为(N-2)/N，N为RAID6阵列硬盘总数RAID6技术：目前RAID6还没有统一的标准，各家公司的实现方式都有所不同：RAIDP+Q：INTEL和HDS公司(XOR+伽罗瓦运算(Galois)）RAIDDP：NetApp公司（横向XOR+斜向XOR）RAIDADG：HP公司（两层XOR）,27,RAID级别RAID6原理示例,A1,A3,A2,A4,A7,A10,A8,A5,A9,A13,A6,A15,A11,A12,A16,异或运算,A1,A2,A3,A4,A5,A6,A7,A9,横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P1=A1XORA2XORA3XORA4斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP1=A1XORA6XORA11XORA16,P1,P2,P3,P4,横向校验盘,斜向校验盘,数据盘,A8,DP1,DP2,DP3,DP4,A14,DP5,28,RAID级别RAID6,RAID6小结：,29,RAID组合级别RAID10,定义：RAID10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID0。RAID10也是一种应用比较广泛的RAID级别。,A,B,C,D,E,F,G,H,A,A,C,B,B,C,D,D,E,E,F,F,G,G,H,H,30,RAID级别RAID10,RAID10小结：,31,RAID组合级别RAID0+1,A,B,C,D,E,F,G,H,定义：RAID0+1是将条带和镜像进行两级组合的RAID级别，第一级是RAID0，第二级为RAID1。一般来说，RAID0+1的失效概率要比RAID10大，不过无硬盘故障下，RAID0+1的读取速度要比RAID10快,A,B,C,D,E,F,G,H,A,B,C,D,E,F,G,H,32,RAID组合级别RAID50,P13,F1,定义：RAID50是将RAID5和RAID0进行两级组合的RAID级别，最低一级是RAID5，第二级为RAID0,A2,P02,A1,A0,B2,B1,P01,B0,P03,C1,C0,P00,异或运算,A0,B0,D0,E0,A1,C0,D1,F0,B1,C1,D2,P12,D1,D0,E2,E1,P11,E0,F0,P10,硬盘0,硬盘1,硬盘2,硬盘3,硬盘4,硬盘5,异或运算,33,RAID级别RAID50,RAID50小结：,34,常用RAID比较,35,常用RAID选择,36,RAID硬盘失效处理-热备和热插拔,热备：HotSpare定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性全局式：备用硬盘为系统中所有的冗余RAID组共享专用式：备用硬盘为系统中某一组冗余RAID组专用热插拔：HotSwap定义：在不影响系统正常运转的情况下，用正常的硬盘物理替换RAID系统中失效硬盘关键在于热插拔时电子器件的保护机制,37,全局热备示例,该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘,磁盘1,磁盘2,磁盘3,热备盘,磁盘4,磁盘5,磁盘6,RAID5,RAID5,磁盘阵列,38,专用热备示例,该热备盘由系统中指定RAID组专用，可自动顶替该指定RAID组中的一个失效硬盘,磁盘1,磁盘2,磁盘3,磁盘4,磁盘5,磁盘6,RAID5,RAID5,磁盘阵列,热备盘,39,关于硬盘故障的数据统计,图：硬盘故障分析定位,表：硬盘故障率统计,来源：Google硬盘故障分析，2007.02,据统计，存储系统的硬件故障90%以上是硬盘故障！,故障硬盘中，只有12%是完全的物理损坏，88%属于部分/完全可用,相比中等压力的硬盘，空闲硬盘的故障率更高,图：不同压力下的硬盘故障率,来源：法国硬盘网站Hardware.fr,来源：历史硬盘故障分析,40,4000GB,大容量硬盘带来的问题,容量,100GB,300GB,750GB,1000GB,146GB,300GB,SAS硬盘,250GB,400GB,500GB,750GB,1TB,SATA硬盘,500GB,2007,73GB,450GB,2003,2008,2010,600GB,2005,2TB,2009,2000GB,表：硬盘初始化/重建时间,测试环境：RAID5，5+1块硬盘,：1块2TBSATA磁盘在无流量压力下的重建时间！,4TB,2012,3TB,2012,3TB,1TB,2TB,41,CRAID-基于Cell的RAID技术,CRAID能为我们带来什么？,42,什么是Cell？,LUN,LUN,5,RAID,Disk,Disk,LUN,LUN,Disk,Disk,Disk,Diskl,Disk,Disk,Cell,RAID,RAID,以Cell为核心,以Cell为核心组织数据，破除LUN与RAID、Disk之间的捆绑关系，在存储阵列内部形成完全的虚拟化架构,RAID,DiSK,LUN：数据逻辑载体,Disk：数据物理载体,LUN,RAID：磁盘组织方式,Cell:形象称之为“细胞”，指带“活性”的数据单元，存储资源管理的基本单位,以1GB或更小的颗粒度管理数据LUN、Cell、RAID之间没有绑定关系空间资源灵活组合，按需获取按性能需求实时调整Cell,43,重建方式比较,数据盘1,数据盘2,数据盘3,传统RAID5,热备盘,数据盘1,CRAID5,数据盘2,数据盘3,热备盘,多磁盘发生介质错误，RAID5不失效，大幅提升可靠性！,44,CRAID快速重建,最高可缩短重建时间至20%区别于传统RAID先踢盘再重建的方式，CRAID的快速重建可只重建错误磁盘上的损坏数据块，未发生错误的区域直接使用拷贝方式将数据块复制到热备盘，重建完成后，再将错误磁盘转移至IDDC磁盘诊断中心处理，该方式可明显降低重建过程对RAID组性能造成的影响。传统RAID组