华为RAID2.0技术细节

1、RAID 2.0为增强型RAID技术，有效解决了机械硬盘容量越来越大，重构一块机械硬盘 所需时间越来越长，传统 RAID组重构窗口越来越大而导致重构期间又故障一块硬盘而彻底 丢失数据风险的问题。RAID 2.0+在RAID 2.0的基础上提供了更细粒度的资源颗粒，形成存储资源的标准分配及 回收单位，类似计算虚拟化中的虚拟机。这些容量单位一致的虚拟块构成了一个统一的存储资源池，所有应用、中间件、虚拟机、操作系统所需的资源可以在这个资源池中按需分配及 回收。对于一个存储系统而言，其可靠性的最重要标志就是其RAID重构时间，时间越短，重构完成前再次坏盘的概率越低。早期存储系统大多使用FC盘且容量仅为

2、几十个G,因此重构时间较短，重构中再次坏盘的概率低。但随着近年来硬盘容量的快速增长，硬盘读写速度受磁盘转速等多方面影响增长缓慢，已无法满足系统对重构时间的要求。以一块2TB 7.2K rpm盘为例，重构时平均写入速度为30M/S左右，完成重构时间长达18个小时，因此重构过程中出现新的坏盘概率到大大增加，数据丢失的风险也大大增加。传统RAID技术已无法满足在系统中使用现代大容量硬盘的要求。在过去的几年里，许多存储领域的创新型初创公司如HUAWEI、3PAR等公司已经将磁盘阵列从基于磁盘的 RAID发展成更为灵活的 RAID 2.0及RAID 2.0+技术，不但整合了数据保护 和跨磁盘规划数据分布

3、的功能，而且充分满足虚拟机环境下对存储的应用需求。传统存储的底层硬盘管理在基于外部控制器的硬盘存储系统(External Controller-Based disk storage system)中，RAID (RedundantArray of Independent Disks )是最基础的部分，RAID把多个硬盘组合成为一个逻辑扇区，因此，操作系 统只会把它当作一个硬盘，其基本原理是把相同的数据存储在多个硬盘的不同地方。RAID技术主要包含RAID 0RAID 60等数个规范，在实际应用中使用较多的是 RAID 1 , RAID 5 , RAID 6 , RAID10 , RAID 50

4、 , RAID 60 RAID的两大特点:1、提高传输速率：通过在多个硬盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Throughput )在RAID中，可以让很多硬盘同时传输数据，所以使用 RAID可以达到单个硬盘几倍、几十倍的速率。2、通过数据校验提供容错：硬盘本身无法提供容错(不包括写在硬盘上的CRC循环冗余校验码)，RAID容错是建立在每个硬盘的硬件容错功能之上，提供更高的安全性。在很多 RAID模式中都有较为完备的相 互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了容错度和冗余性。在目前大多存储系统中，RAID都是以物理硬盘为单元，故其基础保障机制如图1所示：从

5、善再吩襄金疆同的叁懦RAJDJtl i 1 一：；，唇胸帽依值 tRAID6(64J)翎里有跳卷坪捽，用曾0可惟黑，*1 /i :* iS t f*-JFS计耳比.* , 图1: RAID基础保障机制RAID重构过程中数据没有可靠性保障，如果在重构完成前出现坏盘就将造成数据丢失，不可恢复；所以对于一个存储系统而言，其可靠性的最重要标志就是其RAID重构时间越小越好。灌写速率1GB400GB100MB/S5O0MB/S80倍9GB600GB15Ktpm15K rpm67倍75GB4000GB7.2Krr)m7.2K rpmi53倍2012 年2000 年图2 :硬盘容量与性能增长的不匹配RAID

6、重构时间=数据量 地盘读写速度，在以物理硬盘为单元的 RAID保护模式下，其重构数据量等于硬 盘容量，然而硬盘容量与读写能力的不匹配增长，导致采用以物理硬盘单元为RAID的传统方式效率低下可靠性越来越差。传统硬盘重构的瓶颈主要在目标盘（热备盘），因为，所有成员盘将所有数据读出后全部写入到目标盘，目标盘写带宽就成了整个重构速度的关键，以一块 2TB 7.2K rpm 盘为例，重构时平均写入速度为 30M/s 左右，完成重构时间长达 18个小时。传统存储的上层资源管理在实际使用存储系统时，通常会将硬盘固定的划分为若干个RAID,再分别将每个RAID的空间固定的切分为1个或N个小段映射给主机操作系统

7、使用。图3 :传统RAID下的资源管理示意图问题：1、配置规划复杂：在做存储系统规划时，要求管理员不仅需要准确的计算出当前每一个单元业务的容量、 性能需求，还需要能准确评估每个单元业务未来发展的容量、性能要求；否则要么设计不足不能满足需求，要么过度设计导致资源浪费。同时在存储系统的具体配置过程中，需要管理员通过复杂的操作过程完成一 步步的配置。2、配置调整困难：因为所有的分配过程都是固定的，如果因为各种未预测到的变化需要调整原分配，那么 只能通过手动配置删除和重新分配，以及复杂的数据迁入迁出来实现。华为存储RAID 2.0+概述华为存储RAID 2.0+变传统固定管理模式为：一层深淘滩”、一层

8、低作堰”的两层虚拟化管理模式1、对于系统内部物理硬盘，按介质的性能不同，组成三类存储池；对于通过其它方式接入系统的，则作为 外部存储池2、将系统内部每个硬盘空间切分成64MB大写逻辑块（Chunk）3、将来自不同硬盘上的按 RAID组成逻辑块组（CKG）4、将逻辑块组（CKG）切分成512KB64MB，默认4MB （大小可配置）的更细粒度逻辑块（ Extent） 5、按需将1-N个更细粒度逻辑块（Extent）组成卷（Volume ） /文件（File）I VEutnr fl' 1 iCKGM M *MCILJiKcrnal DishkiSB W til&iIlSillvirh

9、jazo- Poo5m artCacheohonW MH 10百Virtua- for p5k图4: RAID 2.0+逻辑结构深淘滩”底层硬盘管理（Virtual for Disk ） 快速RAID重构先将每个物理硬盘虚拟化为若干个64MB大小的逻辑块（Chunk ）,再以多个硬盘的逻辑块（Chunk ）按一定的算法关系构建 RAID。当一个逻辑块故障时，重构的仅是一个逻辑块（ Chunk）大小的数据，1-3秒即可完成重构。当一个物理硬盘故障时，重构的仅是多个有实际数据的逻辑块（Chunk）,同时更多的目标硬盘参加重构。不以胁也为RAID,出兀，而是以固定人小数兆块I-班数寓故障的懵加存构参

10、与总硬湿敦填婢&故障时 ;图5: RAID 2.0+下的重构如图6所示，当硬盘1损坏，造成CKG0和CKG1的数据损坏，实际有数据的14和16两个Chunk损坏, 将随机选择Pool中的空闲Chunk进行重构（如图6中的黄色方块），随机选择的 Chunk将保证尽量分布 在不同的硬盘上。国1曲国门2 -：割|*? T 飙网中痴打巾|图6: RAID 2.0+重构示意图A如图7所示，随机选择硬盘 6的61号Chunk和硬盘8的81号Chunk ,数据将从其他成员盘重构到这两 个 Chunk 。7: RAID 2.0+重构示意图B而经过RAID 2.0+的Virtual for Disk 后

11、将有两个方面的提升:1、减少重构的总数据量，按 Chunk重构，只对有数据的 Chunk重构。2、增加重构块目标盘数，如上例子就是两块目标盘，需要重构的Chunk数量增加，目标盘数量也增加,目标盘最大可以达到整个 Pool的成员盘个数，提供重构数据的写入速度。华为存储RAID 2.0+之Virtual for Disk每TB重构小于30分钟完成（传统RAID下每TB重构需要9小时）， 重构时间缩短，将大大降低双盘失效的概率。提高资源管理效率低作堰“上层资源管理(Virtual for Pool )由于华为存储提供给主机操作系统的资源由Extent组成，Extent作为逻辑地址映射关系是十分灵活

12、的动态调整，故在实际使用存储系统时，传统存储的两个基本问题配置规划复杂、配置调整困难”得到了完美解决。在做存储系统规划时，管理员只需要计算出当前业务总容量和性能的需求，并预留一定比例增长余量即可。同时在存储系统的具体配置过程中，管理员只需要做简单资源划分，系统将根据业务的实际使用情况自动 调整Extent的配比，以满足业务各单元的容量和性能需求。当业务发展系统预留余量资源不足时， 系统会自动提示管理员添加资源， 而添加资源的过程仅需插入硬盘， 并将硬盘加入到相应的 Disk Pool中，随后的系统将在后台自动调整 Extent的分布，重新实现全局均衡。图8： RAID 2.0+下的资源管理示意

13、图?最大化的自动负载均衡：Volume/File的数据被均匀分布到阵列内所有的硬盘上，可以防止局部硬盘过热，当存储池中的硬盘数量增加或减少，以及随业务变化硬盘读写压力发生变化后，系统通过IO记录智能分析计算，并自动调节热点Extent在同一类硬盘上的实际存储位置 (SmartMotion ) 以确保每一块硬盘的压力均衡，从而实现均衡硬盘磨损，有效降低故障率、延长硬盘寿命。?最大化性能资源利用率：提供给主机操作系统的Volume/File基于资源池(Pool)创建，不再受限于RAID组硬盘数量,单个 Volume/File性能可得到整Pool性能；当系统中存在多种性能不同 的硬盘时，系统通过IO

14、记录智能分析计算并自动调节热点Extent在不同类硬盘上的实际存储位置(SmartTier ),以确保高性能硬盘存放的是热点数据。?最大化容量资源利用率：由于资源池中的硬盘数量不受限于RAID级别，免除传统管理方式环境下有些RAID组空间利用率高而有些RAID组空间利用率低的状况，对于 Thin Volume/File 采用写入分配及零数据空间回收(SmartThin ),从而进一步大幅提升容量利用率。面向未来电子介质存储时代前几年SSD的容量比较小，同时由于产业链的原因Flash颗粒很贵，更重要的是 Flash有限的擦写次数。使得SSD在企业存储领域主要作为加速介质存在。企业存储技术的实施始

15、终围绕着存储介质的读写行为。因此，在目前传统存储系统中的很多策略都是针对机械硬盘介质特征的。机械硬盘最大的特征是存在寻道 时间，如果在随机读写的模式下，机械硬盘的性能非常差，为此，系统会采用pre-fetch的方式减少读写次数，采用IO聚合排序的方式减少机械硬盘指针的抖动。SSD作为电子介质没有寻道时间，完全是地址映射表；因此，在管理 SSD硬盘时，所采用的读写技术， 由于SSD的读写特征发生了变化，与机械硬盘是有区别的。在华为存储系统RAID 2.0+的设计中，在底层硬盘介质管理的Virtual for Disk层，由于采用虚拟化技术使得系统得以将不同的硬盘介质分Disk Pool进行管理，从而使得 SSD和HDD可以采用不同的管理方式完成读写行为。Virtual for Disk如深淘滩"一般，RAID重构与系统自优化做到了最小单元和最底层，这样保证了系统中每 一块硬盘