华为RAID2.0 技术细节

RAID 2 0 为增强型 RAID 技术 有效解决了机械硬盘容量越来越大 重构一块机械硬盘 所需时间越来越长 传统 RAID 组重构窗口越来越大而导致重构期间又故障一块硬盘而彻底 丢失数据风险的问题 RAID 2 0 在 RAID 2 0 的基础上提供了更细粒度的资源颗粒 形成存储资源的标准分配及 回收单位 类似计算虚拟化中的虚拟机 这些容量单位一致的虚拟块构成了一个统一的存 储资源池 所有应用 中间件 虚拟机 操作系统所需的资源可以在这个资源池中按需分 配及回收 对于一个存储系统而言 其可靠性的最重要标志就是其 RAID 重构时间 时间越短 重 构完成前再次坏盘的概率越低 早期存储系统大多使用 FC 盘且容量仅为几十个 G 因此重构时间较短 重构中再次坏 盘的概率低 但随着近年来硬盘容量的快速增长 硬盘读写速度受磁盘转速等多方面影响 增长缓慢 已无法满足系统对重构时间的要求 以一块 2TB 7 2K rpm 盘为例 重构时平均 写入速度为 30M s 左右 完成重构时间长达 18 个小时 因此重构过程中出现新的坏盘概 率到大大增加 数据丢失的风险也大大增加 传统 RAID 技术已无法满足在系统中使用现代 大容量硬盘的要求 在过去的几年里 许多存储领域的创新型初创公司如 HUAWEI 3PAR 等公司已经将磁 盘阵列从基于磁盘的 RAID 发展成更为灵活的 RAID 2 0 及 RAID 2 0 技术 不但整合了数据 保护和跨磁盘规划数据分布的功能 而且充分满足虚拟机环境下对存储的应用需求 传统存储的底层硬盘管理 在基于外部控制器的硬盘存储系统 External Controller Based disk storage system 中 RAID Redundant Array of Independent Disks 是最基础的部分 RAID 把多个硬盘组合成为一个逻辑 扇区 因此 操作系统只会把它当作一个硬盘 其基本原理是把相同的数据存储在多个硬盘的不同地方 RAID 技术主要包含 RAID 0 RAID 60 等数个规范 在实际应用中使用较多的是 RAID 1 RAID 5 RAID 6 RAID10 RAID 50 RAID 60 RAID 的两大特点 1 提高传输速率 通过在多个硬盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量 Throughput 在 RAID 中 可以让很多硬盘同时传输数据 所以使用 RAID 可以达到单个硬盘几倍 几十倍的速率 2 通过数据校验提供容错 硬盘本身无法提供容错 不包括写在硬盘上的 CRC 循环冗余校验码 RAID 容错是建立在每个硬盘的硬件容错功能之上 提供更高的安全性 在很多 RAID 模式中都有较为完 备的相互校验 恢复的措施 甚至是直接相互的镜像备份 从而大大提高了容错度和冗余性 在目前大多存储系统中 RAID 都是以物理硬盘为单元 故其基础保障机制如图 1 所示 图 1 RAID 基础保障机制 RAID 重构过程中数据没有可靠性保障 如果在重构完成前出现坏盘就将造成数据丢失 不可恢复 所以 对于一个存储系统而言 其可靠性的最重要标志就是其 RAID 重构时间越小越好 图 2 硬盘容量与性能增长的不匹配 RAID 重构时间 数据量 硬盘读写速度 在以物理硬盘为单元的 RAID 保护模式下 其重构数据量等于硬 盘容量 然而硬盘容量与读写能力的不匹配增长 导致采用以物理硬盘单元为 RAID 的传统方式效率低下 可靠性越来越差 传统硬盘重构的瓶颈主要在目标盘 热备盘 因为 所有成员盘将所有数据读出后全部写入到目标盘 目标盘写带宽就成了整个重构速度的关键 以一块 2TB 7 2K rpm 盘为例 重构时平均写入速度为 30M s 左右 完成重构时间长达 18 个小时 传统存储的上层资源管理 在实际使用存储系统时 通常会将硬盘固定的划分为若干个 RAID 再分别将每个 RAID 的空间固定的切 分为 1 个或 N 个小段映射给主机操作系统使用 图 3 传统 RAID 下的资源管理示意图 问题 1 配置规划复杂 在做存储系统规划时 要求管理员不仅需要准确的计算出当前每一个单元业务的容量 性能需求 还需要能准确评估每个单元业务未来发展的容量 性能要求 否则要么设计不足不能满足需求 要么过度设计导致资源浪费 同时在存储系统的具体配置过程中 需要管理员通过复杂的操作过程完成一 步步的配置 2 配置调整困难 因为所有的分配过程都是固定的 如果因为各种未预测到的变化需要调整原分配 那 么只能通过手动配置删除和重新分配 以及复杂的数据迁入迁出来实现 华为存储 RAID 2 0 概述 华为存储 RAID 2 0 变传统固定管理模式为 一层 深淘滩 一层 低作堰 的两层虚拟化管 理模式 1 对于系统内部物理硬盘 按介质的性能不同 组成三类存储池 对于通过其它方式接入系统的 则作 为外部存储池 2 将系统内部每个硬盘空间切分成 64MB 大写逻辑块 Chunk 3 将来自不同硬盘上的按 RAID 组成逻辑块组 CKG 4 将逻辑块组 CKG 切分成 512KB 64MB 默认 4MB 大小可配置 的更细粒度逻辑块 Extent 5 按需将 1 N 个更细粒度逻辑块 Extent 组成卷 Volume 文件 File 图 4 RAID 2 0 逻辑结构 深淘滩 底层硬盘管理 Virtual for Disk 快速 RAID 重构 先将每个物理硬盘虚拟化为若干个 64MB 大小的逻辑块 Chunk 再以多个硬盘的逻辑块 Chunk 按 一定的算法关系构建 RAID 当一个逻辑块故障时 重构的仅是一个逻辑块 Chunk 大小的数据 1 3 秒即可完成重构 当一个物理硬盘故障时 重构的仅是多个有实际数据的逻辑块 Chunk 同时更多的目标硬盘参加重构 图 5 RAID 2 0 下的重构 如图 6 所示 当硬盘 1 损坏 造成 CKG0 和 CKG1 的数据损坏 实际有数据的 14 和 16 两个 Chunk 损 坏 将随机选择 Pool 中的空闲 Chunk 进行重构 如图 6 中的黄色方块 随机选择的 Chunk 将保证尽 量分布在不同的硬盘上 图 6 RAID 2 0 重构示意图 A 如图 7 所示 随机选择硬盘 6 的 61 号 Chunk 和硬盘 8 的 81 号 Chunk 数据将从其他成员盘重构到这两 个 Chunk 7 RAID 2 0 重构示意图 B 而经过 RAID 2 0 的 Virtual for Disk 后将有两个方面的提升 1 减少重构的总数据量 按 Chunk 重构 只对有数据的 Chunk 重构 2 增加重构块目标盘数 如上例子就是两块目标盘 需要重构的 Chunk 数量增加 目标盘数量也增加 目标盘最大可以达到整个 Pool 的成员盘个数 提供重构数据的写入速度 华为存储 RAID 2 0 之 Virtual for Disk 每 TB 重构小于 30 分钟完成 传统 RAID 下每 TB 重构需要 9 小时 重构时间缩短 将大大降低双盘失效的概率 低作堰 上层资源管理 Virtual for Pool 提高资源管理效率 由于华为存储提供给主机操作系统的资源由 Extent 组成 Extent 作为逻辑地址映射关系是十分灵活的动 态调整 故在实际使用存储系统时 传统存储的两个基本问题 配置规划复杂 配置调整困难 得到了完美 解决 在做存储系统规划时 管理员只需要计算出当前业务总容量和性能的需求 并预留一定比例增长余量即可 同时在存储系统的具体配置过程中 管理员只需要做简单资源划分 系统将根据业务的实际使用情况自动 调整 Extent 的配比 以满足业务各单元的容量和性能需求 当业务发展系统预留余量资源不足时 系统会自动提示管理员添加资源 而添加资源的过程仅需插入硬盘 并将硬盘加入到相应的 Disk Pool 中 随后的系统将在后台自动调整 Extent 的分布 重新实现全局均衡 图 8 RAID 2 0 下的资源管理示意图 最大化的自动负载均衡 Volume File 的数据被均匀分布到阵列内所有的硬盘上 可以防止局部 硬盘过热 当存储池中的硬盘数量增加或减少 以及随业务变化硬盘读写压力发生变化后 系统 通过 IO 记录智能分析计算 并自动调节热点 Extent 在同一类硬盘上的实际存储位置 SmartMotion 以确保每一块硬盘的压力均衡 从而实现均衡硬盘磨损 有效降低故障率 延 长硬盘寿命 最大化性能资源利用率 提供给主机操作系统的 Volume File 基于资源池 Pool 创建 不再受 限于 RAID 组硬盘数量 单个 Volume File 性能可得到整 Pool 性能 当系统中存在多种性能不 同的硬盘时 系统通过 IO 记录智能分析计算并自动调节热点 Extent 在不同类硬盘上的实际存储 位置 SmartTier 以确保高性能硬盘存放的是热点数据 最大化容量资源利用率 由于资源池中的硬盘数量不受限于 RAID 级别 免除传统管理方式环境 下有些 RAID 组空间利用率高而有些 RAID 组空间利用率低的状况 对于 Thin Volume File 采用 写入分配及零数据空间回收 SmartThin 从而进一步大幅提升容量利用率 面向未来电子介质存储时代 前几年 SSD 的容量比较小 同时由于产业链的原因 Flash 颗粒很贵 更重要的是 Flash 有限的擦写次数 使得 SSD 在企业存储领域主要作为加速介质存在 企业存储技术的实施始终围绕着存储介质的读写行为 因此 在目前传统存储系统中的很多策略都是针对机械硬盘介质特征的 机械硬盘最大的特征是存在寻道 时间 如果在随机读写的模式下 机械硬盘的性能非常差 为此 系统会采用 pre fetch 的方式减少读写 次数 采用 IO 聚合排序的方式减少机械硬盘指针的抖动 SSD 作为电子介质没有寻道时间 完全是地址映射表 因此 在管理 SSD 硬盘时 所采用的读写技术 由于 SSD 的读写特征发生了变化 与机械硬盘是有区别的 在华为存储系统 RAID 2 0 的设计中 在底 层硬盘介质管理的 Virtual for Disk 层 由于采用虚拟化技术使得系统得以将不同的硬盘介质分 Disk Pool 进行管理 从而使得 SSD 和 HDD 可以采用不同的管理方式完成读写行为 Virtual for Disk 如 深淘滩 一般 RAID 重构与系统自优化做到了最小单元和最底层 这样保证了系统中每 一块硬盘 每一个部件能力充分发