磁盘阵列各种RAID原理、磁盘使用率

磁盘阵列磁盘阵列 RAIDRAID 原理 种类及性能优缺点对比原理 种类及性能优缺点对比 磁盘阵列 磁盘阵列 Redundant Arrays of Independent Disks RAID 1 存储的数据一定分片 2 分基于软件的软 RAID 如 mdadm 和基于硬件的硬 RAID 如 RAID 卡 3 RAID 卡如同网卡一样有集成板载的也有独立的 PCI e 一般独立 RAID 卡 性能相对较好 淘宝一搜便可看到他们的原形 4 现在基本上服务器都原生硬件支持几种常用的 RAID 5 当然还有更加高大上的专用于存储的磁盘阵列柜产品 有专用存储技术 规 格有如 12 24 48 盘一柜等 盘可选机械 固态 3 5 2 5 寸等 级别级别特征特征原理原理单元单元冗余冗余性能性能利用率利用率最多坏最多坏用途用途缺陷缺陷 RAID0 条带 分片分散存入 2 块硬盘 2 否读写速度 2 倍 100 0 2SWAP TMP 不冗余 数据难恢复 RAID1 镜像 相同数据存入 2 块硬盘 2 是写速度不变 读速度 2 倍 50 1 2 数据备份读写速度没加 利用率低 RAID4 校验 分片分散存入 2 块硬盘 校验码存入第 3 块硬盘 3 是读写速度 2 倍 2 3 66 1 3 用的很少 1 坏盘时另外 2 块需要重新计 算还原坏盘数据 2 校验码盘压力大成为瓶颈 RAID5 校验 分片和校验码混合存储 3 是读写速度 2 倍 2 3 66 1 3 用的不多 坏盘时另外 2 块需要重新计算还 原坏盘数据 RAID6 校验 分片盘校验码盘分别 2 个 数据分片校验码计算 2 次 4 是读写速度 2 倍 2 4 2 4 1 2 用的很少 部队中有一半是搞后勤的 感 觉还是不太爽 RAID101 0 2 块硬盘 1 组先做 RAID1 多组 RAID1 再做 RAID0 4 是读写速度 N 倍 N 为组数 2 4 2 4 1 2 用的最多 RAID505 0 3 块硬盘 1 组先做 RAID5 多组再做 RAID0 6 是读写数读 2N 倍 N 为组数 4 6 2 6 1 3 土豪用的 好是好 就是贵 近来想建立一个私有云系统 涉及到安装使用一台网络存储服务器 对于服 务器中硬盘的连接 选用哪种 RAID 模式能准确满足需求收集了资料 简单整理 后记录如下 一 一 RAIDRAID 模式优缺点的简要介绍模式优缺点的简要介绍 目前被运用较多的 RAID 模式其优缺点大致是这样的 1 RAID0 模式 优点 在 RAID 0 状态下 存储数据被分割成两部分 分别存储在两块硬盘 上 此时移动硬盘的理论存储速度是单块硬盘的 2 倍 实际容量等于两块硬盘 中较小一块硬盘的容量的 2 倍 缺点 任何一块硬盘发生故障 整个 RAID 上的数据将不可恢复 备注 存储高清电影比较适合 2 RAID1 模式 优点 此模式下 两块硬盘互为镜像 当一个硬盘受损时 换上一块全新 硬盘 大于或等于原硬盘容量 替代原硬盘即可自动恢复资料和继续使用 移动 硬盘的实际容量等于较小一块硬盘的容量 存储速度与单块硬盘相同 RAID 1 的优势在于任何一块硬盘出现故障是 所存储的数据都不会丢失 缺点 该模式可使用的硬盘实际容量比较小 仅仅为两颗硬盘中最小硬盘 的容量 备注 非常重要的资料 如数据库 个人资料 是万无一失的存储方案 3 RAID 0 1 模式 RAID 0 1 是磁盘分段及镜像的结合 采用 2 组 RAID0 的磁盘阵列互为镜像 它们之间又成为一个 RAID1 的阵列 硬盘使用率只有 50 但是提供最佳的速 度及可靠度 4 RAID 3 模式 RAID3 是把数据分成多个 块 按照一定的容错算法 存放在 N 1 个硬 盘上 实际数据占用的有效空间为 N 个硬盘的空间总和 而第 N 1 个硬盘存储 的数据是校验容错信息 当这 N 1 个硬盘中的其中一个硬盘出现故障时 从其 它 N 个硬盘中的数据也可以恢复原始数据 5 RAID 5 模式 RAID5 不对存储的数据进行备份 而是把数据和相对应的奇偶校验信息存 储到组成 RAID5 的各个磁盘上 并且奇偶校验信息和相对应的数据分别存储于 不同的磁盘上 当 RAID5 的一个磁盘数据发生损坏后 利用剩下的数据和相应 的奇偶校验信息去恢复被损坏的数据 6 RAID 10 模式 RAID10 最少需要 4 块硬盘才能完成 把 2 块硬盘组成一个 RAID1 然后两 组 RAID1 组成一个 RAID0 虽然 RAID10 方案造成了 50 的磁盘浪费 但是它提 供了 200 的速度和单磁盘损坏的数据安全性 二 另外三种硬件快速硬件设置模式简介二 另外三种硬件快速硬件设置模式简介 在收集资料时看到有的硬件设备提供快速磁盘模式设置 也很方便大家的 使用 具体情况如下 1 Clone 模式 克隆模式 磁盘全部数据一样 以最小硬盘的为准 2 Large 模式 硬盘容量简单相加 将几个硬盘变成一个硬盘 容量为几个硬盘容量之和 此模式下可以获得最大的硬盘空间 3 Normal 模式 硬盘分别处于正常 独立的状态 可以分别独立的写入或读取资料 能使 用的实际容量分别为 4 个硬盘的容量 如果其中一个硬盘受损 其他几个硬盘 不会受影响 三 三 RAIDRAID 使用简明注意事项使用简明注意事项 使用前请先备份硬盘的资料 一旦进行 RAID 设定或是变更 RAID 模式 将会清除硬盘里的所有资料 以及无法恢复 建立 RAID 时 建议使用相同品牌 型号和容量的硬盘 以确保性能和稳 定 请勿随意更换或取出硬盘 如果取出了硬盘 请记下硬盘放入两个仓位 的顺序不得更改 以及请勿只插入某一块硬盘使用 以避免造成资料损坏或丢 失 如果旧硬盘曾经在 RAID 模式下使用 请先进清除硬盘 RAID 信息 让硬 盘回复至出厂状态 以免 RAID 建立失败 RAID0 模式下 其中一个硬盘损坏时 其它硬盘所有资料都将丢失 RAID1 模式下 如果某一块硬盘受损 可以用一块大于或等于受损硬盘 容量的新硬盘替换坏硬盘然后开机即可自动恢复和修复资料以及 RAID 模式 此 过程需要一定时间 请耐心等待 四 细数四 细数 RAIDRAID 模式模式 1 概念 磁盘阵列 Redundant Arrays of Inexpensive Disks RAID 有 价格 便宜且多余的磁盘阵列 之意 原理是利用数组方式来作磁盘组 配合数据分 散排列的设计 提升数据的安全性 磁盘阵列是由很多便宜 容量较小 稳定 性较高 速度较慢磁盘 组合成一个大型的磁盘组 利用个别磁盘提供数据所 产生加成效果提升整个磁盘系统效能 同时利用这项技术 将数据切割成许多 区段 分别存放在各个硬盘上 磁盘阵列还能利用同位检查 Parity Check 的观念 在数组中任一颗硬盘故障时 仍可读出数据 在数据重构时 将数据 经计算后重新置入新硬盘中 2 规范 RAID 技术主要包含 RAID 0 RAID 50 等数个规范 它们的侧重点各不相同 常见的规范有如下几种 RAIDRAID 0 0 RAID 0 连续以位或字节为单位分割数据 并行读 写于多个磁盘 上 因此具有很高的数据传输率 但它没有数据冗余 因此并不能算是真正的 RAID 结构 RAID 0 只是单纯地提高性能 并没有为数据的可靠性提供保证 而 且其中的一个磁盘失效将影响到所有数据 因此 RAID 0 不能应用于数据安全 性要求高的场合 RAIDRAID 1 1 它是通过磁盘数据镜像实现数据冗余 在成对的独立磁盘上产生 互为备份的数据 当原始数据繁忙时 可直接从镜像拷贝中读取数据 因此 RAID 1 可以提高读取性能 RAID 1 是磁盘阵列中单位成本最高的 但提供了很 高的数据安全性和可用性 当一个磁盘失效时 系统可以自动切换到镜像磁盘 上读写 而不需要重组失效的数据 RAIDRAID 0 10 1 也被称为 RAID 10 标准 实际是将 RAID 0 和 RAID 1 标准结合 的产物 在连续地以位或字节为单位分割数据并且并行读 写多个磁盘的同时 为每一块磁盘作磁盘镜像进行冗余 它的优点是同时拥有 RAID 0 的超凡速度和 RAID 1 的数据高可靠性 但是 CPU 占用率同样也更高 而且磁盘的利用率比较 低 RAIDRAID 2 2 将数据条块化地分布于不同的硬盘上 条块单位为位或字节 并 使用称为 加重平均纠错码 海明码 的编码技术来提供错误检查及恢复 这种编码技术需要多个磁盘存放检查及恢复信息 使得 RAID 2 技术实施更复杂 因此在商业环境中很少使用 RAIDRAID 3 3 它同 RAID 2 非常类似 都是将数据条块化分布于不同的硬盘上 区别在于 RAID 3 使用简单的奇偶校验 并用单块磁盘存放奇偶校验信息 如果 一块磁盘失效 奇偶盘及其他数据盘可以重 新产生数据 如果奇偶盘失效则不影响数据使用 RAID 3 对于大量的连续数据 可提供很好的传输率 但对于随机数据来说 奇偶盘会成为写操作的瓶颈 RAIDRAID 4 4 RAID 4 同样也将数据条块化并分布于不同的磁盘上 但条块单位 为块或记录 RAID 4 使用一块磁盘作为奇偶校验盘 每次写操作都需要访问奇 偶盘 这时奇偶校验盘会成为写操作的瓶颈 因此 RAID 4 在商业环境中也很少 使用 RAIDRAID 5 5 RAID 5 不单独指定的奇偶盘 而是在所有磁盘上交叉地存取数据 及奇偶校验信息 在 RAID 5 上 读 写指针可同时对阵列设备进行操作 提供 了更高的数据流量 RAID 5 更适合于小数据块和随机读写的数据 RAID 3 与 RAID 5 相比 最主要的区别在于 RAID 3 每进行一次数据传输就需涉及到所有 的阵列盘 而对于 RAID 5 来说 大部分数据传输只对一块磁盘操作 并可进行 并行操作 在 RAID 5 中有 写损失 即每一次写操作将产生四个实际的读 写操作 其中两次读旧的数据及奇偶信息 两次写新的数据及奇偶信息 RAIDRAID 6 6 与 RAID 5 相比 RAID 6 增加了第二个独立的奇偶校验信息块 两个独立的奇偶系统使用不同的算法 数据的可靠性非常高 即使两块磁盘同 时失效也不会影响数据的使用 但 RAID 6 需要分配给奇偶校验信息更大的磁盘 空间 相对于 RAID 5 有更大的 写损失 因此 写性能 非常差 较差的性 能和复杂的实施方式使得 RAID 6 很少得到实际应用 RAIDRAID 7 7 这是一种新的 RAID 标准 其自身带有智能化实时操作系统和用于 存储管理的软件工具 可完全独立于主机运行 不占用主机 CPU 资源 RAID 7 可以看作是一种存储计算机 Storage Computer 它与其他 RAID 标准有明显 区别 除了以上的各种标准 如表 1 我们可以如 RAID 0 1 那样结合多种 RAID 规范来构筑所需的 RAID 阵列 例如 RAID 5 3 RAID 53 就是一种应用较 为广泛的阵列形式 用户一般可以通过灵活配置磁盘阵列来获得更加符合其要 求的磁盘存储系统 RAIDRAID 5E5E RAID 5 Enhencement RAID 5E 是在 RAID 5 级别基础上的改进 与 RAID 5 类似 数据的校验信息均匀分布在各硬盘上 但是 在每个硬盘上都 保留了一部分未使用的空间 这部分空间没有进行条带化 最多允许两块物理 硬盘出现故障 看起来 RAID 5E 和 RAID 5 加一块热备盘好象差不多 其实由 于 RAID 5E 是把数据分布在所有的硬盘上 性能会比 RAID5 加一块热备盘要好 当一块硬盘出现故障时 有故障硬盘上的数据会被压缩到其它硬盘上未使用的 空间 逻辑盘保持 RAID 5 级别 RAIDRAID 5EE5EE 与 RAID 5E 相比 RAID 5EE 的数据分布更有效率 每个硬盘的 一部分空间被用作分布的热备盘 它们是阵列的一部分 当阵列中一个物理硬 盘出现故障时 数据重建的速度会更快 RAIDRAID 5050 RAID50 是 RAID5 与 RAID0 的结合 此配置在 RAID5 的子磁盘组 的每个磁盘上进行包括奇偶信息在内的数据的剥离 每个 RAID5 子磁盘组要求 三个硬盘 RAID50 具备更高的容错能力 因为它允许某个组内有一个磁盘出现 故障 而不会造成数据丢失 而且因为奇偶位分部于 RAID5 子磁盘组上 故重 建速度有很大提高 优势 更高的容错能力 具备更快数据读取速率的潜力 需要注意的是 磁盘故障会影响吞吐量 故障后重建信息的时间比镜像配置情 况下要长 3 优点 提高传输速率 RAID 通过在多个磁盘上同时存储和读取数据来大幅提高存 储系统的数据吞吐量 Throughput 在 RAID 中 可以让很多磁盘驱动器同时 传输数据 而这些磁盘驱动器在逻辑上又是一个磁盘驱动器 所以使用 RAID 可 以达到单个磁盘驱动器几倍 几十倍甚至上百倍的速率 这也是 RAID 最初想要 解决的问题 因为当时 CPU 的速度增长很快 而磁盘驱动器的数据传输速率无 法大幅提高 所以需要有一种方案解决二者之间的矛盾 RAID 最后成功了 通过数据校验提供容错功能 普通磁盘驱动器无法提供容错功能 如果不 包括写在磁盘上的 CRC 循环冗余校验 码的话 RAID 容错是建立在每个磁盘 驱动器的硬件容错功能之上的 所以它提供更高的安全性 在很多 RAID 模式中 都有较为完备的相互校验 恢复的措施 甚至是直接相互的镜像备份 从而大大 提高了 RAID 系统的容错度 提高了系统的稳定冗余性 4 实现 磁盘阵列有两种方式可以实现 那就是 软件阵列 与 硬件阵列 软件阵列软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连接的普通 SCSI 卡上的多块硬盘配置成逻辑盘 组成阵列 软件阵列可以提供数据冗余功 能 但是磁盘子系统的性能会有所降低 有的降低幅度还比较大 达 30 左右 硬件阵列硬件阵列是使用专门的磁盘阵列卡来实现的 硬件阵列能够提供在线扩容 动态修改阵列级别 自动数据恢复 驱动器漫游 超高速缓冲等功能 它能提 供性能 数据保护 可靠性 可用性和可管理性的解决方案 阵列卡专用的处 理单元来进行操作 它的性能要远远高于常规非阵列硬盘 并且更安全更稳定 磁盘阵列其实也分为软阵列 Software Raid 和硬阵列 Hardware Raid 两种 软阵列即通过软件程序并由计算机的 CPU 提供运行能力所成 由于软件 程式不是一个完整系统故只能提供最基本的 RAID 容错功能 其他如热备用硬 盘的设置 远程管理等功能均一一欠奉 硬阵列是由独立操作的硬件提供整个 磁盘阵列的控制和计算功能 不依靠系统的 CPU 资源 由于硬阵列是一个完整的系统 所有需要的功能均可以做进去 所以硬阵 列所提供的功能和性能均比软阵列好 而且 如果你想把系统也做到磁盘阵列 中 硬阵列是唯一的选择 故我们可以看市场上 RAID 5 级的磁盘阵列均为硬 阵列 软 阵列只适用于 Raid 0 和 Raid 1 对于我们做镜像用的镜像塔 肯 定不会用 Raid 0 或 Raid 1 作为高性能的存储系统 已经得到了越来越广泛 的应用 RAID 的级别从 RAID 概念的提出到现在 已经发展了六个级别 其级 别分别是 0 1 2 3 4 5 等 但是最常用的是 0 1 3 5 四个级别 五 个人用户该选那种五 个人用户该选那种 RAIDRAID 模式模式 首先要分析清楚 我们需要存储的文件有什么样的属性 这其中需要大量 存储的和占用存储量大的文件是两回事儿 从使用角度粗略分 个人需要存储的文件大致有文本文件 照片录像 影 音文件 应用程序等 1 文本文件 大量长期存放 阶段性更