Linux之在RHEL6系统上配置磁盘阵列(RAID)

磁盘阵列全名是 Redundant Arrays of Inexpensive Disks RAID 大概的意思是 廉价的 磁盘冗余阵列 RAID 可以通过一个技术 软件或硬件 将多个较小的磁盘整合成为一个较大 的磁盘设备 而这个较大的磁盘不但扩展了储存空间 而且还有数据保护的功能 RAID 会根据等级 level 的不同 而使得整合后的磁盘具有不同的功能 基本常见的 level 有以下这几种 RAID 级别划分 RAID 0 磁盘叠加 这种模式一般是使用相同型号与容量的磁盘来组成 这种模式的 RAID 会将磁盘先切出等量的 区块 然后当一个文件需要要写入 RAID 设备时 该文件就会依据区块的大小切割好 然后 再依次放到各个磁盘里 由于每个磁盘会交错的存放数据 因此数据要写入 RAID 时 会被 等量的放在各个磁盘上面 所以说 RAID 0 他的特点就是 1 磁盘越多 RAID 设备的容量就越大 2 容量的总大小是多个硬盘的容量的总和 3 磁盘越多 写入的效能就越高 4 如果使用非等大的硬盘 那么当小的磁盘写满后 就直接向空间大的磁盘中写数据了 5 最少的磁盘数是 2 个 而且磁盘使用率为 100 他的致使之处就是 万一其中一个磁盘有问题 那么数据就会全部出问题 因为数据是分开存 储的 RAID 1 镜像备份 这种模式主要是让同一份数据 完整的保存在不同的磁盘上 由于同一份数据会被分别写入到 其他不同磁盘 因此在大量写入 RAID 1 设备的情况下 写入的效能会变的非常差 但如果你 使用的是硬件 RAID 磁盘阵列卡 时 磁盘阵列卡会主动的复制一份而不使用系统的 I O 总 线 这对效能影响是不大的 如果使用软件磁盘阵列 效能就会明显下降了 RAID 1 他的特点是 1 保证了数据的安全 2 RAID 1 设备的容量是所有磁盘容量总和的一半 3 在多个磁盘组成 RAID 1 设备的时候 总容量将以最小的那一颗磁盘为主 4 读取的效能相对增加 这是因为数据在不同的磁盘上面 如果多个进程在读取同一笔数据 时 RAID 会自行取得最佳的读取平衡 5 磁盘数必需是 2 的整数倍 磁盘利用率为 50 不足之处就是 写入的效能会降低 RAID 5 效能与数据备份的均衡考虑 RAID 5 至少需要三个以上的磁盘才能够组成这种类型的磁盘阵列 这种磁盘阵列的数据写入 有点类似 RAID 0 不过每个循环的写入过程中 在每颗磁盘还加入一个校验数据 Parity 这个数据会记录其他磁盘的备份数据 用于当有磁盘损毁时的救援 特点 1 当任何一个磁盘损坏时 都能够通过其他磁盘的检查码来重建原本磁盘内的数据 安全性 明显增强 2 由于有同位检查码的存在 因此 RAID 5 的总容量会是整个磁盘数量减一个 3 当损毁的磁盘数量大于等于两颗时 那么 RAID 5 的资料就损坏了 因为 RAID 5 预设 只能支持一颗磁盘的损坏情况 4 在读写效能上与 RAID 0 差不多 5 最少磁盘是 3 块 磁盘利用率 N 1 块 不足 数据写入的效能不一定增加 因为要写入 RAID 5 的数据还得要经过计算校验码 parity 所以写入的效能与系统的硬件关系较大 尤其当使用软件磁盘阵列时 校验码 parity 是通过 CPU 去计算而非专职的磁盘阵列卡 因此在数据校验恢复的时候 硬盘的效 能会明显下降 RAID0 RAID1 RAID5 三个级别的数据存储流程 大家可以参考下图 RAID 01 或 RAID 10 这个 RAID 级别就是针对上面的特点与不足 把 RAID 0 和 RAID 1 这两个结合起来了 所谓的 RAID 01 就是 1 先让磁盘组成 RAID 0 2 将这 RAID 0 再组 RAID 1 这就是 RAID 0 1 而 RAID 10 就是 先组成 RAID 1 再组成 RAID 0 这就是 RAID 1 0 特点与不足 由于具有 RAID 0 的优点 所以效能得以提升 由于具有 RAID 1 的优点 所 以数据得以备份 但是也由于 RAID 1 的缺点 所以总容量会少一半用来做为备份 RAID10 级别的数据存储流程 大家可以参考下图 由于 RAID5 仅能支持一颗磁盘的损毁 因此还有发展出另外一种等级 就是 RAID 6 这个 RAID 6 则使用两颗磁盘的容量作为 parity 的储存 因此整体的磁盘容量就会少两颗 但是 允许出错的磁盘数量就可以达到两颗 也就是在 RAID 6 的情况下 同时两颗磁盘损毁时 数 据还是可以恢复回来的 而此级别的 RAID 磁盘最少是 4 块 利用率为 N 2 Spare Disk 热备磁盘 他的作用就是 当磁盘阵列中的磁盘有损毁时 这个热备磁盘就能立刻代替损坏磁盘的位置 这时候我们的磁盘阵列就会主动重建 然后把所有的数据自动恢复 而这个或多个热备磁盘是 没有包含在原本磁盘阵列等级中的磁盘 只有当磁盘阵列有任何磁盘损毁时 才真正的起作用 关于理论知识我们就只介绍到这里 当然还可以延伸出多种组合 只要理解了上面的内容 那 么其他级别就不难了 无非是多种组合而已 通过上面的讲解 我相信大家也知道了做磁盘阵 列的优点了 1 数据的安全性明显增强 2 读写的效能明显提高 3 磁盘的容量有效扩展 但也别忘记了他的缺点就是成本提高 但相对于数据而言 我想这点成本也不算什么吧 下面我就以 RAID5 为例 给大家演示 1 增加硬盘 我在虚拟机上新增了 6 块硬盘 每块是 2G 哈哈 这么多只是为了做实验啊 root yufei ls dev sd dev sda dev sda2 dev sdc dev sde dev sdg dev sda1 dev sdb dev sdd dev sdf 这里面除了 sda 是以前的 后面的都是新增加了 当然你也可以通过 fdisk l 来查询 其他的 都是没有进行过分区的 所以会显示 Disk dev sdb doesn t contain a valid partition table 这样的提示啊 先拿出三个 sdb sdc sdd 来做 RAID5 这是做 RAID5 的最少硬盘数量 但为了安全 我们 需要加入 sde 做热备磁盘 这才是最安全的设置 当然 如果你不加热备也没有关系 RAID5 照样能做出来 特别说明 如果使用分区来创建的话 也是可以的 但不太科学啊 还有一点就是 你可以对 分区转换类型 fd 也可以不转换 似乎这个不重要 我测试转换与不转换都是一样的效果 2 创建 RAID 设备文件 root yufei mdadm C dev md5 l 5 n 3 x 1 dev sd b c d e mdadm partition table exists on dev sdb but will be lost or meaningless after creating array mdadm partition table exists on dev sdc but will be lost or meaningless after creating array mdadm partition table exists on dev sdd but will be lost or meaningless after creating array Continue creating array y mdadm Defaulting to version 1 2 metadata mdadm array dev md5 started 这时候会在 dev 下创建 md 文件夹和 md5 设备文件 而且 dev md 这个文件夹里面还有一 个连接文件和一个 MD 设备的镜像文件 root yufei ls l dev md brw rw 1 root disk 9 5 May 31 00 19 dev md5 dev md total 4 lrwxrwxrwx 1 root root 8 May 31 00 15 md5 md127 rw 1 root root 53 May 31 00 19 md device map 我们可以通过下面的命令查看 RAID 设备的状况 root yufei mdadm D dev md5 dev md5 Version 1 2 Creation Time Tue May 31 00 19 11 2011 Raid Level raid5 Array Size 4191232 4 00 GiB 4 29 GB Used Dev Size 2095616 2046 84 MiB 2145 91 MB Raid Devices 3 Total Devices 4 Persistence Superblock is persistent Update Time Tue May 31 00 19 22 2011 State clean Active Devices 3 Working Devices 4 Failed Devices 0 Spare Devices 1 Layout left symmetric Chunk Size 512K Name yufei 5 local to host yufei UUID 69443d97 7e32415d 7f3843c5 4d5015cf Events 18 Number Major Minor RaidDevice State 0 8 16 0 active sync dev sdb 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 3 8 64 spare dev sde 这里我们可以把他看作是一个普通的硬盘 只是他是多块硬盘的结合体而已 我们可以对其分 区 格式化 然后挂载使用的操作 3 对 RAID 设备进行分区 格式化 挂载 如果你想对其分区也是可以 分区后的分区名为 md5p1 md5p2 等等 当然不分区也一样能 正常使用 这个就看你的用途了 我这里就不分区了 直接进行格式化 root yufei mkfs ext4 dev md5 mke2fs 1 41 12 17 May 2010 Filesystem label OS type Linux Block size 4096 log 2 Fragment size 4096 log 2 Stride 128 blocks Stripe width 256 blocks 262144 inodes 1047808 blocks 52390 blocks 5 00 reserved for the super user First data block 0 Maximum filesystem blocks 1073741824 32 block groups 32768 blocks per group 32768 fragments per group 8192 inodes per group Superblock backups stored on blocks 32768 98304 163840 229376 294912 819200 884736 Writing inode tables done Creating journal 16384 blocks done Writing superblocks and filesystem accounting information done This filesystem will be automatically checked every 31 mounts or 180 days whichever comes first Use tune2fs c or i to override 如果想要分区你可以这样做 root yufei fdisk dev md5 我这里就不分区了 挂载使用 root yufei mount dev md5 mnt root yufei df Filesystem 1K blocks Used Available Use Mounted on dev sda1 15118728 7014960 7335768 49 tmpfs 255784 0 255784 0 dev shm dev md5 4125376 73720 3842096 2 mnt 向里面写入数据文件 root yufei touch mnt testfil1 root yufei touch mnt testfil2 root yufei ls mnt lost found testfil1 testfil2 4 模拟磁盘损坏 我们模拟是 dev sdb 这块硬盘损坏 root yufei mdadm dev md5 f dev sdb mdadm set dev sdb faulty in dev md5 再查看一下 md5 的状态 root yufei mdadm D dev md5 前面省略 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 0 8 16 faulty spare dev sdb 我们看到 热备盘现在正在使用 而 dev sdb 是处于损坏状态 注意一点 当热备盘在顶替损坏盘的时候 RAID 设备的性能会明显下降 因为他要进行数据 检验与恢复 再看看里面的文件还存在不 root yufei ls mnt lost found testfil1 testfil2 一切正常 下面就是要把损坏的硬盘移除 然后新加硬盘 来充当热备盘 注意 如果此时我不加热备盘 的话 当 MD5 中再有任何一个硬盘损坏的话 数据还是正常的 这个留给大家来测试吧 5 移除损坏的磁盘 mdadm hot removed dev sdb from dev md5 再查看 MD5 的信息 root yufei mdadm D dev md5 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 发现已经移除了 6 新加热备磁盘 root yufei mdadm dev md5 a dev sdf mdadm added dev sdf 再次查看 MD5 的情况 root yufei mdadm D dev md5 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 5 8 80 spare dev sdf 热备盘已经加上了 root yufei ls mnt lost found testfil1 testfil2 向 RAID 中增加存储硬盘 如果说 我现在已经做好的 RAID 空间还是不够用的话 那么我们可以向里面增加新的硬盘 来增加 RAID 的空间 默认的情况下 我们向 RAID 中增加的磁盘 会被默认当作热备盘的 如何把热备盘加入到 RAID 中呢 下面看演示 我们接着上面的继续操作 root yufei mdadm D dev md5 dev md5 Version 1 2 Creation Time Tue May 31 19 46 20 2011 Raid Level raid5 Array Size 4191232 4 00 GiB 4 29 GB Used Dev Size 2095616 2046 84 MiB 2145 91 MB Raid Devices 3 Total Devices 4 Persistence Superblock is persistent Update Time Tue May 31 19 49 07 2011 省略 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 5 8 80 spare dev sdf 向 RAID 中增加一块硬盘 root yufei mdadm dev md5 a dev sdg mdadm added dev sdg root yufei mdadm D dev md5 dev md5 Version 1 2 Creation Time Tue May 31 19 46 20 2011 Raid Level raid5 Array Size 4191232 4 00 GiB 4 29 GB Used Dev Size 2095616 2046 84 MiB 2145 91 MB Raid Devices 3 Total Devices 5 Persistence Superblock is persistent Update Time Tue May 31 19 53 53 2011 省略 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 5 8 80 spare dev sdf 6 8 96 spare dev sdg 我们新加的磁盘变成了热备盘 还没有加入到 RAID 的存储盘中 我们需要让其中的一个热备 磁盘起存储作用 看看如何来操作 root yufei mdadm G dev md5 n4 mdadm Need to backup 3072K of critical section root yufei mdadm D dev md5 dev md5 Version 1 2 Creation Time Tue May 31 19 46 20 2011 Raid Level raid5 Array Size 4191232 4 00 GiB 4 29 GB Used Dev Size 2095616 2046 84 MiB 2145 91 MB Raid Devices 4 Total Devices 5 Persistence Superblock is persistent Update Time Tue May 31 20 02 34 2011 省略 Number Major Minor RaidDevice State 3 8 64 0 active sync dev sde 1 8 32 1 active sync dev sdc 4 8 48 2 active sync dev sdd 6 8 96 3 active sync dev sdg 5 8 80 spare dev sdf 我们看到 RAID 的存储盘已经增加了一个了 由 3 个变成了 4 个 但注意这里的一条信息 Array Size 4191232 4 00 GiB 4 29 GB 虽然我们已经加入了一块硬盘 但此 RAID 的空间 并没有增大 下面就是要把 RAID 的空间扩展 resize2fs dev md5 先来看看这个 md5 里面的数据 root yufei ls mnt lost found testfile1 testfile2 root yufei resize2fs dev md5 resize2fs 1 41 12 17 May 2010 Filesystem at dev md5 is mounted on mnt on line resizing required old desc blocks 1 new desc blocks 1 Performing an on line resize of dev md5 to 1571712 4k blocks The filesystem on dev md5 is now 1571712 blocks long root yufei mdadm D dev md5 dev md5 Version 1 2 Creation Time Tue May 31 20 21 36 2011 Raid Level raid5 Array Size 6286848 6 00 GiB 6 44 GB Used Dev Size 2095616 2046 84 MiB 2145 91 MB Raid Devices 4 Total Devices 5 Persistence Superblock is persistent Update Time Tue May 31 20 26 15 2011 以下省略 这时候 我们就看到 Array Size 6286848 6 00 GiB 6 44 GB 就增加了 2G 了 root yufei ls mnt lost found testfile1 testfile2 而且里面的数据也是正常的 开机挂载 RAID 设备 为了下次开机还能正常使用我们的 RAID 设备 我们还需要做以下事情 1 把挂载的信息写入 fstab root yufei vim etc fstab 加入下面的内容 dev md5 mnt ext4 defaults 0 0 root yufei mount a 没有错误 那说明我们没有写错哦 2 把我们的 RAID 信息写入配置文件 我们先看一下 etc mdadm conf 文件的内容 root yufei cat etc mdadm conf mdadm conf written out by anaconda MAILADDR root AUTO imsm 1 x all 里面已经有了一些内容 但没有 RAID 的相关信息 所以我们要把 RAID 的相关信息写入此文 件中 否则在下次开机 RAID 设备就不起作用了 root yufei mdadm D s etc mdadm conf root yufei cat etc mdadm conf mdadm conf written out by anaconda MAILADDR root AUTO imsm 1 x all ARRAY dev md5 metadata 1 2 spares 1 name yufei 5 UUID 69443d97 7e32415d 7f3843c5 4d5015cf RAID 信息已经写入了 注意 如果系统中有多个 RAID 的话 此命令会把系统中所有的 RAID 信息全部收集并写入此文件 所以 当用 来追加内容的时候 你可能需要根据情况来修改 3 重新启动系统测试看是否成功 重新启动后 查看内容 root yufei df Filesystem 1K blocks Used Available Use Mounted on dev sda1 15118728 7015236 7335492 49 tmpfs 255784 0 255784 0 dev shm dev md5 4125376 73720 3842096 2 mnt root yufei ls mnt lost found testfil1 testfil2 一切正常 RAID 设备的删除 这个在网上很多的资料都不是正确的移除方法 今天我就给大家详细说一下 网上很多教程一般都是这样的步骤 umount 卸载 RAID 设备 编辑配置文件包括 etc mdadm conf etc fstab 停止 RAID 设备 mdadm S dev md5 到这里就结束了 如今在 RHEL6 的系统上 你会发现仅上面的步骤是完全不行的 RHEL6 系 统重新启动后 他会自动创建 dev md127 这里不同级别数字会不同 这样的文件 而且以前 在 RAID 里面的设备 你是不能使用的 如果你遇到这样的情况的话 就说明我们做的 RAID 没有彻底删除 那么下面就看看我是如何实现彻底删除的 1 umount 卸载 RAID 设备 root yufei umount dev md5 2 停止