Linux下配置磁盘阵列.doc

Linux下配置磁盘阵列提要：ATAE体系（基于OSTA2.0）支持的唯一的磁盘阵列型号为SUN3510。不同于AIX环境的7133磁盘阵列，通过主机对SUN3510配置比较复杂，本文说明如何在Linux环境下配置该磁盘阵列。?ATAE体系（基于OSTA2.0）支持的唯一的磁盘阵列型号为SUN3510。不同于AIX环境的7133磁盘阵列，SUN3510的配置比较复杂，本文说明如何配置该磁盘阵列。本文以配置有5块146GB硬盘的SUN3510磁盘阵列为例，说明配置过程。评论1.8 检查磁盘阵列中的卷组和逻辑卷 以root用户使用vgdisplay命令查看建立好的卷组的存储空间及状态： #vgdisplay datavg1 应当有类似如下的输出，表明正常： - Volume group - VG Name datavg1 VG Access read/write VG Status available/resizable VG # 0 MAX LV 256 Cur LV 50 Open LV 5 MAX LV Size 2 TB Max PV 256 Cur PV 1 Act PV 1 VG Size 150 GB PE Size 64 MB Total PE 7998 Alloc PE / Size 3542 / 110.38 GB Free PE / Size 4456 / 39.50 GB VG UUID zYwvZa-Ff3i-eC74-QHAb-UkCa-MGKw-1qmk9o 此时检查VG Size和规划的时候否一致，需要在主备机上分别执行。 1.7 创建磁盘阵列中的卷组和逻辑卷 根据3.6中的规划，我们在4.4.1小节创建了SUN3510磁盘阵列的分区并且映射到了主机上。下一步是将映射到主机上的磁盘设备建立为PV并进一步的建立VG。使用如下的命令在/dev/sdb的基础上建立pv： # pvcreate /dev/sdb 会有成功提示：Physical volume /dev/sdb successfully created #pvscan PV /dev/sdb lvm2 150.00 GB 这样pv就建立好了。 下面的步骤在pv的基础上建立vg。 # vgcreate datavg1 /dev/sdb 会有提示： Volume group datavg1 successfully created 使用命令vgscan列出卷组： #vgscan Reading all physical volumes. This may take a while. Found volume group datavg1 using metadata type lvm2 1.6 重新加载主备机的qla2300模块 Qla2300是linux下管理磁盘阵列的模块，需要重新加载来识别新的设备。 在主机和备机下都执行下面的操作： #rmmod qla2300 #rmmod qla2xxx #insmod /lib/modules/uname -r/kernel/drivers/scsi/qla2xxx/qla2xxx.ko #insmod /lib/modules/uname -r/kernel/drivers/scsi/qla2xxx/qla2300.ko 然后使用fdisk l命令可以看到我们映射的分区： #fdisk -l 会出现/dev/sdb和/dev/sdc设备，同时会出现如下的错误提示： Disk /dev/sdb doesnt contain a valid partition table 该错误提示是指该设磁盘设备没有建立分区表，不必理会，我们会在该设备的基础上建立pv。 列出在第4步中划分好的分区，并将其映射到通道: sccli show part LD/LV ID-Partition Size - ld0-00 65B13494-00 150.00GB ld0-01 65B13494-01 122.96GB sccli map 65B13494-00 channel 1 target 43 lun 0 该命令把ld0-00映射到信道1，target 43是信道1的PID值，lun编号从0开始。 sccli map 65B13494-01 channel 1 target 43 lun 1 还需要把partition映射到信道4上，供备机使用。 sccli map 65B13494-00 channel 4 target 44 lun 0 sccli map 65B13494-01 channel 4 target 44 lun 1 sccli show map Ch Tgt LUN ld/lv ID-Partition Assigned Filter Map - 1 43 0 ld0 65B13494-00 Primary 1 43 1 ld0 65B13494-01 Primary 4 44 0 ld0 65B13494-00 Primary 4 44 1 ld0 65B13494-01 Primary 1.5 映射分区到主机通道 回忆刚才我们在第一步连接磁盘阵列和主机章节中，把主机和备机分别连接到了信道1和信道4，我们在本小节需要做的就是把分好的partition映射到通道上。 首先，列出所有的信道： sccli show ch Ch Type Media Speed Width PID / SID - 0 Host FC(L) 2G Serial 40 / N/A 1 Host FC(L) 2G Serial 43 / N/A 2 Drive FC(L) 2G Serial 14 / 15 3 Drive FC(L) 2G Serial 14 / 15 4 Host FC(L) 2G Serial 44 / N/A 5 Host FC(L) 2G Serial 47 / N/A 6 Host LAN N/A Serial N/A / N/A 其中的0,1,4,5就是主机信道了。 如果列出的PID为N/A，可以通过下面的命令为其赋值，以channel1为例： sccli config channel 1 primary-id 43 在执行完cnfig channel之后需要重新启动控制器,使用下面的命令: sccli reset controler 1.4 划分分区 划分分区之前先要做一个规划，如何使用空间。按照3.6小节的规划，需要划分一个分区，大小为150G（供dbdaemon的数据库和二级缓存数据库使用）。命令如下： sccli show part LD/LV ID-Partition Size - ld0-00 65B13494-00 272.96GB sccli config part ld0-00 150gb 这将创建一个ld0-00的分区，并且余下的存储空间被自动放到ld0-01分区中。 sccli config part ld0-01 150gb sccli show part LD/LV ID-Partition Size - ld0-00 65B13494-00 150.00GB ld0-01 65B13494-01 122.96GB 这样，分区划分就完成了。 下面进行逻辑驱动器的划分： sccli show disk Ch Id Size Speed - 2(3) 0 136.73GB 200MB 2(3) 1 136.73GB 200MB 2(3) 3 136.73GB 200MB 2(3) 4 136.73GB 200MB 2(3) 5 136.73GB 200MB 创建Raid0+1需要四块磁盘，另外一块作为热备盘 sccli create ld raid1 2.0,2.1,2.3,2.4 primary global-spare 2.5 该命令使用show disk输出中的2.0(Ch.ID)，2.1，2.3，2.4建立一个raid0+1的磁盘阵列，并且把磁盘2.5作为热备盘。虽然我们指定的是raid1，但是如果磁盘的数目多于4块，则sccli会自动建立Raid0+1。 建完之后，可以使用show ld命令查看新建立的逻辑驱动器： sccli show ld LD LD-ID Size Assigned Type Disks Spare Failed Status - ld0 65B13494 272.96GB Primary RAID1 4 1 0 Good 可以看到存储的大小为272.96G，说明Raid0+1已经建立成功了。 进入sccli的命令行之后： 使用show disk命令查看是磁盘的状态： sccli show disk 列出的磁盘的Status状态应当是FMRT或者USED，说明其可用。 如果不是FMRT或者USED状态，则需要先删除已经存在的逻辑驱动器。使用下面的命令： sccli show map Ch Tgt LUN ld/lv ID-Partition Assigned Filter Map - 1 43 0 ld0 65B13494-00 Primary 1 43 1 ld0 65B13494-01 Primary 列出所有的分区到通道的映射，然后unmap所有的映射关系： sccli unmap 65B13494-00 然后删除逻辑驱动器： sccli show ld LD LD-ID Size Assigned Type Disks Spare Failed Status - ld0 65B13494 272.96GB Primary RAID1 4 1 0 Good sccli delete ld ld0 对于处于global-spare状态的磁盘，可以通过下面的命令将其恢复为可用状态，以磁盘2.5为例： sccli unconfigure global-spare 2.5 1.3 建立逻辑驱动器（Raid 0+1） 对磁盘阵列的操作要求安装SUNWsccli.rpm，该软件可以在短消息系统安装包中的0203Support/tools目录下找到。安装的命令为： #rpm -ivh SUNWsccli.rpm 安装完之后，直接敲入sccli命令，就可以看到类似如下的提示： # sccli sccli: selected device /dev/sg1 SUN StorEdge 3510 SN#098CC4 sccli 如果出现如下的提示： # sccli sccli: no manageable devices found sccli: Type sccli help for valid commands. 则说明sccli没有发现SUN3510磁盘阵列，在SuSE9下使用下面的命令重新发现磁盘阵列： #rmmod qla2300 #rmmod qla2xxx #insmod /lib/modules/uname -r/kernel/drivers/scsi/qla2xxx/qla2xxx.ko #insmod /lib/modules/uname -r/kernel/drivers/scsi/qla2xxx/qla2300.ko 然后在重新执行sccli命令。 在图中注意到：每个 RAID 阵列有六个光纤信道，默认设置为：信道 0、1、4 和 5 是连接到服务器的主机信道，可以重新分配为驱动器信道以连接到扩展单元。 信道 2 和 3 是专用的驱动器信道。 我们需要注意的是主机信道0、1、4、5，就是我们使用的可以连接到刀片机的光纤接口。信道0和5，信道1和4组成冗余路径，即映射到信道0的LUN同时也要映射到信道5，映射到信道1的LUN同时要映射到信道4。 我们把主控制器上（在磁盘阵列正面上面为主控制器，下部为从控制器）的信道1连接到双机环境的主机A上，把主控制器上的信道4连接到双机环境的备机B上。这样第一步就完成了。 根据图中的层次结构，即首先要创建logical driver，然后再创建partiton，然后将parttion映射到channel上，之后在主机上发现设备sdb，sdc等，最后是创建pv和vg。 配置步骤如下： 步骤1： 连接刀片机和磁盘阵列 步骤2： 建立逻辑驱动器（划分Raid0+1） 步骤3： 划分分区（partition） 步骤4： 映射分区到主机通道（channel） 步骤5： 重新加载主机的qla2300模块（以查找划分的分区） 1.1 配置预置条件 以下的硬件和软件是进行配置的必要条件： l ATAE刀片机（带光纤头），操作系统SuSE Linux 9 + SP2 l SUN3510 cli管理包sccli l SUN3510磁盘阵列 l 光纤线（至少两根） 在进行配置之前，先需要理解SUN3510到主机的结构体系： 1.1 配置预置条件 以下的硬件和软件是进行配置的必要条件： l ATAE刀片机（带光纤头），操作系统SuSE Linux 9 + SP2 l SUN3510 cli管理包sccli l SUN3510磁