linux多路径配置.doc

测试步骤1.部署测试环境，主机上两块Emulex光线卡连接到光纤交换机，通过光纤交换机再连接到EMC CX存储，形成SAN拓扑结构。并划分1个100G的LUN分配给主机。9 5.8 SUSE99 SP1 5.9.29 SP3 5.9.49 SP4 6.12.主机安装操作系统（测试前准备），安装最新版的device-mapper-multipath软件包。通过device-mapper-multipath用户工具来验证多路径的负载均衡及路径失效切换功能：使用fdisk命令能看到系统识别出来的4个磁盘设备,这是多条路径得到的设备名，实际上指向存储上的同一个LUN，这说明红旗操作系统已经正确识别到了EMC CX存储划分出来的LUN，并为下一步多路径管理作准备。命令及输出如下：#fdisk -lDisk /dev/sdf: 103 GB, 107374182400 bytes64 heads, 32 sectors/track, 102400 cylindersUnits = cylinders of 2048 0* 512 = 107374182400 bytesDisk /dev/sdf doesnt contain a valid partition tableDisk /dev/sdh: 103 GB, 107374182400 bytes64 heads, 32 sectors/track, 102400 cylindersUnits = cylinders of 2048 0* 512 = 107374182400 bytesDisk /dev/sdh doesnt contain a valid partition tableDisk /dev/sdj: 103 GB, 107374182400 bytes64 heads, 32 sectors/track, 102400 cylindersUnits = cylinders of 2048 0* 512 = 107374182400 bytesDisk /dev/sdj doesnt contain a valid partition tableDisk /dev/sdl: 103 GB, 107374182400 bytes64 heads, 32 sectors/track, 102400 cylindersUnits = cylinders of 2048 0* 512 = 107374182400 bytesDisk /dev/sdl doesnt contain a valid partition table实际上这4个设备对应的是一个LUN，只是通过不同的路径看到的。3.启动多路径管理软件# modprobe dm-multipath （加载dm-multipath内核模块）说明：系统启动时缺省地不加载这个模块。如果应用部署需要，可以在系统启动时定制。# /etc/init.d/multipathd start （启动multipath daemon服务）# multipath v3 （装配多路径设备）# multipath -ll （显示当前多路径拓扑结构）3600601604b991100f4e5b5c83ef5da11size=100 GBfeatures=1 queue_if_no_pathhwhandler=1 emc_ round-robin 0 active_ 1:0:2:1 sdf 8:80 ready active_ 2:0:1:1 sdl 8:176 ready active_ round-robin 0 enabled_ 1:0:3:1 sdh 8:112 ready active_ 2:0:0:1 sdj 8:144 ready active这里的设备被分成了两组，实际上就是通过两个控制器看到的设备，其中一组的状态为active，表示这是当前的活动控制器。接下来的对设备的读写都会通过该控制器下的/dev/sdf和/dev/sdl来进行操作。而只有当active控制器发生了故障或者执行了Tresspass后才会启用目前处于enabled状态的控制器下面的设备/dev/sdh,/dev/sdj。后面的测试会来证实这点。4.在EMC CX存储上创建测试需要的分区#pvcreate /dev/dm-0 ( 创建物理卷）#vgcreate vgtest /dev/dm-0 （创建一个卷组）Volume group vgtest successfully created#lvcreate -L+50G -n lvtest1 vgtestLogical volume lvtest1 created5.负载均衡测试使用dd命令来对设备进行写操作，并同时通过iostat来查看I0状态，命令及输出如下：#dd if=/dev/zero of=/dev/vgtest/lvtest1 avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 3.47 48.51 47.52Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.00 0.00 0.00 0 0sdf 756.57 6044.44 0.00 5984 0sdh 0.00 0.00 0.00 0 0sdj 0.00 0.00 0.00 0 0sdl 334.34 2682.83 0.00 2656 0通过上述输出，我们看到，在对/dev/vgtest/lvtest1读写时，实际上是通过对/dev/md-0包含的当前active的所有设备，即/dev/sdf,/dev/sdl这2条路径来完成对实际的LUN的写过程。6.路径切换测试首先，我们拔掉服务器上A口的光纤线，经过不到10秒，我们看到：MPIO成功地从上述“失败”的路径/dev/sdl切换到了另外一条路径/dev/sdf上。其输出样本如下：iostat 1avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 6.47 46.77 46.27Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.98 0.00 7.84 0 8sdf 1709.80 13678.43 0.00 13952 0sdh 0.00 0.00 0.00 0 0sdj 0.00 0.00 0.00 0 0sdl 0.00 0.00 0.00 0 0接着，我们重新接入光纤线，这次也是不到10秒（此值可以设置），验证了路径“愈合”。其输出样本如下：iostat 1avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 3.48 48.76 47.26Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.00 0.00 0.00 0 0sdf 504.00 4024.00 0.00 4024 0sdh 0.00 0.00 0.00 0 0sdj 0.00 0.00 0.00 0 0sdl 594.00 4760.00 0.00 4760 0同样的测试结果可以在服务器上另外一块光纤卡上重现。7.控制器切换测试使用同样的方法，拔掉目前处于Active的EMC CX存储控制器上的一根光纤线，能够看到下面的输出：#iostat 1avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 6.47 46.77 46.27Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.98 0.00 7.84 0 8sdf 1609.80 13670.2 0.00 14972 0sdh 0.00 0.00 0.00 0 0sdj 0.00 0.00 0.00 0 0sdl 0.00 0.00 0.00 0 0从输出结果能够看出，路径也从失效的/dev/sdl切换到了/dev/sdf，和把掉一根连接到服务器上的光纤线上是同样的效果。接下来，我们重新插入光纤，不到10秒种，我们可以看到下面的输出信息#iostat 1avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 3.48 48.76 47.26Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.00 0.00 0.00 0 0sdf 504.00 4024.00 0.00 4024 0sdh 0.00 0.00 0.00 0 0sdj 0.00 0.00 0.00 0 0sdl 594.00 4760.00 0.00 4760 0这表明路径已经成功的愈合了。最后，我们同时拔掉目前处于active状态的控制器连接的光纤。大约10秒钟后，输出的信息如下：iostat 1avg-cpu: %user %nice %sys %iowait %idle 0.50 0.00 7.50 46.00 46.00Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsda 0.00 0.00 0.00 0 0sdf 0.00 0.00 0.00 0 0sdh 1910.00 15264.00 1552.00 15264 1552sdj 149.00 976.00 15024.00 976 15024sdl 0.00 0.00 0.00 0 0同时查看CX300的信息，发现CX300已经成功的执行了Tresspass，而这个功能的实现是通过系统自带的dm-emc.ko内核模块来触发CX300来执行的，这点和EMC的PowerPath软件达到的目的基本一致。同样的测试结果可以在第二个控制器上重现。测试结论根据以上的测试步骤和输出信息，能够得到以下