EMC磁盘连接AIX的方法及多路径冗余软件POWERPATH安装、配置、测试报告

1、.EMC 磁盘连接 AIX 的方法及多路径冗余软件 POWERPATH 安装、配置、测试报告第一、 ODM 部分21.安装前准备工作2获取 EMC ODM文件22.安装配置过程23、安装后确认3第二、 POWERPATH 部分4准备工作4安装配置过程4性能测试工作54、 powermt 提供的其他功能245、测试环境拓扑图26第三、 Appendix ：28.第一、 ODM 部分1. 安装前准备工作说明：一般情况下， AIX 自带的 FC 驱动也可以让 AIX 正常识别出 EMC 的磁盘，但是会显示为 other FC disk 之类，这样 powerpath 是无法管理的，所以要加装 ODM

2、 。获取 EMC ODM文件1、 下载 EMC odm 文件，这是针对emc 在 aix 提供的驱动。下载地址：2. 安装配置过程1、 下载的文件类型这个名字：EMC.AIX..tar.Z ，通过 FTP 传到 AIX 上。使用 binary的方式传，否则无法解压。2、 gzip d，tar xvf 命令接包。3、 解包之后用installp 命令。4、 安装的时候重点先看看包里面的readme 文件，里面重点提到的是不管链接那种EMC设备都只能安装一种 support 软件，对于 symmetric 而言，只能安装如下 3 种文件的任意 1种。EMC Symmetrix FCP

3、 Support Software; IBM Fibre Channel driver support.EMC Symmetrix FCP MPIO Support Software; IBM default PCM MPIO support.EMC Symmetrix FCP PowerMPIO Support Software; PowerPath custom PCM MPIO support.（这次测试大部分时间都耗在这个问题上， 以前没有认真看 readme，把全部的都全部安装了。一旦把全部安装上， 根本无法识别 sysmmetrix 的盘，这样导致了后面的 powerpath 也就

4、无法做了费了 2 天时间啊。）5、 安装结果如下：# lslpp -l |grep EMC.*EMC.Symmetrix.aix.rteCOMMITTEDEMC Symmetrix AIX SupportEMC.Symmetrix.fcp.rteCOMMITTEDEMC Symmetrix FCP Support6、 如果 EMC 盘已经在系统上被识别出来了比如：# lsdev -Ccdiskhdisk0 Available 11-08-00-2,0 16 Bit LVD SCSI Disk Drivehdisk1 Available 11-08-00-4,0 16

5、 Bit LVD SCSI Disk Drivehdisk2 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk3 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk4 Available 3A-08-01MPIO Other FC SCSI Disk Drive.hdisk5 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk6 Available 3A-08-01MPIO Other FC SCSI Disk Drivehdisk

6、7 Available 3A-08-01MPIO Other FC SCSI Disk Drive使用了 aix 自带的驱动，会显示MPIO Other FC SCSI Disk Drive。7、 先删除掉这些hdisk 设备，然后重启AIX 。（疑问：应该不用重启，直接运行cfgmgr也可以把，但测试中发现确实重启才行）3、安装后确认1、 显示一下 disk 的名字即可# lsdev -Ccdiskhdisk0Available 11-08-00-2,0 16 Bit LVD SCSI Disk Drivehdisk1Available 11-08-00-4,0 16 Bit LVD SCS

7、I Disk Drivehdisk2Available 34-08-01EMC Symmetrix FCP Raid1hdisk3Available 34-08-01EMC Symmetrix FCP Raid1hdisk4Available 34-08-01EMC Symmetrix FCP Raid1hdisk5Available 34-08-01EMC Symmetrix FCP Raid1hdisk6Available 34-08-01EMC Symmetrix FCP Raid1hdisk7Available 34-08-01EMC Symmetrix FCP Raid1hdisk8

8、Available 34-08-01EMC Symmetrix FCP Diskhdisk9Available 34-08-01EMC Symmetrix FCP Raid1hdisk10Available 34-08-01EMC Symmetrix FCP Diskhdisk11Available 3A-08-01EMC Symmetrix FCP Raid1hdisk12Available 3A-08-01EMC Symmetrix FCP Raid1hdisk13Available 3A-08-01EMC Symmetrix FCP Raid1hdisk14Available 3A-08

9、-01EMC Symmetrix FCP Raid1hdisk15Available 3A-08-01EMC Symmetrix FCP Raid1hdisk16Available 3A-08-01EMC Symmetrix FCP Raid1hdisk17Available 3A-08-01EMC Symmetrix FCP Raid1.第二、 POWERPATH部分准备工作1. 获取 powerpath 安装文件到 下载即可。2. 获取 EMC support matrix到 的 E-Lab 按先导来操作Home > Support > Interoperability and

10、Product Lifecycle Information> E-Lab Interoperability Navigator安装配置过程1. 安装过程上面，然后解压之后使用installp 安装。2. 配置过程powermt config简单，一个命令即可powermt display dev=all显示 PATH# powermt config powerpath0 created# lspv(hdiskpower* 这个设备出现好像要延迟一点时间，不会马上出现， 网上还看到说1 天以后才出现的情况。估计是盘比较多，路径运算需要很多时间，此时连接拓扑如图1)hdisk0000a5e2

11、a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNone.hdisk6noneNonehdisk7noneNonehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdiskpower00

12、002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfcaNonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNone性能测试工作1. 基本功能测试1、 hdisk4 已经没有PVID ，尝试分配PVID ，竟然成功，并且也hdiskpower

13、设备重复# chdev -l hdisk4 -a pv=yes hdisk4 changed# lspvhdisk0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk40002530f757a532eNonehdiskpower10002530f757a532eNone2、参数在全部hdiskpower* 设备上面建立VG ，成功；# lsvg tttVOLUMEGROUP:tttVGIDENTIFIER:0002530f00004c000000011b7

14、60be4b3VG STA TE:activePP SIZE:16 megabyte(s)VG PERMISSION:read/writeTOTAL PPs:2064 (33024 megabytes).MAX LVs:256FREE PPs:2064 (33024 megabytes)LVs:0USED PPs:0 (0 megabytes)OPEN LVs:0QUORUM:5TOTAL PVs:8VG DESCRIPTORS: 8STALE PVs:0STALE PPs:0ACTIVE PVs:8AUTO ON:yesMAX PPs per PV: 1016MAX PVs:32LTG si

15、ze:128 kilobyte(s)AUTO SYNC:noHOT SPARE:noBB POLICY:relocatable2、 尝试在 hdisk 设备上建立 vg，竟然也成功，有点奇怪了，选择hdisk4 和 hdisk5 ，慢慢观察发现， 其实可以看到 hdiskpower1也已经 hdiskpower2 也已经连接到vg：ttt 了 ,也就是说选 hdisk 或者 hdiskpower 都可以，最后都会反映到hdiskpower 上。# mkvg -y ttt hdisk4 hdisk50516-1254 mkvg: Changing the PVID in the ODM.ttt#

16、 lsvg tttVOLUME GROUP:tttVG IDENTIFIER:0002530f00004c000000011b760ebd42VG STA TE:activePP SIZE:4 megabyte(s)VG PERMISSION:read/writeTOTAL PPs:1374 (5496 megabytes)MAX LVs:256FREE PPs:1374 (5496 megabytes)LVs:0USED PPs:0 (0 megabytes)OPEN LVs:0QUORUM:2TOTAL PVs:2VG DESCRIPTORS: 3STALE PVs:0STALE PPs:

17、0ACTIVE PVs:2AUTO ON:yesMAX PPs per PV: 1016MAX PVs:32LTG size:128 kilobyte(s)AUTO SYNC:noHOT SPARE:noBB POLICY:relocatable# lspvhdisk40002530f757a532etttactivehdisk50002530f757a64a6tttactivehdisk6noneNonehdiskpower00002530f757a406bNonehdiskpower10002530f757a532etttactivehdiskpower20002530f757a64a6t

18、ttactive2.测试路径（ path fail-over）的使用1、 在线添加一个路径（可以看到 1、 cfmgr 2 、 powermt config 3 、盘全部被正常识别，并且路径已经添加 ,链接情况由图 1 变成图 2，添加了 path3）.# cfgmgr -l fcs0# lspvhdisk0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNonehdisk6noneNonehdisk7noneNon

19、ehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdiskpower00002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfca

20、Nonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNonehdisk18noneNonehdisk190002530f757a406bNonehdisk200002530f757a532eNonehdisk210002530f757a64a6Nonehdisk220002530f757a9d86Nonehdisk230002530f757abfcaNonehdisk240002530f75b96e18None# powermt config# lspvhdis

21、k0000a5e2a167bccb3rootvgactivehdisk1000a5e2a16a41f2arootvgactivehdisk2noneNonehdisk3noneNonehdisk4noneNonehdisk5noneNonehdisk6noneNone.hdisk7noneNonehdisk8noneNonehdisk9noneNonehdisk10noneNonehdisk11noneNonehdisk12noneNonehdisk13noneNonehdisk14noneNonehdisk15noneNonehdisk16noneNonehdisk17noneNonehdi

22、skpower00002530f757a406bNonehdiskpower10002530f757a532eNonehdiskpower20002530f757a64a6Nonehdiskpower30002530f757a9d86Nonehdiskpower40002530f757abfcaNonehdiskpower50002530f759af8eeNonehdiskpower60002530f75b96e18Nonehdiskpower70002530f759b0cccNonehdisk18noneNonehdisk19noneNonehdisk20noneNonehdisk21non

23、eNonehdisk22noneNonehdisk23noneNonehdisk24noneNone# powermt display dev=allPseudo name=hdiskpower6 Symmetrix ID=6Logical device ID=0000state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk17FA4bAactivealiv

24、e010 fscsi0hdisk24FA5bAactivealive001 fscsi1hdisk9FA4aAactivealive00Pseudo name=hdiskpower0Symmetrix ID=6Logical device ID=0001state=alive; policy=SymmOpt; priority=0; queued-IOs=0=.- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk12FA4bAactivealive010 fs

25、csi0hdisk19FA5bAactivealive001 fscsi1hdisk3FA4aAactivealive00Pseudo name=hdiskpower1Symmetrix ID=6Logical device ID=0002state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk13FA4bAactivealive010 fscsi0hdis

26、k20FA5bAactivealive001 fscsi1hdisk4FA4aAactivealive00Pseudo name=hdiskpower2Symmetrix ID=6Logical device ID=0003state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk14FA4bAactivealive010 fscsi0hdisk21FA5bA

27、activealive001 fscsi1hdisk5FA4aAactivealive00Pseudo name=hdiskpower3Symmetrix ID=6Logical device ID=0004state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk15FA4bAactivealive010 fscsi0hdisk22FA5bAactiveal

28、ive001 fscsi1hdisk6FA4aAactivealive00Pseudo name=hdiskpower4.Symmetrix ID=6Logical device ID=0005state=alive; policy=SymmOpt; priority=0; queued-IOs=0 =- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk16FA4bAactivealive010 fscsi0hdisk23FA5bAactivealive001

29、 fscsi1hdisk7FA4aAactivealive00Pseudo name=hdiskpower5Symmetrix ID=6Logical device ID=0008state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=1 fscsi1hdisk8FA4aAactivealive00Pseudo name=hdiskpower7Symmetrix ID=6Logica

30、l device ID=0009state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=1 fscsi1hdisk10FA 4aAactive alive002、 把 path2 的光纤拔下，模拟生产中连接断开的情况# errpt |more（可以看到 fcs1 错误，链接的hdisk3 hdiak10 全部报错）IDENTIFIER TIMESTAMPT C RESOURCE_NA

31、MEDESCRIPTION3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk8CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk9CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF073107320

32、8 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk10CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk3CONNECTION FAILURE.3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIV

33、E516A2BC40731073208 P H hdisk4CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk5CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk6

34、CONNECTION FAILURE3074FEB70731073208 T H fscsi1ADAPTER ERROR3767AAFF0731073208 I HBACK-UP PATH INOPERATIVE516A2BC40731073208 P H hdisk7CONNECTION FAILUREB8113DD10731073208 T H fcs1LINK ERROR检查 powerpath 的路径， hdisk3 hdisk10对于的路径全部state成了 dead。# powermt display dev=allPseudo name=hdiskpower6 Symmetrix

35、 ID=6Logical device ID=0000state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk17FA4bAactivealive010 fscsi0hdisk24FA5bAactivealive001 fscsi1hdisk9FA4aAactivedead01Pseudo name=hdiskpower0Symmetrix ID=6Logi

36、cal device ID=0001state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk12FA4bAactivealive010 fscsi0hdisk19FA5bAactivealive001 fscsi1hdisk3FA4aAactivedead01Pseudo name=hdiskpower1Symmetrix ID=6Logical devic

37、e ID=0002state=alive; policy=SymmOpt; priority=0; queued-IOs=0.=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk13FA4bAactivealive010 fscsi0hdisk20FA5bAactivealive001 fscsi1hdisk4FA4aAactivedead01Pseudo name=hdiskpower2Symmetrix ID=6Logical device ID=000

38、3state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk14FA4bAactivealive010 fscsi0hdisk21FA5bAactivealive001 fscsi1hdisk5FA4aAactivedead01Pseudo name=hdiskpower3Symmetrix ID=6Logical device ID=0004state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host - Stor - I/O Path - Stats -# HW PathI/O PathsInterf.ModeStateQ-IOs Errors=2 fscsi2hdisk15FA4bAactivealive010 fscsi0hdisk22FA5bAactivealive001 fscsi1hdisk6FA4aAactivedead01Pseudo name=hdiskpower4S