device mapper multipath配置指导书.doc

device mapper multipath配置指导书 缩略语清单DM-Multipath(Device MapperMultipath)Linux系统自带多路径LUN(Logical UnitNumber):逻辑单元号ALUA（Asymmetric Logical Unit Aess）非对称逻辑单元IALUA（Implicit AsymmetricLogical UnitAess）隐式ALUAEALUA（Explicit AsymmetricLogicalUnitAess）显式ALUA参考资料清单无。 Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第4页,共17页前言对于以下系统，可参照Red Hat系统进行处理。 ?Oracle Linux?Oracle VMServer?Asianux?Rocky4Rocky4.2.40系统自带DM-Multipath配置说明见3.6小节。 ?Kylin(NeoKylin)?XenServer?CentOS?Fedora?Scientific Linux对于以下系统，可参照Debian系统进行处理。 ?Ubuntu?Rocky6对于以下系统，可参考SUSE系统进行处理。 ?UVPDevice MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第5页,共17页1检查系统DM-Multipath1.1检查DM-Multipath是否正确安装执行rpm-qa|grep device-mapper命令。 查看系统是否安装或者装全DM-Multipath，特别关注multipath相关项。 注对于debian系统，使用deb安装包。 执行dpkg-l|grep multipath命令查询DM-Multipath是否正确安装。 例如，ubuntu的DM-Multipath包为multipath-tools。 若系统为SAN引导方式，要需要multipath-tools-boot包。 如图1-1所示，系统（Red Hat6.3）正确安装Device Mapper时，会有多个rpm包被安装到系统中，其中与Multipath相关的有两个（如图中红框内容）。 如果没有安装，或者安装不全，须先从系统安装源获取rpm安装包，进行DM-Multipath的安装。 图1-1Red Hat6.3DM-Multipath注1不同版本会有差异，以系统发布版本的实际情况为准。 例如，Red Hat5.7系统DM-Multipath的rpm包，如图1-2所示。 图1-2Red Hat5.7DM-Multipath注2SuSE系统multipath相关rpm包是multipath-tools-*.rpm。 例如，SuSE11SP1系统DM-Multipath的rpm包，如图1-3所示。 Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第6页,共17页图1-3SuSE11SP1DM-Multipath1.2查看DM-Multipath版本如1-1小节示例，图1-1中Red Hat6.3系统中DM-Multipath版本是0.4.9；图1-2中RedHat5.7系统中DM-Multipath版本是0.4.7；图1-3中SuSE11SP1系统中DM-Multipath版本是0.4.8。 1.3检查DM-Multipath配置文件查看系统中/etc/multipath.conf文件是否存在。 如果不存在，将/usr/share/doc/device-mapper-multipath-*/multipath.conf(Red Hat6.3)或/usr/share/doc/device-mapper-multipath-*/multipath.conf.synthetic（Red Hat5.7）或/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic(SuSE11SP1)或/usr/share/doc/multipath-tools/examples/multipath.conf.synthetic(ubuntu11.04)文件拷贝一份，文件命名为multipath.conf放置于/etc/目录下。 注上述加粗部分“*”表示相应DM-Multipath版本。 有些版本提供mpathconf命令，可以使用mpathconf-enable命令来创建配置文件。 1.4检查DM-Multipath服务multipathd是否开机启动执行chkconfiglist multipathd命令，查看multipathd服务是否开机启动。 Red Hat6.3系统查询结果如图1-4所示。 图1-4Red Hat6.3查询结果若multipathd在需要的启动级别未配置开机启动，执行chkconfig-level35multipathd on命令，设置multipathd服务开机启动。 注上述加粗的“35”表示系统启动级别3和5。 Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第7页,共17页2修改h DM-Multipath配置2.1修改multipath.conf文件1）执行vi/etc/multipath.conf打开配置文件，在文件的devices配置项中添加阵列相应配置。 具体配置内容见本小节后续内容。 Red Hat6.3系统对接S5500T阵列的示例配置，如图2-1所示。 图2-1Red Hat6.3对接S5500T阵列DM-Multipath配置基本配置项说明:1.vendor与product阵列信息，阵列相关；2.path_grouping_policy是路径分组策略配置，策略相关；3.getuid_callout获取lun wwn方法，系统相关；4.path_checker路径检查方法，策略相关；5.prio(或prio_callout)获取路径优先级方法，版本、策略相关；6.path_selector选路方法，策略相关；7.failback failback配置，策略相关；8.dev_loss_tmo fc超时配置，策略相关（dm-multipath低版本不支持）；注意:具体配置的说明,可参考随机文档multipath.conf.annotated确保multipath.conf配置文件中，blacklist配置项没有设置对阵列的屏蔽。 例如，在Red Hat5.7系统中，multipath.conf配置文件中，默认进行了如图2-2所示配置，屏蔽了所有的devnode。 需要将屏蔽设置注释掉，或者在blacklist_exceptions配置项中设置屏Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第8页,共17页蔽例外。 图2-2Red Hat5.7DM-Multipath默认配置2）配置修改完毕后，依次执行multipathFservice multipathdreloadmultipathv2命令，使配置生效。 注1/etc/multipath.conf文件修改后，需要执行service multipathdreload命令重新加载配置，否则更改不生效。 注2debian系统重新加载multipathd参数的命令为service multipath-tools reload。 注3若servie multipathdrload命令执行失败，请根据回显提示操作。 或使用multipathdreconfigure命令更新配置。 3）执行multipathll命令，查看修改效果。 Red Hat6.3系统对接S5500T阵列示例中，如图2-1的配置，查询结果如图2-3所示。 可以观察，阵列映射给主机有3个LUN，每个LUN有2条路径，每条路径通过alua获取到了不同的优先级。 例如虚拟LUN mpatha，两条路径的物理LUN是sdb、sdd，路径优先级分别是 50、10。 图2-3Red Hat6.3对接S5500T阵列DM-Multipath查询路径信息Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第9页,共17页2.1.1CentOS6.3对接阵列S5800T配置隐式ALUA配置#HUAWEIS5800T IALUA#devicevendorHUAWEIproductS5800Tpath_grouping_policy group_by_priogetuid_callout/lib/udev/scsi_id-whitelisted-device=/dev/%npath_checker turprioaluapath_selectorround-robin0failback immediate注1.本配置仅用于CentOS6.3系统对接S5800T阵列2.由于阵列与DM-Multipath对接，使用了IALUA配置，故须手动在阵列侧开启ALUA配置（非默认配置）。 操作方法在ISM界面上，对相应启动器配置ALUA。 详细说明，参见阵列ISM使用手册。 2.1.2NeoKylin AdvanceLinux ServerV5.6对接阵列18500配置devicevendorHUAWEIproductHVS85Tpath_grouping_policy multibusgetuid_callout/sbin/scsi_id-g-u-s/block/%npath_selectorround-robin0path_checker turfailbackimmediateDevice MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第10页,共17页2.2FAQ2.2.1如何获取阵列vendor及productvendor和product信息，依赖阵列的厂商和型号及固件版本。 方式一直接填写2.1小节中相应配置（经过测试无误的）。 方式二在DM-Multipath多路径可用，但尚未添加阵列专属配置前（确保配置文件blacklist列表未把阵列设置屏蔽），在阵列映射LUN给主机，在主机侧扫LUN成功后，会根据默认配置接管阵列映射的LUN。 执行multipathll可观察vendor及product信息。 此时，可与2.1小节中给出的vendor和product信息进行印证。 例如，在Red Hat6.3系统上，未添加如图2-1的配置前（示例系统默认配置），multipathll查看到的信息如图2-4所示。 图2-4查看阵列vendor及product方式三对于特定设备的vendor和product，可在文件/sys/block/device_name/device/vendor和/sys/block/device_name/device/model文件中找到。 其中，device_name是指磁盘设备，例如“sdb”、“sdc”。 执行如下命令可查看sdb设备的vendor和product信息。 cat/sys/block/sdb/device/vendorcat/sys/block/sdb/device/model2.2.2DM-Multipath可用的磁盘在哪里安装DM-Multipath的系统，允许使用的DM-Multipath虚拟盘盘符位于/dev/mapper/目录下。 例如，在Red Hat6.3系统上，使用如图2-1的配置，映射3个LUN时，DM-MultipathDevice MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第11页,共17页生成的虚拟盘符mpatha、mpathb、mpathc，如图2-5所示。 图2-5Red Hat6.3系统上DM-Multipath虚拟盘符参考图2-3，DM-Multipath虚拟盘mpatha对应有两条路径 4001、3001，两条路径上的物理盘符分别是sdb、sdd。 不同系统会有差异，以实际情况为准。 例如，在Red Hat5.7系统上，如图2-6所示。 图2-6Red Hat5.7系统上DM-Multipath虚拟盘符Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第12页,共17页3注意事项3.1集群应用若做集群应用，在无法确定应用是否可以自动处理盘符漂移时，DM-Multipath配置需要做盘符绑定处理，不同主机对应相同的LUN需要绑定相同的盘符。 盘符绑定的具体操作方法见附录A。 3.2DM-Multipath与UltraPath共存若DM-Multipath与自研多路径UltraPath同时存在于系统中时，修改配置文件/etc/multipath.conf屏蔽DM-Multipath对UltraPath虚拟盘的接管，应用直接使用UltraPath虚拟盘。 屏蔽盘符的具体操作方法见附录B。 3.3设备屏蔽若需要，请在/etc/multipath.conf文件的blacklist中，将所需要屏蔽的设备进行屏蔽（例如本地盘）。 3.4驱动超时参数3.4.1FC驱动若因FC驱动超时时间原因，导致IO failover时间过长，而不可接受，可通过调整fc remoteport的dev_loss_tmo参数进行改善。 方法一直接修改fc remoteport的dev_loss_tmo参数。 例如echo10/sys/class/fc_remote_ports/rport-*/dev_loss_tmo方法二对于高版本（0.4.8及以上）的DM-multipath，可在配置文件的device中，通过dev_loss_tmo参数对该属性进行配置，重新建立fc remoteport时，会使用新配置参数。 系统重启后，配置仍Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第13页,共17页旧有效。 例如devicevendor“HUAWEI”product“S5500T”dev_loss_tmo10注修改DM-Multipath的dev_loss_tmo参数，并重新加载配置后，参数即生效。 但不会影响已经建立的fc remoteport，若想对fc驱动即时生效，需要重新建立所有fc remoteport或修改fc remoteport的超时参数。 3.4.2ISCSI驱动若因ISCSI驱动超时时间原因，导致IO failover时间过长，而不可接受，可通过调整ISCSI的node.session.timeo.replacement_timeout参数。 例如把ISCSI配置文件/etc/iscsi/iscsid.conf中的node.session.timeo.replacement_timeout参数，修改为5。 修改后需要删除已经建立的node，并重新discovery.Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第14页,共17页附录A Ah DM-Multipath盘符绑定在配置了user_friendly_names参数为yes时，绑定物理LUN对应DM-Multipath盘符的方法有两种。 方法一在/etc/multipath.conf文件中的multipath配置项中添加绑定信息。 执行service multipathdreload命令，使配置生效。 如图2-2所示，若要把阵列LUN与DM-Multipath盘符mpath*的对应关系固定下来，需要在multipath.conf文件中添加的配置信息，如图A-1所示。 图A-1DM-Multipath盘符绑定注阵列LUN对应wwid的获取执行multipathll会看到阵列所有映射LUN的信息中有wwid，如图2-3所示。 方法二在/var/lib/multipath/bindings文件中，保存有wwid和alias的对应关系。 保持所有机器该文件内容一致。 注bindings文件需要在系统启动就加载的目录下，可通过binding_file参数设置。 Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第15页,共17页附录B Bh DM-Multipath磁盘屏蔽在/etc/multipath.conf文件，blacklist配置项中添加磁盘屏蔽信息；blacklist_exceptions配置项中设置屏蔽例外。 执行service multipathdreload命令，使配置生效。 1）屏蔽所有UltraPath生成的虚拟盘例如，在以上示例的Red Hat6.3系统中，同时安装了DM-Multipath和UltraPath。 DM-Multipath会接管UltraPath生产的虚拟盘。 UltraPath（以R5C01版本为例）虚拟盘信息，如图B- 1、B-2所示，UltraPath生产虚拟盘sdb、sdc、sdd。 DM-Multipath接管UltraPath虚拟盘，如图B-3所示。 图B-1UltraPath VLUN信息图B-2SCSI信息图B-3DM-Multipath查询信息Device MapperMultipath配置指导书文档密级xx-3-18华为机密，未经许可不得扩散第16页,共17页在配置文件multipath.conf中，添加配置信息，屏蔽所有UltraPath产生的虚拟盘。 配置信息，如下blacklistdevicevendor“up”product“updisk”在配置文件的屏蔽列表中添加UltraPath虚拟盘的vendor ID和product ID。 添加配置后，效果如图B-4，与图B-3对比配置效果。 图B-4屏蔽UltraPat