Linux下多路径multipath配置文档和相关概念

1、Linux下多路径multipath配置文档和有关观点Linux下多路径multipath配置文档和有关观点12/12Linux下多路径multipath配置文档和有关观点一、什么是multipath一般的电脑主机都是一个硬盘挂接到一个总线上，这里是一对一的关系。而到了有光纤组成的SAN环境，因为主机和储存经过了光纤互换机连结，这样的话，就构成了多对多的关系。也就是说，主机到储存能够有多条路径能够选择。主机到储存之间的IO由多条路径能够选择。既然，每个主机到所对应的储存能够经过几条不一样的路径，假如是同时使用的话，I/O流量怎样分派？此中一条路径坏掉了，怎样办理？还有在操作系统的角度来看，每条

2、路径，操作系统会认为是一个实质存在的物理盘，但实质上不过通向同一个物理盘的不一样路径而已，这样是在使用的时候，就给用户带来了疑惑。多路径软件就是为认识决上边的问题应运而生的。多路径的主要功能就是和储存设施一同配合实现以下功能：故障的切换和恢复IO流量的负载平衡磁盘的虚构化二、为何使用multipath因为多路径软件是需要和储存在一同配合使用的，不一样的厂商鉴于不一样的操作系统，都提供了不一样的版本。而且有的厂商，软件和硬件也不是一同卖的，假如要使用多路径软件的话，可能还需要向厂商购置license才行。比方EMC企业鉴于linux下的多路径软件，就需要独自的购置license。此中，EMC供给

3、的就是PowerPath，HDS供给的就是HDLM，更多的储存厂商供给的软件，可参考这里。自然，使用系统自带的免费多路径软件包，同时也是一个比较通用的包，能够支持大多半储存厂商的设施，即便是一些不是有名的厂商，经过对配置文件进行稍作改正，也是能够支持并运转的很好的。请与IBM的RDAC、Qlogic的failover驱动划分开，它们都仅供给了Failover的功能，不支持LoadBalance负载平衡方式。但multipath依据选择的策略不一样，可支持多种方式，如：Failover、Multipath等。Failover的功能解说：平常地说，即当A无法为客户服务时，系统能够自动地切换，使B能

4、够实时地顶上持续为客户供给服务，且客户感觉不到这个为他供给服务的对象已经改换。这里的A和B能够存在于各样领域，但一般fail-over特指计算机领域的数据库、应用服务、硬件设施等的无效转移。三、multipath的构成我这里以红帽x86_64为例，固然版本比较老，但下边的配置方式基本合用后边的所有版本。引用#cat/etc/redflag-releaseRedFlagDCServerrelease5.0(TrinitySP2)#uname-aLinuxlocalhost.localdomain2.6.18-164.el5#1SMPTueAug1815:51:48EDT2009x86_64x86

5、_64x86_64GNU/Linux#rpm-qa|grepdevice这些是需要安装的安装包，假如没有安装需要到安装光盘中rpm-ivhdevice-mapper-*将以上这些包所有安装chkconfig-list|grepmultipathmultipathd0:封闭1:封闭2:封闭3:封闭4:封闭5:封闭6:封闭#chkconfigmultipathdon可见，一套完好的multipath由下边几部分构成：1.device-mapper-multipath供给multipathd和multipath等工具和multipath.conf等配置文件。这些工具经过devicemapper的io

6、ctr的接口创立和配置multipath设施（调用device-mapper的用户空间库。创立的多路径设施会在/dev/mapper中）；2.device-mapperdevice-mapper包含两大多半：内核部分和用户部分。内核部分由device-mapper核心（multipath.ko）和一些targetdriver（dm-multipath.ko）构成。dm-mod.ko是实现multipath的基础，dm-multipath实质上是dm的一个target驱动。核心达成设施的映照，而target依据映照关系和自己特色详细办理从mappereddevice下来的i/o。同时，在核心部分

7、，供给了一个接口，用户经过ioctr可和内核部分通讯，以指导内核驱动的行为，比方怎样创立mappereddevice，这些device的属性等。用户空间部分包含device-mapper这个包。此中包含dmsetup工具和一些帮助创立和配置mappereddevice的库。这些库主要抽象，封装了与ioctr通讯的接口，以便方便创立和配置mappereddevice。device-mapper-multipath的程序中就需要调用这些库；3.scsi_id其包含在udev程序包中，能够在multipath.conf中配置该程序来获取scsi设施的序号。通过序号，便能够判断多个路径对应了同一设施。

8、这个是多路径实现的重点。scsi_id是经过sg驱动，向设施发送EVPDpage80或page83的inquery命令来查问scsi设施的表记。但一些设施其实不支持EVPD的inquery命令，所以他们无法被用来生成multipath设施。但能够改写scsi_id，为不可以供给scsi设施表记的设施虚构一个表记符，并输出到标准输出。multipath程序在创立multipath设施时，会调用scsi_id，从其标准输出中获取该设施的scsiid。在改写时，需要改正scsi_id程序的返回值为0。因为在multipath程序中，会检查该直来确立scsiid能否已经成功获取。四、配置multipa

9、th原理看了一堆，实质配置仍是比较简单的。配置文件只有一个：/etc/multipath.conf。配置前，请用fdisk-l确认已可正确辨别盘柜的所有LUN逻辑单元号，HDS支持多链路负载平衡，所以每条链路都是正常的；而假如是近似EMCCX300这样仅支持负载平衡的设施，则冗余的链路会出现I/OError的错误。multipath.conf的配置参数、默认值，可参照：1、编写黑名单默认状况下，multipath会把所有设施都加入到黑名单（devnode*），也就是严禁使用。所以，我们第一需要撤消该设置，把配置文件改正为近似下边的内容：vim/etc/multipath.confdevnode

10、_blacklist#devnode*用#将此行说明掉devnodehdawwid3600508e000000000dc7200032e08af0b这里严禁使用hda，也就是光驱。此外，还限制使用当地的sda设施,这个wwid，可经过下边的命令获取：scsi_id-g-u-s/block/sda3600508e000000000dc7200032e08af0b2、编写默认规则不一样的device-mapper-multipath或操作系统刊行版，其默认的规则都有点不一样，以RedHatx86_64为例，其path_grouping_policy默认为failover无效转移，也就是主备的方式。

11、这显然不切合我们的要求。（HDS支持多路径负载平衡，EMCCX300等只支持Failover）。所以，我们需要改正默认的规则：defaultsudev_dir/devpath_grouping_policymultibusfailbackimmediateno_path_retryfailuser_friendly_nameyes重点是path_grouping_policy一项，其余选项可参照说明文档。3、启动服务及生成映照modprobedm-multipathservicemultipathdrestartmultipath-v04、查察复合后的设施#multipath-ll会看到近似下

12、边的信息：mpath0(360060e80058e980000008e9800000007)size=20GBfeatures=0hwhandler=0_round-robin0prio=1active_3:0:0:7sdaa65:160activeready_round-robin0prio=1enabled_4:0:0:7sdas66:192activeready_round-robin0prio=1enabled_5:0:0:7sdbk67:224activeready_round-robin0prio=1enabled_2:0:0:7sdi8:128activeready这说明，已由四

13、条链路sdaa/sdas/sdbk/sdi复合成一条链路，设施名为mpath0。状态正常的话，把multipathd设置为自启动：chkconfigmultipathdonmkdir/oradatamkfs.ext3/dev/mapper/mpath0mkfs.ext3/dev/mapper/mpath1#blkid/dev/mapper/mpath0生成该储存设施的UUID#blkid/dev/mapper/mpath1#vim/etc/fstab(改正该配置文件并增添以下)UUID=47931c90-140b-45fe-9dfa-5a0f56810db3/oradataext3defaul

14、ts00保留退出#mount-a注意：要使用哪块储存设施就在fastab里面挂载就能够了5、使用mpath设施用multipath生成映照后，会在/dev目录下产生多个指向同一条链路的设施：/dev/mapper/mpathn/dev/mpath/mpathn/dev/dm-n但它们的根源是完好不一样的：/dev/mapper/mpathn/dev/mpath/mpathn是multipath虚构出来的多路径设施，我们应当使用这个设施；是udev设施管理器创立的，实质上就是指向下边的dm-n设施，仅为了方便，不可以用来挂载；/dev/dm-n是软件内部自己使用的，不可以被软件之外使用，不行挂载

15、。简单来说，就是我们应当使用/dev/mapper/下的设施符。对该设施即可用fdisk进行分区，或创立为pv。6、分区或创立lvm从前，我考虑到从系统iostat看到的都是dm-n的设施，所以向来都是直接对dm-n操作。但这会产生一个问题，就是无法分区。而对/dev/mapper/mpathn设施操作就没有这问题。只需要注意，用fdisk分区并保留后，一定刷新multipath的映照表，以便其创立分区对应的设施符，比如：#fdisk-l/dev/mapper/mpath0255heads,63sectors/track,26108cylindersUnits=cylindersof16065

16、*512=8225280bytesDeviceBootStartEndBlocksIdSystem/dev/mapper/mpath0p1126108209712478+83Linux#multipath-F#删除现有路径两个新的路径就会被删除#multipath-v0#格式化路径#ll/dev/mapper/mpath0p1brw-rw1rootdisk253,25月707:40/dev/mapper/mpath0p1相同的，mpathn或其分区都可用来做pv使用：pvcreate/dev/mapper/mpath0p1vgcreatetest/dev/mapper/mpath0p1lvcr

17、eate-L1g-nlv1testlvdisplaymkfs.ext3/dev/test/lv1注意：依据网上的资料，有部分multipath版本存在与lvm兼容的问题。详细表现是，使用device-mapper设施创立lvm达成，重启后，固然lvm仍存在，但/dev/mapper下的设施丢掉。为了防备可能的不测，建议仍是改正一下lvm的配置文件/etc/lvm/lvm.conf，加入：types=device-mapper,17、其余最简单的测试方法，是用dd往磁盘读写数据，而后用iostat察看各通道的流量和状态，以判断Failover无效转移或负载平衡方式能否正常：ddif=/dev/z

18、eroof=/dev/mapper/mpath0iostat-k2此外，假如是在由多台服务器建立集群环境中，为了让每台服务器识其余mpathn设施次序一致，需进行wwid的绑定工作，请参照后边“自定义设施名称”中的内容。五、答疑1、为何黑名单中不直接使用devnodesda呢？因为按Linux对设施的编号，当设施从sda到sdz时，后一个设施应当是sdaa。而multipath对黑名单的设置是以般配的方式进行的，也就是说，假如你设置为devnodesda，那么除了sda为，sdaa、sdab等的设施（通道）都会被加入到黑名单中，而严禁使用。自然，你也能够参照配置文件中的款式，以正规表达式的形式

19、进行描绘：devnodesda$。但考虑到每次重启后，udev分派的盘符可能都不一样（没有做udev绑定的状况），所以，我感觉以wwid的方式办理更靠谱。2、为储存定制特定的策略在前面的配置中，我们已经在/etc/mulitpah.conf中配置了多路径的默认path_grouping_policy为multibus。但有时，同一台机器上假如连结了一个以上的储存时，可能默认规则其实不完好合用。这时，我们能够给特定的储存定制多路径切合的策略。a、mulipath命令该命令供给了一个-p的参数，能够改正默认策略，参数有：-ppolicyforceallmapstospecifiedpolicy:f

20、ailover1pathperprioritygroupmultibusallpathsin1prioritygroupgroup_by_serial1prioritygroupperserialgroup_by_prio1prioritygroupperprioritylvlgroup_by_node_name1prioritygrouppertargetnode比如，履行：multipath-Fmultipath-pfailover-v0有以下结果：引用mpath18(360060e8010463ef004f2b79f00000006)size=320GBfeatures=0hwhandl

21、er=0_round-robin0prio=2active_5:0:0:6sdaf65:240activeready_4:0:0:6sdv65:80activeready_round-robin0enabled_2:0:0:6sdb8:16activeready_3:0:0:6sdl8:176activeready这说明，当你对mpath18设施读写时，sdaf、sdv会处于active状态，都有数据流，但sdb、sdl构成的链路是enabled，作为ready状况。这为Failover（主备）状况，仅当sdaf、sdv构成的链路出现问题时，才会切换到sdb、sdl的链路上。b、改正配置文件能

22、够在配置文件中为指定的储存定义策略。第一，能够用multipath-v3-ll看看储存的信息，比如，我这里的机器就同时连结了两个不一样的储存：=pathinfosdaa(mask0 x5)=bus=1dev_t=65:160size=10487040vendor=HITACHIproduct=OPEN-Vrev=6006h:b:t:l=2:0:1:24tgt_node_name=0 x50060e80058e9800pathchecker=readsector0(internaldefault)state=2uid=360060e80058e980000008e9800000058(cache

23、)=pathinfosdaf(mask0 x5)=bus=1dev_t=65:240size=671088640vendor=HITACHIproduct=DF600Frev=0000h:b:t:l=3:0:0:6tgt_node_name=0 x50060e8010463ef1pathchecker=readsector0(internaldefault)state=2uid=360060e8010463ef004f2b79f00000006(cache)默认状况下，multipath已经支持大多半常有的储存型号（可见），但不一样的multipath版本可能都有些不一样。这时，建议参照储存的

24、官方文档：devicesdevicevendorHITACHI/厂商名称productOPEN-V/产品型号path_grouping_policygroup_by_prio/默认的路径组策略getuid_callout/sbin/scsi_id-p0 x80-g-u-s/block/%n/获取唯一设施号使用的默认程序path_checkerpath_selectorprio_calloutreadsector0/round-robin/sbin/mpath_prio_alua0/决定路径状态的方法选择那条路径进行下一个IO操作的方法/dev/%n/获取有限级数值使用的默认程序failbackimmediatehardware_handler0/故障恢复的模式确认用来在路径切换和IO错误时，履行特定的操作的模块。no_path_retryqueue/在disablequeue从前系统试试使用失效路径的次数的数值rr_min_io100/在目前的用户组中，在切换到此外一条路径从前的IO恳求的数量千万不要写