凝思多路径软件multipath用户指南

关于本文档本文档介绍了凝思磐石关于本文档本文档介绍了凝思磐石安全操作系统读者对象文档约定等宽字体（constantwidth）等宽斜体（constant文件名、L斜体粗体Page2of文档修改记录Page3of1C2012-12-2M2013-12-3M2014-5-4文档修改记录Page3of1C2012-12-2M2013-12-3M2014-5-4 前 概 软件简 功能特 运行环 前 概 软件简 功能特 运行环 多路径软件安 多路径软件命 multipathd命令－多路径后台进 multipath命令－路径查看和配置命 kpartx命 多路径软件配 配置文件概 配置－设备黑名 根据WWID将设备列入黑名 根据设备名称将设备列入黑名 根据设备类型将其列入黑名 黑名单之外的设 配置－默认属 配置－多路径属 配置－设备属 多路径与逻辑卷管 多路径软件使用实 安装并配置多路径软 安装并配置逻辑卷管理软 测试多路径数据写 日常管理和问题解 可用于故障诊断的多路径交互式控制 dmsetup命令查看设备信 多路径软件配置queue_f_no_ph属性问 术 Page4of11的SAN环境，或者由iSCSIIPSAN环境，由于主机和存储通过了光纤交换机或者多块网卡及IP来连接，这样的话，就构成了多对多的关系。也就是说，主机到存储可以有多在SAN环境下，每个主机到所对应的存储可以经过多条不同的路径，这大大提高了如果多条路径同时工作时，I/O流量可以分担到多条路径，工作效率要比单一路径高。的话，I/O流量具体该如何分配？如果其中一条路径坏掉了，具体该如何处理？还有在操作Page5of22.1软件简介图1是服务器中有两个HBA（主机总设备有四条路径。HBA卡、交换机、22.1软件简介图1是服务器中有两个HBA（主机总设备有四条路径。HBA卡、交换机、Page6of主机适配器1服务器主机适配器 控制器 阵 控制器2是一个复杂的多路径组图3是另一个典型的多路径Page7of主机适配器服务主机适配器光纤交换控制器磁盘控制器2是一个复杂的多路径组图3是另一个典型的多路径Page7of主机适配器服务主机适配器光纤交换控制器磁盘控制器 2.2功能特点 2.2功能特点 I/O负载 2.3运行环境Page8of3多路径软件安装软件安装包列表3多路径软件安装软件安装包列表157158163行前面的注释符号"#"(目录内的multipath.conf.linx是已经去掉158sda和sdb，则加入：devnode"^sd[a-b][[0-9]*]"5、启动multipathdPage9ofmultipathv2(multipathv3，v3会打印更详细的输出cp/etc/multipath.conf.annotatedmodprobedm-pkgaddlvm2#2.02.62-x86_64-linx-pkgaddmultipath-tools#0.4.8-x86_64-linx-multipath-tools#0.4.8-x86_64-linx- ls kpartx-a/dev/mpath<n>#<n>用具体的数字替 ls 12、在对应运行级中创建multipathd的连接，使该守护进程开机自启动-/依赖于multipath的正常启动和识别，所以需要在heartbeat服务启动前将multipath启动并正看i/o负载应当被分担在多条路径，并在拷贝过程中移除服务器上的一条光纤，当文件拷贝Page10of4多路径软件命令可以用WWIDWWID4.14多路径软件命令可以用WWIDWWID4.1multipathd命令－多路径后台进程4.2multipath命令－路径查看和配置命令Page11ofmultipath[-vverbosity][-d][-h|-l|-ll|-f|-t|-F][-pfailover|multibus|group_by_serial|group_by_prio|group_by_node_name][device]multipathd-d表示该进程在前台运行，便于输出信息-k表示进入交互模式，进入后输入help可显示可用的交互命令，CTRL-D退出#/lib/udev/scsi_id-g-u-s/block/sdbRocky#/lib/udev/scsi_id-g-umultipathllPage12multipathllPage12ofmpathe(360060e801013b430058b3b1300000003)dm-3mpathe是在/etc/multipath.conf(360060e801013b430058b3b1300000003)表示设备的dm-3是sysfs中的名hd1102:~#multipath-mpathe(360060e801013b430058b3b1300000003)dm-3[size=3.1T][features=1\_round-robin0\_1:0:0:3sdg8:96\_6:0:0:3sdi8:128\_round-robin0\_6:0:1:3sdm8:192\_1:0:1:3sdq65:0-vn指定信息输出级别，0表示无输出，1表示只输出多路径的名字，通常该路径可用于kpartx的输入，大于等于2表示显示所有信息，包括路径、设备映射、组信息。-h显示帮助信息-d表示测试运行，将不会创建或更新设备的映射关系-l显示当前多路径拓扑信息，信息只来自于sysfs和devicemapper-ll显示当前多路径拓扑信息，该信息最完整-f清理指定的未使用的多路径设备映射，取消解析该多路径，不删除该设-t显示内置的硬件配置信-p指定组策略，详细请参考表5-1中的path_grouping_policy属性ready:表示ready:表示路径是正常的，能处理I/O请求。ghost:表示路径是一个被动配置的路径。shaky:表示路径是正常的，但暂时不能进行I/O请求Page13of[size=3.1T]表示dm-3这个设备的大小，[hwhandler...]表示硬件的处\_round-robin0round-robin0prio=2表示路径组的优先\_1:0:0:3sdg8:96sdg8:96分别表示Linux的设备名字和设备主:次编号active表示映射路径状态ready表示物理路径状enabledactiveready状态时，I/O将会发到处于enabled状态的路径组中，存在一个或者多个这个状态的路径组。disabledactiveenabledready4.3kpartx命Page14ofkpartx[-a|-d|-l][-v]-a增加分-l列出可增加的分区-p设定设备名字和分区数字间的分隔符5多路径软件配置/etc/multipath.conf包含了多路5多路径软件配置/etc/multipath.conf包含了多路目录/usr/share/doc/multipath-tools还可以在配置文件中添加默认不支持的存储阵列。本章详细描述multipath.conf文件内－－－－在多路径配置文件中，您只需要指定所需要的配置，或者您想要修改的在multipath.conf.defaults文件中指定的默认值。如果文件中有和您的环境不相关的部分或者您配置文件的注释版本请参考/usr/share/doc/multipath-tools/multipath.conf.annotated5.1配置文件概述Page15of 单独设置各个多路径属性的区域，这些数值覆盖了在配置文件的defaults和devices部defaults然后才是多路径系统默认设置。也就是一个属性在defaults区域，multipaths区域，devices multipaths区域>devices区域>defaults区 Page16of<section><attribute><subsection><attribute>}}5.2配置－设备黑名单单中的设备将无法分组到多路径设备中。下的属性结构和根据5.2配置－设备黑名单单中的设备将无法分组到多路径设备中。下的属性结构和根据WWID，如第5.2.1节“根据WWID将设备列入黑名单”所述根据设备名称，如 根据设备类型，如 注释出来也是如此，详情请参考 Page17of{devnodewwiddevice{}…device}}5.2.1根据WWID将设备列入黑名单5.2.1根据WWID将设备列入黑名单名单的行，WWID的获取方法参考第四章节多路径软件命令。5.2.2根据设备名称将设备列入黑名单备列入黑名单的行，因为它的黑名单中有sd*设备。是指定具体类型的所有设备，我们不推荐使用后一种情况。除非根据udev规则的静态映blacklist_exceptions部分指定这些设备，如第6.2.4Page18ofblacklistdevnode"^(rm|r|p|f|m|m-|sscst)[0-blacklistdevnode"s[-}blacklistwwid}5.2.3根据设备类型将其列入黑名单5.2.3根据设备类型将其列入黑名单5.2.4黑名单之外的设备例如:如果您有大量设备，但只有WWID为3600d0230000000000e13955cc3757803需要多Page19ofblacklistwwid}blacklistdevicevendorproduct"3S42"#DS4200Product}devicevendor"HP"product"*"}}devnode"[-}当配置文件的blacklist_exceptions指定设备时，您必须以指定黑名单相同方法来指定例WWID当配置文件的blacklist_exceptions指定设备时，您必须以指定黑名单相同方法来指定例WWID关联也不行。同样，devnodedevnode条5.3配置－默认属性Page20of#defaults defaults }<属性名><属性值…<属性名><属性值}blacklist_exceptionswwid}要覆盖任意参数的初始值，您可以将这个模板中相关的行复制到defaults部分并取消其注释。例如：要覆盖path_grouping_policy参数以便用multibus覆盖默认的failover表要覆盖任意参数的初始值，您可以将这个模板中相关的行复制到defaults部分并取消其注释。例如：要覆盖path_grouping_policy参数以便用multibus覆盖默认的failover表5.1多路径配置－默认设置中参数列表”描述了在表5-1Page21of062径,polling_interval的四倍。生成udev设备节点的目录,默认值为/devdefaultss path_grouping_policymultibus} r "round-robin0" r#getuid_callout//udev/scs_d--whitelisted-- t k # s Page22of保存动态共享对象的目录。默认值依系统而定,通常为Page22of保存动态共享对象的目录。默认值依系统而定,通常为I/Oround-robin0failover:每个优先组有一个路径。multibusgroup_by_serialSCSI序列号（控制器节点全球编号）group_by_prio先级相同的路径在同一个组。优先级通过参数prio中的设group_by_node_name:每个目标节点名对应一个优先组。目标节点名取 这个默认值为failover默认值为/lib/udev/scsi_idgud该参数已废弃，用prioPage23ofconstPage23ofconst:为所有路径设定优先级1。emcEMC阵列生成路径优先级。aluaSCSI-3ALUAtpg_prefSCSI-3ALUA设置生成路径优先级,使用首选ontap:为NetApprdac:为LSI/EngenioRDAC控制程序生成路径优先级。hp_sw:为Compaq/HP控制程序在激活/等待模式中生成路hdsHitachiHDSModularrdm:返回随机优先级egtt:wegtpth<t|devam><regex1><<regex2><prio2>其中t是SCSIH：B：T：L格式，比如 "egtdphhtl1:.:.:.2:.:.:.4" queue_if_no_pathreadsector0:读取该设备的第一扇区。Page24oftur:在该设。Page24oftur:在该设备中执TESTUNITREADYemc_clariionEMCClariion具体EVPD0xCO以便hp_swActive/StandbyHP存储阵列检查路径rdac:为LSI/EngenioRDAC则必须确保任何时候都能和这个设备进行I/O操作。默认值为directio0或immediate立即进行故障恢大于0的数值表示等待多少秒后再进行故障恢默认值为manualrr_min_iopriorities，表示轮询调度切换下一个路径前分配I/O数量为路径优先级乘以rr_min_io。这样优先级高的路径将发送更多的IO，优先级底的就发送少的IO。如果该参数不设置，则IO数量就是rr_mini_io的设，5.4配置－多路径属性Page25ofmultipaths，5.4配置－多路径属性Page25ofmultipathsmultipathfail值表明立即失败，无需排队默认值为0。/etc/multipath/bindings为该多路径分配一个持久且唯一的别名，格式为mpath[n]。如果设定为no，即指定该系统应使用WWID作为该多路径的别名。在这两种情况下，您在这multipathd守护进程打开的打开文件说-/proc/sys/fs/nr_open中将其设定为系统限制。如果没有设定通常为1024。如果该数值大于1024，为安全起见，应将其表2“路径属性列表”列出来可设置的属性列表表表2“路径属性列表”列出来可设置的属性列表表为，符号名称为示例中第二个多路径设备的WWID为 321816758474，符号名称为red。Page26of指定多路径属性采用的多路径设备 wwid,必须指定使用multipath属性的多路径设备的符号名称。如果您使用user_friendly_names，请必要将其设定为mpath[n]，这参见表5-1中的path_grouping_policy参见表5-1sector参见表5-1中的flb5-1prio5-1no_path_retry参见表5-1中的rr_min_io参见表5-1中的rr_weght<属性名 <属性值}multipath<属性名 <属性值}}属性被设为5.5配置－设备属性设备属性被设为5.5配置－设备属性设备属性可以为每类设备进行属性设置，具体哪类设备由参数中vendor和确定。设备属性高于默认区域设置的属性，低于路径设置的属性。表“Page27of{{multipathsmultipath "round-robin }multipath }}ultipath.conf.defaults文件中。您可能不需要为这些设备修改默认值，但如果您想要修改默认为该设备复制multipath.conf.defaultsultipath.conf.defaults文件中。您可能不需要为这些设备修改默认值，但如果您想要修改默认为该设备复制multipath.conf.defaults文件中的设备配置默认值，并覆盖那些您想要更改的加参数。您可能想要将path_grouping_policy设为multibus。其它您可能需要设定的参数有no_path_retry和rr_min_io。详见表5.3。能改为不需要向路径发送I/O来测试其是否工作（否则，您的设备将一直进行出错冗余）功能。这几乎意味着您将path_checker设为tur。这对所有支持TestUnitReady命令的Page28of#cat<属性名字><属性值}device<属性名字><属性值}}表5-3Page29of{{表5-3Page29of{{1rdac：LSI/EngenioRDAC控制器的硬件处理程参见表5-1中的path_grouping_policy参见表5-1中的getuid_callout参见表5-1sector参见表5-1中的path_checker参见表5-1中的features5-1prio参见表5-1中的flb参见表5-1中的rr_weght5-1no_path_retry参见表5-1中的rr_min_ioPage30Page30ofproduct"HUS150"path_checkerturrr_weight}}6多路径与逻辑卷管理6多路径与逻辑卷管理示重要提示：多路径向外提供的设备都在/v/mar/目录下，因此其他程序如果要操作路径设备，应该使用/v/mapr目录下的设Page31ofkpartxadev/mapper/mpath[n]注：这里的mpath[n]用具体的设备名代替vgchange-ayfilter=["a|^/dev/mapper/.*|","r/.*/"types=["device-mapper",327多路径软件使用实例两台LenovoR680SilkWorm3250HUS150存储系7.1安装并配置多路径软件 pkgaddmultipath-tools#0.4.8-x86_64-linx- Page32ofdefaults{ k R680G7 R680G7 LenovoABAB7多路径软件使用实例两台LenovoR680SilkWorm3250HUS150存储系7.1安装并配置多路径软件 pkgaddmultipath-tools#0.4.8-x86_64-linx- Page32ofdefaults{ k R680G7 R680G7 LenovoABABPage33Page33of path_grouping_policyilvrsr_frin_msyes}blacklist{devnode"^sda$"}multipaths{wwidaliasmpathbpath_grouping_policyilvrpath_checkerturr "round-robin}multipathwwidaliasmpathcpath_grouping_policyilvrpath_checkerturr "round-robin}multipathwwidaliasmpathdpath_grouping_policyilvrpath_checkerPage34Page34ofr "round-robin}multipathwwidaliasmpathepath_grouping_policyilvrpath_checkerturr "round-robin}}{{#//厂商名 sbn/scsi_d-p0x80-gus/block/%n" #//选择那条路径进行下一个IOr "round-robin0" "/s/mpat_i_ua/dev/%n"k #//IOln-s/etc/init.d/multipathdln-s/etc/init.d/multipathd 7.2安装并配置逻辑卷管理软件 pkgaddlvm2#2.02.62-x86_64-linx- .Page35ofdevicesdir="/dev"scan=["/dev"]preferred_names=[filter=["a|^/dev/mapper/.*|","r/.*/"cache_dir=/tc/v/cache"cachf_fx=""write_cache_state=1types=["device-mapper",32sysfs_scan=_cpnet_detection=_ck_gmet= a_inmt= r_sspe_dvics=#//在 IO }}Page36Page36of}logverbose=syslog=overwrite=vl=indent=command_names=0prefix=" }backupbackup=backup_dir=//m/bcup"archive=1 "retain_min=10retain_days=}selhistory_size=}globalumask=tst=0units="h" activation= proc="/proc"PagePage37oflocking_type=wait_for_locks= flk_to_c_kng=1locking_dir="/ar/k/vm"prioritise_write_locks=1abort_on_internal_errors=}activationudev_sync=udev_rules=1 reserved_stack=256reserved_emory=process_priority=-mirror_region_size=512readahead="auto"mirror_log_fault_policy="allocate"mirror_image_fault_policy="rmov"}dmeventdmirror_liry=evmaer-event-m2mrrr.so" "}7.3测试多路径数据写入1）执行命令multipathll37.3测试多路径数据写入1）执行命令multipathll3）ddif=/dev/zeroof=/dbbak/testfilebs=1Mcount=100000行IO操作，如下所示。Page38ofavg- r %nice%system emount/dev/mapper/rocky_vg_dbbakhd1102:~#multipath-mpathe(360060e801013b430058b3b1300000003)m-3[sze=3.1T][res=1\_round-robin0]\_::sde ]\_:sdm8:192]\_round-robin0\_:::3sdi8:128c]\_::sdq ]multipathdisservicemultipathd/etc/init.d/multipathdiostat输iostat输出信息如下，sde路径同样也被删除从iostat和multipathllPage39of r %nice%systemot l : s - - hd1102:~#multipath-mpathe(360060e801013b430058b3b1300000003)m-3[sze=3.1T][res=1\_round-robin0]\_:sdm8:192]\_round-robin0\_:::3sdi8:128c]\_::sdq ] : s - - 8日常管理和问题解答8.1可用于故障诊断的多路径交互式控制台multipathd-k8日常管理和问题解答8.1可用于故障诊断的多路径交互式控制台multipathd-k命令可以进入多路径后台服务交互式控制台，这个交互式控制台有利于系8.2dmsetup命令查看设备信息dmsetup命令可以查看和操作多路径设备，比如dmsetupls命令可以查看路径属性信8.3多路径软件配置queue_if_no_path属性问题IOD状态，并且不能被杀死，直到至少有一条路径恢复了，被挂起的进程才可继续操作，其目的是保证了数据在故障恢复后，可继续进行IO，保证业务不Page40of9，Page41of1路服务器上一个HBA一个LUN9，Page41of1路服务器上一个HBA一个LUN的连接就是一条路径，一条路径2多路3路径path态，路径选择器决定组中的哪条路径可以进行下一个I/O请求I/O请求只发送到处于活动状态的路径。4路径优先path5路径组优pathgroup该路径组内所有不是faulty恩情况下，multipathd后台程序将会选择具有最高优先级的路6路径分组pathgrouping5-1的path_g