(完整版)多路径网络存储配置说明

1、多路径网络存储配置指南目录多路径网络存储配置指南11 准备工作22 安装配置target服务22.1 安装target软件22.2 配置target22.3 网卡设置22.4 启动target月服务32.5 查看target33 客户端软件安装配置43.1 安装iSCSIInitiator客户端43.1.1 安装43.1.2 设置运行级别：53.1.3 修改配置53.1.4 网络存储网卡配置53.1.5 创建接口文件63.2 安装配置multipath63.2.1 安装63.2.2 修改配置83.2.3 重启multipath94 硬盘使用94.1 侦测target94.2 设置启动自动连接9

2、4.3 重启iscsi查看磁盘104.4 固定multipath设备的命名104.5 分区并格式化114.6 挂载121准备工作多路径的支持准备工作：网卡：磁盘服务器配置两块以上网卡，提供多条链路来链接，这里配置了ethO:05,eth1:04防火墙：target用到的端口326O端口，需要打开326O端口。2安装配置target服务2.1 安装target软件查看磁盘服务器是否安装target软件# rpm-qscsi-target-utils如果没有安装，执行命令安装：# yum-yinstallscsi-target-utils2.2 配置ta

3、rget安装完成后配置target服务配置文件target的主配置文件为/etc/tgt/targets.conf# vi/etc/tgt/targets.conf在该文件最后添加如下配置<targetiqn.2O17-O6.dev.ruijie-xcache:iscsi1>backing-store/dev/sdd</target>说明：iqn.2017-06.dev.ruijie_xcache:iscsi1iqn.年份-月份.ruijie-xcache.设备识别backing-store/dev/sdd1添加的设备/dev/sdd，如果有多快设备则配置多条backi

4、ng-store。每个在同一个target上的backing-store称为逻辑单元号(LogicalUnitNumberLUN)。2.3网卡设置设置网卡的MTU值：#vi/etc/sysconfig/network-scripts/ifcfg-eth1添加如下值：MTU=90002.4启动target服务启动服务:# /etc/init.d/tgtdstart服务添加到开机启动：# chkconfigtgtdon查看启动# netstat-nltp|greptgtL：S?EXLISTTV1151t£dllzl.'tgidrDntftRG-PnwsrCacke_Xh匚m匚he

5、Titsta_-r_greptter000.0.C.0：32fi0；*tcp00:13260：*rootflRG-Powiertaicachels2.5查看target#tgt-admin-sHrkULULLDLL±lUUiiLilU1UNinformation；LUN：0Type：controllerSCSIID:IEI00010000SCSISN：besflOSize：0MB,Blocksize：1Online：YesRemovablemedia：NoPreven"remova_：NoReadonly：NoBackingstoretype：nullBack

6、ingstorepath：NoneBackingstorefla&3：LUN：1Type：diskSCSIID：IE!00010001SCSISN：befllSize：21468IB,Blocksize：E12Online:YesRemovablemedia：NoPreventremoval：NoReadonly：NoBackingstoretype:rdwrBackingstoreoath：dev/sddlBackingstoreflas：Accountinformation：ACLInformation：1HLUN0是控制器，可以看到各个LUN的大小和磁盘路径。看到如图：LUN：1

7、,LUN：2等，说明配置成功注：如果重新配置了target配置，需要重启服务器3客户端软件安装配置3.1安装iSCSIinitiator客户端3.1.1安装查看服务器是否安装iscsi-initiator软件#rpm-qinstalliscsi-initiator-utils如果没有安装，执行命令安装：#yum-yinstalliscsi-initiator-utils3.1.2设置运行级别：把iscsid和iscsi设置为开机启动：# chkconfig-level35iscsidon# chkconfig-level35iscsion3.1.3修改配置修改/etc/iscsi/initia

8、torname.iscsi文件，设置主机名InitiatorName=iqn.2017-06.ruijie.xcache:iscsi3.1.4网络存储网卡配置这里要确保设置网络存储的网卡可以ping通rDotEloGalhoat-#ping10.D0-L0一二4-IethlPING10.0Oil(10OrO.lOJfrLO.Or0.勺7ethl:56(841bvtesofdata.bytesEron10cOrlO：_seq=lDll=255匸iIfre=0«137ms£4byteafrcnio.a0.101iomp_seq-Sttl-255tize-0.139ms4byte

9、sfronioPo0P10：icw_sea=cttl=255tiire=0T125ms54bytes£ron10.cOrlO：lonp_se<i=4：Dll=255匸11££=0150ms-ICLOr0.10piner3T.ati5tic54packetsLraxLSinLLLedP4rec£ivelr0%pacletloss)LlrreSOOOinsrtt-min/avg/naj£./ndev-0P1260-138/0.150/0-038msrootlocalhost-4pinj10,0,0.10-c4-Ieth2pn-rsicBo.o

10、.to(ic.obqmiojroir.LOoO.o.95cLhi:5fenbymsdidatalOT0r0.10pingstatistics4packs匸3匸rirismlLLedf0rec£ivelr100packetloss,tlirelSOOdirsfrootlocalhost-=d=宕掉ethl后eth2立马就可以通，此时再启动ethl后ethl就不通了，ethl、eth2反过来测试结果每次只有一个IP会通，Linux默认启用了反向路由检查，我们只需要关闭反向路由检查即可。修改内核文件/etc/sysctl.conf# vi/etc/sysctl.conf# Controls

11、sourcerouteverificationnet.ipv4.conf.default.rp_filter=0net.ipv4.conf.all.rp_filter=0net.ipv4.conf.ethl.rp_filter=0net.ipv4.conf.eth2.rp_filter=0# sysctl-p3.1.5创建接口文件为MPIO创建接口文件刚刚在target服务器有两块网卡：ethO和ethl#iscsiadm-miface-Iieth0-onew#iscsiadm-miface-Iiethl-onew更新接口名称#iscsiadm-miface-Iieth0-op=update-

12、_ifacename-veth0#iscsiadm-miface-Iieth1-op=update-_ifacename-veth1可使得“iscsiadm-miface”命令查看状态。rootRG-PowerCa匚hm-Xiscsiadn一mifacedefaulttc©,<empty>,<empty>,<einpty>,<empty>iseriser,<empty>,<empty<empty>,<enrpty>ethOtcp,emptyx-,empty)-,ethO,empty)-iwlan

13、Otcp?Cempty,Empty，Cempty)-,empty)ethltop,<einpty>,(empty)-,eth1.<eHDtjr>3.2安装配置multipath3.2.1安装执行命令安装：#yum-yinstalldevice-mapperdevice-mapper-multipathdevice-mapper-libs-1.02.117-12.el6.x86_64device-mapper-event-1.02.117-12.el6.x86_64device-mapper-multipath-libs-0.4.9-100.el6.x86_64devic

14、e-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64device-mapper-multipath-0.4.9-100.el6.x86_64device-mapper-1.02.117-12.el6.x86_64device-mapper-event-libs-1.02.117-12.el6.x86_645/centos6.3_64/Packages/device-mapper-multipath-0.4.9-56.el6.x86_64.rpm/centos/6/os/

15、x86_64/Packages/device-mapper-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-event-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-event-libs-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/

16、Packages/device-mapper-libs-1.02.117-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64.rpm/centos/6/os/x86_64/Packages/device-mapper-multipath-0.4.9-100.el6.x86_64.rpm/centos/6/os/

17、x86_64/Packages/device-mapper-multipath-libs-0.4.9-100.el6.x86_64.rpm/centos/6/os/x86_64/Packages/kpartx-0.4.9-100.el6.x86_64.rpm/centos/6/os/x86_64/Packages/lvm2-2.02.143-12.el6.x86_64.rpm/centos/6/os/x86_64/Packages/lvm2-libs-2.0

18、2.143-12.el6.x86_64.rpmPackageArchVersionInstalldevicETiappennultipath?c86_640-.9-100.el6Updaiingihiifl-libsi86_642.02.143-12.el6InstallingFarle=!device-nager-uultigaih-libsi66_64Q.4.9-1.00-e16kpartxs86_640.4.9-100.e16UOidaiiEEfordependencies!devicETiappers86_64L02.117-12el6device-Bapper-eventxS664l

19、.QZ117-12.el6device-nap?er-event-1ibs谧_&4L02.117-12.elfidevic.e_naper11bzxS6_641.02.117-12.elBdevice-nagsr-persistenjt-dataxB6.64G.6.2-4).LrcLel£lvnfin8664202.U3-12elfi初始化DM#modprobedm-multipath#modprobedm-round-robin#servicemultipathdstart#multipath-v2/扫描磁盘设置为开机启动chkconfigmultipathdon3.2.2

20、修改配置配置文件样例在目录：/usr/share/doc/devicemapper-multipath-0.4.9/下执行命令生成配置文件：cp/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults/etc/multipath.conf修改配置文件：vi/etc/multipath.conf添加如下配置：defaultsudev_dirpath_grouping_policyfailbackno_path_retryuser_friendly_names设置黑名单/devmultibusimmediatefail

21、yes需要注意的问题，multipath也会为本地的磁盘生成相应的dm设备，所以需要在multipath.conf中将本地磁盘加入到黑名单，配置的方法可以参考下面的示例blacklistdevnode"Asda*"devnode"A(ram|raw|loop|fd|md|dm-|sr|scd|st)0-9*"wwid3600508e000000000dc7200032e08af0b可以根据devnode和wwid来配置wwid获取命令：scsi_id-g-u/dev/sde3.2.3重启multipath4硬盘使用4.1 侦测target这里通过两个接口

22、文件去侦测target，形成四条链路# iscsiadm-mdiscovery-tsendtargets-p192.1682205-Ieth2-Iethl# iscsiadm-mdiscovery-tsendtagets-p04-Ieth2-Ieth1说明：-mdiscovery/侦测target-tsendtargets/通过iscsi协议-pIP:port指定target的IP和port，不写port的话，默认为32604.2 设置启动自动连接查看目前系统上面所有的targetroot&RG-PowerCache-X#iscsiadm-mnode#iscsia

23、dm-mnode05192.168-2.2050404192.168-2.205050404厂e3260,1 iqn.2017-06.ruijie.冥cache:iEcsi13260,1 1qn.2017-06.ruijie.xcache:iscsn13260,1 1qn.2017-06.ruijie.xcache:iscsi13260,1 iqn.2017-06.ruijie.x匚ach巳：1占匚si13260j11qn.2017-06.ruijie.xcach

24、e:iscsn23260,1 1qn.2017-06.runjie.xcache:iscsi23260,1 iqn.2017-06.ruijie.xcache:iscsi23260,1 1qn.2017-06.ruijie.xcache:iscsi2设置自动连接命令：iscsiadm-mnode-TPORT-NAME-pPORT-IP-opupdate-nnode.startup-vautomatic说明：PORT-NAME：侦测到的target(iqn.2017-06.ruijie.xcache:iscsi1)PORT-IP:指定target的IP和port，不写port的话，默认为3260

25、4.3重启iscsi查看磁盘#serviceiscsirestart/重启#fdisk-1查看磁盘Disk/der/sdd：21.5GE,21467948544bytes255heads,63sectois-'track,2609cy_indersUnits=cylinderscf16065*512=8225280bytesSectorsize(_ogic&_/physica_):512bytes/ol2bytesI/Osize(minimLinv'optim£1):512bytes''512tiytmsDiskideatifier：0j&qu

26、ot;987a6addDeviceBootStartEndBlocksIdSystem/der/sddl126092095676183LinuucDisk/'dev/sde：21.5GE,21467948544bytes255heads,63sctois/track,2609cylindersUnits=cylinderscf160-65*612=8225280bytesSectorsize(logi匚巨l/phy占ical)：512bytes/512bytesI/Osize(minimLinv'optim£1):512bytes/512bytesDiskidenti

27、fir：OiSTaGaddDevit：EBootStartEndBlocksIdSystem/der/sdel126092095676183Linuuc4.4固定multipath设备的命名通过wwid和设备别名一一对应的方式固定multipath设备的名称，这些和别名对应的设备会被创建到/dev/mapper/目录下，使用时直接使用这个目录的的设备。1. 通过/etc/multipath/bindings可以获取所有磁盘的wwid，确定每个磁盘的别名之后，在/etc/multipath.conf中的multipaths段中加入相应的配置，2. 配置文件如下所示multipathsmultip

28、athwwid3600508b4000c3b910000c00000330000aliasdm0multipathwwid3600508b4000c3b910000c00000390000aliasdm13.配置完成之后，重启multipathd服务，使用下面的命令清空已有的multipath记录#multipath-F然后使用multipath-v2重新扫描设备，这时会在/dev/mapper/目录下生成和别名对应的设备文件。#ls/dev/mapper/controletlOleth02这时我们执行#multipath-l会看到相应的磁盘映射：rootRGPowerCache-Xoptmn

29、iltipath一1dnO(1IET00010001>dn-0IET,VIRIUAL-DISK3Lae=20GfeahwhandLer='O'wp=rvpoli匚"r'ciund-r口bl门01prio=0st&tus=a匚-4：Q：0：1sdd8：48failedundefunknown-3：Q：0：1sde8：64&ctiiveundeflinknownr口otRG-PowerCache-Xopt4这里我们可以看到sdd和sde两条链路设备整合为dm0设备执行fdisk-l可以看到设备dm0Diskdev/'mapperdm0

30、:21.5GE,2147948544bytes255heEds,63sectois/ti日ub2609cylinderUnits=cylindersof16065512=8225280bytesSectciirsize(Log'cal/phys'cal):512bytes/'512bytesI/Osize(miniimjnv'oiitljueI):512bytes/512bytesDiskidentifier：Ox4d39058e4.5分区并格式化1. 标记为物理卷在多路径设备创建后，我们就可以像使用实际的物理设备样使用多路径设备了。需要通过下面的命令将其标记为物理卷。pvcre