Centos网络Team 桥接Bridge配置和排错

Centos网络Team+桥接Bridge配置和排错

第1章引言

在数据中心DC-center中，服务器利用多网口做聚合是必不可不的一步。Centos7

开始采用网络络Team的概念，相较于网络绑定Bonding更具优势。对比如下：

功能绑定成组

多播Tx策略是是

轮询Tx策略是是

activc-backupTx策略是是

LACP(802.3ad)支持是（仅适用于passive）是

基于哈希字符的Tx策略是是

用户可设定哈希功能否是

Tx负载平衡支持（TLB）是是

LACP哈希端口选择是是

用于LACP支持的负载平衡否是

Ethtool链接监控是是

ARP链接监控是是

NS/NA(IPv6)链接监控否是

端口启动/断开延迟是是

端口优先权及粘性（“主要”选项加强）否是

根据端口链接进行独立监控的设置否是

多链接监控设置有限监控是

无锁Tx/Rx路径56(rwlock)有(RCU)

VLAN支持是是

用户空间运行时控制有限监控全面控制

用户空间逻辑否是

延展性困难容易

第1页共16页

模块设计否是

性能开销低非常低

D-Bus接口否是

多设备堆叠是是

使用LLDP进行零配置否（计划中）

NetworkManager支持是是

第2章网络组Teaming设置

RedHatLinux7/Centeos7推荐采用Teaming方式进行服务器端口聚合。网络成组

或成组旨在通过提供小内核驱动程序，以便使用不同的方法应用这个概念，实现

数据包流的快速处理，并让各种用户空间应用程序在用户空间执行各种任务。

2.ITeam的五种模式

broadcast（可将数据传送到所有端口）

round-robin（可按顺序将数据传送到所有端口）

active-backup（使用一个端口或链接时其他则处于备用状态）

loadbalance（使用主动Tx负载平衡及基于BPF的Tx端口选择程序）

lacp（采用802.3ad链接合并控制协议）

此外还可使用以下链接监视程序：

ethtool（Libteamlib使用ethtool监视链接状态变化）。若没有在配置中指

定其他链接监控程序，则默认使用该程序。

arp_ping（使用arp_ping程序监控使用ARP数据包的远端硬件地址状态。）

nsna_ping（使用IPv6邻居发现协议中的的邻居播发和邻居请求给你监控邻居

的接口状态。）

注：使用lacp运行程序时，只推荐使用ethtool链接监视程序。

第2页共16页

2.2使用nmcli配置Team

推荐采用nmcli配置Team,可有效避免各种坑。

说明：以下配置物理连线为enpl75sOfO、enpl75sOfl分别连到两台交换机，其

交换机端口划分为同一vlan,由于采用active-backup模式，不需做端口聚合。

交换机配置如下：

<NCCl&2>dispcuintg0/0/4

#

interfaceGigabitEthernetO/O/4

descriptionfuwuqi4

portlink-typeaccess

portdefaultvlan100

#

return

<NCCl&2>dispcuintgl/0/4

#

interfaceGigabitEthernet1/0/4

descriptionfuwuqi_4

portlink-typeaccess

portdefaultvlan100

return

<NCCl&2>dispcuintVlanif100

#

interfaceVlanif100

descriptiongateway_servers

ipaddress10.100.100.1255.255.255.128

return

第3页共16页

注：经测试，采用round-robin必须在交换机端做静态聚合，采用lacp必须在

交换机做lacp动态聚合，采用active-backup不需在交换机端做聚合，直接划

入同一vlan即可，采用loadbalance做静态聚合或者直接划入同一vlan均可。

2.2.1查看系统中的可用设备

devst

DEVICETYPESTATECONNECTION

cnpl75s0f0ethcrnctconnectedenpl75s0f0

enpl75s0f1ethernetconnectedenpl75s0f1

enpl75s0f2ethernetunavailable-

enp175s0f3ethernetunavailable-

consh

NAMEUUIDTYPEDEVICE

cnpl75s0f0d2d68553-f97c-7549-7a26-b34a26f29322ethernet

enpl75s0f0

enpl75s0f1ba4eb250-548e-4400-823f-c48ff5c62d72ethernet

enpl75s0f1

enpl75s0f20dcecbl9-fc6f-4019-842f-7b7dal86734eethernet一

enp175s0f3890f3ef0-6206-4B88-b395-2ec5af3lae6fethernet-

2.2.2删除多余连接

在配置前，先删除enpl75s0f0^enpl75s0fl的连接，以免与后面配置的team

冲突。

nmclicondowncnpl75s0f0

nmclicondownenpl75s0f1

第4页共16页

nmclicondelenpl75s0f0

nmclicondelenpl75s0fl

2.2.3新建网络组teamO

nmcliconaddtypeteamcon-nameteamOifnameteamOconfig'{"runner”:

{“name〃：〃activebackup〃}}'

nmcliconmodifyteamOipv4.methodmanual

自动生成ifcfg-teamO

]#catifcfg-teamO

TEAM_CONFIG=”{\〃runner\〃：{\〃name\〃：\〃act:vebackup\〃}}〃

PROXYMETHOD=none

BROWSERONLY=no

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

NAME=teamO

UUlD=5d33f2ad-2051-45cb-8967-101cl2706cd7

DEVICE=teamO

ONBOOT=yes

DEVICETYPE二Team

2.2.4为teamO配置ip地址

nmcliconmodifyteamOipv4.addresses10.253.100.29/26ipv4.gateway

10.253.100.1ipv4.dns114.114.114.114ipv4.methodmanual

2.2.5添加成员接口

第5页共16页

nmcliconaddtypeteam-slavecon-nameteamO-portlifnameenpl75s0f0

masterteamO

nmcliconaddtypeteam-slavecon-nameteam0-port2ifnameenpl75s0f1

masterteamO

自动生成ifcfg-teamO-portl,ifcfg-teamO-port2

完整配置如下：

]#catifcfg-teamO-portl

NAME=teamO-port1

UUID=cc03fa07-2c88-4031-9cec-fcbac41ff9d3

DEVICE=enpl75s0f0

ONKOOT=yps

TEAM_MASTER=teamO

DEVICETYPE=TeamPort

]#catifcfg-1eamO-por12

NAME=tcamO-port2

UUID=a75bflc3-549b-4b34-919f-43515ddl49a4

DEVlCE=enpl75s0fl

ONBOOT=yes

TEAMMASTER=teamO

DEVTCETYPE=TeamPort

2.2.6重启网络

Systemctlrestartnetwork

第6页共16页

2.3在teamO基础上配置桥接bridge模式

2.3.1检查系统是否加载bridge模块

modinfobridge

2.3.2修改teamO配置

viifcfg-teamO

#注释掉ip地址相关的部分

#IPADDR=1O.253.100.22

#PREFIX=26

#GATEWAY=10.253.100.1

#修改

BOOTPROTO=none

#追加

BRlDGE=brO

完整配置如下：

]#catifcfg-teamO

DEVICE=teamO

ONBOOT=yes

DEVICETYPE=Team

#IPADDR=10.253.100.22

#PREFIX=26

#GATEWAY=10.253.100.1

BRIDGE二brO

2.3.3新建桥接口brO

nmc1iconaddtypebridgecon-namebrOifnamebrO

第7页共16页

nmcliconmodifybrOipv4.addresses10.253.100.29/26ipv4.gateway

10.253.100.1ipv4.dns114.114.114.114ipvd.methodmanual

nmcliconmodifybrObridge,forward-delay0

完成配置如下：

]#catifcfg-brO

DEVICE=brO

TYPE=Bridge

UUTD=d2d68553-f97e-7549-7a26-b34a26f29322

IPADDR=10.253.100.22

PREFIX=26

GATEWAY=1O.253.100.1

B00TPR0T0=none

ONBOOT二yes

DELAY=O

2.3.4重启网络

Systemctlrestartnetwork

特别注意：使用ifcfg文件创建teamO时，一定要增加

UUID=d2d68553-f97e-7549-7a26-b34a26f29322,且每台服务器、每个ifcfg

配置文件的MID不得重复。

第8页共16页

第3章Team+Bridge问题排查

3.1问题L网络不通，网卡状态未连接

常出现在配置文件中，瑜错字母（如IPADDR输入成LPADDR）,输错顺序（如GATEWAY

输入成GTAEWAY）等，需要仔细检查修改后，再直启网络即可°

3.2问题2：服务器到网关不丢包，但服务器之间丢包严重

此种情况，亲身经历的一种原因是，由于采用了直接修改网卡配置文件ifcfg

的方式，不同服务器的UU1D冲突，造成服务器之间互ping丢包。通过命令nmcli

consh查看:

[rootis]^nmcliconsh

NAMEUUIDTYPEDEVICE

BridgebrOd2d68553-f97e-7549-7a26-b34a26f29322bridgebrO

dockerOba4eb25O-548e-44OO-823f-c48ff5c62d72bridgedockerO

teamO5d33f2ad-2O51-45cb-8967-lOlcl27O6cd7teamteamO

teamO-portlecO3faO7-2e88-4O31-9cec-febac41ff9d3ethernetenpl75sOfO

team0-port2a75bflc3-549b-4b34-919f-43515ddl49a4ethernetenpl75sOfl

virbrO555bdb3e-7a65-4e3a-a66d-83b494Ocdc36bridgevirbrO

vnetO694e36bO-792f-419b-b483-d472ae929ba5tunvnetO

vnetl6713737f-al67-4fc4-9dbb-d69ec23a348Otunvnetl

vnet2aal32bb2-c83d-4b8c-8368-907ce81e86cbtunvnet2

enpl75sOf20dcecbl9-fc6f-4019-842f-7b7dal86734eethernet—

enpl75sOf389Of3efc-€2Ob-4b88-b395-2ec5af31ae6fethernet—

UUID服务器间不能重复，特别需要注意toamO、toamO-port1,toam0-port2„

3.3问题3：服务器桥接模式，但服务器上的kvm虚拟机不能

用

此种情况，是由于服务器默认未开启网卡的混杂模式，造成物理服务器可以ping

通kvm虚拟机，虚拟机也可以能ping通宿主机，但是虚拟机ping不通网关。同

一物理机上的kvm虚拟机相互可以ping通，且在交换机上可以看到虚拟机的arp

表项。

采用如下命令，修改后虚拟机即可上网，即可ping通网关：

iplinksetenpl75s0f0promiseon

iplinksetenp175s0f1promiseon

第9页共16页

此问题想了很久都没有找出来，突然一天想到是不是与网口的模式有关，修改为

混杂模式后问题解决。

注：需注意此命令需要加入开机自启项，在linux/etc/profilc最后追加。

]#vi/etc/profile

#追加

iplinksetenpl75s0f0promiseon

ip1inksetenpl75s0flpromiseon

wq保存退出，重启生效。

第4章网络绑定Bonding设置

为了大家理解bonding与team的差异，在此列出bonding的配置方法，以供参

考。

绑定是由bonding内核模块和名为频道绑定接=1的特殊网络接口生成。

注：ctive-backup>balance-tlb和balance-alb模式不需要交换机的任何特

殊配置。其他绑定模式需要配置交换机以便整合链接。

4.1检查是否已安装Bonding内核模块

在RedHatEnterpriseLinux7/Centos7中默认载入bonding模块。请使用

以下命令显示该模块的信息：

modinfobonding

4.2创建绑定接口bonding

请在/etc/sysconfig/network-scripts/目录口创建名为ifcfg-bondN的文

件，使用接口号码替换N,比如Oo

可根据要绑定接口类型的配置文件编写该文件的内容，比如以太网接口。最主要

的区别是DEVICE指令是bondN（使用接口号码替换N）和TYPE二Bond。此外还

设置BONDINGMASTER二yes。

第10页共16页

ifcfg-bondO接口配置文件示例：

DEVICE二bond。

NAME二bond。

TYPE=Bond

BONDINGMASTER=yes

IPADDR=192.168.1.1

PREFIX=24

ONBOOT=yes

B00TPR0T0=nonc

BONDINGOPTS=/，bondingparametersseparatedbyspaces"

必须在ifcfg-bondN接口文件的BONDING_OPTS="bondingparameters^指令

中，使用以空格分开的列表指定bonding内核模块。请不要在

/etc/modprobe.d/bonding.conf文件或弃用的/'etc/modprobe.conf文件中为

绑定设备指定选项。

max_bonds参数不是具体接口的参数，且不应在使用BONDING_OPTS指令的

ifcfg-bondN文件中设定，因为这个指令会让网络脚本根据需要创建绑定接口。

4.3Bonding参数设置

4.3.lmode=value（bonding的六种模式）

允许您指定绑定的策略。value可为以下之一：

balance-rr或者0—为容错及负载平衡设定轮询机制。从第一个可用的绑定

从属接口开始按顺序接收和发送传输数据。

active-backup或者1—为容错设定active-backup策略。通过第一个可用

的绑定从属接口接收和发送传输文件。只有在活勾的绑定从属接口失败时才使用

其他绑定从属接口。

balance-xor或者2一只根据所选哈希策略传瑜数据。默认为使用源的XOR

和目标MAC地址与从属接口数的余数相乘生成哈希。在这个模式中，指向具体

第11页共16页

对等接口的模式流量总是使用同一接口发送。因为目标是由MAC地址决定，因

此这个方法最适合相同链接或本地网络的对等接口流量。如果流量必须通过单一

路由器，那么这个流量平衡模式将是次选模式。

broadcast或者3—为容错设定广播策略。可在所有从属接口中传输所有数

据。

802.3ad或者4—设定IEEE802.3ad动态链接聚合策略。创建一个共享同一

速度和双工设置的聚合组。在所有活跃聚合器中芍输和接受数据。需要兼容

802.3ad的交换机。

balance-tlb或者5—为容错及负载平衡设定峙输负载平衡（TLB）策略。传

出流量会根据每个从属接口的当前负载分布。传入流量由当前从属接口接收。如

果接收数据从属接口失败，另一个从属接口会接管失败从属接口的MAC地址。

这个模式只适用于内核绑定模式了解的本地地址，因此无法在桥接后的虚拟机中

使用。

balance-alb或者6—为容错及负载平衡设定自适应负载平衡（ALB）策略，

包括用于IPv4流量的传输及接收负载平衡。使用ARP协商获得接收负载平衡。

这个模式只适用于内核binding模块了解的本地地址，因此无法在桥接后的虚

拟机中使用。

4.3.2arp_interval=time_in_miHiseconds

以毫秒为单位指定ARP监控的频繁度。

默认将这个数值设定为0,即禁用该功能。

注：如果在mode=0或者mode=2（两种负载平衡模式）中使用这个设置，则必

须配置网络交换机，以便使用网卡平均发送数据包。

4.3.3arp_ip_target=ip_address[,ip_address_2,•••

ip_address_16]

第12页共16页

启用arp_interval参数后，指定ARP请求的目标IP地址。在使用逗号分开

的列表中最多可指定：6个TP地址。

4.3.4downdelay=seconds

以亳秒为单位指定从链接失败到禁用该链接前要等待的时间。该值必须是

miimon参数中的多个数值。默认将其设定为0,即禁用该功能。

4.3.5fai1_over_mac=value

指定active-backup模式是否应该将所有从属连接设定为使用同一MAC地址

作为enslavement（传统行为），或在启用时根据所选策略执行绑定MAC地址

的特殊处理。可能值为：

none或0一默认设置。这个设置禁用fail_over_mac,并造成在enslavement

时间内将所有active-backup绑定的从属连接绑定到同一MAC地址。

active或者1一"active”failovermac策略表示绑定的MAC地址应永

远是目前活动从属连接的MAC地址。从属连接的MAC地址不会更改，但在故障

转移过程中会更改绑定的MAC地址。

这个策略对永远无法更改其MAC地址的设备，或拒绝使用其自主源MAC地址传

入多播的设备（影响ARP监控）很有帮助。这个策略的缺点是该网络中的每个

设备必须通过免费ARP更新，这与切换snoop传入流量以便更新其ARP表的

常规方法相反。如果免费ARP链接丢失，则可能破坏通讯。

使用这个策略同时采用MII监控时，在可真正传输并接受数据前就声明链接处

于up状态的设备很兀能会丢失免费ARP,并可能需要设置正确的呼叫建立延迟

（updelay）。

follow或者2—“follow"fail_over_mac策略可保证正常选择绑定的MAC

地址（通常是绑定的第一从属链接的MAC地址）。但第二从属连接及之后的从

属连接不适用这个MAC地址，虽然他们是备份角色；故障转移时从属连接是使

用绑定的MAC地址编程（之前活动的从属连接接收新激活的从属MAC地址）。

第13页共16页

这个策略对使用同一MAC地址编程时变得混乱或发生性能损失的多端口设备有

帮助。

4.3.6miimon=time_in_miHiseconds

以亳秒为单位指定MI：链接监控的频率。这在需要高可用性时有用，因为MII

是用来验证网卡是否激活。

4.3.7primary=interface_name

指定主设备的接口名称，比如ethOo主设备是要使用的第一个绑定接口，且在

其失败前不会放弃。当绑定接口的一个网卡较快并可处理较大负载时，这个设置

特别有帮助。

只有在绑定接口处于active-backup模式时这个设置才有用。

4.3.8updelay=time_in_miHiseconds

以毫秒为单位指定启用某个链接前要等待的时间。该数值必须是在miimon参数

值指定值的倍数。默认设定为0,即禁用该参数。

4.4创建从属接口

频道绑定接口是“主”接U,同时要绑定的接口是“从属”接口。创建频道绑定

接口后，必须在从属接口的配置文件中添加MASTER和SLAVE指令，以便配置

要绑定在一起的接口。每个从属接口的配置文件都几乎一样。

从属接口配置文件示例

第14页共16页

例如：将两个以太网接口ethO和ethl以频道方式绑定，它们可类似如下:

DEVTCE=eth.V

NAME二bondO-s1ave

TYPE=Ethernet

B00TPR0T0=none

ONBOOT=yes

MASTER=bond。

SLAVE二yes

在这个示例中，使用该接口的数字值替换A；注：如果某个接口有一个以上配置

文件,或配置文件中包含ONBOOTnyes,则可能会产生彼此竞争，同时激活普通

的TYPE:Ethernet配置文件，.而不是绑定从属接口c

4.5激活绑定接口

要激活绑定，则要启动所有从属接口。请作为root