Linux服务器网络负载均衡的实现.doc

在这里介绍一下Linux 下双网卡绑定实现负载均衡，即将两块网卡虚拟成为一块网卡，这个聚合起来的设备可以看作是一个单独的以太网接口设备，也可以理解为两块网卡具有相同的IP 地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun 和Cisco 中早已存在，被称为Trunking 和Etherchannel 技术；在Linux 的2.4.x 内核中也采用这这种技术，被称为Bonding。Bonding 技术的最早应用是在集群Beowulf 上，为了提高集群节点间的数据传输而设计的。下面讨论一下Bonding 的原理，什么是Bonding 需要从网卡的混杂(Promisc)模式说起。在通常情况下，网卡只接收目的硬件地址(MAC Address)是自身Mac 的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担；但同时网卡也支持另外一种被称为混杂(Promisc)的模式，可以接收网络上所有的帧(例如：tcpdump)。Bonding 也运行在这个模式下，而且修改了驱动程序中的Mac 地址，将两块网卡的Mac 地址改成相同，可以接收特定Mac 数据帧，然后把相应的数据帧传送给Bond驱动程序处理。 以下的配置双网卡绑定是在RedHat Linux Enterprise 3.0 的环境下实现的。网卡绑定的前提条件是确保两块网卡具有相同型号的独立芯片组。 # vi /etc/sysconfig/network-scripts/ ifcfg-bond0rootrhas root# cp /etc/sysconfig/network-scripts/ifcfg-eth0 ifcfg-bond0 编辑虚拟网络接口配置文件，指定网卡IP地址。# vi ifcfg-bond0将第一行改成：DEVICE=bond0# cat ifcfg-bond0DEVICE=bond0BOOTPROTO=staticIPADDR=172.31.0.13NETMASK=255.255.252.0BROADCAST=172.31.3.254ONBOOT=yesTYPE=Ethernet 这里要注意，不要指定单个网卡的IP 地址、子网掩码或网卡ID；将上述信息指定到虚拟适配器(Bonding)中即可。rootrhas network-scripts# cat ifcfg-eth0DEVICE=eth0ONBOOT=yesBOOTPROTO=dhcprootrhas network-scripts# cat ifcfg-eth1DEVICE=eth0ONBOOT=yesBOOTPROTO=dhcp# vi /etc/modules.conf 编辑 /etc/modules.conf 文件，加入如下两行内容，以使系统在启动时加载bonding 模块，对外虚拟网络接口设备bond0 。alias bond0 bondingoptions bond0 miimon=100 mode=1 说明：miimon 是用来进行链路监测的。如果miimon=100，那么系统每100ms 监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode 的值表 示工作模式，它共有0，1，2，3四种模式，常用的为0，1两种。 mode=0 表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。mode=1 表示fault tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式，也就是说默认情况下只有一块网卡工作，另一块做备份。 bonding 只能提供链路监测，即从主机到交换机的链路是否接通。如果只是交换机对外的链路down 掉了，而交换机本身并没有故障，那么bonding 会认为链路没有问题而继续使用。 # vi /etc/rc.d/rc.local 加入两行: ifenslave bond0 eth0 eth1 route add -net 172.31.3.254 netmask 255.255.255.0 bond0 到此双网卡绑定已经配置完完成，重新启动服务器就会看到以下表示配置成功的信息了。*Bringing up interface bond0 OK Bringing up interface eth0 OK Bringing up interface eth1 OK* 下面我们讨论一下mode 分别为0，1时的情况：mode=1 工作在主备模式下，这时eth1 作为备份网卡是no arp 的：rootrhas network-scripts# ifconfig 验证网卡的配置信息bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1RX packets:18495 errors:0 dropped:0 overruns:0 frame:0TX packets:480 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0 RX bytes:1587253 (1.5 Mb) TX bytes:89642 (87.5 Kb)eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1RX packets:9572 errors:0 dropped:0 overruns:0 frame:0TX packets:480 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:833514 (813.9 Kb) TX bytes:89642 (87.5 Kb)Interrupt:11eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING NOARP SLAVEMULTICAST MTU:1500 Metric:1RX packets:8923 errors:0 dropped:0 overruns:0 frame:0TX packets:0 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:753739 (736.0 Kb) TX bytes:0 (0.0 b)Interrupt:15 那也就是说在主备模式，当一个网络接口失效时(例如交换机掉电等)，不会出现网络中断，系统会按照cat /etc/rc.d/rc.local 里指定网卡的顺序工作，机器仍能对外服务，起到了失效保护的功能。 在mode=0 负载均衡工作模式,它能提供两倍的带宽：rootrhas root# ifconfig bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1RX packets:2817 errors:0 dropped:0 overruns:0 frame:0TX packets:95 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0 RX bytes:226957 (221.6 Kb) TX bytes:15266 (14.9 Kb)eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1RX packets:1406 errors:0 dropped:0 overruns:0 frame:0TX packets:48 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:113967 (111.2 Kb) TX bytes:7268 (7.0 Kb)Interrupt:11eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8Binet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1RX packets:1411 errors:0 dropped:0 overruns:0 frame:0TX packets:47 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:112990 (110.3 Kb) TX bytes:7998 (7.8 Kb)Interrupt:15 在这种情况下出现一块网卡失效，仅会是服务器出口带宽下降，也不会影响网络使用。通过查看bond0 的工作状态可以掌握bonding 的具体工作状态：rootrhas bonding# cat /proc/net/bonding/bond0bonding.c:v2.4.1 (September 15, 2003)Bonding Mode: load balancing (round-robin)MII Status: up MII Polling Interval (ms): 0 Up Delay (ms