LVS 负载均衡-实战总结.doc

_负载均衡：LVS-NAT实现：实验环境：1 三台RHEL5.4虚拟机，二台作安装好web作为后端Realserver，另一台作为Director，Realserver的网关都指向Director，2 Director上需要二个网卡，一个公网地址向外提供服务，一个内网地址可以是私有地址与Realserver通信。Director上开启路由转发功能。3Realserver ip 5/6，网关00 Director ip 外网卡：0，内网卡00配置好Realserver上的ip和网关，开启web服务，主要在Director上配置ipvsadm -A -t0:80 -s wlc ipvsadm -a -t 0：80 -r 5 -m -w 2 ipvsadm -a -t 0：80 -r 6 -m -w 5vim /etc/sysctlnet.ipv4.ip_forward = 1 #开启路由转发sysctl -p#重新读取配置文件 用一个客户机直接访问 0LVM-nat的脚本#!/bin/bash # case “$1”in start) ipvsadm -A -t 3:80 -s wlc ipvsadm -a -t 3:80 -r -m -w 2 ipvsadm -a -t 3:80 -r -m -w 5 ; stop) ipvsadm C ; status) ipvadm -Ln ; esac ipvsadm Ln 查看所有连接 ipvsadm E 3:80 s wrr (基于权重，权重大的连接将多) 负载均衡 LVS-DR server实验环境：1 三台RHEL5.4虚拟机，二台作安装好web作为后端Realserver，另一台作为Director2 Director上需要一个网卡，地址都为公网地址，VIP必须是公网地址，RIP可以是私网地址但要与Director通信时要进行解析。所以这里全部使用公网地址，不需要指定网关Director上开启路由转发功能。3Realserver ip 5/6， Director ip 00VIP 00当客户端发出请求时reserver都会响应，为避免realserver都响应可以：1 通过防火墙不让arp数据包进来2 linux内核有二个参数，配置完后避免arp请求配置过程：在两个Rserver上各配置vipifconfig lo:0 00 broadcast 00 netmask 55 up在二个Rserver上配置路由信息通过lo:0接口才出去route add -host 00 dev lo:0在二个web服务器上做地址隐藏 vim /etc/sysctl.confvim /etc/sysctl.conf 地址隐藏net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2sysctl -p 重新读取配置文件Directory上配置ifconfig eth0:0 00 broadcast 00 netmask 55 upipvsadm -A -t 00:80 -s wlcipvsadm -a -t 192.0.200:80 -r5 -g -w 5ipvsadm -a -t 192.0.200:80 -r6 -g -w 8server ipvsadm save二个Realserver可以通过一个nfs服务器共享网站资源，是二个Realserver的网站内容同步提供同样的网站内容配置完成后直接通过：00访问网站Director脚本:#!/bin/bash# LVS script for VS/DR. /etc/rc.d/init.d/functionsVIP=00RIP1=5RIP2=6PORT=80case $1 instart) /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 55 up/sbin/route add -host $VIP dev eth0:1# Since this is the Director we must be able to forward packetsecho 1 /proc/sys/net/ipv4/ip_forward# Clear all iptables rules./sbin/iptables -F# Reset iptables counters./sbin/iptables -Z# Clear all ipvsadm rules/services./sbin/ipvsadm -C# Add an IP virtual service for VIP 00 port 80# In this recipe, we will use the round-robin scheduling method. # In production, however, you should use a weighted, dynamic scheduling method. /sbin/ipvsadm -A -t $VIP:80 -s wlc# Now direct packets for this VIP to# the real server IP (RIP) inside the cluster/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 2/bin/touch /var/lock/subsys/ipvsadm & /dev/null; stop)# Stop forwarding packetsecho 0 /proc/sys/net/ipv4/ip_forward# Reset ipvsadm/sbin/ipvsadm -C# Bring down the VIP interface/sbin/ifconfig eth0:1 down/sbin/route del $VIP/bin/rm -f /var/lock/subsys/ipvsadmecho ipvs is stopped.;status)if ! -e /var/lock/subsys/ipvsadm ; then echo ipvsadm is stopped .else echo ipvs is running . ipvsadm -L -nfi;*)echo Usage: $0 start|stop|status;esacRealServer脚本:#!/bin/bash# Script to start LVS DR real server.# description: LVS DR real server. /etc/rc.d/init.d/functionsVIP=00host=/bin/hostnamecase $1 instart) # Start LVS-DR real server on this machine. /sbin/ifconfig lo down /sbin/ifconfig lo up echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 /proc/sys/net/ipv4/conf/lo/arp_announce echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 /proc/sys/net/ipv4/conf/all/arp_announce /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 55 up /sbin/route add -host $VIP dev lo:0;stop) # Stop LVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0 /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 /proc/sys/net/ipv4/conf/all/arp_announce;status) # Status of LVS-DR real server. islothere=/sbin/ifconfig lo:0 | grep $VIP isrothere=netstat -rn | grep lo:0 | grep $VIP if ! $islothere -o ! isrothere ;then # Either the route or the lo:0 device # not found. echo LVS-DR real server Stopped. else echo LVS-DR real server Running. fi;*) # Invalid entry. echo $0: Usage: $0 start|status|stop exit 1;esacLVS实战总结环境：Centos 5LB代码：VIP_server set#vi /usr/local/sbin/lvs-dr.sh #!/bin/bash# description: start LVS of DirectorServerGW=218.206.XX# website director vip.VIP=218.206.92.XRIP1=218.206.92.XRIP2=218.206.92.X/etc/rc.d/init.d/functionslogger $0 called with $1case $1 instart) # set squid vip /sbin/ipvsadm -set 30 5 60 /sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 55 broadcast $VIP up /sbin/route add -host $VIP dev eth0:0 /sbin/ipvsadm -A -t $VIP:80 -s wrr /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g -w 2 /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g -w 1 touch /var/lock/subsys/ipvsadm /dev/null 2&1 ;stop) /sbin/ipvsadm -C /sbin/ipvsadm -Z ifconfig eth0:0 down route del $VIP rm -rf /var/lock/subsys/ipvsadm /dev/null 2&1 echo ipvsadm stoped ;status) if ! -e /var/lock/subsys/ipvsadm ;then echo ipvsadm stoped exit 1 else echo ipvsadm OK fi ;*) echo Usage: $0 start|stop|status exit 1esacexit 0在真实主机的代码：VIP=218.206.92.X/etc/rc.d/init.d/functionscase $1 instart) ifconfig lo:0 $SNS_VIP netmask 55 broadcast $VIP /sbin/route add -host $VIP dev lo:0 echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 /proc/sys/net/ipv4/conf/lo/arp_announce echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 /proc/sys/net/ipv4/conf/all/arp_announce sysctl -p /dev/null 2&1 echo realserver start OK;stop) ifconfig lo:0 down /sbin/route del $SNS_VIP /dev/null 2&1 echo 0 /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 /proc/sys/net/ipv4/conf/all/arp_announce echo realserver stop;*) echo Usage:$0 start|stop exit 1esacexit 0碰到问题1、因在realserver apache 监听端口为实际IP地址，LB在转发成功后，realserver却无法接收LB消息；解决方法：apache的监听端口改为*：80学习LVS的三种模式官方网址: /zh/lvs3.htmlVS/NAT 通过NAT实现虚拟服务器VS/TUN 通过IP隧道实现虚拟服务器VS/DR 通过直接路由实现虚拟服务器Virtual Server via NAT(VS-NAT): 用地址翻译实现虚拟服务器。地址转换器有能被外界访问到的合法IP地址, 它修改来自专有网络的流出包的地址。外界看起来包是来自地址转换器本身, 当外界包送到转换器时, 它能判断出应该将包送到内部网的哪个节点。优点是节省IP地址, 能对内部进行伪装缺点是效率低, 因为返回给请求方的流量经过转换器Virtual Server via IP Tunneling(VS-TUN): 用IP隧道技术实现虚拟服务器。这种方式是在集群的节点不在同一个网段时可用的转发机制, 是将IP包封装在其他网络流量中的方法。为了安全的考虑, 应该使用隧道技术中的VPN, 也可使用租用专线。集群所能提供的服务是基于TCP/IP的Web服务、Mail服务、News服务、DNS服务、Proxy服务器等等Virtual Server via Direct Routing(VS-DR): 用直接路由技术实现虚拟服务器。当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此法,控制管理的计算机接收到请求包时直接送到参与集群的节点。优点是返回给客户的流量不经过控制主机,速度快开销少。ipvsadm 的用法和格式如下：ipvsadm -A|E -t|u|f virutal-service-address:port -s scheduler -ptimeout -M netmaskipvsadm -D -t|u|f virtual-service-addressipvsadm -Cipvsadm -Ripvsadm -S -nipvsadm -a|e -t|u|f service-address:port -r real-server-address:port-g|i|m -w weightipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|l optionsipvsadm -Z -t|u|f service-addressipvsadm set tcp tcpfin udpipvsadm start-daemon state mcast-interface interfaceipvsadm stop-daemonipvsadm -h命令选项解释：有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。-A add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。-E edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。-D delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。-C clear 清除内核虚拟服务器表中的所有记录。-R restore 恢复虚拟服务器规则-S save 保存虚拟服务器规则，输出为-R 选项可读的格式-a add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器-e edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录-d delete-server 删除一条虚拟服务器记录中的某条真实服务器记录-L|-l list 显示内核虚拟服务器表-Z zero 虚拟服务表计数器清零（清空当前的连接数量等）set tcp tcpfin udp 设置连接超时值start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。stop-daemon 停止同步守护进程-h help 显示帮助信息其他的选项:-t tcp-service service-address 说明虚拟服务器提供的是tcp 的服务vip:port or real-server-ip:port-u udp-service service-address 说明虚拟服务器提供的是udp 的服务vip:port or real-server-ip:port-f fwmark-service fwmark 说明是经过iptables 标记过的服务类型。-s scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.-p persistent timeout 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。-M netmask netmask persistent granularity mask-r real-server server-address 真实的服务器Real-Server:port-g gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）-i ipip 指定LVS 的工作模式为隧道模式-m masquerading 指定LVS 的工作模式为NAT 模式-w weight weight 真实服务器的权值mcast-interface interface 指定组播的同步接口-c connection 显示LVS 目前的连接 如：ipvsadm -L -ctimeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L timeoutdaemon 显示同步守护进程状态stats 显示统计信息rate 显示速率信息sort 对虚拟服务器和真实服务器排序输出numeric -n 输出IP 地址和端口的数字形式LVS集群技术 url/node/95/url附1:对ipvsadm 的命令参考，并根据自己使用的经验，进行了一个简单的翻译，希望对ipvsadm 的使用者有一定的帮助。为了更好的让大家理解这份命令手册，将手册里面用到的几个术语先简单的介绍一下：1，virtual-service-address:是指虚拟服务器的ip 地址2，real-service-address:是指真实服务器的ip 地址3，scheduler：调度方法( 翻译 ipvsadm v1.21 2004 年4 月)ipvsadm 的用法和格式如下：ipvsadm -A|E -t|u|f virutal-service-address:port -s scheduler -ptimeout -M netmaskipvsadm -D -t|u|f virtual-service-addressipvsadm -Cipvsadm -Ripvsadm -S -nipvsadm -a|e -t|u|f service-address:port -r real-server-address:port-g|i|m -w weightipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|l optionsipvsadm -Z -t|u|f service-addressipvsadm set tcp tcpfin udpipvsadm start-daemon state mcast-interface interfaceipvsadm stop-daemonipvsadm -h命令选项解释：有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。-A add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。-E edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。-D delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。-C clear 清除内核虚拟服务器表中的所有记录。-R restore 恢复虚拟服务器规则-S save 保存虚拟服务器规则，输出为-R 选项可读的格式-a add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器-e edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录-d delete-server 删除一条虚拟服务器记录中的某条真实服务器记录-L|-l list 显示内核虚拟服务器表-Z zero 虚拟服务表计数器清零（清空当前的连接数量等）set tcp tcpfin udp 设置连接超时值start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。stop-daemon 停止同步守护进程-h help 显示帮助信息其他的选项:-t tcp-service service-address 说明虚拟服务器提供的是tcp 的服务vip:port or real-server-ip:port-u udp-service service-address 说明虚拟服务器提供的是udp 的服务vip:port or real-server-ip:port-f fwmark-service fwmark 说明是经过iptables 标记过的服务类型。-s scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.-p persistent timeout 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。-M netmask netmask persistent granularity mask-r real-server server-address 真实的服务器Real-Server:port-g gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）-i ipip 指定LVS 的工作模式为隧道模式-m masquerading 指定LVS 的工作模式为NAT 模式-w weight weight 真实服务器的权值mcast-interface interface 指定组播的同步接口-c connection 显示LVS 目前的连接 如：ipvsadm -L -ctimeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L timeoutdaemon 显示同步守护进程状态stats 显示统计信息rate 显示速率信息sort 对虚拟服务器和真实服务器排序输出numeric -n 输出IP 地址和端口的数字形式LVS中文站点 url/urlLVS集群技术 url/node/95/url上面这篇文章写得好,推荐看看附1:对ipvsadm 的命令参考，并根据自己使用的经验，进行了一个简单的翻译，希望对ipvsadm 的使用者有一定的帮助。为了更好的让大家理解这份命令手册，将手册里面用到的几个术语先简单的介绍一下：1，virtual-service-address:是指虚拟服务器的ip 地址2，real-service-address:是指真实服务器的ip 地址3，scheduler：调度方法( 翻译 ipvsadm v1.21 2004 年4 月)ipvsadm 的用法和格式如下：ipvsadm -A|E -t|u|f virutal-service-address:port -s scheduler -ptimeout -M netmaskipvsadm -D -t|u|f virtual-service-addressipvsadm -Cipvsadm -Ripvsadm -S -nipvsadm -a|e -t|u|f service-address:port -r real-server-address:port-g|i|m -w weightipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|l optionsipvsadm -Z -t|u|f service-addressipvsadm set tcp tcpfin udpipvsadm start-daemon state mcast-interface interfaceipvsadm stop-daemonipvsadm -h命令选项解释：有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。-A add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。-E edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。-D delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。-C clear 清除内核虚拟服务器表中的所有记录。-R restore 恢复虚拟服务器规则-S save 保存虚拟服务器规则，输出为-R 选项可读的格式-a