LVSkeepalived负载均衡高可用配置安装大全

LVS+Keepalived实现高可用集群TOC\o"1-5"\h\z\o"CurrentDocument"一、 基础介绍 2二、 搭建配置LVS-NAT模式 2\o"CurrentDocument"三、 搭建配置LVS-DR模式 4\o"CurrentDocument"四、 另外一种脚本方式实现上面 LVS-DR模式 6\o"CurrentDocument"五、 keepalived+LVS（DR模式）高可用 8六、 Keepalived配己置文件详纟田介绍 11、基础介绍根据业务目标分成三类：HighAvailability高可用LoadBalancing 负载均衡HighPerformanee高性能实现集群产品：HA类：rhes、heartbeat、keepalivedLB类：haproxy、Ivs、nginx、f5、piranhaHPC类：/index/downfile/infor_id/42LVS负载均衡有三种模式：LVS-DR模式(directrouter)直接路由模式进必须经过分发器，出就直接出LVS-NAT模式(networkaddresstranslation)进出必须都经过分发器LVS-TUN模式(iptunneling)IP隧道模式服务器可以放到全国各地、搭建配置LVS-NAT模式1、服务器ip规划：DR服务器添加一张网卡ethl,一个网卡做DIP，一个网口做VIP。设置DIP、VIPIP地址：DIP的ethl和所有RIP相连同一个网段CIP和DIP的ethO(Vip)相连同一个网段Vip eth000Dip ethl客户机IP:Cip 2台真实服务器IP:Rip1 Rip2 2、 RealServer1配置：mount/dev/xvdd/media/vi/var/www/html/index.html写入：thisisrealserver1启动httpdvi/etc/sysconfig/network-scripts/ifcfg-ethO设置RIP,子网掩码必须设置成DIPIPADDR=NETMASK=GATEWAY=3、 RealServer2配置：vi/var/www/html/index.html写入：thisisrealserver2启动httpdvi/etc/sysconfig/network-scripts/ifcfg-ethO设置RIP，子网掩码必须设置成 DIPIPADDR=NETMASK=GATEWAY=4、 在DR服务器上做以下设置：开启IP数据包转发vi/etc/sysctl.confnet.ipv4.ip_forward=0 ##0改成1,此步很重要查看是否开启：sysctl-p5、 安装LVS服务：ipvsadmyum-yinstallipvsadmlsmod|grepip_vsTurbolinux系统没有带rpm包，必须下载源码安装：#ln-s/usr/src/kernels/2.6.18-164.el5-x86_64//usr/src/linux ##如果不做连接，编译时会包错#tarzxvfipvsadm-1.24.tar.gz#cdipvsadm-1.24#make&&makeinstall运行下ipvsadm，就加到ip_vs模块到内核了lsmod|grepip 可以看到有ip_vs模块了

6、配置DR服务器，添加虚拟服务ipvsadm-L-n查询信息ipvsadm-A-t00:80-srr #添加集群服务、调度算法， rr为调度算法ipvsadm-a-t00:80-r-m-w1 #-m代表net模式，-w代表权重ipvsadm-a-t00:80-r-m-w2ipvsadm-L-n 再次查看是就有了 realserverserviceipvsadmsave 保存配置iptables-L 关闭或者清空防火墙watch-n1'ipvsadm-L-n'查看访问记录的数显示如下:->RemoteAddress:PortForwardWeightActiveConnInActConnTCP00:80rr->:80->:80Masq 1 0 13Masq 2 0 12ActiveConn是活动连接数，也就是tcp连接状态的 ESTABLISHED)nActConn 是指除了ESTABLISHED以外的，所有的其它状态的tcp连接.7、测试：00配完后若想修改算法：ipvsadm-E-t00:80-swlc修改Rip的权重：ipvsadm-e-t00:80-r-m-w1ipvsadm-e-t00:80-r-m-w5三、搭建配置LVS-DR模式lo:1回应客户端，lo:1上的IP跟机器有关，跟网卡没有关系arp_announee对网络接口上本地IP地址发出的ARP回应作出相应级别的限制arp_ignore 定义对目标地址为本地IP的ARP询问不同的请求一、3台服务器IP配置规划：DIP:eth0:100/32(VIP)eth0/24(DIP)RIP1lo:1eth000/32(VIP)RIP1lo:1eth0/24

RIP2lo:100/32(VIP)ethO/24RIPnlo:100/32(VIP)eth0192.168.58.N/24二、每台realserver都加上下面四个步骤配置：1、 配置每台rip的IP、http,web页面2、 关闭每台rip服务器的ARP广播：echo1>/proc/sys/net/ipv4/conf/lo/arp_ignoreecho2>/proc/sys/net/ipv4/conf/lo/arp_announceecho1>/proc/sys/net/ipv4/conf/all/arp_ignoreecho2>/proc/sys/net/ipv4/conf/all/arp_announce3、 配置VIPifconfiglo:100netmask55broadcast00up4、 配置网关routeadd-host00devlo:1三、DR上的配置（DR模式下Dip不用开启转发）：1、 配置DIP，在eth0上添加一个子VIP接口：添加VIP:ifconfigeth0:100broadcast00netmask55up2、 配置网关：routeadd-host00deveth0:1route-n3、安装ipvsadm（方法见文档上面）yum-yinstallipvsadmlsmod|grepip_vs4、配置LVS集群：ipvsadm-A-t00:80-srr#添加集群服务、调度算法,ipvsadm-A-t00:80-srr#添加集群服务、调度算法,rr为调度算法ipvsadm-a-t00:80-r-g-w1#-gipvsadm-a-t00:80-r-g-w1#-g代表DR模式，-w代表权重ipvsadm-a-t00:80-r-g-w2ipvsadm-a-t00:80-r-g-w2serviceipvsadmsaveipvsadm-L-n 查看信息四、测试：00四、另外一种脚本方式实现上面 LVS-DR模式ip规划：DipethO39VIP: 00RIP1:RIP2:1、 DR服务器上安装ipvsadm#yum-yinstallipvsadm#lsmod|grepip_vs查看没有输出#modprobeip_vs安装即可2、 配置DIP服务器、LVS这里也是个写脚本为了方便vim/etc/init.d/lvsdr#!/bin/bash#lvsofDRVIP=00RIP1=RIP2=case"$1"instart)echo"startlvsofDR"/sbin/ifconfigeth0:0$VIPbroadcast$VIPnetmaskupecho"1">/proc/sys/net/ipv4/ip_forward/sbin/iptables-C/sbin仲vsadm-A-t$VIP:80-srr/sbin仲vsadm-a-t$VIP:80-r$RIP1:80-g/sbin仲vsadm-a-t$VIP:80-r$RIP2:80-g/sbin/ipvsadmJJstop)echo"stoplvsofDR"echo"0">/proc/sys/net/ipv4/ip_forward/sbin/ipvsadm-C/sbin/ifconfigeth0:0downJJ*)echo"Usage:$0{start|stop}"exit1esacexit0#chmodo+x/etc/init.d/lvsdr启动脚本：#serviceIvsdrstart3、2台RIP服务器都配置这里我们也都可以写成脚本开启2台RIP的httpd服务。这里我就举web1了，web2也是一样的。#vim/etc/init.d/lvsrip#!/bin/bashVIP=00./etc/rc.d/init.d/functionscase"$1"instart)ifconfiglo:0$VIPnetmask55broadcast$VIP/sbin/routeadd-host$VIPdevlo:0echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignoreecho"2">/proc/sys/net/ipv4/conf/lo/arp_announceecho"1">/proc/sys/net/ipv4/conf/all/arp_ignoreecho"2">/proc/sys/net/ipv4/conf/all/arp_announcesysctl-p>/dev/null2>&1echo"RealServerStartOK"JJstop)ifconfiglo:0downroutedel$VIP>/dev/null2>&1echo"0">/proc/sys/net/ipv4/conf/lo/arp_ignoreecho"0">/proc/sys/net/ipv4/conf/lo/arp_announceecho"0">/proc/sys/net/ipv4/conf/all/arp_ignoreecho"0">/proc/sys/net/ipv4/conf/all/arp_announceecho"RealServerStoped"JJ*)echo"Usage:$0{start|stop}"exit1esacexit0注：DR模式VIP必须跟服务器同一网段echo"1";echo"2"是为了抑制arp广播作用#chmodo+x/etc/init.d/lvsdr两台rip服务器都启动脚本:#serviceIvsripstart4、验证00在负载均衡器上我们查看下#ipvsadm-L-n五、keepalived+LVS（DR模式）高可用配置2台DIP（LVS_master、LVS_backup）#LVS_master、LVS_backup上启动keepalived,LVS_master先绑定VIP,master挂掉后，backup自动绑定VIP#（一）配置LVS_master1、 安装ipvsadm（安装文档见上面）#yum-yinstallipvsadm#lsmod|grepip_vs查看没有输出#modprobeip_vs安装即可2、 安装keepalivedtarxzvfkeepalived-1.2.1.tar.gz./configure--sysconf=/etc/--with-kernel-dir=/usr/src/kernels/2.6.18-128.el5-i686/makemakeinstallIn-s/usr/local/sbin/keepalived/sbin/cd/etc/keepalived/cpkeepalived.confkeepalived.conf.bak3、 修改master的配置文件vi/etc/keepalived/keepalived.conf!ConfigurationFileforkeepalivedglobal_defs{notification_email{liumeng@ipanel.cn

notification_email_fromliumeng@smtp_server48smtp_connect_timeout30router_idLVS_DEVEL}vrrp」nstaneeVI_1{stateMASTERinterfaceeth0virtual_router_id51例使用唯一的标识，即同一个priority100notification_email_fromliumeng@smtp_server48smtp_connect_timeout30router_idLVS_DEVEL}vrrp」nstaneeVI_1{stateMASTERinterfaceeth0virtual_router_id51例使用唯一的标识，即同一个priority100advert_int1间间隔，单位是秒authentication{auth_typePASSauth_pass1111}virtual_ipaddress{00#虚拟路由标识，这个标识是一个数字，并且同一个 vrrp实vrrp_instanee下，MASTER和BACKUP必须是一致的#设定MASTER与BACKUP负载均衡器之间同步检查的时#设置虚拟IP地址，可以设置多个虚拟 IP地址，每行一个virtual_server0080{delay_loop10lb_algorrlb_kindDRnat_maskpersistence_timeout60protocolTCP##要想看到rr轮询切换效果，请注释掉此行#（用TCP协议检查realserver状态）real_server80{weight2TCP_CHECK{connecttimneout10nb_get_retry3dalay_before_retry3connect_port80}#重连次数#重连间隔时间#健康检查的端口的端口real_server80{weight2TCP_CHECK{connecttimneout10dalay_before_retry3connect_port804、启动：/etc/init.d/keepalivedstartchkconfigkeepalivedon（二）配置LVS_BACKUP1、 DIP安装ipvsadm、keepalived2、 修改配置文件把master的keepalived配己置文件/etc/keepalived/keepalived.conf直接拷贝到备DR上修改state为BACKUP修改priority为803、启动/etc/init.d/keepalivedstart备注：在keepalived方案中不需要启动 DR服务器上的Ivsdr脚本，很多朋友对此有问题。关于LVS的keepalvied的HA方案中，完全由keepalived.conf—个文件搞定，特此声明！如果2台DR服务器在上面的配置中加了开机自启动，此时就要取消了：vi/etc/rc.local#/root/lvsdr.将Ivs-dr.sh这个脚本注释掉。#/root/lvsdrstop停止lvsdr脚本（三）配置2台RIP服务器1、 拷贝上面的lvsrip.sh脚本到2台realserver2、 2台都启动脚本#./lvsripstart3/查看网卡配置：ipaddrlist4、验证00在负载均衡器上我们查看下#ipvsadm-L-n关闭一台DR，看是否能够将任务转移到另一台上面/etc/init.d/keepalivedstop六、Keepalived六、Keepalived配置文件详细介绍!ConfigurationFileforkeepalivedglobal_defs{notification_email{root@linux.tang.chao #mchina_tang@ #}notification_email_fromkeepalived@localhostsmtp_server #smtp_connect_timeout30 #router_id LVS_DEVEL信息设置报警邮件地址，可以设置多个，每行一个。需开启本机的sendmail服务# !ConfigurationFileforkeepalivedglobal_defs{notification_email{root@linux.tang.chao #mchina_tang@ #}notification_email_fromkeepalived@localhostsmtp_server #smtp_connect_timeout30 #router_id LVS_DEVEL信息设置报警邮件地址，可以设置多个，每行一个。需开启本机的sendmail服务# 设置邮件的发送地址设置smtpserver地址设置连接smtpserver 的超时时间# 表示运行keepalived 服务器的一个标识。发邮件时显示在邮件主题的vrrp_instanceVI_1{stateMASTER #interfaceeth0#virtual_router_id51 #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器指定HA监测网络的接口虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一 vrrp_instance下，MASTER和BACKUP必须是一致的priority 100 #的优先级advertint1 #authentication{ #auth_typePASS#auth_pass 1111 #}virtual_ipaddress{ #48定义优先级，数字越大，优先级越高，在同一个vrrp_instance 下,MASTER的优先级必须大于BACKUP设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒设置验证类型和密码设置验证类型，主要有PASS和AH两种设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信设置虚拟IP地址，可以设置多个虚拟 IP地址，每行一个virtual_server4880{ #delay_loop6 #lb_algorr #lb_kind