初始LVS 负载均衡集群搭建.doc

初始LVS 负载均衡集群搭建1.内容概述：1. LVS 集群的体系结构和特点2. 基本LVS集群的安装和配置3. 介绍了命令行 ipvsadm 和 ldirectord 配置LVS集群4. 介绍了使用RedHat工具 piranha 图形化配置LVS集群2.简介：LVS是Linux Virtual Server的简称，也就是linux虚拟服务器。3.实现目标：通过LVS提供的负载均衡技术和linux系统实现一个高性能、高可用的服务器集群，它具有良好的可靠性、可扩展性和可操作性，成本低廉的特性4.LVS体系结构：包含：1. 最前端 负载均衡层2. 中间 服务器群组3. 最底层 共享存储层5.LVS集群的特点5.1 IP负载均衡与负载调度算法：LVS的IP负载均衡技术：是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件。它的主要作用是：安装在 Director Server （前端服务器）上，同时Director Server上虚拟出一个IP 地址（VIP），用户必须通过这个虚拟的VIP地址访问服务。-访问请求首先经过VIP到达负载均衡调度器，然后由负载均衡调度器根据设定好的算法 从 Real Server 列表中选取一个服务节点响应用户请求。5.2IPVS实现负载均衡的机制： NAT 网络地址转换模式 TUN 使用IP隧道技术 IP隧道模式 DR 使用直接路由技术 直接路由模式优缺点：NAT优点：配置及管理简单。Director Server 和 Real Server 群组可以不再一个网段缺点：要求 Director Server 必须要有两块网卡Director Server很容易成为整个集群的性能瓶颈（所有都数据经过这里）DR优点：性能最好缺点：要求Director Server和所有的Real Server 必须在同一个网段中，不能实现集群的跨网段应用TUN优点： 性能介于 NAT 和 DR 模式之间Director Server 与 Real Server 可以再不同的网段内，即集群中的Real Server 可以再不同的城市缺点： 需要的Real Server 服务器的内核中，必须编译支持IP Tunnel这个选项5.3负载调度算法（此处只列出了常用的4种，共有8种）静态： 轮叫调度（Round Robin） 加权轮叫调度（Weighted Round Robin）动态： 最少链接调度（Least Connections） 加权最少链接调度（Weighted Least Connections）5.4使用环境Director Server 支持的系统： Linux 和 FreeBSD支持大多数的TCP和UDP协议Real Server 可以运行在任何支持TCP/IP的操作系统上6. 基本的 LVS集群的实现6.1集群环境规划SElinux and iptables is disable操作系统使用RHEL 6.3x86_64服务器名IP地址网关虚拟设备名虚拟IPDirector Server00eth0:035Real Server10lo:035Real Server20lo:035集群架构规划图：（DR模式）6.1根据实验规划设置固定IP,实验中为方便起见，规定A 00B 10C 20本实验时LVS集群的基本实现：方法一、ipvsadm 命令行模式方法二、piranha 图形化模式须知：本实验 不涉及共享存储不涉及Director Server 的双机热备6.2（ABC）设置yum 源extras-163name=163-extrasbaseurl=/CentOS/6.3/extras/x86_64/enabled=1gpgcheck=0update-163name=163-updatebaseurl=/centos/6.3/updates/x86_64/enabled=1gpgcheck=0os-163name=163-osbaseurl=/centos/6.3/os/x86_64/enabled=1gpgcheck=0fasttrack-163name=163-fasttrackbaseurl=/centos/6.3/fasttrack/x86_64/enabled=1gpgcheck=0plus-163name=163-plusbaseurl=/centos/6.3/centosplus/x86_64/enabled=1gpgcheck=0方法一、命令行管理模式6.5(A)Directory Server 上安装IPVS管理软件本例中使用rpm方式安装：rootlocalhost # yum install -y ipvsadm6.6ipvsadm 的使用方法：-A 用于虚拟服务器增加虚拟IP即VIP-E 用于虚拟服务器编辑VIP记录-D 用于虚拟服务器删除VIP记录-C 清除虚拟服务器所有的VIP记录-R 恢复虚拟服务器规则-S 保存虚拟服务器规则-a 用于虚拟服务器增加新的Real Server-e 用于虚拟服务器编辑某条Real Server记录-d 用于虚拟服务器删除某条Real Server记录-L| -l 显示出虚拟服务器的列表-Z 虚拟服务器计数器清零-set tcp udp 设置连接超时值-t 说明虚拟服务器提供tcp服务，选项后面跟如下格式：vip：port 或 Real-Server-ip：port-u 说明虚拟服务器提供udp服务，选项后面跟如下格式：vip：port 或 Real-Server-ip：port-f 说明是经过iptables标记过的服务类型-s 该选项后面跟LVS使用的调度算法，有如下选项：rr | wrr | lc | wlc | lblc | lblcr | dh | sh默认的调度算法是： wlc-p 在某个Real Server上持续的服务时间。在设定的时间内，来自同一个用户的多个请求，将会转发给同一个Real Server （利用缓存）默认时间是：300s 例： -p 600-r 指定Real Server的ip地址，此选项后面跟的格式：Real-Server-ip：port-g 指定LVS的工作模式为直接路由模式 （此模式为LVS的默认工作模式）-i 指定LVS的工作模式为隧道模式-m 指定LVS的工作模式为NAT模式-w 指定Real Server的权值-c 显示LVS目前的连接信息-L -timeout 显示服务连接超时值-daemon 显示同步守护进程状态-stats 显示统计信息-rate 显示速率信息-sort 对虚拟服务器和真是服务器排序输出举例如下：添加虚拟IP：ipvsadm -A -t 00:80 -s rr -p 600ipvsadm -A -t 50:21 -s wlc添加Real Server：ipvsadm -a -t 00:80 -r 10:80 -gipvsadm -a -t 00:80 -r 20:80 -g用法总结：首先添加VIP 指定策略其次针对指定的VIP 添加 Real Server 并指定工作模式(g)7.开始配置LVS集群（使用ipvsadm命令行工具）下面通过搭建www服务的负载均衡实例，讲述DR模式的LVS集群配置7.1 (A)Director Server 的配置7.1.1 (A)在Director Server上绑定一个VIP，用于对外提供服务。rootlocalhost # /sbin/ifconfig eth0:0 35 broadcast 35 netmask 55 up特别注意：广播地址 与 ip地址 相同子网掩码 557.1.2（A）在Director Server上为eth0:0指定路由rootlocalhost # /sbin/route add -host 35 dev eth0:0开启内核IP转发rootlocalhost # echo 1 /proc/sys/net/ipv4/ip_forward在DR模式下，开启ip转发不是必须的，在NAT模式下开启ip转发是必须的。注意：7.1.1 和 7.1.2 对于网卡的操作都是一次性的，重启不能生效。解决：/sbin/ifconfig eth0:0 35 broadcast 35 netmask 55 up/sbin/route add -host 35 dev eth0:0echo 1 /proc/sys/net/ipv4/ip_forward将三条命令写入 rc.local # cat /etc/rc.d/rc.local7.2（A）使用ipvsadm配置LVSrootlocalhost # ipvsadm -C #清除原有记录rootlocalhost # ipvsadm -A -t 35:80 -s rr -p 500rootlocalhost # ipvsadm -a -t 35:80 -r 10:80 -grootlocalhost # ipvsadm -a -t 35:80 -r 20:80 -grootlocalhost # service ipvsadm saverootlocalhost # service ipvsadm start注意：实际生产中是不直接使用ipvsadm 直接配置LVS集群的8.使用ldirectord配置LVS8. 1(A)在Director Server上绑定一个VIP，用于对外提供服务。rootlocalhost # ifconfig eth0:0 35 broadcast 35 netmask 55 up特别注意：广播地址 与 ip地址 相同子网掩码 558.2（A）在Director Server上为eth0:0指定路由rootlocalhost # route add -host 35 dev eth0:0开启内核IP转发rootlocalhost # echo 1 /proc/sys/net/ipv4/ip_forward在DR模式下，开启ip转发不是必须的，在NAT模式下开启ip转发是必须的。8.3安装ldirectord#yum install -y heartbeat-ldirectord用以LVS监控real server 节点的运行状态，当real server失效是，把它从虚拟服务器列表中删除，恢复是重新加入到列表。同时，它还能调用ipvsadm 自动创建LVS路由表。需要说明的是：ldirectord 和 Piranha 都具有监控 real server的功能。如果要通过ldirectord监控节点状态，只需要启动 ldirectord服务，整个集群就可以运行起来。如果要通过Piranha工具配置LVS，就无需使用ldirectord。-依赖性没能解决，没有成功安装。-查找安装的示例配置文件#rpm -qd heartbeat-ldirectord复制示例文件做配置文件#cp /usr/share/doc/heartbeat-ldirectord-/ldirectord.cf /etc/ha.d服务启动脚本service ldirectord start|stop编辑配置文件#vim /etc/ha.d/ldirectord.cf#全局配置选项checktimeout=20 #判定real server出错的时间间隔checkinterval=10 #判定ldirectord在两次检查之间的间隔fallback=:80 #当所有的real server都不工作时，web服务重定向autoreload=yes #自动重载配置文件。logfile=/var/log/ldirectord.log #指定日志文件路径quiescent=no #no 表示：如果一个节点在checktimeout设置的时间周期内没有相应，ldirectord会从LVS的路由表中之间移除real server，此时中断现有的客户端连接，并是LVS丢掉所有的连接跟踪记录和持续连接记录；yes 表示当某个real server失效时，ldirectord 将失效节点的权值设置为0，新的连接将不能到达，但是并不从LVS路由表中清除此节点，同时，连接跟踪记录和程序连接模版仍然保留在Director上-注意：以上为ldrectord.cf文件的全局配置。它们可以应用大下面多个虚拟主机上，下面是每个虚拟主机的配置。#sample for 按 http virtual servicevirtual=35:80 #设置VIP和端口号，注意：virtual行后面的行必须缩进4个空格或以一个tab字符进行标记。real=10:80 gate #指定real server服务器地址和端口，同时设定LVS的工作模式 gate： DR | ipip： TUNL | masq ： NATreal=20:80 gatefallback=:80 gateservice=http #指定做负载均衡的服务request=index.html #ldirectord将根据real server 地址，结合该选项给出的请求路径，发送访问请求，检查real server上的服务是否正常运行，确保这里给出的页面是可以访问的，否则ldirectord会误认为此节点已经失效，发生错误监控现象。receive=Test Page #指定请求和应答字符串scheduler=rr #指定调度算法，这里是rr 轮询 算法protocol=tcp #指定协议类型，包含 tcp 和 udpcheckport=80 #指定监控的端口号checktype=negotiate #指定ldirectord的检查类型virtualhost= #虚拟服务器的名称9.real server 的配置9.1禁止real server 相应ARP请求，只允许LVS 相应rootzzh /# vim /etc/sysctl.conf编辑内核运行参数，添加下面字段net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2rootzzh /# sysctl -p使上面的修改立即生效9.2配置VIP地址rootlocalhost # ifconfig lo:0 35 broadcast 35 netmask 55 uprootlocalhost # route add -host 35 dev lo:0需要在所有的real server 执行相同的命令，可以写成脚本在所有的real server上执行，并 放到 /etc/rc.d/rc.local 中使该脚本开机执行10.在Director Server 启动 Keepalived 服务service ldirectord start方法二、图形化管理模式11.安装图形化管理配置工具#yum install cman* ipvsadm modcluster piranha配置文件说明/etc/sysconfig/ha/lvs.cf由web界面生成的配置写入这个文件中/etc/init.d/piranha-gui start启动piranha服务的WEB配置界面/etc/init.d/pulse启动piranha服务读取的就是/etc/sysconfig/ha/lvs.cf文件/etc/sysconfig/ha/conf/httpd.conf这个文件是他的配置文件可以改用什么端口来管理11.1使用RedHat提供的工具piranha来配置LVSPiranha 是renhat提供的基于web的LVS的配置软件。也可以单独用作cluster功能。例如：可以通过 Piranha激活 Director Server的后背主机，也就是配置Director Server的双机热备功能。rootlocalhost yum.repos.d# rpm -qc piranha/etc/sysconfig/ha/lvs.cf 所有的配置都被注释掉了/etc/sysconfig/ha/conf/httpd.conf/etc/sysconfig/ha/conf/httpd.conf 对LVS管理界面的访问控制11.2 Director Server上prianha的设置11.2.1开启web页面管理服务rootlocalhost Desktop# /etc/init.d/piranha-gui start11.2.2查看3636端口rootlocalhost Desktop# netstat -tunalp | grep :363611.2.3设置管理用户piranha的密码rootlocalhost Desktop# piranha-passwdNew Password:Verify:Adding password for user piranhatcp 0 0 :3636 :* LISTEN 2978/httpd11.2.4登录 00:363612.web页面配置部分-由于本实验只涉及到一台Director Server调度服务器，未做双机热备，所以不用理会下面两个选项：12.1GLOBAL SETTINGS 是用来设置 Director Server 的全局配置:包含： primary server public ip : LVS 服务器的ipprimary server public ip : LVS 如果启用双机热备，心跳地址超时设置：Use network type ：使用的工作模式 .默认是 : DR模式是用来设置 Director Server的双机热备从服务器12.2设置 VIRTUAL SERVERS添加编辑VIRTUAL SERVER选项说明：Load monitoring tool :用于监视各个real server上的负载状态rup ： 要求real server 启动 rstatd 服务rup ： 要求real server 启动 rwhod 服务Service timeout： 表示real server 失效后，从lvs路由表中移除所要经过的时间，SRe-entry Time ： 表示某个real server被移除后，重新加入路由表必须经过的时间Quiesce server ：“yes” 表示当有新的节点加入集群时，最少链接数会被清零，此时lvs会发送大量的请求到这个新的服务节点，造成新节点的服务阻塞。建议是 noScheduling : 使用的调度算法 默认是：wlc 加权最小链接为了实验便于查看结果，此处使用了 rr 轮询算法12.3激活VIRTUAL SERVER基于该 VIRTUAL SERVER(35),添加REAL SERVER 并设置（EDIT）12.4添加并设置REAL SERVER添加编辑 REAL SERVER再次添加REAL SERVER设置 REAL SERVER 212.5激活添加的REAL SERVER12.6启动pulse服务注意：上面的虚拟服务器激活了才可启动rootlocalhost Desktop# service pulse startStarting pulse: OK rootlocalhost Desktop#chkconfig pulse on13.从 Piranha 上配置-由于本实验中 VIRTUAL SERVER 没有做双机热备，也就不用设置从 Piranha14.REAL SERVER 配置在选择连接类型有NAT、DR(路由直连）、Tunneling三种，选择不同类型真实服务器也要对应不同的设置上面我们选择了DR类型，只要把每台真实服务器按着之前做路由直连时（ipvsadm），设置多台真实服务器就可以了10.1禁止real server 相应ARP请求，只允许LVS 相应rootzzh /# vim /etc/sysctl.conf编辑内核运行参数，添加下面字段net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2rootzzh /# sysctl -p使上面的修改立即生效10.2配置VIP地址rootlocalhost # ifconfig lo:0 35 broadcast 35 netmask 55 uprootlocalhost # route add -host 35 dev lo:0需要在所有的real server 执行相同的命令，可以写成脚本在所有的real server上执行，并 放到 /etc/rc.d/rc.local 中使该脚本开机执行15.测试REAL SERVER1 上rootlocalhost # cd /var/www/html/rootlocalhost html# lsrootlocalhost html# echo real server 1 index.htmlrootlocalhost html# service httpd startStarting httpd: httpd: Could not reliably determine the servers fully qualified domain name, using localhost.localdomain for ServerName OK rootlocalhost html# chkconfig httpd onREAL SERVER2 上rootlocalhost # cd /var/www/html/rootlocalhost html# lsrootlocalhost html# echo real server 2 index.htmlrootlocalhost html# service httpd startStarting htt