LVS配合Win真实服搭建集群.doc

LVS+KEEPALIVED是LINUX下的四层负载均衡软件。其有如下特点： LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率（在DR模式下），将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其主要组成部分为：A、负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。B、服务器池（server pool），是一组真正执行客户请求的服务器，即realserver，执行的服务有WEB、MAIL、FTP和DNS等。C、共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。 LVS的IP负载均衡技术实现:目前IP负载均衡技术是在负载调度器的实现技术中效率最高的。LVS集群中实现的三种IP负载均衡技术，分别是： Virtual Server via Network Address Translation （VS/NAT）： 也有说端口映射的，其目标是将一组服务器构成一个高性能的、高可用的虚拟服务器。因为这种技术容易形成单点故障，从而造成网路无法访问，并且存在带宽瓶颈。所以LVS又提供了下面两种实现。 Virtual Server via IP Tunneling （VS/TUN ）： 通过IP隧道实现虚拟服务。 Virtual Server via Direct Routing （VS/DR） ：直接路由实现虚拟服务器的方法（负载能力最强），本文搭建的就是DR模式。 我们的产品目前如果要作用负载均衡技术，则需要在管理后台开启远程附件（FTP）和分布式缓存服务（MEMCACHED），有关这两个功能可以参见我之前写的这两篇文章。/daizhj/archive/2010/02/08/discuznt_memcache_syncdata.html/daizhj/archive/2008/07/28/1254648.html 这样我们的产品配置就完成了，下面介绍一下相应的服务器环境搭建。首先是IIS配置站点(要求在一个物理网段上)RealServer1：3:80RealServer2：2:80VIP(虚拟IP):两台虚拟机安装Centos5.4（采用DHCP安装模式）,地址：Centos1:5(keepalived:MASTER)Centos2:5(keepalived:BACKUP) 首先要说明的是，因为这里使用的是LVS的VS/DR模式（上面提到），也就是要求REALSERVER会直接将结果返回到客户端，即下面图中（右侧）描述： 所以我们还需要在windows 服务器上配置VIP，可以使用下面的方法 ： 1.在控制面板里添加一个硬件设备， Microsoft Loopback Adapter ，如下图： 2.设置ip为vip，掩码随意: 3.进注册表编辑器，搜索这个vip，把掩码改成55，然后禁用启用网卡即可(在window server 2003系统中有三处)。 这样在网上邻居上看相应Microsoft Loopback Adapter 的IP MASK就变成了55。然后在IIS的相应站点下配置IP地址，可使用VIP地址或使用全部未分配选项。如下图：这样配置就完成了，之后用： c:telnet 3 80和c:telnet 2 80 看一下配置是否已正常启用。 这样就完成了windows服务器的配置工作。在介绍如何如何安装配置LVS和KEEPALIVED之前，先要说明一下在虚拟机安装CENTOS时要注意的几个问题，如下： 1.因为Keepalived需要gcc工具来编译所以要在安装时定制一下安装组件，如下： 然后安装程序会检验相应组件依赖性 2.之后安装防火墙时选择禁用： 3.selinux也是禁用： 下面开始介绍一下linux下如何安装配置LVS和KEEPALIVED. 1.首先安装lvs的管理工具ipvsadm（直接使用yum安装即可）,启用Centos1虚拟机（5），进入终端模式，键入#yumyinstallipvsadm2.然后安装keepalived，因为Keepalived需要gcc工具来编译，所以请安装它（前文已做介绍），在编译时，keepalived倚赖openssl和内核源代码#yumyinstallopenssl-develkernel-devel3.去官方下载最新的keepalived，解压缩，然后编译：#wget/software/keepalived-1.1.18.tar.gz#tarzxvfkeepalived-1.1.18.tar.gz#cdkeepalived-1.1.18#./configure-with-kernel-dir=/usr/src/kernels/2.6.18-164.15.1.el5-i686-prefix=/usr/local/keepalived#将其布署在LVS的目录下#上面的with-kernel-dir是和lvs集成必须的编译参数 注：with-kernel-dir是和lvs集成必须的编译参数，因为keepalived要被放到/usr/local/keepalived下进行编译，另外kernels内核源码会因linux版本不同而有所变化。显示结果： -.Compiler : gccCompiler flags : -g -O2Extra Lib : -lpopt -lssl -lcryptoUse IPVS Framework : Yes (这里必须为yes)IPVS sync daemon support : Yes (这里必须为yes)Use VRRP Framework : Yes (这里必须为yes)Use LinkWatch : No#make&makeinstall #编译 4.做成启动服务#ln-s/usr/local/keepalived/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/#ln-s/usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/#mkdir/etc/keepalived#ln-s/usr/local/keepalived/etc/keepalived/keepalived.conf/etc/keepalived/#ln-s/usr/local/keepalived/sbin/keepalived/usr/sbin/#servicekeepalivedstart#关闭：stop 5.绑定虚拟IP(该步骤在某些安装环境下可以忽略，因为keepalived会自动维护vip，并根据设置，自动在系统里添加vip，所以该步骤可能用途不大) #/sbin/ifconfigeth0:0broadcastnetmask55up#这样的设置可防止IP冲突#/sbin/routeadd-hostdeveth0:0 6.配置network（/etc/sysconfig/network ）文件，内容如下(注：该步骤在网上某些文章中提到，这里也就随手多做了一步):NETWORKING=yesHOSTNAME=localhost.localdomainGATEWAY= 7.LVS 在3 种方式下均需要打开ip forward 功能，这可以配置/etc/sysctl.conf. 文件，保证其中有如下一行(注：该步骤在网上某些文章中提到，这里也就随手多做了一步):#net.ipv4.ip forward = 1 #sysctl-p #然后执行下面命令使配置生效: 备注：因为KEEPALIVED要使用80端口（稍后配置文件中会做设置），所以如果要马上启用80端口，可以启动Apache，用下面命令（这一步并不在安装步骤中）： #servicehttpdstart（或restart） 完成了环境配置之后，下面就是打开并修改Keepalived.conf文件了，我们可以从下面地址打开并编辑它：/usr/local/keepalived/etc/keepalived.conf 或：/etc/keepalived/keepalived.conf（之前的ln指令指向） 这里将5这台虚拟机设置为MASTER,配置文件如下(相应配置信息详见这篇文章)：!ConfigurationFileforkeepalivedglobal_defsnotification_notification_email_fromAlexandre.Cassenfirewall.locsmtp_serversmtp_connect_timeout30router_idLVS_DEVELvrrp_instanceVI_1stateMASTERinterfaceeth0#HA监测网络接口virtual_router_id51#主、备机的virtual_router_id必须相同priority100#主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高advert_int1#VRRPMulticast广播周期秒数authenticationauth_typePASSauth_pass1111virtual_ipaddressvirtual_server80delay_loop6lb_algowrrlb_kindDRpersistence_timeout10!同一ip50秒内的请求都发送到同一realserverprotocolTCPreal_server280weight2TCP_CHECKconnect_timeout3nb_get_retry3delay_before_retry3connect_port80real_server380weight2TCP_CHECKconnect_timeout3nb_get_retry3delay_before_retry3connect_port80 然后我们使用如下命令启用keepalived：#keepalived#位于/usr/local/keepalived/sbin/ 或#servicekeepalivedstart 我们可以通过下面指令来查看相应进程：#psaux|grepkeepalived - sr/local/keepalived/etc/keepalived/keepalived.confroot 17670 0.0 0.2 4932 564 ? Ss 19:03 0:00 keepalived -Droot 17671 0.0 0.6 4976 1416 ? S 19:03 0:02 keepalived -Droot 17672 0.0 0.4 4976 928 ? S 19:03 0:00 keepalived -D. 这里注意keepalived要启动一个主并fork两个子进程，所以这里显示了三个进程。 这里我们可以下面指令检查一下配置是否生效：#ping-c4#telnet80 如果正常的话，就说明keepalived已启用了我们的配置。 注：之前本人配置过程中发现telnet经常无法正常访问，可以使用下面指令查看80端口是否启用：#netstat-npl|grep:80#windows下相应指令为：netstat-an|findstrLISTEN 也可以使用下面指令检查LVS进程：#lsmod|grepip_vs 到这里就完成了5这台虚拟机上的keepalived配置。然后重复1-7这些步骤，在5上也安装并配置keepalived，这里要注意的是在keepalived.conf文件中要将state MASTER改成state BACKUP 接着，我们在IE上输入下面地址：/index.aspx 如果能正常访问，就说明负载均衡环境搭建完毕了 注：还可以配置HOST文件（/etc/hosts）和DNS域名解析的配置文件（/etc/resolv.conf） 我们可以使用下面指令查看请求的转发情况：rootlocalhost#ipvsadm-lcn|grep- clientip vip realserverTCP 14:44 ESTABLISHED 02:5244 :80 2:80TCP 14:44 ESTABLISHED 02:5232 :80 2:80TCP 07:35 ESTABLISHED 02:4875 :80 3:80TCP 14:44 ESTABLISHED 02:5249 :80 2:80TCP 14:46 ESTABLISHED 02:5246 :80 2:80TCP 08:40 ESTABLISHED 02:4913 :80 2:80TCP 08:40 ESTABLISHED 02:4927 :80 2:80TCP 14:44 ESTABLISHED 02:5247 :80 2:80TCP 08:40 ESTABLISHED 02:4929 :80 2:80TCP 07:35 ESTABLISHED 02:4872 :80 3:80TCP 14:47 ESTABLISHED 02:5243 :80 2:80TCP 08:40 ESTABLISHED 02:5011 :80 2:80TCP 14:56 ESTABLISHED 02:52