CentOSLVS集群的文档.doc

/thread-44378-1-1.html希望对各位DDMM有点帮助，没有帮助你也不要拍砖安装环境：RedHat AS 3.x , LVS , Linux-HA HeartBeat, Ldirectord主要特点：Load Balancer和 Backup Load Balancer也可以作为Real Server加入群中，以节省资源。其他Real Server可以任意添加，也可以没有原文可以访问我的个人网站：作者：FunBSD最后更新：2005年5月18日 目录Preface IPVS HeatBeat Ldirectord Patch Scripts Reference # Preface#系统结构如图：各层的作用：Copy to clipboardCODE:Load Balancer(负载均衡器)：Load Balancer是整个集群系统的前端，负责把客户请求转发到Real Server上。Backup是备份Load Balancer，当Load Balancer不可用时接替它，成为实际的Load Balancer。Load Balancer通过Ldirectord监测各Real Server的健康状况。在Real Server不可用时把它从群中剔除，恢复时重新加入。 Server Array(服务器群)：Server Array是一组运行实际应用服务的机器，比如WEB, Mail, FTP, DNS, Media等等。在实际应用中，Load Balancer和Backup也可以兼任Real Server的角色。 Shared Storage(共享存储)：Shared Storage为所有Real Server提供共享存储空间和一致的数据内容。这一部分在这里不涉及 各服务器IP分配：Copy to clipboardCODE:Virtual IP： 0 Load Balancer： 1 Backup： 2 Real Server 1： 01 Real Server 2： 02 Real Server 3： 03 # IPVS#IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Load Balancer上，把发往Virtual IP的请求转发到Real Server上。 IPVS安装主要包括三方面：在Load Banlancer上安装IPVS内核补丁 在Load Banlancer上安装IPVS管理软件 在Real Server上安装ARP hidden内核补丁 关于如何编译内核请参考其他文档，这里使用从UltraMonkey下载的已编译好的内核。在Load Banlancer、Backup和Real Server上使用同一内核，IPVS和ARP hidden都已编译在这个内核里：Copy to clipboardCODE:wget /downl . .13-1.um.1.i386.rpmwget /downl . .2.EL.um.1.i686.rpm#wget /downl . .2.EL.um.1.i686.rpmrpm -Fhv mkinitrd-3.5.13-1.um.1.i386.rpmrpm -Fhv kernel-2.4.21-27.0.2.EL.um.1.i686.rpm 在Load Banlancer和Backup上安装IPVS管理软件：Copy to clipboardCODE:wget http:/www.linuxvirtualserver.or . /ipvs-1.0.10.tar.gztar zxf ipvs-1.0.10.tar.gzcd ipvs-1.0.10/ipvs/ipvsadmmake installchkconfig -del ipvsadm配置IPVS(/etc/sysconfig/ipvsadm)，添加Real Server：Copy to clipboardCODE:-A -t 0:80 -s rr-a -t 0:80 -r 1:80 -i-a -t 0:80 -r 2:80 -i-a -t 0:80 -r 01:80 -i-a -t 0:80 -r 02:80 -i-a -t 0:80 -r 03:80 -i 相关链接：Kernel：/IPVS和IPVSadm：/software/ipvs.htmlARP hidden：http:/www.ssi.bg/ja/#hidden 注意事项：1. Kernel,IPVS,IPVSadm,ARP hidden之间的版本必须对应。2. 自己编译内核时，从/下载标准内核源文件，不要使用发行版的内核源文件。3. Kernel 2.4.28和2.6.10及以上版本已内置IPVS，有些Linux发行版也在其内核里编译了IPVS。4. ARP hidden可以用arp_ignore/arp_announce或者arptables_jf代替 # HeatBeat#HeartBeat是Linux-HA的高可用性集群软件，它的主要作用是：安装在Load Balancer和Backup上，运行于active/standby模式。当Load Balancer失效时，Backup自动激活，成为实际的Load Balancer。 切换到active模式时，按顺序启动Virtual IP、IPVS和Ldirectord。切换到standby模式时，按顺序关闭Ldirectord、IPVS和Virtual IP。 HeartBeat串口线连接测试方法：在Load Balancer上：cat ; /dev/ttyS0在VMWare上设置串口的时候一端做server，一端做client即可修改主机名(/etc/hosts)：Copy to clipboardCODE: localhost.localdomain localhost1 loadbalancer2 backup安装：Copy to clipboardCODE:groupadd -g 694 haclientuseradd -u 694 -g haclient haclusterrpm -ivh /mnt/cdrom/RedHat/RPMS/glib2-devel-*wget /libnet/dist/libnet.tar.gztar zxf libnet.tar.gzcd libnet./configure makemake installwget /download/heartbeat-1.99.4-tar.gztar zxf heartbeat-1.99.4.tar.gzcd heartbeat-1.99.4./ConfigureMe configure -disable-swig -disable-snmp-subagentmakemake installcp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/cp ldirectord/ldirectord.cf /etc/ha.d/chkconfig -add heartbeatchkconfig -del ldirectord 主配置文件(/etc/ha.d/ha.cf)：Copy to clipboardCODE:#debugfile /var/log/ha-debuglogfile /var/log/ha-loglogfacility local0keepalive 2deadtime 30warntime 10initdead 120udpport 694baud 19200serial /dev/ttyS0mcast eth0 694 1 0# 当主节点恢复后，是否自动切回auto_failback on# stonith用来保证共享存储环境中的数据完整性#stonith baytech /etc/ha.d/conf/stonith.baytech# watchdog能让系统在出现故障1分钟后重启该机器。这个功能可以帮助服务器在确实停止心跳后能够重新恢复心跳。# 如果使用该特性，则在内核中装入softdog内核模块，用来生成实际的设备文件，输入insmod softdog加载模块。# 输入grep misc /proc/devices(应为10)，输入cat /proc/misc | grep watchdog(应为130)。# 生成设备文件：mknod /dev/watchdog c 10 130 。#watchdog /dev/watchdognode loadbalancernode backup# 默认heartbeat并不检测除本身之外的其他任何服务，也不检测网络状况。# 所以当网络中断时，并不会进行Load Balancer和Backup之间的切换。# 可以通过ipfail插件，设置ping nodes来解决这一问题。详细说明参考hearbeat文档。#ping ping_group group1 respawn root /usr/lib/heartbeat/ipfailapiauth ipfail gid=root uid=root# 其他一些插件可以在/usr/lib/heartbeat下找到#apiauth ipfail uid=hacluster#apiauth ccm uid=hacluster#apiauth cms uid=hacluster#apiauth ping gid=haclient uid=alanr,root#apiauth default gid=haclient 资源文件(/etc/ha.d/haresources)：Copy to clipboardCODE:loadbalancer lvs IPaddr:0/24/eth0 ipvsadm ldirectord 认证文件(/etc/ha.d/authkeys)，选取一种认证方式，这个文件的权限必须是600：Copy to clipboardCODE:auth 11 crc#2 sha1 sha1_any_password#3 md5 md5_any_password 相关链接：Linux-HA： # Ldirectord#安装HeartBeat过程中，已经自动安装了Ldirectord，它的作用是：监测Real Server，当Real Server失效时，把它从Load Balancer列表中删除，恢复时重新添加。 配置(/etc/ha.d/ldirectord.cf)：Copy to clipboardCODE:# Global Directiveschecktimeout=3checkinterval=1fallback=:80autoreload=yeslogfile=/var/log/ldirectord.logquiescent=yes# A sample virual with a fallback that will override the gobal settingvirtual=0:80 real=1:80 ipip real=2:80 ipip real=01:80 ipip real=02:80 ipip real=03:80 ipip fallback=:80 gate service=http request=test.html receive=Test Page virtualhost= scheduler=rr #persistent=600 #netmask=55 protocol=tcp在每个Real Server的中添加监控页：echo Test Page ; /var/www/html/test.html # Patch#在启动集群系统之前，我们认为包括Load Balancer和Backup在内的所有服务器都是Real Server。在服务器上添加以下脚本/etc/init.d/tunl，用来配置tunl端口，应用arp补丁：Copy to clipboardCODE:#!/bin/sh# chkconfig: 2345 70 10# description: Config tunl port and apply arp patch VIP=0. /etc/rc.d/init.d/functionscase $1 instart) echo Tunl port starting ifconfig tunl0 $VIP netmask 55 broadcast $VIP up echo 1 ; /proc/sys/net/ipv4/ip_forward echo 1 ; /proc/sys/net/ipv4/conf/all/hidden echo 1 ; /proc/sys/net/ipv4/conf/tunl0/hidden ;stop) echo Tunl port closing ifconfig tunl0 down echo 1 ; /proc/sys/net/ipv4/ip_forward echo 0 ; /proc/sys/net/ipv4/conf/all/hidden ;*) echo Usage: $0 start|stop exit 1esac如果有多个Virutal IP，可以使用tunl0:0,tunl0:1.。Copy to clipboardCODE:chmod 755 /etc/init.d/tunlchkconfig -add tunl 在Load Balancer和Backup上，这个脚本的启动级必须先于heartbeat，关闭级必须后于heartbeat。# Scripts#在HeartBeat资源文件(/etc/ha.d/haresources)中定义了实现集群所需的各个软件的启动脚本。这些脚本必须放在/etc/init.d或者/etc/ha.d/resource.d目录里，启动顺序不能变：Copy to clipboardCODE:loadbalancer lvs IPaddr:0/24/eth0 ipvsadm ldirectordIPaddr的作用是启动Virutal IP，它是HeartBeart自带的一个脚本。ipvsadm的作用是在启动的时候把所有Real Server加入群中。ldirectord的作用是启动ldirectord监控程序。lvs的作用是为启动Load Balancer做准备，关闭tunl端口，取消arp补丁：Copy to clipboardCODE:#!/bin/sh# chkconfig: 2345 90 10# description: Preparing for Load Balancer and Real Server switching VIP=0. /etc/rc.d/init.d/functionscase $1 in