分布式web框架_操作手册v0

1、CTG-BSS_分布式 WEB 框架操作手册V0.42015-5-20文档版本修订历史序号修订摘要版本号修订人修订时间1新建V0.12015-05-192修改V0.2、2015-05-203修改-增加LVS 的部署模式以及依赖包的来源V0.32015-06-154对于常见易忽略的部署做了重点数据并增加部分依赖包的来源V0.42015-07-235678910目录1. 引言..1.5.背景5目的5术语与缩写5阅读建议5参考资料52. 依赖环境说明6ZOOKEEPER6分布式缓存63. LVS-四层负载均衡的安装和配置6普通版 LVS 安装6安装 ipvsadm6安装

2、 keepalived7ALI-LVS 安装8升级内核版本8SERVICE 配置9配置9网络及系统参数设置10转发模式...DR 模式13FULLNAT 模式16NAT 模式20TUNE 模式待补充223.6. 部署模式..3.主备模式22主主模式25集群模式待补充304. TENGINE-七层负载均衡的安装和配置304.1. 安装30安装基础环境30安装 tengine314.2. 配置325. VARNISH-网页缓存的安装和配置335.1. 安装3..3.安装基础环境33安装 va

3、rnish34配置启停. 345.2. 配置346. 探测模块安装和配置3.6.3.安装基础环境36安装36配置367. SES共享使用与说明387.1.安装38修改仓库地址38获取 jar 包387.2. 配置387.3. 使用398. 文件中心使用与说明398.1. 安装39修改仓库地址39获取 jar 包408.2. 配置408.3. 使用419. KETTY 容器使用与说明419.1. 安装419.2. 配置4...系统环境变量42local 配置42应用的发布42应用启停4310.附录4310.1.依赖包说明431.引言1.

4、1.背景1.2.目的本文主要为分布式WEB 框架的使用提供指导，对分布式 WEB 专题各个组件的安装和配置提供参考，主要对象为以下角色：配置管理，开发、测试。1.3. 术语与缩写DS：DirectorServer，LVS（或 ali-lvs）中 ipvsadm 端服务器的简称，对流量进行控制分发；RS：RealServer，LVS（或 ali-lvs）、Tengine（或 nginx）、Varnish 中真实服务器的简称；VIP：虚拟 IP 地址(Virtual IP) 是一个不与特定计算机或一个计算机中的网络接口卡(NIC)相连的 IP 地址。数据包被发送到这个 VIP 地址，但是所有的数据

5、还是经过真实的网络接口，本文一般指对外的 IP 地址。1.4. 阅读建议1.5. 参考资料2. 依赖环境说明2.1. zookeeperzookeeper 是探测模块的基础环境，所有应用的存活状态都是基于 zookeeper 的节点状态。当应用性能需要扩展时，只需启用相应数量的应用实例，探测模块根据应用实例在zookeeper 的信息，自动将实例加入到集群。2.2. 分布式缓存ses共享的介质是缓存，在启用 ses共享前应确保缓存能正常对外提供服务，目前ses共享仅支持基于 redis 接口的缓存服务。3. LVS-四层负载均衡的安装和配置3.1. 普通版 LVS 安装普通版LVS 相对于Al

6、i-LVS，不具备四层负载集群功能，在生产环境下，通常配合keepalived一起进行主主或主备的方式提供服务，普通版本LVS 由发布、原生的LVS。一般情况下，普通版 LVS 在 linux 内核 2.6 版本以上，不需要升级内核版本，它已经是系统的一部分。3.1.1. 安装 ipvsadm1.检查 kernel 是否已经支持LVS 的 ipvs 模块：modprobe -l |grpvs如果有类似下面的输出，表明系统内核已经默认支持了 IPVS 模块。接着就可以安装 IPVS管理了。kernel/net/netfilter/ipvs/ip_vs.ko kernel/net/netfilte

7、r/ipvs/ip_vs_rr.ko kernel/net/netfilter/ipvs/ip_vs_wrr.ko kernel/net/netfilter/ipvs/ip_vs_lc.ko kernel/net/netfilter/ipvs/ip_vs_wlc.ko kernel/net/netfilter/ipvs/ip_vs_lblc.ko在 Director Serve 上安装 IPVS 管理【方法 1】tar zxvf ipvsadm-1.26.tar.gz ipvsadm-1.26make &make install注意：在 make 时可能会出现错误编译信息，这是由于编译程序找不

8、到对应内核的原因，按照如下操作就可以正常编译：ln -s /usr/src/kernels/2.6.9-42.EL-i686/usr/src/linux【方法 2】yum install -y ipvsadm验证安装成功roottest1 app# ipvsadm help如果看到帮助提示，表明 IPVS 已经成功安装。3.1.2. 安装 keepalived【依赖环境】服务器系统：Red Hat 6.1 64bitLinux local00 2.6.32-131.0.15.el6.x86_64 #1 SMP Tue May 10 15:42:40 EDT 2011 x86_64x86_64

9、x86_64 GNU/Linuxgcc 工具：rpm -qa|grep -i gcc环境配置：gcc make openssl openssl-devel kernel-devel popt-dev【安装步骤】准备安装包keepalived-1.2.13.tar.gz（wget）1)2)3)4)5)Keepalivedtar -zxvf keepalived-1.2.13.tar.gzcd keepalived-1.2.13./configure -prefix=/home/ make & make install/keepalivedkernel/net/netfilter/ipvs/ip_

10、vs_lblcr.ko kernel/net/netfilter/ipvs/ip_vs_dh.ko kernel/net/netfilter/ipvs/ip_vs_sh.ko kernel/net/netfilter/ipvs/ip_vs_sed.ko kernel/net/netfilter/ipvs/ip_vs_nq.ko kernel/net/netfilter/ipvs/ip_vs_ftp.ko3.2. Ali-LVS 安装Ali-LVS 是普通版LVS 的升级版，相对于普通版LVS 主要增加LVS 集群功能以及在原有三种工作模式（DR、NAT、TUN）新增了 FULLNAT 模式，该

11、版对环境要比价苛刻：只适应于 linux内核版本为 2.6.32。以下所有的配置来源于 lvs 官网： FULLNAT and SYNPROXY3.2.1. 升级内核版本. DirectServer 内核版本升级查看本地是否安装 ncurses，rpm -qa ncurses，若没有安装则执行命令：yum ncurses-develwget1)install-y2)3)4)5)6)tar -zxvf Linux-2.6.32-220.23.1.el6.x86_64.lvs.src.tar.gzcd linux-2.6.32-220.23.1.el6.x86_64.lvs/ make mrpro

12、permakeconfig选择：“savemake -jternate Configuration file”“ok”“Exit”7)8)9)10)11)12)13)make modules_installmake install修改文件/boot/grub/.lst，将 default=0/ default=1 改为 default=1/ default=0当前内核版本，uname -a重启 reboot查看修改后的内核版本，看是否变化成功. RealServer 内核版本升级1)wget2)3)tar -zxvf Linux-2.6.32-220.23.1.el6.x86_64.rs.sr

13、c.tar.gz其他步骤参加上一章节。. LVS Tools (keepalived/ipvsadm/quaage)LVS 配套工具有 3 类：keepalived：保证 lvs 主备、对 lvs、vip 进行设置ipvsadm：directserver令行工具，一般情况下 keepalived 内部自动调用 lvs 命令，keepalived 和 ipvs 命令行选择其一即可，使用 keepalived。 quaage：wgettar -zxvf Lvs-fullnat-synproxy.tar.gz mkdir lvstoolscp lvs-fullnat-synproxy/lvs-too

14、ls.tar.gz lvstools/ cd lvstools/tar -zxvf lvs-tools.tar.gzcd tools/1)2)3)4)5)6)7). keepalived install接上一章节：6)7)8)9)cd keepalived/yum install openssl-devel yum install popt-devel./configure-with-kernel-dir=/lib/modules/uname -r/build -prefix=/usr/local必须携带红色标记make & make install令选型。10)service 配置11)cd

15、 ./keepalivedcp /usr/local/sbin/keepalived /usr/bin/cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ cp /usr/local/etc/rc.d/init.d/keepalived /etc/init.d/注意：此项配置后，会使 keepalived 的可执行文件、配置文件等发生变化，使用keepalived start|stop，默认会从以下地方搜索文件：可执行文件位置变为/usr/bin/keepalived配置文件变为/etc/keepalived/keepalived.co

16、nfservice. ipvsadm install1)2)3)4)cd ./keepalived/keepalived/limakecd ./././ipvsadm/ make & make installvs-2.6/3.3. 配置普通版 LVS 和 Ali-LVS 都可以分直接配置和基于 keepalived 的配置，两者选择其一即可。下面大概说明直接配置的主要步骤和keepalived 配置文件主要配置项的说明。3.3.1. 网络及系统参数设置. DS 配置首先在 Director Server 上绑定一个虚拟 IP（也叫 VIP），此 IP 用于对外提供服务。.1.直接配置参考如下步

17、骤，根据机器的实际，需要对参数做相应的调整在出口网卡绑定了一个虚拟设备 ethx:0；设置 VIP： ifconfig ethx:0 VIP broadcast VIP netmask 55 up;然后给虚拟设备 ethx:0 指定一条路由，执行如下指令：route add -host VIP dev ethx:0.2.Keepalived 配置找到 Keepalived 配置文件（按照操作说明安装 Keepalived 见 第 11 步，配置文件的目录为/etc/keepalived/Keepalived.conf）以主备的方式说明 keepalived 的配置：主节点配置如下：global

18、_defs router_id LVSvrrp_instance VI_1 s e MASTER #注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为 MASTER,另一方为 SLAVE,则表示双机热备(即一主一从）.erface bond0 #当前服务器网卡virtual_router_id 51#确保和 server2 相同，同网内不同集群此项必须不同,否则发生priority 100#此处 server2 上设置为 50advert_1nopreempt#不抢占，只在 priority 高的 server1 上设置，server2 上此项注

19、释掉authentication auth_type PASS auth_pass 1111virtual_ipaddress 00备节点配置如下：global_defs router_idLVSvrrp_instance VI_1 s e BACKUP #注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为 MASTER,另一方为 SLAVE,则表示双机热备(即一主一从）.erface eth1virtual_router_id 51#确保和 server2 相同，同网内不同集群此项必须不同,否则发生priority 50#此处 server2

20、上设置为 50advert_1!nopreempt#不抢占，只在 priority 高的 server1 上设置，server2 上此项注释掉authentication auth_type PASS auth_pass 1111virtual_ipaddress 00virtual_server 00 3306 delay_loop 2virtual_server 00 3306 delay_loop 2 #每个 2 秒检查一次 real_server 状态lb_algo wrr#LVS 算法lb_kind DR#LVS 转发模式 persistence_timeout 60 #会话保持时间

21、 protocol TCPreal_server 00 3306 weight 3 TCP_CHECK connect_timeout 10#连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3#重连间隔时间connect_port 3306 #健康检查端口【关键参数详解】1.virtual_server 模块delay_loop 2 #每个 2 秒检查一次 real_server 状态lb_algo wrr#LVS 算法,共八种lb_kind DR#LVS 转发模式，共四种：DR/NAT/TUNNEL/FNAT persistence_timeout

22、60 #会话保持时间protocol TCP2.real_server 模块#权重weight 3TCP_CHECK #该模块为健康检查设置 connect_timeout 10 #连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3 #重连间隔时间connect_port 3306 #健康检查端口. RS 配置以 DR 模式为例：1)回环设备上绑定了一个虚拟 IP 地址，ifconfig lo:0 00 netmask 55 up增加路由 Director Server 上的虚拟 IP 保持互通，route add -host 00 dev lo:0了

23、本机的 ARP 请求。2)lb_algo wrr lb_kind DRpersistence_timeout 60 protocol TCPreal_server 01 3306 #server2 上此处改为01(即 server2 本机 ip)weight 3notify_down /etc/keepalived/.sh TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 3306echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 /proc/s

24、ys/net/ipv4/conf/lo/arp_announceecho 1 /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/all/arp_announce sysctl p. 网络参数调优根据机器配置不同参数略有差别，参数示例：net.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route = 0kernel.sysrq = 0kernel.core_uses_net

25、.ipv4.tcp_syn= 1s = 1net.bridge.bridge-nf-call-ip6tables = 0net.bridge.bridge-nf-call-iptables = 0net.bridge.bridge-nf-call-arptables = 0kernekernegmnb = 65536gmax = 65536kernel.shmmax = 68719476736kernel.shmall =net.ipv4.tcp_syns = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_f

26、in_timeout = 30net.ipv4.tcp_keepalive_time = 1200net.ipv4.tcp_max_syn_backlog = 50000net.ipv4.tcp_max_tw_buckets = 50000net.ipv4.ip_local_port_range = 10240610003.4. 转发模式3.4.1. DR 模式DR 模式是 ALi-LVS 所有模式中效率最高的模式，其特点是只对请求进行转发，响应由RS 直接返回不再经过 DS，DR 模式对性能几乎无损耗，但 DR 模式对网络要求较高，要求 DS和 RS 必须在同一局域网内，并能互相响应对方的

27、ARP 请求。. DS 配置.1.直接配置【DirectServer 配置】1、配置 VIPifconfig eth0:0 VIP broadcast VIP netmask 55 up注：eth0:0 可根据实际出口网卡的名称设置2、配置 DirectorServer 网卡参数echo 1 /proc/sys/net/ipv4/ip_forward注：当系统有多网卡，并有网卡 1 转网卡 2，实现网卡数据转发时，开启此参数，否则，无需开启。3、配置转发规则ipvsadm -a -t $VIP:$RPORT -r $RIP1:$RPORT -g参数说明：-a：新增一条转发规则-t：基于 TCP

28、 协议-r：RR 算法-g：DR 模式（直接路由模式）.2.Keepalived 配置【Keepalived 对应配置】global_defs router_id LVSvrrp_instance VI_1 s e MASTER # 注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为MASTER,另一方为SLAVE,则表示双机热备(即一主一从）.erface etho #当前服务器网卡virtual_router_id 51 #确保和 server2 相同，同网内不同集群此项必须不同,否则发生. RS 配置【RealServer 配置】1、配置

29、DirectorServer 网卡参数echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 /proc/sys/net/ipv4/conf/all/arp_announce 2、配置回环地址ifconfig lo:0 VIP netmask 55 uproute add -host 1VIP dev lo:0priority 100#此处 server2 上设置为 5

30、0advert_1nopreempt#不抢占，只在 priority 高的 server1 上设置，server2 上此项注释掉authentication auth_type PASS auth_pass 1111virtual_ipaddress 00 #VIPvirtual_server 00 3306 #转发规则 delay_loop 2 #每个 2 秒检查一次 real_server 状态 lb_algo wrr#LVS 算法lb_kind DR#LVS 转发模式persistence_timeout 60 #会话保持时间protocol TCP #转发协议类型，有 tcp 和 ud

31、p 两种real_server 00 3306 weight 3TCP_CHECK #TCP_CHECK 和 UDP_CHECKconnect_timeout 10#连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3#重连间隔时间connect_port 3306 #健康检查端口3.4.2. FULLNAT 模式FULLNAT 是基于 NAT 的改良版，其实现主要：引入 local address（内网 ip 地址），cip-vip 转换为 lip-rip，而 lip 和 rip 均为 IDC 内网 ip，可以跨 vlan 通讯； IN/OUT 的数据

32、流全部经过LVS，为了保证带宽，采用万兆（10G）网卡； FULLNAT 转发模式，当前仅支持 TCP协议对系统版本要求较高内核必须为 2.6.32。. DS 配置【安装系统和工具】# 参见 lvs-fullnat-synproxy.tar 中的 README，包括 LVS kernel 和keepalived 等的编译方法；【内核启动参数】在 kernel 一行中，添加“nohz=off ”注：如果不关闭 nohz，大压力下 CPU0 可能会消耗过高，压力不均匀；【Sysctl 配置】路径：/etc/sysctl.conf# configure for lvsdev_max_backlog

33、= 500000【配置网卡参数】路径：/etc/rc.local关闭网卡LRO 和 GRO# ethtool -K eth0 gro off# ethtool -K eth0 lro off【关闭系统参数】路径：/etc/rc.local关闭 irqbalance# service irqbalantop# chkconfig -level 2345 irqbalance off【LocalAddress 配置】路径：/etc/rc.localLocal address 绑定到内网(下联)网卡上ip addr add /32 dev eth1ip addr add /32 dev eth1ip

34、 addr add /32 dev eth1ip addr add /32 dev eth1ip addr add /32 dev eth1此步骤不配置，默认使用本机 IP。【Keepalived.conf】启动：service keepalived start更新：service keepalived reload停止：service keepalived stopKeepalived 的配置包含 2 个文件：说明：一个集群内的所有LVS 配置文件基本相同，区别的地方见红域主配置文件keepalived.conf路径：/etc/keepalived/keepalived.conf! Conf

35、iguration File for keepalived global_defs #notification_ #notification_from#smtp_server #smtp_connect_timeout 40local_address_group laddr_g1 业务配置文件 “业务名.conf”路径：/etc/keepalived/ server.confvirtual_server_group server 80/vip1 80/vip2vrrp_instance VI_1 se MASTER/BACKUPerface eth0 virtual_router_id 200

36、 priority 150/90 advert_1 authentication auth_type PASS auth_pass 123456virtual_ipaddress ! include virtual server configure file include server.confvirtual_server group server delay_loop 7lb_algo rr lb_kind FNAT protocol TCP syn_proxyladdr_group_name laddr_g1/* healthcheck for L4 */ real_server 80

37、weight 100 inhibit_on_failureTCP_CHECK connect_timeout 5/* healthcheck for L7 */ real_server 80 weight 100 inhibit_on_failure HTTP_GET url path /index.html sus_code 200connect_timeout 3【绑定网卡中断】# set_irq_affinity eth0 #参见附录,该是 ixgbe/igb driver 网卡. RS 配置【安装系统】# 参见 lvs-fullnat-synproxy.tar 中的 README,其中

38、有 TOA(RS 内核)的 patch；【加载 TOA 模块】命令：# modprobe toa# vim /etc/rc.local添加 modproble toa3.4.3. NAT 模式NAT 模式的网络结构呈现为一种类似的私有网结构，通过 DS，将 RS 和互联网隔离开来，RS 无法和客户端直接通信，不论是请求数据还是应答数据，都需要经过负载均衡器，DS 需要对进入和流出集群的网络包进行改写包头地址的工作，在负荷比较重的时候会影响整个集群的性能，负载均衡器容易成为瓶颈。NAT 模式配置最简单，只需在 DS 或 Keepalived 配置即可，对 RS 透明。注：因为使用 NAT 模式，

39、虚拟 ip 与内网 IP 必须属于两个不同网段，若所属同一网段则运行以下命令：route add -host $c nt_ip gw $ds_ipnb_get_retry 2delay_before_retry 5. 直接设置【DirectServer 配置】1、配置 VIPifconfig eth0:0 VIP broadcast VIP netmask 55 up注：eth0:0 可根据实际出口网卡的名称设置2、配置 DirectorServer 网卡参数echo 1 /proc/sys/net/ipv4/ip_forward注：当系统有多网卡，并有网卡 1 转网卡 2，实现网卡数据转发时

40、，开启此参数，否则，无需开启。3、配置转发规则ipvsadm -a -t $VIP:$RPORT -r $RIP1:$RPORT -m参数说明：-a：新增一条转发规则-t：基于 TCP 协议-r：RR 算法-m：NAT 模式（直接路由模式）. Keepalived 配置【Keepalived 对应配置】global_defs router_id LVSvrrp_instance VI_1 s e MASTER # 注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为MASTER,另一方为SLAVE,则表示双机热备(即一主一从）.erface eth

41、o #当前服务器网卡virtual_router_id 51#确保和 server2 相同，同网内不同集群此项必须不同,否则发生priority 100#此处 server2 上设置为 50advert_1nopreempt#不抢占，只在 priority 高的 server1 上设置，server2 上此项注释3.4.4. TUNE 模式待补充3.5. 部署模式本章主要对常用的部署模式做简单的介绍，因 LVS 的模式和算法比较多，本章主要选取 DR 模式和 RR 算法作为举例。3.5.1. 主备模式主备模式的情况下，只需要一个对外的 VIP 即可，使用 Keepalived 作为高可用工具，

42、LVS的安装可以参考上面的章节，下面对配置的过程和算法梳理一下。掉authentication auth_type PASS auth_pass 1111virtual_ipaddress 00virtual_server 00 3306 delay_loop 2 #每个 2 秒检查一次 real_server 状态lb_algo wrr#LVS 算法lb_kind NAT#LVS 转发模式persistence_timeout 60 #会话保持时间protocol TCP #转发协议类型，有 tcp 和 udp 两种real_server 00 3306 weight 3TCP_CHECK

43、#TCP_CHECK 和 UDP_CHECKconnect_timeout 10#连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3#重连间隔时间connect_port 3306 #健康检查端口1、安装 LVS2、在主备机安装 Keepalived3、配置 Keepalived4、启动【Keepalived 配置参考】主节点：global_defs router_id LVSvrrp_instance VI_1 se MASTER#注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为 MASTER,另一方

44、为 SLAVE,则表示双机热备(即一主一从）.erfaceetho #当前服务器网卡virtual_router_id 51#确保和 server2 相同，同网内不同集群此项必须不同,否则发生priority 100#此处备节点上设置为 50advert_1nopreempt#不抢占，只在 priority 高的 server1 上设置，server2 上此项注释掉authentication auth_type PASS auth_pass 1111virtual_ipaddress 23 #VIP 地址virtual_server 23 3306 #对于 lvs 的转发规则 delay_l

45、oop 2 #每个 2 秒检查一次 real_server 状态 lb_algo wrr #LVS 算法lb_kind DR#LVS 转发模式persistence_timeout 60 #会话保持时间protocol TCP #转发协议类型，有 tcp 和 udp 两种real_server 8 3306 weight 3TCP_CHECK #TCP_CHECK 和 UDP_CHECKconnect_timeout 10#连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3#重连间隔时间connect_port 3306 #健康检查端口，对于转发规则端

46、口备节点：global_defs router_id LVSvrrp_instance VI_1 se BACKUP#注: BACKUP 将根据优先级决定主或从;MASTER 指定为主;SLAVE 指定为从.若一方为 MASTER,另一方为 SLAVE,则表示双机热备(即一主一从）.erfaceetho #当前服务器网卡virtual_router_id 51#确保和主节点相同，同网内不同集群此项必须不同,否则发生priority 50#此处备节点上设置为 50advert_1#nopreempt#不抢占，只在 priority 高的节点上设置，备节点上此项注释掉authentication

47、auth_type PASS auth_pass 1111virtual_ipaddress 23#VIP 地址virtual_server 23 3306 #对于 lvs 的转发规则 delay_loop 2 #每个 2 秒检查一次 real_server 状态 lb_algo wrr #LVS 算法lb_kind DR#LVS 转发模式persistence_timeout 60 #会话保持时间protocol TCP #转发协议类型，有 tcp 和 udp 两种real_server 8 3306 weight 3TCP_CHECK #TCP_CHECK 和 UDP_CHECKconne

48、ct_timeout 10#连接超时时间nb_get_retry 3 #重连次数delay_before_retry 3#重连间隔时间connect_port 3306 #健康检查端口，对于转发规则端口3.5.2. 主主模式主主模式的情况下，需要两个对外的 VIP 即可，每台 DS 都有 1 个主 VIP 和一个备 VIP，使用 Keepalived 作为高可用工具，LVS 的安装可以参考上面的章节，下面对配置的过程和算法梳理一下。1、安装 LVS2、在主备机安装 Keepalived3、配置 Keepalived4、启动【Keepalived 配置参考】主节点 1：global_defs r

49、outer_id CTG-HAvrrp_sync_group VGM1 group VI_1vrrp_sync_group VGM2 group VI_2#123 is master vrrp_instance VI_1 se MASTER #更改这个配置 backup ormaster erface bond0virtual_router_id 51 #注意这个 ID 与上一组的 ID 不同priority 100 #更改这个配置 100 or 50advert_1 nopreempt authentication auth_type PASS auth_pass 1111virtual_i

50、paddress 23virtual_server 23 9090 delay_loop 6 lb_algo wrr lb_kind DRpersistence_timeout 60 protocol TCPreal_server 8 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK connect_timeout 10 nb_get_retry delay_before_retry connect_port 9090real_server 9 9090 notify_down /etc/keepalived/down.sh

51、weight 1TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 9090#124 is slave vrrp_instance VI_2 se BACKUP #更改这个配置 backup ormaster erface bond0virtual_router_id 52 #注意这个 ID 与上一组的 ID 不同priority 50 #更改这个配置 100 or 50advert_1 nopreempt authentication auth_type PASS主节点 2：global_def

52、s router_id CTG-HAauth_pass 1111virtual_ipaddress 24virtual_server 24 9090 delay_loop 6 lb_algo wrr lb_kind DRpersistence_timeout 60 protocol TCPreal_server 8 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 9090real_server 9

53、 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 9090vrrp_sync_group VGM1 group VI_1vrrp_sync_group VGM2 group VI_2#123 is slave vrrp_instance VI_1 se BACKUP#更改这个配置 backup ormaster erface bond0virtual_router_id 51 #注意这个 ID 与

54、上一组的 ID 不同priority 50 #更改这个配置 100 or 50advert_1 nopreempt authentication auth_type PASS auth_pass 1111virtual_ipaddress 23virtual_server 23 9090 delay_loop 6 lb_algo wrr lb_kind DRpersistence_timeout 60 protocol TCPreal_server 8 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK connect_time

55、out 10 nb_get_retry delay_before_retry connect_port 9090real_server 9 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 9090#124 is master vrrp_instance VI_2 se MASTER #更改这个配置 backup ormaster erface bond0virtual_router_id 52 #

56、注意这个 ID 与上一组的 ID 不同priority 100#更改这个配置 100 or 50advert_1 nopreempt authentication auth_type PASS auth_pass 1111virtual_ipaddress 24virtual_server 24 9090 delay_loop 6 lb_algo wrr lb_kind DRpersistence_timeout 60 protocol TCPreal_server 8 9090 notify_down /etc/keepalived/down.sh weight 1TCP_CHECK con

57、nect_timeout 10nb_get_retry 3delay_before_retry 33.5.3. 集群模式待补充4.TENGINE-七层负载均衡的安装和配置4.1. 安装4.1.1. 安装基础环境gcc 安装yum install gcc yum install gcc-c+1)新建安装包目录mkdir /apps cd/apps2)pcre 安装从官网获取 pcre 源码包 pcre-8.13.tar.gz，（3)wgetconnect_port 9090real_server 9 9090 notify_down /etc/keepalived/down.sh weight

58、1TCP_CHECK connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 9090）tar zxvf pcre-8.13.tar.gzcd pcre-8.13openssl 安装yum install openssl openssl-devel4)安装 proxy_cache 插件（参见wget http:/files/ngx cache purge-2.3.tar.gz tar -zxvf ngx_cache_purge-2.3.tar.gz）5)安装 lua 插件（可选）6)luajit 2.0()并安装(mak

59、e & make install)导入环境变量#输入实际的 lua 安装地址export LUAJIT_LIB=/usr/local/libexport LUAJIT_INC=/usr/local/include/luajit-2.0 #输入实际的 lua 安装地址vi /.bash_profileexport LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH4.1.2.安装 tengine从官网获取 Tengine 源码包 tengine-2.1.0.tar.gz1)(wget)2)3)4)tar-zxvftengine-2.1.0.tar.gz

60、cdtengine-2.1.0./configure-with-http_lua_module-with-http_stub_sus_module-prefix=/usr/local/tengine-add-module=/apps/ngx_cache_purge-2.3-with-pcre=/apps/pcre-7.8注意：不指定目录方式安装，默认安装在/urs/local/nginx/apps/ngx_cache_purge-2.3：proxy_cache 插件源码包的位置/apps/pcre-8.13:pcre 源码包的位置MakeMake install测试是否安装成功，在 tengi