GlusterFS Storage Pool 高可用及负载均衡配置 v2011091402

1、 GlusterFS Storage Pool 高可用及负载均衡配置 1.概述 . 1 2.GlusterFS 安装配置 . 2 3.CTDB简介 . 2 4.CTDB安装配置 . 3 4.1.通过源码编译安装 . 3 通过4.2.yum安装 . 3 CTDB配置 4.3. 3 5.CTDB高可用测试 . 5 5.1.关于CTDB虚拟IP和CTDB集群内节点的实IP之间的关系 . 7 6.RR DNS简介 . 9 7.RR DNS master/slave安装配置 . 9 7.1.通过yum安装 . 9 通过源码安装 . 7.2.9 Master/Slave7.3.配置 . 10 7.3.1.

2、BIND Master的配置 . 10 Zone配置文件中关键字说明. 12 7.3.2.BIND Slave的配置 . 13 8.RR DNS负载均衡测试 . 14 参考资料 . 15 1. 概述 通过为GlusterFS 存储池配置CTDB以及RR DNS ，实现CIFS、NFS、Gluster Native输出的高可用和负载均衡。 1 / 15 OtherGluster CIFSNFS Client ClientClientClientIP NetworkGluster Storage PoolRR DNSRR DNSSlaveMasterCTDBCTDBCTDBActiveActive

3、ActiveCIFSCIFSCIFS.NFSNFSNFSGlusterFS GlusterFS GlusterFS ClientClientClientGlusterFSGlusterFSGlusterFS 安装配置 GlusterFS 2. GlusterFS 安装：略。 卷必须配置为副本模式，确保底层集群文件系统是高可用的。 GlusterFS 简介 3.CTDBCTDB is a cluster implementation of the TDB database used by Samba and other projects to store temporary data. If a

4、n application is already using TDB for temporary data it is very easy to convert that application to be cluster aware and use CTDB instead. Features include: CTDB provides a TDB that has consistent data and consistent locking across all nodes in a cluster. CTDB is very fast. In case of node failures

5、, CTDB will automatically recover and repair all TDB databases that it manages. CTDB is the core component that provides pCIFS (parallel CIFS) with Samba3/4. CTDB provides HA features such as node monitoring, node failover, and IP takeover. CTDB provides a reliable messaging transport to allow appli

6、cations linked with CTDB to communicate to other instances of the application running on different nodes in the cluster. CTDB has pluggable transport backends. Currently implemented backends are TCP and Infiniband. CTDB supports a system of application specific management scripts, allowing applicati

7、ons that depend on network or filesystem resources to be managed in a highly available manner on a cluster. / 215 4. CTDB安装配置 4.1. 通过源码编译安装 4.2. 通过yum安装 yum install ctdb 4.3. CTDB配置 在GlusterFS存储池中创建一个副本卷conf，用来存放CTDB的 lock file。 停止samba服务，修改/etc/samba/smb.conf配置文件。 创建CTDB的主配置文件ctdb。在这里指定其他文件的位置及名称。

8、3 / 15 创建public_addresses文件，在这里指定虚拟IP。 创建nodes文件，在这里指定CTDB各个节点的真实IP。 启动ctdb服务。并设置为自动启动。 验证ctdb是否已经启动。 至此，CTDB配置完成。相关配置文件如下所示。 / 415 每个CTDB节点均挂载这个存储CTDB锁文件，以及配置文件的GlusterFS卷conf，在/etc/sysconfig/下创建一个软连接ctdb指向/gluster/lock/ctdb/ctdb文件即可。 5. CTDB高可用测试 测试环境： 共三台服务器，其中两台在GlusterFS存储池内，另外一台作为客户端。 Gluster存

9、储池内的两台服务器IP和MAC的对应如下，通过arp命令，用MAC地址作为判断客户端连接了哪台服务器的依据。 inet addr: HWaddr 00:1C:C4:A5:8A:8C inet addr: HWaddr 00:18:FE:FA:C2:EC 测试案例一：停止当前客户端正在连接的CTDB集群内一台服务器上的cifs服务，测试其能否成功切换到其他服务器。 在客户端通过虚拟IP连接CIFS服务。 通过arp我们确定，虚拟IP 20对应的物理服务器是。 在cifs挂载点下，通过一个脚本不停的给hello

10、文件中追加内容，同时通过tail实时查看文件的内容。然后停止服务器上的cifs服务。此时查看文件内容是否依然被更新。 5 / 15 对上层应用是完全透明的，CTDB上层的应用丝毫没有受到影响，打开的文件依然可以正常读写。也就是说 。的session而且能够保持CIFS客户端，测试其能否成功切换集群内一台服务器上的CTDBGluster测试案例二：停止当前客户端正在连接的 到其他服务器。 IP是服务对应的真实客户端通过虚拟可看到，当前CIFSIP 20挂载的CIFSarp根据当前 客户端挂载点。这台服务器上的

11、gluster这台服务器。接下就卸载 / 615 CIFS是否成功切换到其他服务器。成功卸载后，查看客户端的 之间的关系CTDB集群内节点的实IPCTDB5.1. 关于虚拟IP和 相关的配置文件内容：节点实IP我们先看下虚拟IP和CTDB rootlocalhost # cat /gluster/lock/ctdb/public_addresses 20/24 eth0 21/24 eth0 22/24 eth0 23/24 eth0 ，以及相对应的网卡。4个虚拟IPIP这是虚拟的配置文件，这里我们配置了r

12、ootlocalhost # cat /gluster/lock/ctdb/nodes 集群内有两个节点。IP的配置文件，在CTDB节点实这是CTDB / 715 被平分到了两个节点ip4个虚拟IPCTDB通过提供的工具，我们可以清楚的看到，虚拟IP和实之间的关系。 上了。见上图。 集群内另一个节点上看到的情况。见上图。这是CTDB / 815 只在其中一个节点上。只有该节点出现问IP集群内有两个节点，只配置一个虚拟IP，则这个虚拟如果CTDB 题，才会被另一个节点接管。见上图。 上。CTDB集群内不同的服务器实IP多个客户端连接不同的虚拟IP时

13、，可以对应到负载均IPIP上。基于此，我们还需要一个基于多个客户端连接同一个虚拟IP时，只对应到同一服务器真实正常时只会IPCTDB虚拟IP上轮询。以达到负载均衡的效果。这就是RR DNS。另外，因为衡的工具，在不同虚拟 IP被轮询上。IP数量应该等于或大于实际IP数量，以便所有实对应到一个实IP上，所以虚拟 RR DNS简介6. 请求不是仅仅返回DNS），顾名思义，轮询的DNS服务。他响应RR-DNS（Round-Robin Domain Name System。BIND( Berkeley Internet Name Domain)IP。具体实现的套件是一个固定的IP，而是从一个IP列表中

14、轮询，返回 BIND。接下来即安装 RR DNS master/slave安装配置7. 安装 通过yum7.1.yum install bind 通过源码安装 7.2. /isc/bind9/9.8.1/bind-9.8.1.tar.gz源码下载地址： / 915 Master/Slave配置7.3. 的名称，zone的主要配置文件为/etc/named.conf。，各种针对主机的设定值都在这个档案中设定，包括BIND 以及对应的文件。 BIND Master的配置7.3.1. 配置文件如下：Master 的named.conf / 1015 的配置文件；相关z

15、one / 1115 的配置就完成了。至此，BIND Masterservice named start named启动服务： Zone配置文件中关键字说明 $TTL当中多久，单位：的 cache DNS 定义出向外查询的数据可以记录在 12 / 15 秒。 。named.conf中定义的对应的zone代表 SOA 开始设定的内容的意思Start of Authority NS 的意思表示 name server A 地址域名对应到IPv4将DNS AAAA 地址域名对应到IPv6将DNS. hostname + domain 表示这个完整的主机名称，亦即是. 加上了 hostname 了，如

16、果没有加上 . 的话，表示该名称仅为name 而已 PTR 这是反解的符号CNAME 设定主机别名 7.3.2. BIND Slave的配置的配置文件会自其中自定义的zone不同，master配置文件除了named.conf其他都相同，的配置跟 Slave，zone.gluster，name.localhost三个配置文件。localhost.rev动同步。这里只需要手动从master拷贝，named.root master同步过来。zone.gluster.rev会自动从 配置文件：Slave的named.conf / 1315 service named start named启动服务： 负载均衡测试 RR DNS8. 地址是否相同来判断负载均衡的效果。RR DNS 。根据其每次返回的IP来测试通过 ping gluster.local / 1415 被轮询。个虚拟IP配置的从同一客户端多次ping gluster.local，CTDB4 也会得到轮询的效果。依次从不同客户端ping gluster.local 参考资料CTDB - http:/ctdb.samba.o