TFSNAMESERVERHA部署及使用说明

1、Tfs NameServer HA部署及使用说明i名词解释：tfs: Taobao filesystemns: n ame servver,名称服务器。ds: data server数据服务器。vip:虚拟IP，在NS主备环境中需要一个虚拟 IP。heartbeat: Linux下的HA软件。这里使用 heartbeat2版本。TFS_HOME 指 tfs 的安装目录 /usr/local/tfs228/tfs_bin2 Tfs NameServer 的 HA 原理tfs的ns依赖于heartbeat实现HA, heartbeat管理着一个虚拟 IP(VIP)。所有ds及客户端都通 过这个VI

2、P来访问NS。VIP默认被分配到主 NS主机上，当主NS岀现宕机，网络故障或NS服务程序无法启动时， 备NS上的heartbeat会取得控制权，将 VIP分配到备NS主机上，并且启动备 NS的NS服务。当主NS恢复后，主NS会再次接管 VIP及启动NS服务。3 Heartbeat 软件安装NS1及NS2上都需要安装。heartbeat可以通过源代码安装也可以通过yum安装。由于 heartbeat到版本3时拆分成多个子项目，使得源代码安装非常麻烦，容易岀错，建议直接使用yum安装。yum安装命令为：yum in stall heartbeat安装完成后，heartbeat被安装在：/usr/l

3、ocal/heartbeat/目录下面。 CentOS 5.6中yum 安装的是heartbeat2 版本。hb的配置文件主要在：/etc/ha.d目录下。4 Heartbeat 的配置4 .1环境说明：两台NS主机：kbfs-ns1 192.168.200.10kbfs-ns2 192.168.200.20两台主机通过网线直连，直连网口都是 eth2。下面的配置步骤中，4.2及4.3需要分别在 NS1及NS2上进行配置。4.4及4.5 4.6都在NS1上配置完成。然后启动测试。成功后想相应的配置拷贝到NS2对应的位置上。(包括 ha.cf, authkeys 及 cib.xml )4 .2H

4、osts 配置192.168.200.10 kbfs-ns1192.168.200.20 kbfs-ns24 .3拷贝NameServer的监控脚本tfs提供了 NameServer的监控脚本，使用下面的命令可以将脚本拷贝到正确的位置：$TFS_HOME/script/ha/nsdepNameServer被拷贝到/usr/lib/ocf/resource.d/heartbeat/目录下了。该目录下还包含其它一些符合OCF规范的监控脚本。其中就包含我们后面要用到的IPaddr2。4 .4 ha.cf文件修改ha.cf文件debugfile /var/log/ha-debugdebug 0 kee

5、palive 2 warntime 5 deadtime 10 ini tdead 30 auto_failback off autoj oin none bcast eth2 udpport 694 node kbfs-ns1 node kbfs-ns2 compressi on bz2 logfile /var/log/ha-log logfacilitylocal0erm respawn#这里指示以 CRM 方式管理资源，会用到后面的cib.xml配置。将配置好的文件拷贝到_/etc/ha.d目录下。该目录如果不存在请自行创建。ha.cf配置说明选项默认/可选值含义debugfile/v

6、ar/log/ha-debugdebug文件路径，这个选项要开启下面的debug才生效debug1/01=开启0 =关闭debug日志keepalive2在heartbeat之间连接保持多久 缺省的时间单位是秒warntime5warntime: how long before issuing late heartbeat warning?deadtime30主机挂了多久算死掉？in itdead在某些机器/操作系统等中，网络在机器重启后需要花一定 的时间启动并正常工作。因此我们必须分开他们初次起来 的dead time，这个值应该最少设置为两倍的正常deadauto_failbackon/o

7、ff是否自动抢占资源，就是slave起来后，是否自动强制切为master, 一般设置为offautojoi nnone资源自动加入，就是无需配置ha.cf可以自动加入集群，一般设置为none（不可以）serial/dev/ttyS0串口直连时使用bcasteth2心跳线接口（直连线）mcastbond0225.0.0.10694 1 0多播接口，设置为连交换机的接口，后面是多播地址和端 口udpport694这个端口与上面选项中的端口相冋，如果一个交换机内有 多个HA，那么每对选定的端口应该不同。nodekbfs-ns1 kbfs-ns2节点名字，HA的两个节点主机名compressi onb

8、z2压缩方法logfile/var/log/ha-log日志文件路径crmrespaw n利用crm管理资源（这个一定要写）serial,bcast,mcast,或ucast中只能填写其中的一个4 .5创建authkeys文件(echo -ne auth 1n1 shal ;dd if=/dev/urandom bs=512 count=1 | openssl md5) authkeys.tmp cp -f authkeys.tmp /etc/ha.d/authkeyschmod 600 /etc/ha.d/authkeyschow n root.root /etc/ha.d/authkeys

9、4 .6配置资源文件（cib.xml）heartbeat2及heartbeat3都使用新的资源配置文件 cib.xml,称为style 2.x。当然，heartbeat2 也可以使用style 1.x的配置。只需要将 ha.cf中的crm 一行注释掉。然后在 /etc/ha.d/ haresources 中配置要监控的资源即可。一 cib.xmlcib.xml 示例：。将示例配置文件修改好之后拷贝到：/var/lib/heartbeat/crm/目录下。然后执行下面的命令验证该文件的合法性，及修改文件权限：/usr/sbin/crm_verify -V -x /var/lib/heartbea

10、t/crm/cib.xml#可以会有下面的警告信息：#crm_verify9864: 2012/09/27_20:25:33 WARN: unpack_rsc_location: No resource#(con=rsc_location_group_1, rsc=group_1)#Warnings found during check: config may not be validchown hacluster:haclient /var/lib/heartbeat/crm/cib.xml修改完cib.xml配置文件之后，请删除其同目录下的cib.xml.sign文件。否则启动 heart

11、beat会报错误。cib.xml配置说明（下面的配置只包含其中的关键部分，不是完整的cib.xml配置，完整文件见上面的示例文件）：5 启动 heartbeat.运行 /sb in /service heartbeat start 来启动 heartbeat。运行完命令后，可以从/var/log/ha-log中查看启动状态。如果岀错，根据相应的岀错信息排错误 如果是在主 NS上启动heatbeato heartbeat会自动启动其管理的资源，包括：添加一个虚拟网卡：/sb in/ifc onfig eth3eth3Link en cap:EthernetHWaddr 90:B1:1C:08:5

12、C:19inet addr:192.168.200.100Bcast:192.168.255.255Mask:255.255.0.0UP BROADCAST MULTICAST MTU:1500 Metric:1RX packets:0 errors:。dropped:0 overru ns:0 frame:。TX packets:0 errors:。dropped:0 overru ns:0 carrier:。 collisi on s:0 txqueuele n:1000RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)In terrupt:90 Memory:da

13、000000-da012800看到这样的信息表示heartbeat已经起作用了。同时会启动tfs的NameServer:ps -ef|grep n ameserverroot310834590 21:00 pts/0 00:00:00 grep nameserverslide 139231 11 20:37 ?00:02:48 /usr/local/tfs228/tfs_b in/b in/n ameserver -f/usr/local/tfs228/tfs_bi n/conf/n s.co nf -d如果没看到nameserver进程，可能是cib.xml中的配置岀错，或者是nameser

14、ver本身的配置岀错。启动成功后，可以把heartbeat设置成自启动：/sb in/chkc onfig -add heartbeat/sb in/chkc onfig -level 2345 heartbeat on6 TFS自带文档 TFS_HA.docx部署时的问题开始按照tfs自带的TFS_HA.docx配置时，总是岀错，包括：/usr/sbin/cibadmin -cib_replace -obj_type=resources -xml-file ns.xmlCall cib_replace failed (-47): Update does not conform to the DTD in /usr/share/heartbeat/crm.dtd关于TFS_HA.docx有几点需要说明：ha.cf配置中serial,bcast,mcast,或ucast中只能填写其中的一个。tfs自带的ns.xml并不是完整的 cib.xml，只包含了 resources节点。并且与 heartbeat2的cib.xml 不是完全兼容的。在hb2中instance_attributes及meta_attributes下面先有一层 attributes节点，然后才是具体的参数属性。tfs自带的ns.xml中instance_attributes下面直接包含属性。或者也可以直接