LINUX6.3下RHCS的安装文档.docx

LINUX6.3下RHCS的安装及集群的配置文档环境：目前要给华为E6000系列的两个刀片安装RHCS，每一块刀片有两个业务网口和一个管理网口，但是看不见不物理网卡，而是连接到刀片自身携带的一个交换机板卡。两台刀片主要是实现服务器地址的漂移，即运行服务的机器出现故障，服务可以顺利切换到另外一台，当然也可以添加其他资源（比如apache，脚本）实现集群功能，不过内容都相同，只是在配置界面的时候添加的资源不一样。刀片1,2的hosts文件：host1host21hosthb12hosthb2host1_ipmihost2_ipmi5service简单说明一下地址含义，第一组为业务地址，配置在网卡eth0上；第二组为心跳地址，配置在网卡eth1上，这个地址与QDISK有关；第三组为每一块刀片的管理地址，配置在BMC芯片上，这个地址是与fence设备有关的，最后一个地址为服务地址，即在集群中真正提供服务的地址。解释一下RHCS里的几个重点的关键词，弄明白这些个东西是什么和工作原理很重要。Fence device:即隔离设备。一个集群中有两台机器，其中占有资源提供服务，当这台机器出现问题，另一台机器就会接管资源与服务，可是如果出问题的设备如果是假死，那么他可能仍然占用着资源(共享存储之类的)，这样就可能会造成两台机器同时对存储进行读写而产生错误，学名脑裂现象。这时候就需要fence设备了，当一台设备出现问题，则通过BMC芯片去控制它的电源使它断电、重启，这样资源就会被释放了。隔离设备可以理解为BMC芯片，BMC芯片可以控制服务器电源的开关，重启。之前我们说过每一个刀片都有一个BMC口（管理口），但这个口在操作系统层面上是看不到，不像其他网卡用ifconfig能看到eth0,eth1的详细信息。想要管理这个口可以安装操作系统自带的ipmi相关程序包 freeipmi-0.7.16-3.el6.i686.rpmfreeipmi-0.7.16-3.el6.x86_64.rpmfreeipmi-bmc-watchdog-0.7.16-3.el6.x86_64.rpmfreeipmi-ipmidetectd-0.7.16-3.el6.x86_64.rpmipmitool-1.8.11-13.el6.x86_64.rpmOpenIPMI-2.0.16-12.el6.x86_64.rpmOpenIPMI-libs-2.0.16-12.el6.x86_64.rpm64位机器装64位的就好，关于IPMI给的接口的具体用法后面再介绍。程序包安装完了以后就可以通过IPMI这个软件包与BMC芯片联系起来。另外BMC网口对应一个管理地址，这个地址是需要进入到刀片BIOS里的IPMI相关选项里设置的，要设置它的用户名、密码和IP地址，这些信息在配置集群的时候会用到。我们把BMC的地址和eth1的地址设在同一网段，这样系统就可以与BMC芯片进行通讯了，进而控制服务器的启停。QDISK：俗称仲裁盘，通过心跳地址用来判断集群里的设备状态是否正常。一般1G大小的共享存储即可。Failover Domain:失败域，即节点切换策略软件安装之前先把ip地址都配置好，包括修改bios里面的ipmi配置。RHCS软件安装：安装RHCS需要用到系统自带光盘中的一些软件包，具体如下：HighAvailability LoadBalancer Packages ResilientStorage ScalableFileSystem Server先将这些包（文件夹）拷贝至/mnt目录下，也可以不拷贝，把YUM源设置好就可以了。Yum源的设置# vi /etc/yum.repos.d/rhel-source.reporoothost1 yum.repos.d# cat rhel-source.repo rhel-sourcename=Red Hat Enterprise Linux $releasever - $basearch - Sourcebaseurl=file:/mnt/Packagesenabled=0gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-releaserhel-source-betaname=Red Hat Enterprise Linux $releasever Beta - $basearch - Sourcebaseurl=file:/mnt/Packagesenabled=0gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta,file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-releaseServername=Serverbaseurl=file:/mnt/Serverenabled=1gpgcheck=0HighAvailabilityname=HighAvailabilitybaseurl=file:/mnt/HighAvailabilityenabled=1gpgcheck=0LoadBalancername=LoadBalancerbaseurl=file:/mnt/LoadBalancerenabled=1gpgcheck=0ScalableFileSystemname=ScalableFileSystembaseurl=file:/mnt/ScalableFileSystemenabled=1gpgcheck=0ResilientStoragename=ResilientStoragebaseurl=file:/mnt/ResilientStorageenabled=1gpgcheck=0保证每个软件包的baseurl路径正确即可。安装软件：# yum install cluster-glue resource-agents pacemaker选Y# yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils选Y启动HA服务：# service luci start# service ricci start# service rgmanager start# service cman start改变服务的运行级别：cman 0:off 1:off 2:on 3:on 4:on 5:on 6:offrgmanager 0:off 1:off 2:on 3:on 4:on 5:on 6:offluci 0:off 1:off 2:on 3:on 4:on 5:on 6:offricci 0:off 1:off 2:on 3:on 4:on 5:on 6:off修改ricci用户的密码Passwd ricci,改为root用户密码即可。创建QDISK盘用法：mkqdisk -L | -f | -c -l mkqdisk -c /dev/sdb -l qdisk这里把一块1G的/dev/qdisk配置成了一块叫qdisk的仲裁盘Ping一下心跳和BMC口的地址，应该都OK。看一下host1能否管理host2电源模块ipmitool -I lan -H （第二台机器的BMC口地址） -U root（用户名） -P Aa123456（密码） power statusroothost1 # ipmitool -I lan -H -U root -P Aa123456 power statusChassis Power is on集群的创建在确保主节点的luci,ricci服务起来之后，进入:8084集群配置页面。用你设置的ricci密码登陆以后开始创建集群：加节点：这里的jyapp_01hb,jyapp_02hb就是我们hosthb1,hosthb2。配置基本默认，没什么好说的。Fence Devices的添加：选择IPMI LAN，当然各厂家的FENCE设备不一样根据情况配置。输入之前配置好的用户名，密码，IP地址两台设备两个fence 设备。创建完成之后跟节点关联。先添加fence method，方法名随便，之后关联起来创建的fence实例。一一对应即可。FAILOVER DOMAIN配置：失败域配置，Prioritized即有优先级，Restricetd限定运行服务节点的机器范围，no fackback 不回切，当故障机器恢复可用以后，服务不回切。优先级的值越低，优先级别越高，0不可用。RESOURCE添加：资源添加，这里我们只添加一个服务器地址（漂移地址）Note：后面我们又添加了一个脚本资源，脚本的作用是启动一个中间件然后启动应用，而且必须有先后顺序，这个顺序的实现在脚本中可以实现。而脚本的启用和服务地址的启动也有先后顺序，必须是先让服务地址启用之后应用才可以启动。所以在添加这两个资源的时候就有点不一样了，需要先添加服务地址资源，然后添加服务资源的child resource，先有parent才有child.这样就有先后顺序了。如果在顺序上没有要求，增加两个同级的资源即可。脚本内容及解释见文档末尾。SERVICE GROUP添加：服务配置，选择好我们的失败域，自动开始打勾，run exclusive,服务只会在“没有运行其他服务的节点”上运行，可以不选；恢复策略选择重新定位，即切换到另一个节点。默认的不说了，需要设置的说一下，多播地址最好设置一个，不设置也默认的，但是一个业务系统中如果有多套RHCS，多播地址就要不一样了。QDISK，用我们设置的label来识别，工作机制是每2秒ping一下网关,ping通得1分，不通不得分，ping 10次，最小得分为1分，则不需要切换。也就是说连续10次ping这个网关只要其中有一次是通的则OK。ping -c1 -t1 54到这里就配置完了。我们可以看一下这个集群的状态。rootjyapp_01 # clustatCluster Status for jyapp_cluster Tue Dec 24 14:25:50 2013Member Status: Quorate Member Name ID Status - - - - jyapp_01hb 1 Online, Local, rgmanager jyapp_02hb 2 Online, rgmanager /dev/block/8:16 0 Online, Quorum Disk Service Name Owner (Last) State - - - - - service:jysg jyapp_01hb started 都ONLINE,服务在正常运行。rootjyapp_01 # cman_tool statusVersion: 6.2.0Config Version: 19Cluster Name: jyapp_clusterCluster Id: 469Cluster Member: YesCluster Generation: 28Membership state: Cluster-MemberNodes: 2Expected votes: 3Quorum device votes: 1Total votes: 3Node votes: 1Quorum: 2 Active subsystems: 11Flags: Ports Bound: 0 11 177 178 Node name: jyapp_01hbNode ID: 1Multicast addresses: 11 Node addresses: 1用cman_tool status看到个票数都正常，每个节点一票，QDISK一票，总共3票，期望值是3票。死一个节点，期望值少一票。最后验证一下切换rootjyapp_01 # clusvcadm -r jysgTrying to relocate service:jysg.Successservice:jysg is now running on jyapp_02hb节点手动切换成功。经过测试，网卡故障，断电都能正常切换。 脚本：#!/bin/bashstart() su - tuxedo -c tmboot -y RETVAL=$? su - trade -c cd /home/trade/app/bin & tmboot -y RETVAL=$? return $RETVALstop() su - trade -c cd /home/trade/app/bin & tmshutdown -y RETVAL=$? su - tuxedo