RedHat5.4下 Sybase双机热备

1、RedHat5.4下配置Sybase双机热备文档控制l 文档变更记录日期版本号作者备注2009-12-30v1.0陈浩创建2009-12-31v1.1陈浩补充“2.10集群相关命令”；完善文档格式2010-01-26v1.2陈浩补充“2.6 修改系统配置”，替换ASEHAagent.sh中变量1 相关概念集群中（HA or LB）最重要的是保证数据的完整性，通过仲裁盘及隔离设备来实现。1.1 集群分类l 存储集群（Storage）存储集群是一个共享的文件系统，提供并发访问功能。RHCS通过GFS提供存储集群。l 高可用性集群（High availability，HA）高可用性集群消除单点故障，

2、提供故障转移，例如：双机热备。l 负载均衡集群（Load balancing，LB）负载均衡集群把请求调度到集群中的多个节点上，例如：Oracle RAC。l 高性能集群（High performance，HP）高性能机群提供并行计算能力，一个计算任务分散到多个节点执行，例如：科学计算以上是4种最基本的集群类型，实际应用中可能是这4种类型的组合，如Oracle RAC是HA+LB。1.2 特殊问题l 并发有些应用需要并发访问相同数据，如Oracle RAC，这需要由DLM（分布式锁管理）来进行管理，保证数据完整性。l 健忘多个节点配置文件分开存放，修改了其中一个节点配置文件后，因某些原因没有同

3、步到其他节点，造成配置文件不一致。l 脑裂（Split-Brain）脑裂在HA中表现为相互重启、同时写文件，LB中表现为同时拥有控制权，都会破坏数据完整性。1) 集群中有两个以上节点的情况：假设有三个节点，节点A出现问题无法和其他节点通信，这时集群分裂成两个部分。第一个部分是节点A，第二个部分是节点B和节点C。两个部分因无法互相通信，都认为对方已经出现故障，自己获得集群的控制权，导致出现灾难性的数据完整性问题。这时需要一个投票算法根据票数决定哪个部分拥有控制权，失去控制权的节点将被隔离。在这里，节点B和节点C有两票，节点A有一票，所以由节点B和节点C组成的第二部分获得集群控制权，节点A被隔离。

4、2) 集群中有两个节点的情况：假设集群中有两个节点，这时投票算法便失去作用，需要引入第三个设备 - 仲裁设备（Quorum Device）。仲裁设备通常采用仲裁盘（Quorum Disk），仲裁盘代表一票，先到达仲裁盘的节点赢得仲裁盘的一票，获得集群的控制权。1.3 IO隔离（IO Fencing）IO隔离保证被隔离的节点不再访问共享数据。隔离设备（Fence Device）用来隔离故障节点的IO，包括光纤交换机隔离、电源控制器隔离、GNBD隔离或其他专用隔离设备。当一个节点出现问题时隔离该节点到共享存储的IO，避免破坏数据文件甚至或破坏整个文件系统。1.4 Red Hat Cluster S

5、uite（RHCS）简介RHCS是Red Hat提供的集群的一套软件的集合，可满足不同的集群需求。包含以下部分：l 集群基础架构l 高可用性服务管理l 集群管理软件l Linux虚拟服务器可选组件（非RHCS一部分）：l GFS2，并发文件系统l CLVM (Cluster Logical Volume Manager)，集群逻辑卷管理器l iSCSI，基于IP的SAN（存储区域网络）技术三个可选组件关系为：1) 通过iSCSI使存储设备可以被其他主机访问2) 在iSCSI基础上使用CLVM实现共享磁盘的动态管理3) 在CLVM基础上使用GFS2实现并发文件系统举例：1) A机通过iSCSI共

6、享/dev/sdb1和/dev/sdb2给B机和C机。2) B机通过iSCSI访问到A机的共享存储后，通过CLVM使A机的动态调整由A机的sdb1和sdb2组成的/dev/lv01的容量，C机通过CLVM在集群中的同步获得最新的LVM信息。3) 如果B和C需要同时读写/dev/lv01（如Oracle RAC），通过GFS2来实现文件系统的并发访问，保证数据完整性。2 RHEL 5.4中Sybase HA配置步骤2.1 目标成功实施RHCS下Sybase双机热备。通过iSCSI组建存储网络，实现浮动IP自动切换、存储设备自动挂载、Sybase自动启动。2.2 配置信息存储服务器信息IP192.

7、168.16.205主机名DISK共享设备/dev/sdb1共享设备大小8G双机服务器信息IP192.168.16.206192.168.16.207主机名node1node2共享存储设备挂载路径/disk2Sybase相关信息Sybase安装目录（共享设备）/disk2/sybase浮动IP192.168.16.210Sybase脚本位置/usr/shared/cluster/ASEHAagent.sh所有服务器关闭iptables和SELinux。2.3 配置iSCSI2.3.1 iSCSI服务器端（16.205）配置#安装scsi-target-utils，依赖perl-Config-G

8、eneralyum install scsi-target-utils*#格式化/dev/sdbfdisk /dev/sdb#开启iSCSI服务service tgtd start#设置iSCSI#新增target device：tgtadm -lld iscsi -op new -mode target -tid 1 -targetname disk1#把新建的target device加入分区：tgtadm -lld iscsi -op new -mode logicalunit -tid 1 -lun 1 -b /dev/sdb1#查看target device的内容：tgtadm -l

9、ld iscsi -op show -mode target#允许客户端访问三个目标逻辑卷：tgtadm -lld iscsi -op bind -mode target -tid 1 -I ALL把上述命令加入到/etc/rc.local中，避免重启后丢失iSCSI设置#设置tgtd服务开机启动chkconfig -level 35 tgtd on2.3.2 iSCSI客户端（16.206，16.207）配置#安装iscsi客户端：yum install iscsi-initiator-utils*#启动iscsi服务service iscsi start#设置服务开机自动启动chkconf

10、ig -level 35 iscsi on#搜索目标对象上的共享存储：iscsiadm -m discovery -t sendtargets -p 192.168.16.205#登录目标对象使用共享存储:iscsiadm -m node -T disk1 -p 192.168.16.205 -l以上操作在双机（16.206，16.207）上都执行。以下操作仅在一台主机操作即可。#查看本机设备，可以看到多出的/dev/sdbfdisk -l#格式化/dev/sdbmkfs.ext3 /dev/sdb#创建/disk2目录mkdir /disk2#把格式化后的/dev/sdb挂载到/disk2目

11、录mount /dev/sdb /disk22.4 安装、配置Sybase#安装sybase到/disk2/sybase目录下，过程略#修改/disk2/sybase/interfaces，指向浮动IP 192.168.16.210vim /disk2/sybase/interfacesmaster tcp ether 192.168.16.210 5000query tcp ether 192.168.16.210 50002.5 安装集群软件#进入RHEL 5.4的Cluster目录，安装所有软件yum install *可使用光盘作为yum源，具体略2.6 修改系统配置#修改16.206

12、及16.207的/etc/hosts文件vi /etc/hosts#注释掉其他行，添加下列两行192.168.16.206node1192.168.16.207node2#在/disk2/sybase/中添加login_file文件vi /disk2/sybase/login_file#内容如下#加密方式 用户名/密码normal sa/#修改16.206及16.207的/usr/share/cluster/ASEHAagent.shvi /usr/share/cluster/ASEHAagent.sh#在“declare CONSOLE_LOG”下、“meta_data()”上的62行加入下

13、面变量定义sybase_home=/disk2/sybasesybase_ase=ASE-15_0sybase_ocs=OCS-15_0server_name=sybaselogin_file=/disk2/sybase/login_fileinterfaces_file=/disk2/sybase/interfacessybase_user=sybaseshutdown_timeout=30start_timeout=30deep_probe_timeout=30RUNSERVER_SCRIPT=$sybase_home/$sybase_ase/install/RUN_$server_nam

14、eCONSOLE_LOG=$sybase_home/$sybase_ase/install/$server_name.log#把ASEHAagent.sh中OCF开头、后面是上面变量名的变量都替换为上述变量名如：把$OCF_sybase_home替换为$sybase_home，$OCF_sybase_ase替换为$sybase_ase，上面其他变量类似注：可用dos2unix转换回车字符2.7 配置集群#使用system-config-cluster图形界面配置集群system-config-cluster2.7.1 添加新集群2.7.2 添加集群节点节点名需与/etc/hosts一致，每一个

15、主机就是一个节点，Quorum Votes不用填2.7.3 添加故障转移域某个节点失效后会在此故障转移域内转移服务#把指定的节点1和节点2添加到故障转移郁中，选上右边两个选项，点击节点2，设置优先级为2，优先在节点1中启动。2.7.4 添加资源包括IP、文件系统和sybase脚本2.7.4.1 IP资源2.7.4.2 文件系统资源2.7.4.3 Sybase脚本资源指向上面修改过的shell script文件2.7.5 添加服务服务包含若干定义的资源2.7.5.1 添加IP资源选择Add a Shared Resource to this service2.7.5.2 添加文件系统资源选中IP

16、后选择“Attach a Shared Resource to this selection”，把文件系统作为IP的子资源2.7.5.3 添加sybase脚本作为文件系统资源的子资源2.7.5.4 设置服务的故障转移域及恢复策略故障转移域为刚才设置的FD_sybase，恢复策略为Relocate，既出现故障后转移到另一个节点2.7.6 cluster.conf文件内容设置好后保存（Ctrl + S），默认保存在/etc/cluster/cluster.confcluster.conf内容如下：把设置好的cluster.conf复制到另一台机器相同位置。2.8 启动集群在16.206和16.20

17、7上开启集群，开启集群前卸载/dev/sdb，保证双机都没有挂载共享存储开启顺序：service cman startservice rgmanager start关闭顺序：service rgmanager stopservice cman stop启动时各节点要相互通信，所以要在各节点同时开启cman服务cman日志在/var/log/messages，出现错误时检查该文件2.9 故障转移测试启动rgmanger后执行system-config-cluster可以在Cluster Management页查看集群状态。在下面的服务列表中可以看到服务的状态、当前所在节点、前一个节点、重启次数等

18、信息。2.9.1 关闭sybase服务当前服务运行在node2上，停掉sybase服务后，集群服务自动在node1重启服务在node1成功启动2.9.2 关闭服务器服务运行在node1节点，关闭node1服务器，集群服务会自动切换到node2上，node1显示为不是集群成员2.10 集群相关命令除了通过system-config-cluster图形界面查看、操作集群外，还可以通过命令行方式直接进行。#查看集群状态clustat#手动切换服务clusvcadm -r 服务名 -m 节点名#把服务SV_sybase从节点1切换到节点2上clusvcadm -r SV_sybase -m node23 注意要点3.1 仲裁盘(Quorum Device)及隔离设备(Fence Device)HA中存储设备分共享存储和独立存储，大数据量的数据库服务使用共享存储，小数据量的WEB服务使用独立存储。对于共享存储来说，保持数据一致性是最关键的，仲裁盘(Quorum Device)及隔离设备(Fence Device)是必不可少的。仲裁盘负责决定哪个（哪些）节点被踢出集群，隔离设备负责隔离那些被踢出集群的机器到共享存储的IO连接。两者配合保证共享硬盘不会被不正确的同时读写，避免破坏数据完整性甚至整个文件系统。隔离设备可以用软件实现，但生产环境最好用专用的硬件实现。