Linux5.5_RHCS双机安装配置手册

1、 RedHat 5.5 RHCS 双机配置文档 1 / 31目目 录录1系统的描述系统的描述.42前期规划前期规划.52.1.规划相应IP地址:.52.2.规划两台系统的/ETC/HOSTS 文件.53系统配置系统配置.63.1修改主机名和网关信息.63.2设置网卡绑定功能.63.3关闭不需要的系统服务.74集群配置集群配置.84.1创建一个新的集群配置.84.2选择锁机制.84.3添加群集成员节点.94.3.1输入第一个成员节点的信息.104.3.2输入第二个成员节点的信息.104.4添加 FENCE设备.114.4.1增加第一个 FENCE设备.114.4.2增加第二个 FENCE设备.1

2、14.5建立 FENCE设备和节点联系.124.5.1建立第一个节点和 FENCE设备的关系.124.5.2建立第二个节点和 FENCE设备的关系.174.6创建一个实效域.224.7创建集群资源.234.7.1添加一个文件系统资源.234.7.2添加一个服务 IP 地址资源 .244.7.3添加一个服务控制脚本资源.254.8创建一个群集服务.264.8.1为新创建的群集服务加入建立的资源.274.8.2保存集群设置.294.9启动群集管理器.294.9.1同步节点间的群集配置信息.294.9.2启动集群相应服务.294.10显示群集和服务状态.30 RedHat 5.5 RHCS 双机配置

3、文档 2 / 311系统的环境描述系统的环境描述系统将由两台 IBM X3650 M3 组成，作为数据库/应用服务器。两台 IBM X3650 M3 服务器将以一个高可用集群系统设计，一台服务器作为主应用服务器工作，另一台服务器作为主数据库服务器工作，当主应用服务器或主数据库服务器发生故障，另一台服务器将自动接管其工作。 RedHat 5.5 RHCS 双机配置文档 3 / 312前期规划前期规划规划相应规划相应 ip 地址地址:IP具体说明具体说明172.16.60.24/24数据库服务地址（浮动 IP）172.16.60.25/24ZJDB 数据库主机地址172.16.60.23/24ZJ

4、DB-fence 地址172.16.60.20/24应用服务地址（浮动 IP）172.16.60.21/24ZJAPP 应用服务器主机地址172.16.60.22/24ZJAPP-fence 地址2.2.规划两台系统的规划两台系统的/etc/hosts 文件文件172.16.60.25 ZJDB172.16.60.24 zjdb-ser172.16.60.23 dbipmi172.16.60.21 ZJAPP172.16.60.20 zjapp-ser172.16.60.22 appipmi RedHat 5.5 RHCS 双机配置文档 4 / 313 存储磁盘挂接存储磁盘挂接3.1 操作系统

5、安装操作系统安装操作系统组建安装、分区、Cluster 安装完成后，重新启动。3.2 外联设备连接外联设备连接将外联设备(HBA 卡)连接上，然后重起系统，由于 linux kernel 自带驱动信息，在重起的时候系统会自动认设备。3.3 存储磁盘挂接存储磁盘挂接使用 fdisk l 查看存储自动挂载的磁盘信息。解压源码包：tar -zxvf rdac-LINUX-source.tar.gz文件将被解压到linuxrdac-的目录中进入linuxrdac-的目录编译及安装： Make Make install编辑启动项菜单/boot/grub/menu.lst（不同版本名字可能有区别，如：gr

6、ub.conf） ，将 mpp-.img 加入启动项如：加粗字体表示在 menu.lst 中添加的信息 default=4timeout=10splashimage=(hd1,1)/grub/splash.xpm.gzhiddenmenutitle Red Hat Enterprise Linux AS (2.6.18-34.Elsmp)root (hd1,1)kernel /vmlinuz-2.6.18-34.Elsmp ro ro root=LABEL=/ rhgb quietinitrd /initrd-2.6.18-34.Elsmp.imgtitle Red Hat Enterpris

7、e Linux AS (2.6.18-34.El)root (hd1,1)kernel /vmlinuz-2.6.18-34.El ro root=LABEL=/ rhgb quietinitrd /initrd-2.6.18-34.El.img RedHat 5.5 RHCS 双机配置文档 5 / 31title Otherrootnoverify (hd0,0)chainloader +1title Red Hat Enterprise Linux AS (2.6.18-34.Elsmp) with RDACroot (hd1,1)kernel /vmlinuz-2.6.18-34.Els

8、mp ro root=LABEL=/ rhgb quietinitrd /mpp-2.6.18-34.Elsmp.img重新启动 Linux 系统，并选择 mpp 方式启动3.3.1 物理卷创建物理卷创建Pvcreate /dev/sdxpvscan pv 信息扫描，pvdisplay 查看 pv 信息。3.3.2 VG 创建创建创建 mkdir /upload、/oradata 存储挂接目录。创建 VG#vgcreate oravg /dev/sdx /dev/sdn vgscan 扫描 vg 信息。vgdiaplay 查看 vg 信息。vgremove f oravg 删除 VG。vgch

9、ang a n oravg 将 VG 活动状态关闭。vgchang a y oravg 将 VG 活动状态开启。3.3.3 创建创建/删除文件系统删除文件系统#lvcreate -l 100%free -n upload /dev/mapper/wasvg 创建 lv，将空间全部划分。#lvcreate -L +500g -n oradata /dev/mapper/oravg 将 500g 空间指定给 oravg。#lvextend -l +100%free /dev/mapper/oradata 扩文件系统命令lvscan 扫描 lv 信息。lvdisplay 查看 lv 信息。lvrem

10、ove f /dev/mapper/oradatavg 删除 LV。 RedHat 5.5 RHCS 双机配置文档 6 / 313.3.4 文件系统格式化文件系统格式化mkfs.ext3 /dev/mapper/oravg-oradata3.3.5 挂载挂载/卸载文件系统卸载文件系统#mount /dev/mapper/oravg-oradata /oradata 挂载文件系统。#umount /oradata umount 文件系统。3.3.6 Fence 补丁补丁#OpenIPMI-tools-2.0.16-7.el5.i386.rpm （linux 系统盘）测试 fencefence_i

11、pmilan -a 172.16.60.21 -l USERID -p PASSW0RD -o status显示 on 状态为成功。 RedHat 5.5 RHCS 双机配置文档 7 / 314 系统配置系统配置4.1 修改主机名和网关信息修改主机名和网关信息修改/etc/sysconfig/networkNETWORKING=yesHOSTNAME=ZJAPPGATEWAY=172.16.2.250注：按照相应的配置修改 ZJDB 的主机4.2 设置网卡绑定功能设置网卡绑定功能修改/etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0IP

12、ADDR=172.16.60.21NETMASK=255.255.255.0NETWORK=172.16.2.0BROADCAST=172.16.2.255GATEWAY=172.16.2.250ONBOOT=yesBOOTPROTO=noneUSERCTL=noTYPE=BOND修改/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0USERCTL=noONBOOT=yesMASTER=bond0SLAVE=yesBOOTPROTO=none修改/etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=

13、eth1USERCTL=noONBOOT=yes RedHat 5.5 RHCS 双机配置文档 8 / 31MASTER=bond0SLAVE=yesBOOTPROTO=none添加如下信息到/etc/modprobe.confAlias bond0 bondingOptions bond0 mode=1 miimon=100 use_carrier=0作用同上：1. #echo alias bond0 bonding/etc/modprobe.conf 2. #echo options bond0 mode=1 miimon=100 use_carrier=0 primary=eth0/et

14、c/modprobe.conf注：按照相应的配置修改 ZJDB 主机。4.3 关闭不需要的系统服务关闭不需要的系统服务目的：提高系统的启动速度。#chkconfig kudzu off#chkconfig sendmail off#chkconfig nfs off#chkconfig smartd off#chkconfig cpus off#chkconfig rhnsd off#chkconfig iptables off#chkconfig autofs off#chkconfig acpid off#chkconfig apmd off注：在两个机器上都要操作4.4 没有没有 RHN

15、 号的情况下设置号的情况下设置 yum 源安装集群软件源安装集群软件建议文件/etc/yum.repo.d/mycdrom.repo#touch /etc/yum.repo.d/mycdrom.repo#vi /etc/yum.repo.d/mycdrom.repoBase RedHat 5.5 RHCS 双机配置文档 9 / 31name=RHEL5 ISO baseurl=file:/mnt/Serverenabled=1gpgcheck=0Clustername=RHEL5 ISO Clusterbaseurl=file:/mnt/Clusterenabled=1gpgcheck=0#m

16、ount /dev/cdrom /mnt#yum install cman rgmanager system-config-cluster安装过程如下图所示:安装过程中出现以下提示，选择 y:等待完成安装，出现 Compelete! 表示安装结束 RedHat 5.5 RHCS 双机配置文档 10 / 315 集群配置集群配置安装操作系统时，进行安装 Cluster 软件包，安装完成 Cluster 集群软件后，使用集群配置工具进行配置。在 root 用户下，键入#system-config-cluster5.1 创建一个新的集群配置创建一个新的集群配置选择 Create New Config

17、uration 按钮，输入集群的名称。 RedHat 5.5 RHCS 双机配置文档 11 / 315.2 选择锁机制选择锁机制选择 Distributed Lock Manager (DLM),然后点击确定按钮。5.3 添加群集成员节点添加群集成员节点点击 Cluster-Cluster Nodes-Add a Cluster Node RedHat 5.5 RHCS 双机配置文档 12 / 315.3.1 输入第一个成员节点的信息输入第一个成员节点的信息在 cluster Node Name 中输入第一个机器的主机名，ZJAPP,Quorum Votes:不填，然后点击确定。5.3.2 输

18、入第二个成员节点的信息输入第二个成员节点的信息在 cluster Node Name 中输入第二个机器的主机名，ZJDB, Quorum Votes：不填，然后点击确定。5.4 添加添加 Fence 设备设备5.4.1 增加第一个增加第一个 Fence 设备设备输入第一个 Fence 设备的信息，点击 Cluster-Fence Devices-Add a Fence Device 来加入第一个 ipm 设备：Name:为 appipmi 的名字Login:USERID:为 ipmi 的登录名Password:为 ipmi 的登陆密码Hostname:为 ipmi 的主机名 RedHat 5.

19、5 RHCS 双机配置文档 13 / 315.4.2 增加第二个增加第二个 Fence 设备设备输入第二个 Fence 设备的信息，点击 Cluster-Fence Devices-Add a Fence Device 来加入第二个 ipmi 设备：Name:为 dbipmi 的名字Login:USERID:为 ipmi 的登录名Password:为 ipmi 的登陆密码Hostname:为 ipmi 的主机名5.5 建立建立 Fence 设备和节点联系设备和节点联系在添加了 fence 设备后，需要建立 fence 设备和每个节点的对应关系，使每个节点可以通过 Fence 设备对节点的开机，

20、关机和重启进行管理或者对节点的状态进行查询。 RedHat 5.5 RHCS 双机配置文档 14 / 315.5.1 建立第一个节点和建立第一个节点和 Fence 设备的关系设备的关系点击 Cluster Nodes-ZJAPP-Manage Fencing For This Node 按钮。进入图所示界面，点击 Add a New Fence Lenvl 按钮，进入界面，点击 Fence-Level-1,进入所示界面，点击Add a New Fence to this Level,进入所示界面，选择 ipmi,然后点击确定按钮，进入所示界面，最后点击关闭按钮。 RedHat 5.5 RHCS

21、 双机配置文档 15 / 31 RedHat 5.5 RHCS 双机配置文档 16 / 31 RedHat 5.5 RHCS 双机配置文档 17 / 31 RedHat 5.5 RHCS 双机配置文档 18 / 315.5.2 建立第二个节点和建立第二个节点和 Fence 设备的关系设备的关系点击 Cluster Nodes-ZJDB-Manage Fencing For This Node 按钮。进入图所示界面，点击 Add a New Fence Lenvl 按钮，进入界面，点击 Fence-Level-1,进入所示界面，点击Add a New Fence to this Level,进入

22、所示界面，选择 ipmi,然后点击确定按钮，进入所示界面，最后点击关闭按钮。 RedHat 5.5 RHCS 双机配置文档 19 / 31 RedHat 5.5 RHCS 双机配置文档 20 / 31 RedHat 5.5 RHCS 双机配置文档 21 / 31 RedHat 5.5 RHCS 双机配置文档 22 / 315.6 创建一个实效域创建一个实效域选择 Cluster -Managed Resources-Failover Domains-Create a Failover Domain。在 name for new Failover Domain 中输入:APP，点击确定按钮。注：

23、Failover Domain 的名字要符合统一命名规范。点击 Available Cluster Nodes，分别选中 ZJAPP 和 ZJDB，然后点击关闭按钮。 RedHat 5.5 RHCS 双机配置文档 23 / 315.7 创建集群资源创建集群资源5.7.1 添加一个文件系统资源添加一个文件系统资源在 select a Resource Type:File SystemName：share_fsFile System Type：ext3Mount Point ：/share_fsDevice： /dev/mapper/wasvg-waslv选中：Force unmount 点击确定

24、按钮。 RedHat 5.5 RHCS 双机配置文档 24 / 315.7.2 添加一个服务添加一个服务 IP 地址资源地址资源点击 Cluster-Managed Resources-Resources-Create a Resource在 select a Resource Type：IP Address 输入：172.16.60.20，点击确定按钮。 RedHat 5.5 RHCS 双机配置文档 25 / 315.7.3 添加一个服务控制脚本资源添加一个服务控制脚本资源点击 Cluster-Managed Resources-Resources-Creat a Resource ，在 select a Resource Type：Script Name： File :/etc/rc.d/init.d/websphere，点击确定按钮。5.8 创建一个群集服务创建一个群集服务点击 Cluster-Man