RedHatLinux集群配置 RHCS

1、hp-dl580G7 RHCS安装步骤一 安装RedHat-AS-5.7-64(两台)二 配置心跳地址与ilo3地址server1心跳地址：192.168.1.1 255.255.255.0 192.168.1.254（网关）server1 ilo3地址192.168.1.10 255.255.255.0 192.168.1.254（网关）server2 心跳地址：192.168.1.2 255.255.255.0 192.168.1.254（网关）server2 ilo3地址192.168.1.11 255.255.255.0 192.168.1.254（网关）三 配置两台主机host文件

2、#vi /etc/host 加入两台的心跳地址与ilo地址以及主机名称 例如： server1 192.168.1.1 server2 192.168.1.2 ilo3-1 192.168.1.10 ilo3-2 192.168.1.11四 配置共享存储a) 从存储分配所需共享磁盘给两台机器（两台机器共享一个磁盘）b) 存储若是多路径，两台机器分别安装multipath软件(HP官网下载)c) HP multipath软件只支持5.5以下版本，需要修改/etc/redhat-release文件，把版本改为5.5以下即可，等软件安装好后，再改回来d) 创建pvpvcreate /dev/mapp

3、er/mpath(n)e) 创建vgvgcreate vg01 /dev/mapper/mpath(n)f) 创建lvlvcreate l 10240 n lv01 vg01g) 格式化lv(若是裸设备的话，跳过)mkfs.ext3 /dev/vg01/lv01h) 两台机器创建存储挂载点mkdir sybase五 yum安装RHCS所需的安装包yum cman六 rpm安装RHCS所需的依赖的包安装cman(光盘的Server目录下)rpm -ivh perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpmrpm -ivh perl-XML-SAX-0.

4、14-8.noarch.rpm rpm -ivh perl-XML-LibXML-Common-0.13-8.2.2.x86_64.rpmrpm -ivh perl-XML-LibXML-1.58-6.x86_64.rpm rpm -ivh perl-Net-Telnet-3.03-5.noarch.rpmrpm -ivh pexpect-2.3-3.el5.noarch.rpmrpm -ivh openais-0.80.6-30.el5.x86_64.rpmrpm -ivh python-pycurl-7.15.5.1-8.el5.x86_64.rpmrpm -ivh python-suds

5、-0.4.1-2.el5.noarch.rpmrpm -ivh cman-2.0.115-85.el5.x86_64.rpm安装rgmanger(Cluster目录下) rpm -ivh rgmanager-2.0.52-21.el5.x86_64.rpm安装system-config-cluster（Cluster目录下）rpm -ivh system-config-cluster-1.0.57-9.noarch.rpm安装ricci(光盘的Server目录下)rpm -ivh oddjob-0.27-11.el5.x86_64.rpm oddjob-libs-0.27.11.el5.x86

6、_64.rpm(需要同时安装，要不然装不想上)（Cluster目录下）rpm -ivh modcluster-0.12.1-2.el5.x86_64.rpmrpm -ivh ricci-0.12.2-32.el5.x86_64.rpm安装luci(光盘的Server目录下)rpm -ivh tix-8.4.0-11.fc6.x86_64.rpmrpm -ivh tkinter-2.4.3-44.el5.x86_64.rpmrpm -ivh python-imaging-1.1.5-7.el5.x86_64.rpm（Cluster目录下）rpm -ivh luci-0.12.2-32.el5.x

7、86_64.rpm七 安装HPSUM（psp）安装方法省略八 配置IPMIa) 检测是否安装b) rpm qa |grep IPMI若是没安装，加载安装光盘安装（安装好HPSUM后，会更新IPMI）c) 配置ipmi自启动d) chkconfig -level 2345 ipmi onservice ipmi starte) IPMI检测ipmitool -v -H 192.168.1.10 -I lanplus -U admin mc info(ip地址为对方的地址，都互相检测下)九 配置集群system-config-cluster注：先配置集群信息才能启动集群服务(/etc/cluste

8、r/cluster.conf)a)选择Create New Configurationb)选择合适的集群名称点击okc)点击Add a Cluster Node,添加节点d)输入集群节点名称，点击OK若有多个节点，依次增加e)点击Add a Fence Device添加Fence设备f)点击OK继续，若有多个Fence设备，依次添加(名字不能与主机相同)g)点击Manage Fencing For This Node实现节点与fence绑定点击cluster nodes-选择server1-选择“Manager Fenceing for This node”-选择“add a new fenc

9、e level”-选择“Fence-Lenvel-1”-选择“Add a New Fence to this level”“server1-ipm”h) 选中上图中Use lanplus 注：每个节点加入自己的Fence设备 依次绑定server2的Fence设备i)点击Create a Failover Domain 配置失效切换域输入好名称，点击OK继续点击Available Cluster Nodes选中两个节点Restrict Failover To This Domains Members：指派给这个Failover Domain 的Service 只可以在当前加入的成员上执行；如果

10、不选此项，Service 将允许在本集群中的任何节点进行Failover 切换。为保证系统的严谨性，建议选中此项。 Prioritized List：用于调整Failover Domain 中节点的优先级别，指定Service 优先在哪个节点中运行。(注：对于双节点情况，如果，两台服务器的性能相同，那么一般不需要设置它们的优先关系，先启动服务器为主服务器，后启动的的为备用服务器。当主服务器出现故障，备用服务器进行Service 接管后，即使主服务器通过检修重新加入集群，由于主/备服务器性能相同，因此没有必要再浪费 时间进行 Service 切换)j)点击Create a Resource选择资

11、源选项下拉框，选择所需要的资源，这里以IP及存储资源为例文件系统类型、挂载点及使用的磁盘设备。 Options：执行mount 指令时的特殊参数，与mount 指令的"-o"参数相同。 File System ID：RHCS 中要求每个File System 都有一个唯一的ID 号，此项一般不用指定，系统会自动进行分配。 Force unmount ：一旦服务要求切换，在进行umount 操作时使用-f 参数 Reboot host node if unmount fails ：若umount 失败，则尝试对此系统进行重启操作。 Check file system befo

12、re mounting：挂载文件系统前通过fsck 命令对文件系统进行检查，这可以更好地保证文件系统的完整性，但对于大文件系统来说，这将花费很长的时间。k)点击Create a Service 创建服务输入服务名称，点击OK继续选择Failover Domain 选择失效切换域名字sybase选择Add a Shared Resource to this service 把IP地址添加进去 点击Attach a Shared Resource to the selection添加依赖关系资源 Recovery Policy：指定进行切换时所使用的策略，通过RHCS 的rgmanager 可以在

13、运行时对服务中的各个资源进行检测，一旦检查到某个资源的status 操作发生异常，就按照此策略进行操作。 Restart：如果发现资源出现异常，则先在本地尝试重启服务，如果重启失败则执行Relocate 操作。Relocate：停止当前节点中与本服务相关的所有资源，由另一台服务器进行服务及资源的接管。 Disable：在所有节点中停止服务，不进行任何操作。 一般建议在测试环境中使用"Relocate"，因为这样可以很好地展示系统切换的过程；在生产环境中则建议使用"Restart"，因为有不少异常通过本地重启服务是可以解决的，这样可以最大限度缩短系统切换所

14、消耗的时间。 选项 ：Autostart This Service：rgmanager 启动时自动启动此Service。 Run Exclusive：指定此Service 以独占方式运行，一旦此Service 运行在某个服务器之上，集群就将拒绝其他的Service 在此服务器上运行。l)点击File选择Save保存配置点击Send to Cluster十 修改/etc/cluster/cluster.conf把所有fencedevice agent中的auth=”none”删除掉 十一 配置禁用服务chkconfig acpid offservice acpid stop十二 配置集群服务自启

15、动chkconfig -level 2345 cman onchkconfig -level 2345 rgmanager onchkconfig -level 2345 ricci onchkconfig -level 2345 luci on十三 RHCS重启顺序两边配置同步完成后分别在两个节点重启RHCS 服务进程 启动RHCS 服务，按照如下步骤分别在两台node 启动进程： service cman start #service clvmd start service gfs start service gfs2 start service rgmanager start 关闭RHC

16、S 服务，按照如下步骤分别在两台node 启动进程： service rgmanager stop service gfs2 stop service gfs stop #service clvmd stop service cman stop查看集群状态：clustat十四 群集基础结构：提供节点以集群方式一起工作所需的基本功能、配置文件管理、成员资格管理、锁管理和安全管理。高可用性服务管理：提供在某个节点不可操作时，服务从一个群集节点到另外一个节点的故障切换。群里管理软件：用于设置，配置和管理redhat群集的配置和管理工具。这些工具和群集基础结构组件、高可用性和服务管理组件、存储组件一起

17、使用。Linux虚拟服务器lvs：提供IP负载平衡的路由软件。lvs在一对荣誉的服务器中运行，它将客户请求均匀的分发到后面的真实服务器。可选组件：GFS：提供和 Red Hat Cluster Suite 一起使用的群集文件系统。GFS 允许多个节点进行块级别的存储共享，就好像每个群集节点都连接至本地存储空间一样。群集逻辑卷管理器（Cluster Logical Volume Manager，CLVM） 提供群集存储的卷管理。全球网络块设备（Global Network Block Device，GNBD） GFS 的辅助组件，它将块级别的存储设备导出至以太网络。这是在 Red Hat GFS

18、 中使用块级别存储的一个经济的方法。Cluster Suite 组件摘要. 组件服务cluster infrastructureCMAN/DLM,Fencing，CCS群集管理锁管理Fencing群集配置管理HA Server ManagementrgmanagerShared StorageGFS CLVMCluster Administration toolssystem-config-cluster,gnbdconga（luci，ricci）piranha （ipvsadmin图像配置管理工具）命令行工具 用于 描述 ccs_tool 群集配置系统工具 Cluster Infrastru

19、cture ccs_tool 是一个制作群集配置文件的在线更新的程序。它提供创建和修改群集基础结构组件（如：创建群集、添加和删除节点）的能力。关于这个工具的更多信息，请参考 ccs_tool(8) 帮助页。 cman_tool 群集管理工具 Cluster Infrastructure cman_tool 是一个管理 CMAN 群集管理器的程序。它提供加入群集、离开群集、杀死节点或修改群集里节点的预期 quorum votes 的功能。关于这个工具的更多信息，请参考 cman_tool(8) 帮助页。 fence_tool 保护工具 Cluster Infrastructure fence_t

20、ool 是一个用来加入和离开缺省保护域的程序。具体来说，它启动保护守护进程（(fenced）来加入域以及终止 fenced 进程来离开域。关于这个工具的更多信息，请参考 fence_tool(8) 帮助页。 clustat 群集状态工具 高可用性服务管理组件 clustat 命令显示群集的状态。它显示成员信息、quorum 视图以及所有配置的用户服务的状态。关于这个工具的更多信息，请参考 clustat(8) 帮助页。 clusvcadm 群集用户服务管理工具 高可用性服务管理组件 clusvcadm 命令允许您在群集里启用、禁用、迁移和重启高可用性服务。关于这个工具的更多信息，请参考 clu

21、svcadm(8) 帮助页。 表 2.1 “Red Hat Cluster Suite 软件子系统组件” summarizes Red Hat Cluster Suite components. 功能 组件 描述 Conga luci 远程管理系统 - 管理工作站。 ricci 远程管理系统 - 被管理的工作站。 Cluster Configuration Tool system-config-cluster 以图形方式管理群集配置的命令 群集逻辑卷管理器（Cluster Logical Volume Manager，CLVM） clvmd 在群集中发布 LVM 元数据更新的守护进程

22、。它必须在群集中的所有节点中运行，如果群集中的某个节点没有运行此时间进程则会提示错误。 lvm LVM2 工具。为 LVM2 提供命令行工具。 system-config-lvm 为 LVM2 提供图形化用户界面。 lvm.conf LVM 配置文件。完整路径是 /etc/lvm/lvm.conf 群集配置系统（Cluster Configuration System，CCS） ccs_tool ccs_tool 是群集配置系统（CCS）的一部分。它被用来制作 CSS 配置文件的在线更新。此外，可用它将群集配置文件从使用 GFS 6.0（或更早版本）创建的 CCS 归档升级为 Red Hat

23、Cluster Suite 发行版本中使用的 XML 格式。 ccs_test 通过 ccsd 从配置文件获取信息的诊断和测试命令。 ccsd 在所有群集节点中运行并为群集软件提供配置文件数据的 CCS 守护进程。 cluster.conf 这个群集配置文件。完整的路径是 /etc/cluster/cluster.conf。 群集管理器（Cluster Manager，CMAN） cman.ko CMAN 的内核模块。 cman_tool 这是 CMAN 的管理前台。它启动和停止 CMAN 并能修改某些内部参数，如 vote。 dlm_controld 由 cman 初始脚本启动的守护进程，它

24、管理内核中的 dlm；用户不可直接使用。 gfs_controld cman 初始脚本启动的守护进程，它管理内核中的 gfs；用户不可直接使用。 group_tool 用来获取与保护（fencing）、DLM、GFS 相关的组群列表，并获取调试信息，包括 cman_tool services 在 RHEL 4 中提供的信息。 groupd cman 初始脚本启动的守护进程，它是 openais/cman 和 dlm_controld/gfs_controld/fenced 之间的接口；用户不可直接使用。 libcman.so.<version number> 需要和 cman.ko

25、 交互的程序所使用的库。 资源组管理器（Resource Group Manager，rgmanager） clusvcadm 手动启用、禁用、迁移和重启群集中用户服务的命令。 clustat 用来显示群集状态（包括节点成员资格和运行的服务）的命令。 clurgmgrd 用来处理用户服务请求，如服务启动、服务禁用、服务迁移和服务重启的守护进程。 clurmtabd 处理群集的 NFS 挂载表的守护进程。 保护（Fence） fence_apc 用于 APC 电源开关的保护代理。 fence_bladecenter 用于带有 Telnet 接口的 IBM Bladecenter 的保护代理。 f

26、ence_bullpap 用于 Bull Novascale 平台管理处理器（Platform Administration Processor，PAP）接口的保护代理。 fence_drac 用于 Dell 远程访问卡的保护代理。 fence_ipmilan 用于通过 LAN 使用智能平台管理界面（Intelligent Platform Management Interface，IPMI）进行控制的保护代理。 fence_wti 用于 WTI 电源开关的保护代理。 fence_brocade 用于 Brocade 光线通道开关的保护代理。 fence_mcdata 用于 McData 光线

27、通道开关的保护代理。 fence_vixel 用于 Vixel 光线通道开关的保护代理。 fence_sanbox2 用于 SANBox2 光线通道开关的保护代理。 fence_ilo 用于 HP ILO 接口的保护代理（以前是 fence_rib）。 fence_rsa 用于 IBM RSA II 的 I/O 保护代理。 fence_gnbd 用于 GNBD 存储的保护代理。 fence_scsi 用于 SCSI 持久保留的 I/O 保护代理。 fence_egenera 用于 Egenera BladeFrame 系统的保护代理。 fence_manual 手动交互的保护代理。注意：产品环

28、境不支持这个组件。 fence_ack_manual fence_manual 代理的用户界面。 fence_node 在单个节点上执行 I/O 保护的程序。 fence_xvm 用于 Xen 虚拟机的 I/O 保护代理。 fence_xvmd 用于 Xen 虚拟机的 I/O 保护代理宿主。 fence_tool 加入和离开保护域的程序。 fenced I/O 保护守护进程。 DLM libdlm.so.<version number> 支持分布式锁管理器（Distributed Lock Manager，DLM）的库。 GFS gfs.ko 在 GFS 文件系统使用的内核模块，并

29、在 GFS 群集节点中载入。 gfs_fsck 修复未挂载 GFS 文件系统的命令。 gfs_grow 扩展挂载的 GFS 文件系统的命令。 gfs_jadd 在已挂载的 GFS 文件系统里添加日志的命令。 gfs_mkfs 在存储设备中创建 GFS 文件系统的命令。 gfs_quota 在已挂载的 GFS 文件系统中管理配额的命令。 gfs_tool 配置或调整 GFS 文件系统的命令。这个命令也可以收集文件系统的各种信息。 mount.gfs mount(8) 所调用的挂载辅助工具；用户不可直接使用。 GNBD gnbd.ko 在客户端中使用 GNBD 设备驱动程序的内核模块。 gnbd_

30、export 在 GNBD 服务器中创建、导出和管理 GNBD 的命令。 gnbd_import 在 GNBD 客户中导入和管理 GNBD 的命令。 gnbd_serv 允许节点通过网络导出本地存储服务器守护进程。 LVS pulse This is the controlling process which starts all other daemons related to LVS routers. At boot time, the daemon is started by the /etc/rc.d/init.d/pulse script. It then reads the con

31、figuration file /etc/sysconfig/ha/lvs.cf. On the active LVS router, pulse starts the LVS daemon. On the backup router, pulse determines the health of the active router by executing a simple heartbeat at a user-configurable interval. If the active LVS router fails to respond after a user-configurable

32、 interval, it initiates failover. During failover, pulse on the backup LVS router instructs the pulse daemon on the active LVS router to shut down all LVS services, starts the send_arp program to reassign the floating IP addresses to the backup LVS router's MAC address, and starts the lvs daemon

33、. lvsd 一旦被 pulse 调用，lvs 守护进程就会在活跃的 LVS 路由器中运行。它读取配置文件 /etc/sysconfig/ha/lvs.cf，调用 ipvsadm 工具来构建和维护 IPVS 路由表，并为每个配置的 LVS 服务分配 nanny 过程。如果 nanny 报告某个服务器关闭了，lvs 将指引 ipvsadm 工具从 IPVS 路由表中删除这个服务器。 ipvsadm 这个服务更新内核中的 IPVS 路由表。lvs 守护进程通过调用 ipvsadm 添加、修改或删除 IPVS 路由表里的条目来设立并管理 LVS。 nanny nanny 监控守护进程在活跃的 LVS

34、 路由器中运行。通过这个进程，活跃的 LVS 路由器可以决定每个服务器的健康状况，或者监控其工作负载。单独的进程将用于每个服务器上定义的每个服务。 lvs.cf 这是 LVS 的配置文件。其完整路径是 /etc/sysconfig/ha/lvs.cf。所有守护进程都直接或间接地从这个文件获取配置信息。 Piranha Configuration Tool 这个用于监控、配置和管理 LVS 的基于 web 的工具。它是维护 /etc/sysconfig/ha/lvs.cf LVS 配置文件的默认工具。 send_arp 在故障切换过程中，当浮动 IP 地址从一个节点更改为另一个节点时，这个程序发

35、送 ARP 广播。 Quorum 磁盘 qdisk 用于 CMAN / Linux-Cluster 的基于磁盘的 quorum 守护进程。 mkqdisk 群集 Quorum 磁盘工具。 qdiskd 群集 Quorum 磁盘守护进程。 下面的内容列出了和 Red Hat Cluster Suite 相关的 man page 以及其它资源。 o 群集基础结构 o ccs_tool (8) - 制作 CCS 配置文件的在线更新的工具 o ccs_test (8) - 诊断运行的群集配置系统的工具 o ccsd (8) - 访问 CCS 群集配置文件的守护进程 o ccs (7) - 群集配置系统 o cman_tool (8) - 群集管理工具 o cluster.conf cluster (5) - 群集产品的配置文件 o qdisk (5) - 用于 CMAN / Linux-Cluster 的基于磁盘的 quorum 守护进程 o mkqdisk (8) - 群集 Quorum 磁盘工具 o qdiskd (8) - 群集 Quorum 磁盘守护进程 o fence_ack_manual (8) - 作为手工 I/O 保护的一部分运行的程序 o fence_apc (8) - APC MasterSwitch 的 I/O 保护代理 o fence_bladecenter