suse linux HA配置.doc

Suse sp3 HA配置手册 SUSE11 sp3下HA的配置1 前言HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动 节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业 务。从而实现业务的不中断或短暂中断。2 资源规划 两台SUSE11sp3的虚机，计算机名分别为ccfile1、ccfile2。 网卡的IP地址为 节点1 ：eth0 192.168.58.238 eth2 10.10.58.238 节点2 : eth0 192.168.58.238 eth2 10.10.58.238 VIP 10.10.58.240 漂移IP 10.10.58.240 192.168.58网段用于心跳 suse11sp3 和 对应的HA的光盘3 前期环境准备3.1 连接工具3.1.1 Vsphere client连接提前安装好vsphere client软件，向管理员咨询虚拟机管理服务器vcenter server的地址，输入其地址及个人的域名和密码。可按IP或者虚拟机名称查找。双击查找出的结果：选择虚拟机，右键选择“打开控制台”，将鼠标移动到弹出的窗口中，点击左键，即可登录到虚拟机操作系统界面中。（有时可能需要重新输入操作系统的账号和密码进行登录）3.1.2 xmanager xbrowser安装Xmanager3软件，使用xbrowser软件来连接虚拟机。过程如下：如下图，输入地址后，回车。在弹出的窗口中，选择本机地址，然后点“OK”，将显示输出到本机。3.2 安装HA组件SUSE的HA要通过HA组件来配置，而Suse sp3操作系统默认是没有安装HA组件的。因此要使用HA组件ISO安装包为操作系统安装HA组件。过程如下：点击桌面左下角“computer”菜单，选择YAST，点击“Add”。本实验中SUSE Linux Enterprise Server 11 SP2的安装ISO文件已经先拷贝到服务器上。选择“Local ISO Image”，点击“Next”。 选中ISO文件后点击“Next”。 同意协议后击“Next”。 点击“High Availability”成如图状态后点击“OK”。注意如果之前没有挂载好系统光盘，会弹出报错如下，此时将HA安装盘弹出再挂载系统盘，等到装好系统盘内容，会再次提示挂载HA盘。选择稍后配置后点击“Next”。 点击“Next”。安装完成后，如果可以在YAST控制面板上找到“Cluster”和“Pacemaker Gui”，表示安装成功。3.3 修改hostname修改/etc/HOSTNAME中的内容，并且使用 hostname ccfile1 和hostname ccfile2修改当前SESSION的hostname，修改完成后，可以重启下机子用hostname查看确认下是否生效。3.4 文件系统两台虚拟机的共享盘是可由虚拟机管理员提前分配好。先使用fdisk l或者partitioner工具查看两台虚拟机是否都已经挂载了共享盘。以下操作，只要在一台虚拟机上操作，另一台就能看得到效果。推荐使用系统自带的工具patitioner进行分区及格式化。3.4.1 使用命令行格式化（不推荐）计划使用/dev/sdc1 /dev/sdb13.4.2 使用partitioner格式化点击桌面左下角“computer”菜单，选择选择system-partitioner此处要注意，选择“Do not mount partition”，否则每次系统重启，都可能去mount同一个共享盘，导致使用reboot方式的HA切换失败。最后实际的效果图：其中/dev/sdd1是应用所在的文件系统共享盘；/dev/sdd2是仲裁盘，只需要大概100MB左右。（官方说只要10M就行）3.5 修改/etc/hosts 两节点都做将192.168.XX.YY网段用于心跳的地址配置上去，并同时配置/etc/hosts下的内容。在terminal窗口中输入YAST 命令：硬盘管理员提前分配好了网卡资源，在另一张没有用的网卡上配置上192网段的IP，只要两台通过互通就可以。注意：私网的地址的名称要与hostname不一样。127.0.0.1 localhost# special IPv6 addresses:1 localhost ipv6-localhost ipv6-loopbackfe00:0 ipv6-localnetff00:0 ipv6-mcastprefixff02:1 ipv6-allnodesff02:2 ipv6-allroutersff02:3 ipv6-allhosts10.10.58.239 ccfile2 ccfile210.10.58.238 ccfile1 ccfile1192.168.58.238 ccfile1-priv ccfile1-priv192.168.58.239 ccfile2-priv ccfile2-priv4 配置集群4.1 HA配置日志HA配置过程中的日志，可以通过tail f /var/log/messages来查看。4.2 配置ccfile1作为主节点在终端中运行命令 yast2 cluster命令，打开配置窗口。（也可以通过YAST控制面板上的other-cluster打开。）此处配置的是心跳地址，而不是实际的地址，并且只要写到192.168.58.0网段，不需要到具体的地址，如192.168.58.238。可以参照生产上的配置，注意生产的地址经过了映射。如上图配置，bind network address选择192私网网段的网段地址，组播地址和端口用默认，node id选择自动生成。 勾选“启用安全身份验证”选择generate auth key file仔细阅读此选项上面一行的信息把authkey的目录记住，然后下一步To specify the synchronization group, click Add in the Sync Host group and enter the local host names of all nodes in your cluster. For each node, you must use exactly the strings that are returned by the hostname command. Click Generate Pre-Shared-Keys to create a key file for the synchronization group. The key file is written to /etc/csync2/key_hagroup. After it has been created, it must be copied manually to all members of the cluster. To populate the Sync File list with the files that usually need to be synchronized among all nodes, click Add Suggested Files.Activate Csync2 by clicking Turn Csync2 ON. This will execute chkconfigcsync2 to start Csync2 automatically at boot time.必须确保ccfile1和ccfile2是两个结点使用hostname命令查询得出的结果。配置csync2，选择add把两台主机名加入，然后点击add suggested files，点击generate pre-shared-keys,再点turen csync2 on下一步这一步选择实际的网卡，地址不需要配置（其实这一整步应该可以略过的，不影响HA功能使用）。下一步，主节点就配完了。选择其他节点注意，openais不设置成开机启动，可以手工启动，这样可以自由地选择要将应用运行在哪一台服务器上。选择完后，点“start openais now”启动openais。4.3 配置节点2在yast2 cluster下如上图配置，但是不要点generate auth key file。?（实际操作时，有点）如上图配置，openais可能无法马上启动，不过可以重启下两台机器手，手工启动试一下。重启的日志，可以通过tail f /var/log/messages查看。不是主节点的只要启动csync2,其他不用改。修改心跳，选用和主节点相同网段的网卡。4.4 配置同步切换到主节点，进入/etc/csync2目录查看把csync2.cfg和key_hagroup用scp拷贝到其他节点的相同目录下scp /etc/csync2/csync2.cfg rootccfile2:/etc/csync2scp /etc/csync2/key_hagroup rootccfile2:/etc/csync2把/etc/corosync下的authkey和corosync.conf拷到其他节点的相同目录下scp /etc/corosync/authkey rootha2:/etc/corosync/scp /etc/corosync/corosync.conf rootha2:/etc/corosync/如果是手动配置nodeid，则拷贝后，将corosync.conf中的nodeid:1#node1为1，node2为2。不过我没有修改第二个结点使用csync2 xv也能成功。不过在crm_mon时，结点2未启动。在主节点上运行csync2 -xv会得到如上图显示没有错误。 If one or several files that are to be synchronized have been modified on other nodes (not only on the current one), Csync2 will report a conflict. You will get an output similar to the one below: While syncing file /etc/corosync/corosync.conf:ERROR from peer hex-14: File is also marked dirty here!Finished with 1 errors. If you are sure that the file version on the current node is the “best” one, you can resolve the conflict by forcing this file and resynchronizing: root # csync2 -f /etc/corosync/corosync.confcsync2 -x在主节点上的终端运行crm_mon看到如上图的online里有两个节点，若没有就调节其他节点里的yast2 cluster里的NODE ID，ID号可能被同步成主节点的ID，把他们改成自己原先设置的ID号，改完后重启。4.5 设置csync2和xinetd服务开机自启在所有结点上执行如下命令进行配置：Service openais statuschkconfig csync2 onchkconfig xinetd onrcxinetd startrcopenais status rcopenais start4.6 修改hacluster用户密码配置资源前，需要修改hacluster用户密码：#passwd hacluster 一般直接设置与用户名一样。5 crm_gui配置5.1 配置CRM参数在openais服务启动后，在terminal窗口中执行下面的配置命令：crm configure property stonith-enabled=falsecrm configure property no-quorum-policy=ignorecrm configure rsc_defaults resource-stickiness=100查看设置：crm configure show备注：运行完yast2 cluster 命令配置双机引擎参数，接着在第一次运行service openais start命令启动双机后，一定要在字符界面运行crm命令，进行configure配置。否则下面的图形界面hb_gui 配置双机资源将不会生效。?在主节点上运行crm在help下运行configure键入property no-quorum-policy=ignore回车再键入property stonith-enabled=false 暂时未执行“primitive .eth3” by cld 151030再键入rsc_defaults resource-stickiness=100（缺图）然后commit5.2 配置资源5.2.1 配置浮动IP在terminal窗口中输入crm_gui，回车后打开ha配置窗口。输入hacluster用户的密码，连接到HA配置管理器。创建一个资源组，名为RES，在其中创建ip和filesystem资源：此处的ETH1要跟实际生产的地址所在的网卡一致。并且两台机器的网卡序号要一样，这样在HA切换后，才能保证网卡序号不变。添加一个名为“RES”的Group，此处注意：不需要勾选target-role started的属性。上图中的默认的属性要删除掉。IP指的是VIP，nic要跟机器10网段的网卡一致5.2.2 配置文件系统参照生产上的配置。此处注意：不需要勾选target-role started的属性。上图中的默认的属性要删除掉。5.2.3 配置ping资源创建一个clone资源：查看资源：5.2.3.1 添加ping约束：添加ping约束：5.2.4 配置stonith资源：打开stonith开关：勾选Stonith Enabled配置stonith资源：默认属性即可查看资源：有其它版本的SBD资源的类型为primitive，如下图，这个与clone的区别是什么 ？重启两台服务器。那台先启动，即拥有stonith资源。5.2.5 添加应用程序服务资源5.2.5.1 配置应用资源在本例子中，需要配置的应用可执行程序为根目录下的/start.sh文件。将此文件添加为资源，并且与文件系统等资源做启动顺序约束。填写好后，点击“forward”进入下一步。1. binfile所指向的文件要有可执行权限，需检查所有结点的权限配置。2. 在主备机切换的过程中，确保两台机器调用脚本的应用用户uid一致，否则可能会出现一台没有权限写log导致脚本无法正常调用删除掉此处默认设置的operation。5.2.5.2 添加resource colocation约束一般的情况下，应用程序App_res要在包含了共享盘和VIP的机器上启动，要与基础资源在同一台服务器上。因此要设置resource colocation协同约束。如果是要在基础资源启动之后才能启动。因此需要则配置resouce order约束。点击确认后，添加完成。5.2.5.3 添加resource order约束5.2.5.4 是否有必要添加约束本例子中，应用程序只是设置本地的nfs服务而已，不依赖于基础资源，因此，不需要建立resource order约束。但其要在拥有基础资源的结点上启动，因此，需要建立resouce colocation约束。以上的resource order建立只是做示范，可以删除掉。5.3 配置结点信息6 手工切换验证可以使用reboot命令重启机子，或者使用service openais stop或service openais start启动openais服务，以进行手工切换。这个案例中，本地的文件系统被其它机器mount，在没有释放掉的情况下，直接openais restart，不会将fs切换过去，要先service nfsserver stop后，再进行openais restart。其它的案例中，只是本地的文件系统对外提供服务而已，不影响切换。可使用crm status查看HA状态。7 注意事项添加应用资源时，所有结点binfile所指向的文件要有可执行权限。两个结点的网卡序号一致。应用所在的文件系统需格式化成ext3类型的格式，但不要设置自动MOUNT。启动应用资源的用户的用户名、组、UID都要一样。如果是中途修改的UID，那么应用涉及到的所有文件的属主也要一并跟着修改。查看/etc/fstab是否有错误的自动挂载的内容。仲裁盘不要格式化成EXT3.应用所在的目录要格式化成EXT3，但千万不要MOUNT到某个目录。8 问题处理8.1 Marking file as dirtyha1:/etc/csync2 # csync2 -xvMarking file as dirty: /etc/sysconfig/pacemakerMarking file as dirty: /etc/sysconfig/openaisMarking file as dirty: /etc/samba/smb.confMarking file as dirty: /etc/lvm/lvm.confMarking file as dirty: /etc/drbd.dMarking file as dirty: /etc/drbd.d/global_common.confMarking file as dirty: /etc/drbd.confMarking file as dirty: /etc/csync2/key_hagroupMarking file as dirty: /etc/csync2/csync2.cfgMarking file as dirty: /etc/corosync/corosync.confMarking file as dirty: /etc/corosync/authkey如果报以下错的话，强制再同步一下：csync2f/etc/csync2/csync2.cfgcsync2-f/etc/csync2/key_hagroup8.2 第二个结点未online将第一二结点的threads 都修改成2，重新拷贝同步文件到结点2，并且全部重新启动Service openais restart。之后就正常了：8.3 Could not establish cib_ro connection: Connection refused (111)ccfile1:/etc/corosync # crm_monAttempting connection to the cluster.Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111) .Could not establish cib_ro connection: Connection refused (111)Oct 30 10:21:29 ccfile1 sbd: 6702: info: Watchdog enabled.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: Header magic does not match.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: header on device 4 is not valid.Oct 30 10:21:29 ccfile1 sbd: 6702: ERROR: No devices were available at start-up.可能是因为没有格式化盘导致的，要用PARTIONER格式化分区。8.4 什么情况会发生切换？在目前占有资源的结点上执行service openais restart后，其占用的IP资源未发生切换，而FS资源处于unmanaged状态，其它资源正常切换。只有用reboot命令将机器重启，其IP和FS资源才会切换到另一台。根据什么条件来触发切换？是否根结点的SCORE有关？-可能是这个案例中，本地的文件系统被其它机器mount，在没有释放掉的情况下，直接openais restart，不会将fs切换过去，要先service nfsserver stop后，再进行openais restart。要么直接用reboot重启。8.5 在其它安全中，没有创建sdb克隆资源，而是创建primitive普通资源，使用external/vmware的stonith，这与本案例有何区别？8.6 Header magic does not match.Nov 2 20:18:52 ccfile1 kernel: 337.849275 ll header: ff:ff:ff:ff:ff:ff:22:af:3b:61:2f:3a:08:00Nov 2 20:18:53 ccfile1 kernel: 338.047004 martian source 10.10.58.255 from 10.10.58.167, on dev eth0Nov 2 20:18:53 ccfile1 kernel: 338.047009 ll header: ff:ff:ff:ff:ff:ff:00:50:56:bd:91:03:08:00Nov 2 20:18:54 ccfile1 kernel: 339.218524 martian source 1