HP_MC_SG手册.docx

HP-UX下Cluster的管理HP-UX下Cluster的管理,包括磁盘方面的基础知识HP-UX下Cluster的管理一、群集的构成HP系列小型机环境下，一般以双机共享磁盘组构成一个群集（Cluster），如下图所示从上图可以看出，HP小型机的群集构成一般有：两个以节点，一个共享磁盘组，一个以上心跳网络，一个以上应用网络。群集完成后，所有设备以一个整体对外服务，当其中任何一种设备发生故障时，系统将自动倒换到相应的备份设备，使系统的服务不致于中断。因此，建立群集的步骤一般为：1、共享磁盘组的磁盘空间划分2、配置各节点的网络3、建立并发布群集配置4、建立并发布应用程序的群集配置二、磁盘空间的划分HP_UX的工作站或服务器为我们提供了两种硬盘管理的方法：整盘方式和LVM（Logical Volume Manager）方式，两种方式可以共存于同一个系统内，但不能存在于同一块硬盘上。其实，无论是整盘方式还是LVM方式都是以分区的方式来组织管理硬盘的。每个分区只能有一个文件系统。在整盘方式中，整个硬盘就是一个分区。也就是说在这个硬盘上只有一个文件系统，如果我们在这种方式下安装UNIX系统，所有的文件将安装在这个文件系统的各个目录下。这种方法很容易使用和理解，但有很大的局限性：首先，文件系统不能跨盘分配。当这个文件系统需要更多的空间时,很难对它进行扩展。第二，每个物理硬盘只能有一个文件系统，如果把整个系统装在一个文件系统中，我们就无法为特定的应用程序预留存储空间，因为某些其它的应用程序或文件可能会占满整个文件系统的剩余空间。基于以上原因，在HP_UX系统中最好还是采用LVM方式来管理硬盘。LVM，即逻辑卷管理，可以将多个硬盘的空间(在中称之为物理卷)组合在一起，称之为卷组（Volumes Group），然后在这个卷组中可以继续划分任意大小的逻辑卷（Logical Volumes）,每个逻辑卷相当于一个分区（图2）这种方式克服了整盘方式中的多种限制：逻辑卷可以跨越多块物理硬盘；可以在一块物理硬盘上划分多个逻辑卷；只要物理空间存在，逻辑卷可以任意扩充；在独立的分区上安装应用程序，保证了程序的预留空间。当我们拿到一块新硬盘时，应该做以下步骤：1. 建立物理卷（PV）2. 建立卷组（VG）3. 建立逻辑卷（LV）4. 建立文件系统一块物理硬盘在被LVM管理时被称为“物理卷”。在LVM能对其进行管理之前需要在硬盘上产生一些特殊的数据结构，这个过程就是建立物理卷。用 ”pvcreate”命令完成物理卷的建立：pvcreate /dev/rdsk/c0t3d0 ;假设硬盘设备文件为/dev/rdsk/c0t3d0注意这里的硬盘设备文件应该用字符设备文件新定义的卷组在/dev下产生一个目录，在目录中产生一个组文件，类似于其它设备文件，通过它对卷组进行操作。例如，建立卷组1，将会产生：/dev/vg01 ;卷组目录/dev/vg01/group ；组文件卷组vg00通常是默认的根卷组，包含默认的启动盘和HP_UX操作系统的主要部分。用以下命令建立卷组1：mkdir /dev/vg01 ;建立组目录mknod /dev/vg01/group c 64 0x010000 ；建立组文件。c指示此文件为字符设备文件；64为设备驱动程序在内核中的代号；0x010000为物理地址，其中前两位为组编号vgcreate vg01 /dev/dsk/c0t3d0 将物理硬盘划入卷组可以用vgdisplay命令查看已建立卷组的情况。逻辑卷是用户最终可用的磁盘分区。同样，通过设备文件与其进行通信。在建立一个逻辑卷后，卷组目录下将产生两个文件：一个用于字符设备操作，另一个用于块设备操作。例如，建立逻辑卷1后将产生：/dev/vg01/lvol1 ;块设备文件/dev/vg01/rlvol1 ；字符设备文件，数据库的数据文件可利用的设备用lvcreate命令建立逻辑卷：lvcreate L 100 /dev/vg01 ;在vg01下建立一个100MB的逻辑卷可以用lvdisplay查看逻辑卷状况。为了在新建的逻辑卷分区上安装系统或其它应用程序，需要对其进行文件系统的初始化。HP_UX主要使用两种文件系统：HFS和VxFS。在10.20版以后，除根分区和内核分区外其它分区推荐用VxFS文件系统。用newfs命令初始化文件系统。newfs F vxfs /dev/vg01/rlvol1 ;建立vxfs文件系统这样这块硬盘就可以投入使用了。当发现当前使用的分区容量不够了，需要扩容，又不能破坏原有的数据。HP提供了很好的扩容方案,可以对卷组、逻辑卷和文件系统按需要进行扩容：对VG扩容vgextend vg01 /dev/dsk/c0t5d0对LV扩容lvextend L 200 /dev/vg01/lvol1扩充文件系统umount /myfs1 extendfs /dev/vg01/rlvol1 mount /myfs1 这样当前使用的分区就扩展完毕了，新增的容量使用当前的文件系统，在扩展文件系统之前需将分区先卸载下来，扩展完毕后再装上。以上这些操作过程最好在单用户模式下进行。如果共享磁盘组上全部用作数据库的数据存放空间，可省略文件系统的建立，因为数据库的数据文件均可建立在字符设备上。三、配置各节点的网络各节点的网络一般包括心跳网络和应用网络，两种网络在主机上的配置完全一样。一台主机上至少有两块网卡，一块专门用于传送心跳信号，另一块用于对外服务。要了解主机上有几块可用网卡，可用lanscan命令来查看，lanscan命令会列出所有网卡的接口名，如：lan0、lan1、lan2等。配置各网卡的方法有两种：1、ifconfig命令用ifconfig配置网卡的格式为：Ifconfig interface ip-addr netmask mask其中interface为lanscan命令所得的接口名，ip-addr为网络地址，mask为子网掩码，如：Ipconfig lan0 10.75.9.41 netmask 255.255.255.0配置完成后，需手工修改/etc/hosts文件：10.75.9.41 lan-alias comment2、用sam工具Sam为HP-UX提供的一个菜单界面的资源管理工具，其中一项为网络的配置，配置界面较为友好，并能自动修改/etc/hosts文件，所以，配置网络建议使用该工具。四、建立并发布Cluster配置HP-UX Cluster的配置也可以用sam工具来完成，但配置速度极慢。建议使用HP提供的配置模板来建立，模板文件一般为/etc/cmcluster/cmclconf.ascii，该文件为文本格式，可以用vi进行编辑，其全部内如下：1、创建MC配置文件cmquerycl -v -C /etc/cmcluster/cmclconf.ascii n oracle1 n oracle2vi /etc/cluster/cmclconf.asciiCLUSTER_NAME cluster1 /*Cluster名字*/FIRST_CLUSTER_LOCK_VG /dev/LOCKVG /*Cluster锁盘设备，不能作为它用*/NODE_NAME oracle1/*节点1*/NETWORK_INTERFACE lan0 HEARTBEAT_IP 10.75.9.41 /*心跳网络1地址*/NETWORK_INTERFACE lan1 /*建议将所有可用网卡加入心跳网络*/HEARTBEAT_IP 135.193.255.100 /*心跳网络2地址*/NETWORK_INTERFACE lan2HEARTBEAT_IP 10.75.8.41 /*心跳网络1地址*/FIRST_CLUSTER_LOCK_PV /dev/dsk/c4t0d0 /*锁盘的物理硬盘设备*/#NODE_NAME oracle2 /*节点2，以下配置均同节点1*/NETWORK_INTERFACE lan0HEARTBEAT_IP 10.75.9.42NETWORK_INTERFACE lan1HEARTBEAT_IP 135.193.255.101NETWORK_INTERFACE lan2HEARTBEAT_IP 10.75.8.42FIRST_CLUSTER_LOCK_PV /dev/dsk/c4t1d0#HEARTBEAT_INTERVAL 1000000/*心跳信号传送间隔，单位微秒*/NODE_TIMEOUT 2000000 /*节点是否在线检验时超：2秒/AUTO_START_TIMEOUT 600000000/*自动启动的时超：10分钟*/NETWORK_POLLING_INTERVAL 2000000 MAX_CONFIGURED_PACKAGES 5/*最大允许管理程序包数量*/VOLUME_GROUP /dev/DATAVG/*需要Cluster管理的卷组*/VOLUME_GROUP /dev/LOCKVG集群配置文件配置结束检验集群配置文件cmcheckconf -v -k -C /etc/cmcluster/cmclconf.ascii/*必须加-k参数，否则速度相当慢*/其执行的进度可以在/var/adm/syslog/syslog.log文件中查看。当命令执行无任何错误或警告返回时，才可以说配置完成，否则就需反复检查和修改配置文件分发配置文件cmapplyconf -v -k -C /etc/cmcluster/cmclconf.ascii该命令将把该配置自动形成二进制文件分发到配置文件里定义的所有节点上，该cmclconf.ascii文件并不会被分发。五、发布Cluster所管理的程序包的配置Cluster的程序包配置也以模板的形式来完成：1、创建程序包文件cd /etc/cmclustermkdir pkg1cmmakepkg p pkg1conf.ascii/*创建程序包配置文件*/cmmakepkg s pkg1control.sh /*创建加载卸载程序包的shell脚本*/2、编辑程序包配置文件PACKAGE_NAME pkg1/*包名*/ FAILOVER_POLICY CONFIGURED_NODE/*程序包转移策略：按所配置的顺序*/FAILBACK_POLICY MANUAL/*主节点恢复后，手工将包切回到主节点*/NODE_NAME oracle1/*程序包运行的节点1*/NODE_NAME oracle2/*程序包运行的节点1*/#定义加载和卸载程序包的shell脚本，超时参数RUN_SCRIPT /etc/cmcluster/pkg1/ pkg1control.shRUN_SCRIPT_TIMEOUT NO_TIMEOUTHALT_SCRIPT /etc/cmcluster/pkg1/ pkg1control.sh HALT_SCRIPT_TIMEOUT NO_TIMEOUTSUBNET 135.193.255.0/*程序包所使用及监测的子网*/#程序包切换开关，当指定的程序包在当前节点状态为DOWN时是否发生切换PKG_SWITCHING_ENABLED YES#网络监测切换开关，当监测的网络故障时，是否发生切换，设为YESNET_SWITCHING_ENABLED YES#当有任何故障出现时，Cluster是否halt该节点上所有程序包，一般设为NONODE_FAIL_FAST_ENABLED NO3、检查程序包配置文件cmcheckconf -v -k -P /etc/cmcluster/pkg1/pkg1conf.ascii4、分发应用程序包配置cmapplyconf -v -k -P /etc/cmcluster/pkg1/pkg1conf.ascii5、编辑程序包的加载和卸载shell脚本vi /etc/cmclustert/pkg1/pkg1control.shPATH=/usr/bin:/usr/sbin:/etc:/bin#设置卷组激活的命令及参数VGCHANGE=vgchange -a e # Default#设置程序包所用到的卷组，注:该卷组一定是Cluster所管理的卷组VG0=DATAVG# FILESYSTEM UNMOUNT COUNT# Specify the number of unmount attempts for each filesystem during package# shutdown. The default is set to 1.FS_UMOUNT_COUNT=1# FILESYSTEM MOUNT RETRY COUNT.# Specify the number of mount retrys for each filesystem. FS_MOUNT_RETRY_COUNT=0#设置程序包所使用的子网和浮动IP，注该浮动IP就是对外服务的IP，当系统发生切#换时该IP自动附加到新的节点的程序包上，使服务不中断IP0=135.193.255.99SUBNET0=135.193.255.0 # SERVICE NAMES AND COMMANDS.# Specify the service name, command, and restart parameters which are function customer_defined_run_cmds#定义程序包加载的方法，如本例为Oracle的实例及其listener启动的语句su - oracle -c dbstartsu - oracle -c lsnrctl starttest_return 51# This function is a place hold