HACMP合作伙伴培训教材.ppt

HACMP概念和实施规划 目录 什么是HACMP 配置HACMP的规划和考虑HACMP的安装和配置HACMP的接管测试 目录 什么是HACMP 配置HACMP的规划和考虑HACMP的安装和配置HACMP的接管测试 HACMP HighAvailabilityClusterMultiProcessing 为什么需要高可用性 什么是HACMP HighAvailability 系统可用性或运行时间最大化系统宕机时间最小化不是容错机 faulttolerance 什么是multi processing 一个cluster里的各个节点上可以运行多个应用共享数据或并发访问数据 HACMP的目的HACMP的历史HA与容错机的区别 简化了HACMPCluster的配置与管理通过磁盘传输心跳信号 HeartbeatoverDisk IPAT通过Alias实现 IPATviaAlias 缺省方式 用户自定义的资源组 CustomRG 快递磁盘接管 FastDiskTakeover HACMPV5 x的新特点 在HACMPv5之前 每个版本的HACMP软件都有四个模块 HAS CRM ES和ESCRM 用户在定购的时候根据需要选择其中一个模块 从HACMPv5开始IBM只提供一个模块 包括以前四个模块的所有功能 高可用性 目录 什么是HACMP 配置HACMP的规划和考虑HACMP的安装和配置HACMP的接管测试 配置HACMP的规划和考虑 硬件规划节点的配置要求网络的配置要求 IP和Non IP网络 存储设备的配置要求软件的规划操作系统的版本和补丁要求HACMP的版本和补丁要求应用程序的兼容性HACMP的资源组的规划 Cluster的节点的配置要求 一个精心设计的cluster应该尽量避免单点故障 SPOF 为了达到这个目的 典型的cluster一般对硬件有如下要求 至少2个pseries服务器作为cluster的节点 安装并运行HACMP 每个节点的AIX版本和HACMP的版本要完全一致 内置硬盘 预留一定的硬盘空间满足HACMP的安装要求I O插槽 要满足网卡 HBA卡 阵列和带库要分开 串口卡至少一种non IP网络 通常采用RS232网络 如果某些节点集成串口无法作心跳 要配 29438口异步卡 节点间要配串口线一个共享磁盘阵列 7133 FastT ESS等 Cluster的节点的配置要求 cluster性能考虑 为了保证cluster的性能 一个cluster支持的最大组件数目如下 组件最大数目node32ResourceGroups64Networks48Networkinterface devices andlabels256 Cluster的网络配置要求 确定用户的IP网络类型确定用户的IP网络资源分配准备以太网交换机的端口在交换机上划分VLAN分配IP地址确定采用的IPAT的方式确定用户的Non IP网络 心跳 串口方式IP网络方式Targetmode方式硬盘方式 Cluster的网络配置要求 网络连接示意图 Non servicelabels在AIX启动时分配在HACMP启动后 serviceIPlabel作为一个alias添加到一块带有non servicelabel的networkinterface上non servicelabel从来都不会从一个NIC上移走如果节点失败 一个takeover节点会获得失败节点的serviceIPlabel 并作为一个alias添加到它的位于同一个HACMPnetwork里的一块带有non servicelabel的networkinterface上 Cluster的网络配置要求 IPATviaIPaliases 一 设置IPATviaIPaliases功能 smittyhacmpExtendedConfiguration ExtendedTopologyConfiguration ConfigureHACMPNetworks Change ShowaNetworkintheHACMPCluster Change ShowanIP BasedNetworkintheHACMPClusterChange ShowanIP BasedNetworkintheHACMPClusterTypeorselectvaluesinentryfields PressEnterAFTERmakingalldesiredchanges EntryFields NetworkNamenet ether 01NewNetworkName NetworkType ether Netmask 255 255 255 0 EnableIPAddressTakeoverviaIPAliases Yes IPAddressOffsetforHeartbeatingoverIPAliases NetworkAttributepublic Cluster的网络配置要求 IPATviaIPaliases 二 Non servicelabels在AIX启动时分配HACMP启动后 serviceIPlabel替换 replaces non serviceIPlabel如果节点失败 一个takeover节点使用它的位于同一个HACMPnetwork里的一个non serviceinterface来获得 acquire 失败节点的serviceIPlabel Cluster的网络配置要求 IPATviaIPreplacement PersistentNodeIPlabel是一个IPalias 它可以分配给cluster里的一个特定节点总是位于同一个节点可以位于一块已经拥有service或non serviceIPlabel的网卡上不需在节点上安装额外的物理网卡不属于任何资源组能被用于对指定的节点进行管理每个节点可配置多个 在节点启动后即可用 当HACMP服务停止后也始终保持可用如果网卡失败 它只会迁移到相同网络的同一个节点上的其它网卡如果节点失败 该IP标识不会迁移到群集中的其它节点 Cluster的网络配置要求 PersistentNodeIPlabel HACMP5 1的新功能能够使用下列任何一种共享磁盘阵列 FibreChannel SCSI 或SSA 使用的磁盘是一个enhancedconcurrentvolumegroup的一部分 唯一的要求是这个VG必须在两个节点都有定义磁盘的这块特殊区域不能用作任何的LVM操作 而只能用来在两个节点间传递心跳消息 Cluster的网络配置要求 磁盘心跳 Heartbeatviadisk Cluster的存储设备配置要求 确定存储设备的连接类型SCSISSAFC了解用户需求划分存储资源划分RAID创建逻辑盘确定VG的类型Non concurrentConcurrentEnhancedconcurrent确定文件系统类型jfs2Jfs 使用RSCT进行通信支持ACTIVE和PASSIVE模式ACTIVEVaryon 类似通常的varyonPASSIVEVaryon 不允许高级操作 highleveloperations HACMP协调节点间的活动 保证只有一个节点可以varyonvolumegroupactivelyenhancedconcurrentvolumegroups能够被包含在一个non concurrentresourcegroups里 Cluster的存储设备配置要求 EnhancedconcurrentVolumeGroup 通过提供快速资源组fallover 减少宕机时间对于2块硬盘的VG 接管时间一般不超过10秒 对于带有大数量磁盘的VG的资源组有显著的性能提高 需要enhancedconcurrentvolumegroups定义在non concurrentresourcegroups里对于位于共享盘阵上enhancedconcurrentvolumegroups 如果是共享资源组的资源 HACMP会自动实现快速磁盘接管 Cluster的存储设备配置要求 快速磁盘接管 fastdisktakeover 一 你可以查看vg的状态通过lsvg命令 VGSTATE无论是actively或者passively方式的varyon 都将显示active状态 VGPERMISSION如果是actively方式的varyon 将显示read write 如果是passive方式的varyon 将显示passive only CONCURRENT将显示Capable或者Enhanced Capable 对于concurrentvg Cluster的存储设备配置要求 快速磁盘接管 fastdisktakeover 二 Cluster的软件配置要求 操作系统的版本和补丁要求HACMP的补丁要求HACMPV5 1IY45695 IY53044 same HACMPV5 2IY58496补丁包的下载中心 Cluster的软件配置要求 续 操作系统上需要打的一些额外的包 tcp serverbos rte SRCbos rte libcbos rte libcfgbos rte libcurbos rte libpthreadsbos rte odmbos data如果需要安装并行的资源组 需要打下面的包 bos rte lvm 5 1 0 25orhigherbos clvm enh AIX的各个版本和HACMP的各个版本兼容表 资源组 ResourceGroup 定义 一些可管理的资源集合在一起 和特定的应用相关联 并可一同执行failover等行为的组 包含四种类型 CascadingresourcegroupRotatingresourcegroupConcurrentresourcegroupCustomresourcegroup HA5 X新增的资源组类型 Cascadingresourcegroup 资源移动按照一个从高到低的优先级顺序当发生失败节点重新加入 reintegration 时 资源会返回到优先级更高的节点缺省 资源会在优先级最高的节点上启动资源 Resources ServiceIPLabels AddressesVolumeGroupsFilesystemsApplicationServers Cascadingresourcegroup的接管过程 Cascadingresourcegroup的属性 CascadingwithoutfallbackInactivetakeoverDynamicnodepriority Cascading资源组提供下面三种属性 这些属性需要在hacmp的Extendedconfiguration菜单中设置 Rotatingresourcegroup 资源移动按照一定顺序 一个接一个呈rotation当节点失败 第一个备 standby 节点会获得失败节点的资源组一个失败节点重新加入cluster 将会作为备 standby 节点 不会重新获得原来的资源组资源 Resources ServiceIPLabels AddressesVolumeGroupsFilesystemsApplicationServers Rotatingresourcegroup的接管过程 Concurrentresourcegroup 所有的节点共享且可并发访问数据应用在所有节点上并行运行有LockManager协调各节点对数据的访问一个节点失败 会降低cluster性能 但不会发生接管 资源 Resources ConcurrentVolumeGroupsApplicationServers 共享盘阵 Customresourcegroup HACMP5 1增加的新类型通过参数设置 可以精确定义有关资源组的startup failover和fallback行为的策略资源 Resources ServiceIPLabels AddressesVolumeGroupsUseforcedvaryonofvolumegroups ifnecessary false FilesystemsApplicationServers局限性 CustomRGs只支持IPAT via AliasingserviceIPaddresses labels Customresourcegroup con 添加一个customresourcegroup smittyhacmpInitializationandStandardConfiguration ConfigureHACMPResourceGroups AddaResourceGroup CascadingRotatingConcurrentCustomAddaCustomResourceGroupTypeorselectvaluesinentryfields PressEnterAFTERmakingalldesiredchanges EntryFields ResourceGroupName ParticipatingNodeNames DefaultNodePriority StartupPolicyOnlineOnHomeNodeO FalloverPolicyFalloverToNextPrio FallbackPolicyFallbackToHigherPr Customresourcegroup con Customresourcegroup con 目录 什么是HACMP 配置HACMP的规划和考虑HACMP的安装和配置HACMP的接管测试 需要安装的组件操作系统的补丁HACMP软件HACMP软件的补丁软件的安装方法NIM光盘安装本地硬盘安装验证安装 HACMP软件的安装 HACMP软件的配置过程 HACMP配置前的准本工作配置IP地址编辑 etc hosts文件编辑 usr es sbin cluster etc rhosts文件编写应用程序的启动 停止脚本创建共享的vg和文件系统配置串口设备HACMP的Standard配置过程添加Cluster和节点配置Cluster资源创建并配置Cluster资源组同步HACMP的配置HACMP的Extended配置过程添加心跳定制Cluster资源 HACMP软件配置方案拓扑图 HACMP配置前的准备工作 配置IP地址 test1 netstat inNameMtuNetworkAddressIpktsIerrsOpktsOerrsCollen01500link 20 4 ac 49 f2 d57796004780500en01500100 1100 1 0 17796004780500en11500link 30 6 29 ec 44 d63301100en11500192 168 0192 168 0 13301100test2 netstat inNameMtuNetworkAddressIpktsIerrsOpktsOerrsCollen01500link 20 4 ac 49 60 233113808258200en01500100 1100 1 0 23113808258200en11500link 30 4 ac 3e b9 4b3601300en11500192 168 0192 168 0 23601300 HACMP配置前的准备工作 编辑配置文件 编辑 etc hosts文件100 1 0 2test2 boot1test2100 1 0 1test1 boot1test1192 168 0 1test1 boot2192 168 0 2test2 boot210 1 0 1test1 svc10 1 0 2test2 svc10 1 0 5test1 per10 1 0 6test1 per编辑 usr es sbin cluster etc rhosts文件100 1 0 2100 1 0 1192 168 0 1192 168 0 2 HACMP配置前的准备工作 编写脚本 查看节点上的应用服务器的启动 停止脚本test2 ha51 ls l rwxr xr x1rootsystem65Apr1313 51start rw r r 1rootsystem31Apr1311 49start log rwxr xr x1rootsystem66Apr1314 01start1 rw r r 1rootsystem31Apr1314 01start1 log rwxrwxrwx1rootsystem64Apr1311 48stop rw r r 1rootsystem31Apr1311 48stop log rwxr xr x1rootsystem66Apr1314 01stop1 rw r r 1rootsystem31Apr1314 01stop1 log启动脚本举例 vistartdate ha51 start logbanner startapp1 tmp hacmp out HACMP配置前的准备工作 创建共享的VG和FS test1vg是共享VG test1 hdisk00004383268b07574rootvgactivehdisk3000438325e22bca7test1vghdisk400043832125e5aa8Nonehdisk5000438323d0e4487Nonetest2 hdisk0000d29574085126drootvgactivehdisk5000438325e22bca7test1vghdisk600043832125e5aa8Nonehdisk7000438323d0e4487None HACMP配置前的准备工作 创建串口设备 通过smittytty命令来添加串口设备 HACMP的Standard配置过程 添加CLUSTER和节点 ClusterName ha51tsc NewNodes viaselectedcommunicationpaths test2 boot1test1 boot1 CurrentlyConfiguredNode s 通过smittyhacmp命令 按照下列路径来添加Cluster和节点 InitializationandStandardConfiguration AddNodestoanHACMPCluster 注 这一步很重要 一般我们都是把每个节点的boot1作为communicationpath 当回车以后 系统会自己discoverhacmp的资源 并有详细的信息显示输出 HACMP的Standard配置过程 添加高可用资源ServiceIP 通过smittyhacmp命令 按照下列路径来添加ServiceIP InitializationandStandardConfiguration ConfigureResourcestoMakeHighlyAvailable ConfigureServiceIPLabels Addresses AddaServiceIPLabel Address IPLabel Address test1 svc NetworkName net ether 02 IPLabel Address test2 svc NetworkName net ether 02 注 如果有多个应用服务器 则添加多个ServiceIP HACMP的Standard配置过程 添加高可用资源ApplicationServer 通过smittyhacmp命令 按照下列路径来添加ApplicationServer InitializationandStandardConfiguration ConfigureResourcestoMakeHighlyAvailable ConfigureApplicationServers AddanApplicationServer ServerName app1 StartScript ha51 start StopScript ha51 stop 注 如果有多个应用服务器 则添加多个ApplicationServer 注意在前面的步骤中我们看到已经有一个共享VGtest1vg存在了 它使用传统的方法 在test1节点上创建test1vg lv jfsVaryoffvg在test2上importvgVaryoffvg我们也可以用hacmp的功能去创建test2vg和文件系统 HACMP的Standard配置过程 添加高可用资源VG和FS 一 HACMP的Standard配置过程 添加高可用资源VG和FS 二 通过smittyhacmp命令 按照下列路径来添加共享VG InitializationandStandardConfiguration ConfigureResourcestoMakeHighlyAvailable ConfigureVolumeGroups LogicalVolumesandFilesystems SharedVolumeGroups CreateaSharedVolumeGroup NodeNamestest1 test2PVID00043832125e5aa8VOLUMEGROUPname test2vg PhysicalpartitionSIZEinmegabytes4VolumegroupMAJORNUMBER 49 HACMP的Standard配置过程 添加高可用资源VG和FS 三 通过smittyhacmp命令 按照下列路径来添加共享FS InitializationandStandardConfiguration ConfigureResourcestoMakeHighlyAvailable ConfigureVolumeGroups LogicalVolumesandFilesystems SharedFileSystems JournaledFileSystems AddaJournaledFileSystem AddaStandardJournaledFileSystem NodeNamestest1 test2Volumegroupnametest1vg SIZEoffilesystem 10 MOUNTPOINT test1jfs PERMISSIONSread writeMountOPTIONS StartDiskAccounting noFragmentSize bytes 4096Numberofbytesperinode4096AllocationGroupSize MBytes 8 HACMP的Standard配置过程 创建Cluster资源组 通过smittyhacmp命令 按照下列路径来添加资源组 InitializationandStandardConfiguration ConfigureHACMPResourceGroups AddaResourceGroup CascadingRotatingConcurrentCustom ResourceGroupName res1 ParticipatingNodeNames DefaultNodePriority test1test2 注 如果有多个资源组 则按照同样方法添加即可 HACMP的Standard配置过程 配置Cluster资源组 通过smittyhacmp命令 按照下列路径来配置资源组 InitializationandStandardConfiguration ConfigureHACMPResourceGroups Change ShowResourcesforaResourceGroup standard ResourceGroupNameres1ParticipatingNodeNames DefaultNodePriority test1test2 ServiceIPLabels Addresses test1 svc VolumeGroups mtest1vg Filesystems emptyisALLforVGsspecified test1jfs ApplicationServers mapp1 注 如果有多个资源组 则按照同样方法配置即可 HACMP的Standard配置过程 同步HACMP的配置 通过smittyhacmp命令 按照下列路径来检查HACMP的配置 InitializationandStandardConfiguration DisplayHACMPConfiguration显示输出如右图所示 如果检查没有问题 就可以做同步了 InitializationandStandardConfiguration VerifyandSynchronizeHACMPConfiguration ClusterDescriptionofCluster ha51tscClusterSecurityLevel StandardThereare2node s and1network s definedNODEtest1 Networknet ether 02test2 svc10 1 0 2test1 svc10 1 0 1NODEtest2 ResourceGroupres1BehaviorcascadingParticipatingNodestest1test2ServiceIPLabeltest1 svc 在ExtendedConfiguration中我们还可以配置tty心跳网络 hdisk心跳网络 PersistentNodeIP applicationmonitor等等 HACMP的Extended配置过程 首先 我们要一个EnhancedconcurrentVG 这个vg不需要一定是放在concurrent资源组里的vg 当然也可以用concurrent资源组里的硬盘来做心跳网络 这个concurrentvg可以通过两种方法来建立 方法一 Mkvg cconvg 在一个节点上varyoffvg 另一个节点上importvg方法二 通过smittyhacmp命令 按照下列路径来添加hdisk心跳盘 InitializationandStandardConfiguration ConfigureResourcestoMakeHighlyAvailable ConfigureConcurrentVolumeGroupsandLogicalVolumes ConcurrentVolumeGroups CreateaConcurrentVolumeGroup HACMP的Extended配置过程 设置hdisk心跳网络 一 HACMP的Extended配置过程 设置hdisk心跳网络 二 NodeNamestest1 test2PVID000438323d0e4487VOLUMEGROUPnameconvgPhysicalpartitionSIZEinmegabytes4VolumegroupMAJORNUMBER 49 EnhancedConcurrentModetrue 其次 检查hdisk网络的状况 在一个节点上向hdisk写数据 从另一个节点上读数据 很像我们在配置tty网络之前 检查一下tty是否连通 Add usr sbin rsct bin to etc environment里的path中重新logintest1和test2使path生效在test1上运行 dhb read phdisk5 r在test2上运行 dhb read phdisk7 t HACMP的Extended配置过程 设置hdisk心跳网络 三 通过smittyhacmp命令 按照下列路径来添加hdisk心跳网络 ExtendedConfiguration ExtendedTopologyConfiguration ConfigureHACMPNetworks AddanetworktotheHACMPCluster Pre definedSerialDeviceTypesdiskhbrs232tmscsitmssa NetworkName m net diskhb 01 NetworkTypediskhb HACMP的Extended配置过程 设置hdisk心跳网络 四 通过smittyhacmp命令 按照下列路径来添加hdisk心跳网络的接口设备 ExtendedConfiguration ExtendedTopologyConfiguration ConfigureH