MCServiceGuard功能及使用介绍.ppt

MC ServiceGuard功能及使用介绍 中国惠普有限公司支持服务事业部 QIANYun2004 4 Agenda MC SG概述MC SG结构及原理故障反应机制基本操作和日常管理应急处理方案更改双机配置 Agenda MC SG概述 什么是MC SG MC SG实现的功能 什么是MC SG MC ServiceGuard 简称MC SG 是用于将HP9000系列服务器组成高可用性集群的软件 MC 指 MultipleComputers MC SG实现的功能 通过合理的配置集群 可以在集群中出现单点故障 硬件 软件 网络等 时 通过切换保证应用程序的不间断运行 从而实现系统的高可用性 指导思想 NoSinglePointOfFailure 无单点故障 MC SG结构及原理 MC SG的结构组成构成集群的硬件要求移动智能网典型集群配置集群运行过程 MC SG软件的组成 软件组件PackageManager运行包管理器ClusterManager集群管理器NetworkManager网络管理器主要后台进程cmcld 节点守护进程 负责发送心跳信号 管理本地网络 以及负责运行包的管理cmlogd 负责在系统日志 syslog 中记录信息cmlvmd 监控所有属于集群控制的卷组 VG 的状态cmsrvassistd 负责包启动 停止脚本以及服务程序的运行 MC SG集群的结构组成 节点 node 指构成集群的主机 一个集群中允许的节点数量是2 16个运行包 package 运行包里包含用户的应用程序 以及为该应用程序所分配的资源 包运行在集群中的某个节点上 并且可以在节点之间切换 有关包 package 的概念 包含应用程序 application 分配相应资源卷组 逻辑卷和文件系统浮动IP地址应用程序的启动和停止脚本服务程序 service 规则 分配给一个包的资源不能再分给其它包 同一时间一个包只运行在一个节点上 概念 浮动IP 静态IP StationaryIP 静态IP地址不会改变 它们就象以往使用的IP地址一样 固定在网卡上 浮动IP RelocatableIP 浮动IP是分配给每个应用程序 运行包 的 如果要访问一个应用程序 则需要连接浮动IP地址 只需连接这个地址 而不管它实际上是在哪台主机或哪块网卡上 浮动IP必须加载在具有同网段静态IP地址的网卡上 当发生本机网卡切换时 浮动IP会和静态IP一起被加载到备用网卡上 构成集群的硬件要求 主机多台主机构成集群 每台主机必须拥有自己独立的根盘 强烈建议镜像数据磁盘由于MC SG不能对数据磁盘故障做出响应 需要使用高可用性的磁盘阵列或对数据盘进行镜像网络MC SG中的networkmanager可以对网络故障做出响应 需要配置冗余的网络设备 网线 交换机 网卡等 移动智能网典型配置 scp 移动智能网配置 高可用性分析 主机两台主机构成集群 主机根盘镜像数据磁盘每台主机各连接一台VA磁盘阵列作为数据盘 共用一台DS2300作为锁盘网络数据网络做到冗余 另有专门的直联网线作为心跳网络整个系统无单点故障 硬件配置满足高可用性要求 移动智能网配置 相关文件 etc cmcluster cluster ascii集群配置文件 包含节点组成 卷组指定和相关参数设定等 etc cmcluster cmclconfig集群二进制文件 由配置文件编译而成 包含集群的全部信息 etc cmcluster mscppkg mscppkg conf包配置文件 指定包所在的节点 监控网段 切换模式等参数信息 etc cmcluster mscppkg control sh包控制文件 指定包所拥有的各种资源 移动智能网配置 相关文件 续 etc cmcluster mscppkg control sh log包运行时记录的日志 etc cmcluster mscppkg start mscp sh包启动时用于启动应用程序的脚本 etc cmcluster mscppkg stop mscp sh包停止时用于停止应用程序的脚本 etc cmcluster mscppkg mscp service sh包服务脚本 执行进程监控及其它客户化的功能 MC SG运行过程 启动过程 启动集群在每个节点上启动守护进程cmcld所有cmcld运行正常的节点组成集群启动包激活卷组 加载浮动IP 挂起文件系统执行应用程序启动脚本 start mscp sh 运行服务 mscp service sh MC SG运行过程 停止过程 停止包停止服务 mscp service sh 执行应用程序停止脚本 stop mscp sh 卸下文件系统 卸载浮动IP 去激活卷组停止集群在每个节点上停止守护进程cmcld 故障反应机制 节点故障网络故障软件故障 故障反应机制 概念 心跳线 Heartbeat 用于在节点之间互相传递心跳信号的网线 网络 如中断则表明某一节点出现故障锁盘 lockdisk 当集群由两个节点组成时 需要一块锁盘作为仲裁设备 当心跳中断时 两个节点会去争用锁盘 得到锁盘的一方将会重组集群 而另一方则会发生TOC并重起 TOC TransferOfControl 为保证没有得到锁盘的节点能够尽快释放占用的资源 该节点将自动执行TOC 保存当前内存和CPU影像后重新启动 故障反应机制 节点故障 当主用节点发生故障时备机守护进程cmcld检测到心跳超时 开始争用锁盘主机发生TOC 由备机重组集群在备机上启动运行包 恢复应用访问切换时间视启动脚本设置而定当备用节点发生故障时主机守护进程cmcld检测到心跳超时 开始争用锁盘备机发生TOC 由主机重组集群该过程对应用运行无影响 故障反应机制 网络故障 当主用网络发生故障时守护进程cmcld检测到主用网卡不通后 会将固定IP和浮动IP加载到备用网卡上主用网卡连接恢复后 IP地址会自动回到原主用网卡上当主节点网络发生故障时守护进程cmcld检测到主用网卡不通后 会将固定IP和浮动IP加载到备用网卡上如备用网卡也不通 当MC SG发现到监控网段不通时 会将运行包切换到备用节点上 故障反应机制 软件故障 服务程序 service 在配置运行包时 可定制服务程序 在包启动后 服务程序也会相应启动 如果服务程序中断退出 整个运行包也会停止并切换到备节点上 监控脚本服务程序最常用的功能就是监控应用程序运行状况 通常由应用提供商来定制监控脚本 由服务程序来调用 当应用发生异常 如进程吊死 时 服务程序会发生中断 并造成应用包切换 MC SG对软件故障的响应能力很大程度上取决于服务程序脚本的编写 基本操作及日常管理 集群操作运行包操作日常管理 集群操作 启动集群cmruncl v停止集群cmhaltcl v 如有包在运行 则需要加 f参数 只在一个节点上启动集群cmruncl n节点名观察整个集群状态cmviewcl v所有命令均可在集群中任意节点上执行 运行包操作 启动包cmrunpkg v n节点名包名停止包cmhaltpkg v包名设置包的自动切换属性cmmodpkg e包名 允许包在节点之间自动切换 cmmodpkg e n节点名包名 允许包在该节点上启动 所有命令均可在集群中任意节点上执行 运行包操作 手工包切换范例 将包scppkg从mscp1切换到mscp2 步骤1 在任意主机上执行cmhaltpkg vscppkg步骤2 在任意主机上执行cmrunpkg v nscp2scppkg步骤3 在任意主机上执行cmmodpkg escppkg 观察集群状态 cmviewcl v CLUSTERSTATUShpclusterupNODESTATUSSTATEGMS STATEbjscp1auprunninghaltedNetwork Parameters INTERFACESTATUSPATHNAMEPRIMARYup0 5 0 0lan1PRIMARYup0 0 0 0lan0STANDBYup1 12 0 0lan2PACKAGESTATUSSTATEAUTO RUNNODEscppkguprunningenabledbjscp1a NODESTATUSSTATEGMS STATEbjscp1buprunninghaltedNetwork Parameters INTERFACESTATUSPATHNAMEPRIMARYup0 5 0 0lan1STANDBYup1 12 0 0lan2PRIMARYup0 0 0 0lan0 确认STATUS和STATE为up和running 同时包自动切换 AUTO RUN 属性为enable 日志检查 系统日志 var adm syslog syslog log系统日志记录所有集群启动 停止及状态变化的信息 但不包括运行包的信息Oct3100 23 39oracle2cmcld Nodeoracle1hasceasedclusteractivities Oct3100 23 39oracle2cmcld AttemptingtoformanewclusterOct3100 23 40oracle2cmcld TurningoffsafetytimeprotectionsincetheclusterOct3100 23 40oracle2cmcld maynowconsistofasinglenode IfServiceGuardOct3100 23 40oracle2cmcld fails thisnodewillnotautomaticallyhaltOct3100 23 40oracle2cmcld ClearingClusterLockOct3100 23 40oracle2cmcld 1nodeshaveformedanewcluster sequence 3Oct3100 23 40oracle2cmcld Thenewactiveclustermembershipis oracle2 id 2 Oct3100 23 40oracle2cmcld Packagepkg2cannotrunonthisnodebecauseswitchinghasbeendisabledforthisnode Oct3100 23 42oracle2cmcld WaitingforCMGMSDtocompletehaltingprocessOct3100 23 42oracle2cmcld cmgmsdcompletedhaltingprocessOct3100 23 42oracle2cmcld CMGMSDsuccessfullyhaltedOct3100 23 40oracle2cmcld Packagepkg2cannotrunonthisnodebecauseswitchinghasbeendisabledforthisnode 日志检查 包日志 etc cmcluster mscppkg control sh log包运行日志每个运行包都有自己的运行日志 记录包启动 停止和运行过程中的信息 Node mscp2 StartingpackageatSatJul2604 04 14EAT2003 SatJul2604 04 14EAT2003Startmscppkgcustomercmdbegin AddFloatingIPok SendSIGUSR1toscpok SatJul2604 04 27EAT2003Startmscppkgcustomercmdcomplete Jul2604 04 27 Node mscp2 Startingservicemscp serviceusing etc cmcluster mscppkg mscp service sh Node mscp2 PackagestartcompletedatSatJul2604 04 27EAT2003 managerdown atSatJul2604 54 39EAT2003 Node mscp2 HaltingpackageatSatJul2604 54 39EAT2003 Jul2604 54 39 Node mscp2 Haltingservicemscp servicecmhaltserv Servicenamemscp serviceisnotrunning SatJul2604 54 39EAT2003Stopmscppkgcustomercmdbegin cmmodnet Subnet139 118 52 0isnotaconfiguredsubnet cmmodnet Usethe netstat in commandtolisttheconfiguredsubnets Stopscpok Stopinformixok SatJul2604 54 39EAT2003Stopmscppkgcustomercmdcomplete SatJul2604 54 39EAT2003Autobootmscpbegin Node mscp2 PackagehaltcompletedatSatJul2604 54 39EAT2003 应急处理方案 如果出现紧急情况 需要脱离双机软件直接启动应用程序执行vgchange cnvgdata 让vg脱离MC的控制执行vgchange ayvdata激活vg执行ifconfiglan1 1inet129 9 168 120netmask255 255 255 0手动将浮动IP绑定在网卡上执行 etc cmcluster pkg 里的包启动脚本或直接执行相关命令启动应用及数据库 应急处理方案 双机配置恢复后停止数据库和应用执行ifconfiglan1 10 0 0 0 删除浮动IP执行vgchange anvgdata去激活vg执行cmruncl v启动集群 第一次启动会由于vg不能被MC控制使得包无法启动在集群处于running状态时 执行vgchange cyvgdata将vg加入MC控制执行cmrunpkg vpkg 启动包 更改双机配置 配置文件 集群配置文件 etc cmcluster cluster ascii更改固定IP或增加备份网卡时需要修改该文件 修改后必须重新apply集群配置包配置文件 etc cmcluster pkg pkg conf更改监控网段时需要修改该文件 修改后必须重新apply集群配置包控制文件 etc cmcluster pkg tl 或control sh 更改包启动时激活的卷组 文件系统 浮动IP 启动 停止脚本等需要修改该文件 修改后需要复制到备用节点 不用重新配置集群 重新启动运行包即可生效 更改双机配置 重新apply集群配置 需要重新apply集群配置的情况包括 修改固定IP或更改网段设置增加网卡更换锁盘增加 删除运行包对于情况3 4 停止集群后直接运行cmcheckconf和cmapplyconf即可 如涉及网络更改 请按照如下步骤进行 在主机和备机上将 etc cmc