使用RHCS套件架设高可用性集群设计方案.docx

使用RHCS套件架设高可用性集群设计方案方案设计人：林超目录一 RHCS背景简介-1二高可用集群相关概念及原理-22.1集群的概念-22.2高可用性集群的概念-22.3自动故障接管-22.4 高可用集群原理-3三RHCS概念阐释及工作原理-33.1 什么是RHCS-33.2 红帽集群套件RHCS的工作原理-4四实验设计-54.1 实验目的- 54.2 实验说明- -54.3 实验步骤- -64.3.1 实验环境的准备-64.3.2 RHCS套件的安装-7 4.3.3 RHCS套件的配置-8五实验测试-14一RHCS背景简介 RedHat公司在2007年发布RedHatEnterpriseLinux5时，就将原本是作为独立软件发售的用于构建企业级集群的集群套件redhatclustersuite(RHCS,红帽集群套件)集成到了操作系统中一同发布，将RHCS集成到系统中，这意味着将是RHEL产品在集群功能方面的提升。而且RHCS的安装与管理也将会变得更容易掌握。 红帽的企业集群解决方案(RHCS)是全球领先的高可用性解决方案，专为红帽企业Linux量身定做，是全球企业Linux厂商中唯一提供原生集群解决方案的厂商。RHCS集群经过红帽公司全球研发团队以及广大开发者社区的多年打造，已经成为企业级Linux平台上顶尖的高可用解决方案。 红帽RHCS集群采用了业界成熟的技术和主流国际标准，遵循高度安全和可靠的苛刻要求，被广泛的部署在电信，金融，政府，军队，制造，医疗，商贸，教育等各行业。 通过长年于主流硬件制造商及软件制造商的研发协作与合作，红帽RHCS集群已经在几乎所有主流硬件平台上运行，并且高度支持主流的数据库及中间件应用，针对绝大多数网站/网络所必须的应用服务也提供了完整的支持。红帽RHCS集群方案已经预置了对主要网络和数据库服务的支持，用户可通过红帽全球专家服务(GlobalProfessionalService)完成对特殊服务和应用的集群定制部署。二高可用集群相关概念及原理2.1 集群的概念 集群就是两台或更多的互连的电脑（我们称之为节点）整合在一起，对外表现为具备高可用性、高性能和易管理性的单一的、统一的计算资源。2.2高可用性集群的概念 高可用性(HA)集群的出现是为了使集群的整体服务尽可能可用，以便考虑计算硬件和软件的容错性。假如高可用性集群中的主节点发生了故障，那 么这段时间内将由次节点代替他。次节点通常是主节点的映像，所以当他代替主节点时，他能够完全接管其身份，并且因此使系统环境对于用户是一致的。 HA集群致力于使服务器系统的运行速度和响应速度尽可能快。他们经常在多台机器上运行的冗余节点和服务，用来相互跟踪。假如某个节点失败，他的替补将在几秒钟或更短时间内接管他的职责。因此，对于用户而言，集群永远不会停机。 某些 HA 集群也能够维护节点间冗余应用程式。因此，即使正在使用的节点出了故障，用户的应用程式将继续运行，正在运行的应用程式会在几秒之内迁移到另一个节点，而 任何用户只会察觉到响应稍微慢了一点。但是，这种应用程式级冗余需要将软件设计成具备集群意识的，并且知道节点失败时应该做什么。但对于 Linux，现在要完全做到这一点更有一定难度。因为 现在Linux 系统没有 HA 集群标准，并且也没有公共 API 可供给用程式研发者构建有集群意识的软件。 HA集群能够执行负载均衡，但通常主服务器运行作业，而系统使辅助服务器保持闲置。辅助服务器通常是主服务器操作系统配置的映像，尽管硬件本身稍 有不同。辅助节点对主服务器进行活动监控或心跳观察，以查看他是否仍在运行。假如心跳计时器没有接收到主服务器的响应，则辅助节点将接管网络和系统身份 （如 IP主机名和地址）。 HA集群通常包括2至8个或更多的节点，但是现在80%的HA 集群都是2个节点。Apptime的Watchdog, Hewlett-Packard的MC/Service Guard, Legato Cluster Enterprise,Lineo的Availix Clustering, Mission Critical Linux的Convolo, Motorola的HA-Linux,SGI的FailSafe, SteelEye的LifeKeeper,连同VeritasCluster Server都是HA集群。 在集群的这三种基本类型之间，经常会发生混合和交叉。能够发现高可用性集群也能够在其节点之间均衡用户负载，同时仍试图维持高可用性程度。同样，能够从要编入应用程式的集群中找到一个并行集群，他能够在节点之间执行负载均衡。 2.3自动故障接管 自动故障接管指的是当一个节点出现故障后，其相关资源能够自动转移到别的节点上。在一些集群产品中，故障节点的资源甚至能够转移到多个其他正常工作的节点上。通常需要转移的资源包括：物理磁盘的归属、逻辑卷、数据库、IP地址、应用程式进程、打印队列连同锁等。 自动故障接管通常有两种模式。一种为active/passive模式，一种为active/active模式。active/passive模式即一个 或多个节点运行应用程式，处于激活状态，而另有一个节点处于备份状态，当处于激活状态的节点出现故障后，则备份节点立即将其工作接管。 active/active模式即任何节点都处于激活状态，当其中有节点出现故障后，其工作自动由其他节点分摊而接管掉。2.4高可用集群原理图1展现了一个典型的高可用集群，图中描述了高可用集群的各个硬件组成部分，下面就图中提到的一些技术名词进行解释。服务器集群：由两台以上服务器组成，加入到集群的服务器被称为节点。通常以私有网络作为心跳，当集群中的一台服务器出现故障时，其他服务器会按照集群中设定的接管机制实现故障切换(Failover)。为保证服务器网络及其与外部存储的连接，通常会对网卡进行网卡绑定，对外部存储的HBA卡链接进行多路径绑定。心跳：服务器集群中的服务器通过心跳机制来判断自身及集群中的其他服务器是否存活，通常心跳会通过RJ45接口或COM接口实现。虚拟IP及公共网络：集群软件或硬件通过TCP/IP协议对客户端可见的公共网络公开了一个虚拟的网络IP，此IP由集群机制管理，指向当前活动的集群服务器节点。对于客户端而言，集群就相当于一个服务器，可以实现透明访问。图1三概念阐释及工作原理3.1什么是RHCS：RHCS即RedHatClusterSuite，中文意思即红帽集群套件。红帽集群套件（RedHatCluterSuite,RHCS）是一套综合的软件组件，可以通过在部署时采用不同的配置，以满足你的对高可用性，负载均衡，可扩展性，文件共享和节约成本的需要。 对于需要最大正常运行时间的应用来说，带有红帽集群套件（RedHatClusterSuite）的红帽企业Linux集群是最佳的选择。红帽集群套件专为红帽企业Linux量身设计，它提供有如下两种不同类型的集群： 1、高可用性：应用/服务故障切换通过创建n个节点的服务器集群来实现关键应用和服务的故障切换 2、负载均衡：IP负载均衡对一群服务器上收到的IP网络请求进行负载均衡 利用红帽集群套件，可以以高可用性配置来部署应用，从而使其总是处于运行状态这赋予了企业向外扩展（scale-out）Linux部署的能力。对于网络文件系统（NFS）、Samba和Apache等大量应用的开源应用来说，红帽集群套件提供了一个随时可用的全面故障切换解决方案。而对于其它大多数应用来说，客户可以使用红帽集群套件提供的模板来创建自定义的故障切换脚本。如果需要，还可以采用红帽专业服务（RedHatProfessionalServices），由专业人员提供量身定制的红帽集群套件部署服务。3.2红帽集群套件RHCS的工作原理图2是RHEL 5系列版本中RHCS的架构示意图：此图与红帽官方的架构图有所不同，图1-2主要展示了RHCS中常用的组件，通过简单的图例来描述RHCS架构中各个组件之件的关系。下面对这些组件进行详细解释：图2 RHCS架构示意图cman集群管理器cman是一个基于内核的对称通用集群管理器。它由两部分组成：连接管理器(cnxman)，用于处理成员、消息、投票数、事件通知和过渡；服务管理器(SM)，用于处理那些需要通过各种方式进行集群管理的应用及外部系统。cman是RHCS中最核心的服务，可通过系统中的serivce命令进行启/停操作；DLM、GFS、CLVM及Fence都依赖于cman群集管理器。 rgmanager资料组管理器rgmanager(Resource Group Manager)基于cman并使用DLM动态锁管理机制。与cman一样，rgmanager也是RHCS中的一个核心服务，可通过系统中的serivce命令进行启/停操作；rgmanager管理并为集群中的Service(服务)和Resources(资源)提供Failover错误切换功能。Service(服务)每个服务都被指定存在于一个Failover Domain中，并与多个Resources(资源)关联。每个服务可以理解为实际操作中的一个应用，如Web服务器、Java中间件、数据库、文件共享系统、邮件系统等。这些应用在运行时不但对应用程序本身有要求(如某个运行指令或多个运行脚本的组合)，还要提供对诸如虚拟IP、文件系统等资源的支持。Failover Domain(错误切换域)每个Failover Domain都与两个或两个以上的Node(服务器节点)进行绑定，Failover Domain指定了集群中某个Service运行时的范围，也就是指定此Service将会由哪些服务器提供Failover错误切换功能。每个Node都允许与多个Failover Domain进行绑定，也就是说每个Node都可以为多个Service服务，因此可以实现主动/主动(双活动)方式的集群配置。Resources(资源)Resources指的是组成一个应用所需的各种组件，通常包括：应用程序、虚拟IP、文件系统。资源与Service组合时，往往还会体现出一定的层次关系，例如：通常系统都要求确认虚拟IP及文件系统都已经正常连接及挂载后，才可以运行某个应用程序，这个顺序一旦调转，就会使应用程序运行出错。Fence机制在RHCS集群运行时，为了避免因出现不可预知的情况而造成的脑裂现象(如：心跳线断连，此时两台服务器都无法找到对方，无法向对方发出操作指令，都各自认为自己是主节点；又或者主服务器系统崩溃，系统能接收到备用服务器的操作指令，但无法返回运行情况的确认信号，导致备用服务器无法获知系统资源的使用情况)，系统要求通过Fence机制来保障系统切换时的I/O使用安全。如上所述，Fence主要就是通过服务器或存储本身的硬件管理接口，又或者是外部电源管理设备，来对服务器或存储发起直接的硬件管理指令，控制服务器或存储链路的开关。因此，Fence机制也被称为I/O屏障技术。当脑裂发生时彻底断开问题服务器的所有I/O连接，保证问题服务器不能对集群中的I/O资源(共享的文件系统资源)进行任何操作，严格保证集群环境中企业核心数据的完整性。四实验设计4.1实验目的：深入理解HA集群原理和RHCS套件中故障域的概念。HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。故障切换域：故障切换域是多个群集节点的一个子集，用来执行特定的群集服务。4.2实验说明：分别用两台计算机做Web Server和 MySQL Server ,用一台电脑做它们的HA，如果有一台服务器DOWN了，就把该服务器运行的服务切换到做HA的备用机上，也就是设置两个故障域。实验准备：在三台计算机上创建好yum，因为安装软件包时依赖的包比较多。1、 把光盘放到光驱，挂载光驱：2、 设置yum源，在/etc/yum.repos.d目录下添加一个文件，文件的内容如下：# vi dvd.repo3、清除旧记录并生成新的仓库4、# yum list好了，本地仓库创建完成。4.3实验步骤：4.3.1、实验环境的准备4.3.2、RHCS套件的安装4.3.3、RHCS套件的配置实验环境图例：4.3.1实验环境的准备IP地址主机名角色01 Web SMySQL SWeb Server 和MySQl Server HA（a） 同上表格设置好相关选项，并安装服务软件包 给node1主机，配置主机名打开/etc/sysconfig/network对该文档进行如下编辑后，保存退出编辑，重启机器，主机名即修改生效。给node1主机配置ip地址node2,node3的主机名与ip地址配置请参照node1，在此不重复配置。（b）使用hosts文件实现主机名的解析rootnode1 # vim /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail. localhost.localdomain localhost:1 localhost6.localdomain6 localhost601 node102 node203 node3rootnode1 # scp /etc/hosts 02:/etc/hostsrootnode1 # scp /etc/hosts 03:/etc/hosts4.3.2 RHCS套件的安装1.在集群的三个成员中都安装一下软件包rootnode1 # yum install cmanrootnode1 # rpm-ivhsystem-config-cluster-1.0.55-1.0.noarch.rpm rootnode1 # yum install oddjobrootnode1 # rpm -ivh modcluster-0.12.1-2.el5.i386.rpm rootnode1 # rpm -ivh Cluster_Administration-zh-CN-5.2-1.noarch.rpm rootnode1 # rpm -ivh lm_sensors-2.10.7-4.el5.i386.rpm rootnode1 # rpm -ivh net-snmp--5.el5.i386.rpm rootnode1 # rpm -ivh cluster-snmp-0.12.1-2.el5.i386.rpm rootnode1 # rpm -ivh tog-pegasus-2.7.1-2.el5.i386.rpm rootnode1 # rpm -ivh cluster-cim-0.12.1-2.el5.i386.rpm 2.在node2和node3上安装MySQL，node1上安装apache。rootnode1 # rpm -ivh httpd-2.2.3-22.el5.i386.rpm rootnode1 # echo /var/www/html/index.htmlrootnode1 # /etc/init.d/httpd startrootnode2 # rpm -ivh perl-DBI-1.52-2.el5.i386.rpm rootnode2 # rpm -ivh mysql-5.0.45-7.el5.i386.rpm rootnode2 # rpm -ivh perl-DBD-MySQL-3.0007-2.el5.i386.rpm rootnode2 # rpm -ivh mysql-server-5.0.45-7.el5.i386.rpm rootnode2 # /etc/init.d/mysqld startrootnode2# mysqladmin -u root password unixhotrootnode3 # rpm -ivh perl-DBI-1.52-2.el5.i386.rpm rootnode3 # rpm -ivh mysql-5.0.45-7.el5.i386.rpm rootnode3 # rpm -ivh perl-DBD-MySQL-3.0007-2.el5.i386.rpm rootnode3 # rpm -ivh mysql-server-5.0.45-7.el5.i386.rpm rootnode3 # /etc/init.d/mysqld startrootnode3 # mysqladmin -u root password unixhotrootnode3 # /etc/init.d/mysqld stoprootnode3 # rpm -ivh httpd-2.2.3-22.el5.i386.rpm rootnode3 # echo /var/www/html/index.html4.3.3 RHCS套件的配置rootnode1 # system-config-cluster 1.在弹出的窗口中点击Create New ConfigurationChoose a name for the cluster: unixhotCustom Configure Multicast：用于指定一个用于本集群的多播地址。Use a Quorum Disk：当多个节点要求仲裁机制时，指定仲裁策略。有兴趣了解Quorum Disk的读者可以参考红帽公司的官方文档。2.Cluster Nodes （节点的设置）点击 Cluster Nodes 点击Add a Cluster NodeCluster Node Name：Quorum Votes:1Multicast interface：eth0Cluster Node Name：Quorum Votes:1Multicast interface：eth0Cluster Node Name：Quorum Votes:11Multicast interface：eth03. Fence Devices （fence 的配置）选中“Fence Devices”, 再选择“Add a Fence Device”，打开Fence配置窗口。在Add a New Fence Device下拉菜单中选中“HP ILO Device”，如图分别配置node1_ilo,node2_ilo,node3_ilo。 节点与Fence设备绑定在左视图中选中刚添加的节点node1,在右视图中选择”Manage Fencing For This Node”, 在跳出的对话框中，单击“Add a New Fence Level”。添加该节点的Fence。选择”Fence-Level-1”,单击”Add aNew Fence to this Level”,选择名为node1_ilo的设备。 已绑定node1_ilo到node1节点同理node2与node2_ilo绑定，node3与node3_ilo绑定.请参照node1与node1_ilo绑定的过程。3.Failover Domanins （故障域的设置）点击Failover Domains ,点击 Create a Failover Domain创建两个故障域，Name for new Failover Domain：apache Name for new Failover Domain：mysqlRestrict Failover To This Domains Members：指派给这个Failover Domain的Service只可以在当前加入的成员上执行；如果不选此项，Service将允许在本集群中的任何节点进行Failover切换。为保证系统的严谨性，建议选中此项。Prioritized List：用于调整Failover Domain中节点的优先级别，指定Service优先在哪个节点中运行。(注：对于双节点情况，如果，两台服务器的性能相同，那么一般不需要设置它们的优先关系，先启动服务器为主服务器，后启动的的为备用服务器。当主服务器出现故障，备用服务器进行Servic