服务器集群技术方案.doc

服务器集群技术1架设基于LINUX的服务器集群6服务器集群技术方案10服务器集群技术一、集群的基本概念 Cluster集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。 大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。 一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。 Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时，客户将能很快连接到新的应用服务上。二、集群的硬件配置 镜像服务器双机 集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案，通常镜像服务的硬件配置需要两台服务器，在每台服务器有独立操作系统硬盘和数据存贮硬盘，每台服务器有与客户端相连的网卡，另有一对镜像卡或完成镜像功能的网卡。 镜像服务器具有配置简单，使用方便，价格低廉诸多优点，但由于镜像服务器需要采用网络方式镜像数据，通过镜像软件实现数据的同步，因此需要占用网络服务器的CPU及内存资源，镜像服务器的性能比单一服务器的性能要低一些。 有一些镜像服务器集群系统采用内存镜像的技术，这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步，当主机出现故障时，备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致，但当系统应用程序带有缺陷从而导致系统宕机时，两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步，在大数据量读写过程中两台服务器在某些状态下会产生数据不同步，因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。 硬件配置范例： 网络服务器 两台 服务器操作系统硬盘 两块 服务器数据存贮硬盘 视用户需要确定 服务器镜像卡（部分软件可使用标准网卡） 两块 网络服务网卡 两块 三、双机与磁盘阵列柜 与镜像服务器双机系统相比，双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜，目前，豪威公司、精业公司等许多公司都生产有磁盘阵列柜，在磁盘阵列柜中安装有磁盘阵列控制卡，阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连，系统管理员需直接在磁盘柜上配置磁盘阵列。 双机与磁盘阵列柜互联结构不采用内存镜像技术，因此需要有一定的切换时间（通常为60?D?D180秒），它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机，同时由于所有的数据全部存贮在中置的磁盘阵列柜中，当工作机出现故障时，备份机接替工作机，从磁盘阵列中读取数据，所以不会产生数据不同步的问题，由于这种方案不需要网络镜像同步，因此这种集群方案服务器的性能要比镜像服务器结构高出很多。 双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷，所谓单点错是指当系统中某个部件或某个应用程序出现故障时，导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错，当磁盘阵列柜出现逻辑或物理故障时，所有存贮的数据会全部丢失，因此，在选配这种方案时，需要选用一个品质与售后服务较好的产品。硬件配置范例：网络服务器 两台 服务器操作系统硬盘 两块 第三方生产的磁盘阵列柜 一台 磁盘柜专用SCSI电线 两根 磁盘阵列柜数据存贮硬盘 视用户需求确定 网络服务网卡 两块 除此之外，一些厂商还有更优秀的技术的解决方案，比如HP。 四、HP双机双控容错系统 HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础。 HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点，相互配合二者的优势。硬件配置范例：HP L系统的网络服务器 两台 服务器操作系统硬盘 两块 HP硬盘存贮柜（SS/6，RS/8，RS/12） 一台 磁盘柜专用SCSI集群适配电缆 两根 磁盘柜数据存贮硬盘 视用户需求确定 HP集群专用阵列卡 两块 网络服务网卡 两块 五、HP光纤通道双机双控集群系统 光纤通道是一种连接标准，可以作为SCSI的一种替代解决方案，光纤技术具有高带宽、抗电磁干扰、传输距离远、质量高、扩展能力强等特性，目前在FC-AL仲裁环路上可接入126个设备。 光纤设备提供了多种增强的连接技术，大大方便了用户使用。服务器系统可以通过光缆远程连接，最大可跨越10公里的距离。它允许镜像配置，这样可以改善系统的容错能力。服务器系统的规模将更加灵活多变。SCSI每条通道最多可连接15个设备，而光纤仲裁环路最多可以连接126个设备。 光纤集群系统组成： HP光纤集群系统硬件设备包括有两台HP服务器（需支持光纤卡，目前有LC2000、LH3000、LH4、LH6000、LT6000、LXr8000、LXR8500）及光纤适配卡，可以使用RS/12FC光纤磁盘阵列柜，需另加一对或两对网卡用于心跳检测和与客户端连接。在配置过程中还需另外选配光纤卡到光纤存贮设备的光纤电缆。 硬件配置： HP系统的网络服务器 两台 服务器操作系统硬盘 两块 光纤阵列存贮柜（） 一台 光纤磁盘柜专用光纤电缆 两根 光纤磁盘柜数据存贮硬盘 视用户需求确定 光纤适配卡 两块 网络服务网卡 两块 六、集群的软件配置 基于NT平台的集群软件 Microsoft的MSCS，也有许多第三方的专业软件公司开发的集群软件，如豪威的DATAWARE，VINCA公司的STANDBYSERVER，NSI公司的DOUBLETAKE。 WolfPack的特点 MS WolfPack是Cluster server的别称，是微软针对Cluster技术研制开发的双机软件。它集成在NT SERVER上，支持由二台机器组成的双机系统，提供一种高可用且易管理的应用环境。 主要特点：自动检测和修复服务器或应用程序的错误 可实现对服务器中应用程序的切换 可通过TCP/IP连接各种客户端，如MS-DOS、WINDOWS3.X/9X/NT，Apple Macintosh、UNIX等 生产主机无需人工干涉即可自动恢复数据并接管任务 易管理性： 可自动审核服务器和应用程序的工作状态 可建立高可用性的应用程序、文件共享、打印请求等 可灵活设置应用程序和数据的恢复策略 简单操作即可进行应用程序的离线，重新再线，服务器间的迁移。 目前，WINDOWS 2000 Advanced Server与WINDOWS 2000 DataCenter Server都集成有更先进集群技术。 其它的网络操作系统平台上也有许多集群软件，比如： 基于novell平台的集群软件有Novell HA Server、Novell SFT III 基于sco UNIX平台的集群软件有Sentinel集群软件 基于Linux平台的集群软件有TurboCluster七、集群技术的发展趋势 集群技术随着服务器硬件系统与网络操作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问，并且生成一个完整的系统映像。这样，无论应用程序在集群中的哪台服务器上，集群文件系统允许任何用户（远程或本地）都可以对这个软件进行访问。任何应用程序都可以访问这个集群任何文件。甚至在应用程序从一个节点转移到另一个节点的情况下，无需任何改动，应用程序就可以访问系统上的文件。 在今天，利用服务器的集群技术，通过周密计划和网络维护，系统破坏的机率是非常小的。所以，企业服务器的稳定必须使用集群技术。服务器集群技术 年 月 日授课时数2授课方法讲授、演示教 具多媒体教学目的让学生对服务器集群有个简单认识，并初步掌握集群工作模式与原理。教学重点和 难 点难点：服务器集群概念。重点：集群工作模式与原理。教 学 过 程一、复习上节课程二、新课内容6.4.1 什么是集群与热备 6.4.2集群工作模式与原理三、总结四、布置作业编号：LJ/JW-JL-23（22）教 案主 要 教 学 内 容教法应用一、复习上节课程二、新课内容6.4.1 什么是集群与热备 1. 集群系统 集群（Cluster）技术是近几年新兴起的一项高性能计算技术。它将一组相互独立的计算机通过高速的通信网络组成一个单一的计算机系统，并以单一系统的模式加以管理。其出发点是提供高可靠性、可扩充性和抗灾难性。 集群中所有的计算机都拥有一个共同的名称，集群系统内任意一台服务器都可被所有的网络用户所使用。 2.负载均衡 网络负载均衡允许用户的请求传播到多台服务器上（这些服务器对外只须提供一个IP地址或域名），即可以使用群组中的多台服务器共同分担对外的网络请求服务。网络负载均衡技术保证即使是在负载很重的情况下它们也能作出快速响应。Windows 2003 Server企业版的“集群管理器”可用于手动平衡服务器的工作负荷，并根据计划维护发布服务器。还可以从网络中的任何位置监控集群、所有节点及资源的状态。介绍举例演示板书编号：LJ/JW-JL-23（22）教 案主 要 教 学 内 容教法应用3. 热备和容错 根据功能，双机系统和集群系统又可细分为双机热备、双机容错、集群热备和集群容错。热备是热备份（Hot Standby，也译为“热备用”）的简称，它与容错（Fault Tolerance）的主要区别在于热备系统只能监控服务器的CPU，是硬件级的监控；而容错系统监控服务器的应用，实行软件加硬件级的监控。由于，容错技术提供更高层次的弹性和恢复能力，使用深层硬件冗余（如磁盘镜像、双机热备等），加上专门的软件，几乎可以即时地恢复任何单一的硬件或软件错误。热备与容错方案要比集群方案昂贵得多，因为用户必须为处于闲置状态等待错误的冗余硬件支付费用。6.4.2集群工作模式与原理1. 集群工作模式 双机集群系统有两种工作模式，一种是主从模式，另一种是双工模式。 （1） 主从模式 主从（Active/Standby）模式，一般为两台服务器同时运行。一台服务器被指定为进行关键性操作的主服务器，另一服务器作为备用的服务器。在主服务器工作时，从服务器处于监控准备状态（除了监控主服务器状态，不进行其他操作）。 介绍举例演示编号：LJ/JW-JL-23（22）教 案主 要 教 学 内 容教法应用（2） 双工模式 双工方式（Active/Active）又称对等模式。在正常情况下，两台服务器同时运行各自的服务，且相互监测对方的情况。 2.双机集群工作原理 1. 心跳工作过程通过IP做心跳检测时，主机和备机会通过此心跳路径，周期性地发出相互检测的测试包，如果此时主机出现故障，备机在连续丢失设定数目的检测包后，会认为主机出现故障，这时备机会自动检测设置中是否有第二种心跳，如果没有第二种心跳的话，备机则根据已设定的规则，启动备机的相关服务，完成双机热备的切换2. IP工作过程主机、备机的IP地址采用虚拟IP地址实现，工作原理，如图5.7所示。主机正常的情况下虚拟IP地址指向主机的实IP地址，用户通过虚拟IP地址访问主机，这时，双机热备软件将虚拟IP地址解析到主机实IP地址。介绍举例演示编号：LJ/JW-JL-23（22）教 案主 要 教 学 内 容教法应用3. 应用及网络故障切换过程 （1）双机系统中，当检测到主机操作系统的故障时，可及时将服务切到备用服务器。（2）在主服务器操作系统正常的情况下，数据库系统出现意外故障时，双机容错软件可以及时发现并将其切到备用服务器，使服务不致于停止。（3）在主服务器操作系统和数据库系统全都正常的情况下，主服务器网络出现故障时，双机热备软件可以将系统切到正常的备用服务器上。 三、总结四、布置作业 P163 34介绍举例演示架设基于LINUX的服务器集群1.什么是服务器集群随着Internet的爆炸性增长， Internet与人的生活越来越息息相关，通过 Internet上进行交易也就越来越受关注。近几年，电子商务的年增长均超过100。服务器的工作量也迅速增长，所以服务器（特别是一个受人欢迎的 WEB服务器）很容易在访问高峰时期过载。而另一方面，计算机从1946年单纯的科学计算任务到现在大量纷繁复杂的信息处理，工作量越来越大，需要越来越快的处理能力。所以计算机界就不得不不断研究更快的处理器，存储器，以适应这一需求。然而，科学家们意识到，单块处理器的速度发展空间是有限的，为什么不能让计算机象人一样协同工作，“群策群力”地将工作完成好呢！这时，就掀起了“并行计算”的研究。举 个例子来说，我们架设了一台WWW服务器，上面构建了一个电子商务网站，然而随着时间的推移，名声越来越大，这时点击率也就越来越高，WWW服务器的负载 也就越来越高。这种情况下，我们就必须提升WWW服务器的能力，以满足以益增长的服务请求。这时，我们就面临两种选择：1）升级WWW服务器，采用更快的CPU，增加更多的内存，使其更具有POWER；但日益增长的服务请求又会使服务器再次过载，需要再次升级，这样就陷入了升级的怪圈。还有，升级时还得考虑到服务如何接续，能否中止！2）增加WWW服务器，让多台服务器来完成相同的服务。这种方法就是服务器集群，通过并行技术来大大提升系统性能。也就是这一章的主要内容，这种方法具有很好的扩展性，而且可以最大限度地利用已有投资。1.1.集群的概念集群，是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。近几年来，微处理器、内存、总线技术、网络技术有了非常大的进步，软件的并行技术也有了非常大的进步，这使得让一组廉价的个人电脑与工作站协同工作成为可能，甚至可以与拥有强大的芯片处理能力的超级计算机竞争。比如，16个普通微处理器组成的集群系统可以达到亿次级浮点计算机能力，而且总的成本小于40万元。不幸的是，建造一个集群并不是一件简单的事件。集群的组成部分必须根据要运行的主要应用进行调整，以使之运行在最佳状态。这此因素带来的结果就是，建造集群系统不是只有一个标准的方案，在本章中，我们就会看到许多种建造方案。集群技术是计算机系统结构的前沿领域，笔者也仅是略有了解，希望本文能起到抛砖引玉之用。1.2.并行技术这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。2.使用MPICH构建一个四节点的集群系统这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。2.1 所需设备1).4台采用Pentium II处理器的PC机，每台配置64M内存，2GB以上的硬盘，和EIDE接口的光盘驱动器。2).5块100M快速以太网卡，如SMC 9332 EtherPower 10/100（其中四块卡用于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。）3).5根足够连接集群系统中每个节点的，使用5类非屏蔽双绞线制作的RJ45缆线4).1个快速以太网(100BASE-Tx)的集线器或交换机5).1张Linux安装盘 2.2 构建说明对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请找一些有经验的专业人士寻求帮助。1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源，打开PC机的机箱，在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡，在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱，接上电源。2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡（用于与其它网络相连的那块，这样机构就可以用上集群）连接到机构的局域网上（假定你的机构局域网也是快速以太网），然后打开电源。3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时，建议你为四台PC分别指定 为、、、。第一台PC为你的服务器节点（拥有两块网卡的那 台）。在这个服务器节点上的那块与机构局域网相连的网卡，你应该为其指定一个与机构局域网吻合的IP地址。4.当所有PC都装好Linux系统后，编辑每台机器的/etc/hosts文件，让其包含以下几行： node1 server node2 node3 node4编辑每台机器的/etc/hosts.equiv文件，使其包含以下几行：node1node2node3node4 以下的这些配置是为了让其能使用MPICHs p4策略去执行分布式的并行处理应用。1. 在服务器节点，建一个/mirror目录，并将其配置成为NFS服务器，并在/etc/exports文件中增加一行：/mirror node1(rw) node2(rw) node3(rw) node4(rw) 2. 在其他节点上，也建一个/mirror目录，关在/etc/fstab文件中增加一行：server:/mirror /mirror nfs rw,bg,soft 0 0 3. /mirror这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进行软件任务的分发。4. 在服务器节点上，安装MPICH。MPICH的文档可在/mpi/mpich/docs.html获得。5. 任何一个集群用户（你必须在每一个节点新建一个相同的用户），必须在/mirror目录下建一个属于它的子目录，如/mirror/username，用 来存放MPI程序和共享数据文件。这种情况，用户仅仅需要在服务器节点上编译MPI程序，然后将编译后的程序拷贝到在/mirror目录下属于它的的子目 录中，然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。2.3 MPICH安装指南1. 如果你有gunzip，就d下载mpich.tar.gz，要不然就下载mpich.tar.Z。你可以到http: //mpi/mpich/downloa下载，也可以使用匿名FTP到的pub/mpi 目录拿。（如果你觉得这个东西太大，你可以到pub/mpi/mpisplit中取分隔成块的几个小包，然后用cat命令将它们合并）2.解压：gunzip ;c mpich.tar.gz |tar xovf-（或zcat mpich.tar.Z|tar xovf-）3.进入mpich目录4.执行：./configure为MPICH选择一套适合你的实际软硬件环境的参数组，如果你对这些默认选择的参数不满意，可以自己进行配置（具体参见MPICH的配置文档）。最好选择一个指定的目录来安装和配置MPICH，例如：./configure -prefix=/usr/local/mpich-1.2.0 5.执行：make & make.log 这会花一段较长的时间，不同的硬件环境花的时间也就不同，可能从10分钟到1个小时，甚至更多。6. （可选）在工作站网络，或是一台单独的工作站，编辑mpich/util/machines/machines.xxx（xxx是MPICH对你机器体系 结构取的名称，你能很容易的认出来）以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中，这一步不需要。7.（可选）编译、运行一个简单的测试程序：cd examples/basic make cpiln ;s ././bin/mpirun mpirun./mpirun ;np 4 cpi此时，你就在你的系统上运行了一个MPI程序。8.（可选）构建MPICH其余的环境，为ch_p4策略使用安全的服务会使得任何启动速度加快，你可以执行以下命令构建：make serv_p4(serv_p4是一个较新的P4安全服务的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一个更快版本，但他需要tk 3.6版的源代码。如果你有这个包，你就用以下命令可以构建它：make nupshot9.（可选）如果你想将MPICH安装到一个公用的地方让其它人使用它，你可以执行：make install 或 bin/mpiinstall你可以使用-prefix选项指定M