服务器集群技术方案

1、服务器集群技术方案集群(Cluster)技术是发展高性能计算机的一项技术。它是一组相互独立的计算机，利 用高速通信网络组成一个单一的计算机系统，并以单一系统的模式加以管理。其出发 点是 提供高可靠性、可扩充性和抗灾难性。一个集群包含多台拥有共享数据存储空间的服务器， 各服务器通过内部局域网相互通信。当一台服务器发生故障时，它所运行的应用程序将山 其它服务器自动接管。在大多数模式下，集群中所有的计算机拥有一个共同的名称，集群 内的任一系统上运行的服务都可被所有的网络客户使用。采用集群系统通常是为了提高系 统的稳定性和网络中心的数据处理能力及服务能力。当前主流的集群方式包括以下儿种：服务器主备集群

2、方式服务器主-备方式由一台服务器在正常运行状态提供对外服务，英它集群节点作为备 份机，备份机在正常状态下不接受外部的应用请求，实时对生产机进行检测，当生产机停 机时才会接管应用服务，因此设备利用率最高可达50%。主备方式集群如下图所示，节点 2为正常提供服务的服务器，运行多个应用(pkgA, pkgB.),节点1平时只监控节点2的状态，不对夕卜提供服务，当节点2出现故障时，节点1将把两个应用接管过来，并对外提供服务。节疽I节疽I。点2图农3-2主备方式集群服务器互备份集群方式多台服务器组成集群，每台服务器运行独立的应用，同时作为其它服务器的备份 机，当主应用中断，服务将被其它集群节点所接管，接

3、管服务的节点将运行自身应用和故障服务器的应用，这种方式各集群节点的硬件资源均可被应用于刈外 服务。互备方式集群如下图所示，节点1和节点2分别运行1个或多个不同的应用，但 只对外提供本地的主应用，两个节点之间互相进行监控，集群中任何一个节点出现故障后， 另一个节点把故障节点的主应用接管过来，所有应用服务由一台服务器完成。刑点_一一一 ftA:图农3-3互备份方式这种方式的主要缺点在于：由于需要重新启动数据库核心进程，无法保证数据库系统连续不间断 地运行在系统切换的过程中，客户端与服务器之间的数据库连接会中断，需要重 新进行数据库的连接和登录工作III于数据库系统只能在一台服务器上运行，另一台服务

4、器无法分 担 系统的负载，实际上造成了客户投资的浪费。在有些系统中，为了解决双机负载 分担的问题，将应用系统人为分割为两个数据库系统，分别在两台服务器上运行。 这种方式在一定程度上解决了负载分担的问题，但给系统管理、统计分析等业务 处理带来了很多额外的复杂性服务器并行集群方式冗余RAC砂、DLM 和心 ttftT-集群有多台服务器构成，同时提供相同的应用，可以实现多台服务器之间的负载均衡， 提供大访问量的应用需求，如Web访问及数据库等应用，服务器并行集群方式一般由应用 系统自身（如冗余RAC砂、DLM 和心 ttftT-文件以下是上述群集技术对比表:集群技术资源利用率故障收敛时间可靠性王备集

5、群技术资源有效利用率低相对较慢较高互备集群技术资源有效利用率胡相对较慢较高并行集群技术资源有效利用率高快高图农3-5群集技木对比农客户期IL客户期IL图农3-4服务器并行方式集群Real Application Cluster （以前称作 Oracle Parallel Server, OPS）用来 在集群环境下实现多机共享数据库，以保证应用的高可用性。同时可以自动实现并行处理 及均分负载，还能实现数据库在故障时的容错和无断点恢复。Real Application Cluster为大多数关键业务要求的数据库环境提供了极 高的性 能和完善的纠错功能。Real Application Cluste

6、r允许集群系统或大型并行系统中的 多个节点共享同一物理数据库。Real Application Cluster可以自动进行负载 平衡、 故障修复和规划停机时间，以支持高可用性应用程序。它还显著地提高了大型数据仓库和 决策支持系统的性能。通过与并行查询选件结合，它还提供了节点间的并行性和节点内的 并行性，以得到更高的性能。多服务器的Cluster （集群）结构，因其具有高可靠性、大容量共享磁盘支持、以 及无断点的故障恢复，越来越受到业界的关注，越来越多的硬件厂商都相继推出自己的 Cluster机种和机型，它己经成为硬件平台的一个新的发展方向。Oracle公司在1989年率先推出Parallel

7、Server选件，以支持这种体系结 构 版）。随着Cluster技术自身的成熟，以及Oracle对这一技术的经验，Real Application Cluster目前己能支持儿乎所有的Cluster集群系统。在sharenothing 或shared-disk模式的集群系统上，Real Application Cluster均可以 实现多节点共 享数据库，并自动并行处理及均分负载，在数据库故障时进行容错和无断点恢复处理。Oracle提供一个通用的、集成的分布式锁定管理器（DLM）替代了原来的，由不同操 作系统厂商提供的锁管理器，从而提高了在大多数工作平台上的执行性能和可移植性。 这些使得Ora

8、cle并行服务器的运行速度显著加快。Oracle集成的DLM使Oracle并行 服务器能够跨平台工作。肖并行服务器中某节点失效，透明的应用程序容错能够把用户自动转接到另一节点上 继续运行，应用程序在用户没有察觉的情况下继续执行。这使周期性和非周期性发生故障 的系统增大了连续可用性。进程的失效可以完全透明地转移到另一节点上去，通过适当地 配置，可以指定所有查询都在客户端进行缓存，这样它们便可以在转移后的节点上重新设 置。同时，还可以在没有失效时预先与容错节点建立一个连接，这样可以减少 容错时在连 接所花的时间。Oracle不仅支持第一代、第二代并行处理技术，还最先支持第三代多节点并行处理机。 能

9、够在Cluster Mode 3及MPP结构的各节点上实现并行处理，均分负载。Oracle并行 处理技术的另一大优势在于，无论在任何平台上，从单机到并行处理机，从OLTP应 用到 OLAP应用，Oracle数据库均为同一核心，因此在不同平台之间应用系统可平滑移植，提 高了开发效率，降低了维护费用。LI前，Oracle并行服务器技术在业界处于绝对 领先地 位，已在全球数千个实际应用系统中运行，经过十多年的不断完善和发展，其可靠性及稳 定性已得到彻底检验。与双机热备份方式相比，OraclelOg Real Application Cluster并行服务 器方式 有以下优点：各服务器共享一个数据库，

10、在正常运行时可以进行负载分担，无需考虑 应用数据的人为分割并行服务器方式对应用完全透明，在应用程序设计和开发的过程中也不 需要进行特殊编程，简化了开发的复杂程度，同时今后系统扩展也无需修改应 用程序不需要重新启动数据库核心进程，缩短了故障造成的停机时间总结以上ORACLE RAC的功能和特点，ORACLE RAC主要具有如下好处：1.可伸缩性用户或者中间层应用服务器客户，可以通过虚拟数据库服务名连接到数据 库上。Oracle在集群中多个节点之间自动平衡用户负载。不同节点上的RealApplication Clusters数据库实例预订所有数据库服务或者部分子集数据库服务。 这使得DBA高度灵活

11、地选定，连接到特定数据库服务的特定应用程序客户是否可以 连接到某些或者全部的数据库节点。虽然每一个节点有一个不同的物理IP地址时，应用客户仍可以在一个逻辑 数据库服务名的水平上进行连接。因此客户端对于不相关的事情如多服务器的多个地址可以亳不 关心。随着业务的增长，电子商务可以从容地增加处理能力。Cache Fusion体系结构直 接地利用新节点的CPU和内存资源。DBA无需用手工对数据重新分区。这个优点是这种 体系结构的副产品，因为有透明度的数据存取是Cache Fusion的一项基本功能。Cache Fusion体系机构自动适应快速变化的电子商务需求及随之而来的上作负荷 的 改变。DBA也不

12、必因为工作负荷变化而对数据进行手工的重新分区。Real Application Clusters通过动态地重新分配数据库资源，从而在节点之间用最小化的磁盘I/O和低的 延迟通信来优化利用集群系统资源。这使得Real Application Clusters可以从容实现 增加的应用吞吐量和优化的响应时间。高可用性Real Application Clusters提供了真正的高可用性解决方案，关键的突破是在 大多数数据库恢复期间能提供完整的数据库访问。这使得Real Application Clusters 成为电子商务应用所要求的24x7可用性的最佳平台。Real Application Clu

13、sters在高可用性上在三个关键领域胜出：提供了数据库恢复期间的数据块访问透明的失效转移对最终用户屏蔽了系统失效N-1节点失效的容错能 力只要有一个数据库节点幸存，Real Application Clusters就能够提供完全的数据 库访问和相对不间断的操作。可管理性Real Application Clusters实现了真正意义上的一*个单系统访问数据库，它提 供了从任何节点到所有磁盘设备和远程高速缓存进行无缝数据访问的能力。此单系统映像 延伸到所有数据库管理操作。安装、配置、备份、升级以及监控等操作只需进行一次，然 后会自动发布到集群中所有节点上去。各种Oracle工具(如Oracle

14、Universal Installer Database Configxiration Assistant 以及 Recovery Manager) 各发现 集群数据块中所有不同的节点并以它们为目标 分配给想得到的任务。在 Oracle 10g 的 Real Application Cluster 技术中，全面采用了 Oracle 独 特的Cache Fusion(缓存熔合)技术，消除了多台服务器争用数据时产生的碰 撞(Ping) 现象，极大的提高了 Cluster系统的可扩展性。使Cluster系统可以支持更多的节点， 而且数据库应用完全不需要做任何复杂的修改或特殊设计就可以良好的运行在Cl

15、uster系 统上，并且充分发挥多节点的处理性能。根据本次项目服务器系统需求，结合具体情况，我们将针对不同的业务系统采用不 同的集群方式，满足业务系统的应用高性能和高可靠性要求。数据库服务器系统采用两台P550,通过集群技术实现双机冗余。操作系统通过HA来实现，数据库通过ORACLE RAC集群技术实现。说明如下：、硬件方案12、数据库服务器数量P550 (8C/32G)8* 32GB/2*146GB/2*HBA/2*1000 兆集成网口 /2*1000 兆光口网卡/异步卡、心跳线/HACMP双机软件/P6 550用控制P55028204-E8AServer 1:8204 Model E8A1

16、265AIX Partition Specify11877Op Panel Cable for Rack-mount Drawer w/ DASD12146Primary OS - AIX13125Serial-to-Serial Port Cable for Rack/Rack13647146GB 15K RPM SAS Disk Drive23925Serial Port Converter Cable, 9-Pin to 25-Pin145324096MB (2x2048MB) RDIWs, 667 MHz, 1Gb DRAM84651Rack Indicator, Rack #1149

17、662-core GHz P0WER6 Processor Card44986One Processor Activation for Processor Feature #496685005Software Preinstall15623Dual-Port 1Gb Integrated Virtual Ethernet Daughter1Card57232-Port Asynchronous EIA-232 PCI Adapter15743SATA Slimline DVD-ROM Drive157681GB ETHERNET FIBER 2-PORT157744 Gigabit PCI E

18、xpress Dual Port Fibre Channel Adapter16458Power Cable Drawer to IBM PDU, 14 foot, 250V/10A27146IBM/OEM Rack-Mount Drawer Rail Kit17360IBM Rack-mount Drawer Bezel and Hardware17707Power Supply, 1700 Watt AC, Hot-swap, Base andRedundant27982PowerVM Standard88308DASD/Media Backplane for DASD/SATA DVD/

19、Tape19722Language Group Specify - Simplified Chinese (PRC)15313-HP0IBM Power Software HIPO15378204-E8A Routing Code1967Base OS11061OS Specify code for12215IBM PowerHA15000Preload15987Traditional Chinese Preinstall PII Language19210HW is Rack integrated15662-HMPIBM POWERHA Reg:3Yr1AOCVIBM POWERHA Bas

20、e SWMA per proc 3Y Reg SMALL85692-A6PSystem Software11101DVD Process No Charge11404VIOS Expansion Pack12201Virtual 1/0 Server13435DTO/CD-ROM15692-A6PSystem Software1967AIX Standard Edition1968AIX V6 Expansion Pack1970AIX V6 Update CD11100DVD Process Charge12215IBM POWERHA13435DVD/CD-ROM15692-LOPSPO

21、for Linux on POWER11005Process no-charge11479System p AVE x86 Media13410CD-ROM15765-AVEIBM PowerVM Lx86 for x86 Linux1B8RKPer server15765-F62IBM POWERHA V51B8NEPer Proc with 1 Year SW Maint SMALL857b5-Gb2AIX 6 for POWER1BSTBPer Processor E5 AIX 6 for POWER85765-PVSPowerVM Standard Edition1B9HCPer Pr

22、ocessor large system85773-SM3Software Maintenance for AIX, 3 Year1462E5 3 Yr SWMA for AIX per Processor Reg/Ren8HMC17042-CR4HMC 1:7042-CR4 Rack-mounted31No modem1962Hardware Management Console Licensed Machine Code v7119242GB (2x1GB) PC2-5300 CL5 ECC DDR2 Chipkill FB-DIMM667MHz14651Rack Indicator, R

23、ack #114767HMC CR4 Redundant Power Supply, 670 W15767PCIe 1Gb Ethernet UTP 2Port16458Power Cable Drawer to IBM PDU, 14-foot, 250V/10A27801Ethernet Cable, 6M, Hardware Management Console toSystem Unit19069HMC/Server Order Linkage Indicator19722Language Group Specify - Simplified Chinese (PRC)15773-RS3Initial Software Support 3 Year1569Per Processor Software Support 3 Year17000Agre