双机热备搭建系统解决方案

1、UPS电源安装实施方案1. 双机集群介绍1.1. 双机集群的原理说明双机容错是计算机应用系统稳定、可靠、 有效、 持续运行的重要保证。它通过系统冗余 的方法解决计算机应用系统的可靠性问题， 并具有安装维护简单、 稳定可靠、 监测直观等优 点。当一台主机出现故障的时候， 可及时启动另一台主机接替原主机任务， 保证了用户数据 的可靠性和系统的持续运行。 在高可用性方案中， 操作系统和应用程序是安装在两台服务器 的本地系统盘上的， 而整个网络系统的数据是通过磁盘阵列集中管理和数据备份的。 数据的 集中管理是通过双机热备份系统， 将所有站点的数据直接从中央存储设备来读取和存储， 并 由专业人员进行管理

2、， 极大地保护了数据的安全性和保密性。 用户的数据存放在外接共享磁 盘阵列中， 在一台服务器出现故障时，备机主动替代主机工作，保证网络服务不间断。 双机 热备份系统采用“心跳”方法保证主系统与备用系统的联系。所谓“心跳” ，指的是主从系 统之间相互按照一定的时间间隔发送通讯信号， 表明各自系统当前的运行状态。 一旦“心跳” 信号表明主机系统发生故障，或者是备用系统无法收到主机系统的“心跳” 信号， 则系统的高可用性管理软件（双机软件） 认为主机系统发生故障， 立即令主机停止工作，并将系统资 源转移到备用系统上，备用系统将替代主机发挥作用，以保证网络服务运行不间断。双机热备模式即目前通常所说的

3、active/standby 方式， active 服务器处于工作状态； 而 standby 服务器处于监控准备状态。当 active 服务器出现故障的时候，通过软件诊测或 手工方式将 standby 机器激活， 保证应用在短时间内完全恢复正常使用。 这是目前采用较多 的一种模式。1.2.双机系统逻辑图%曲毎器LAN双机系统逻辑图1.3. 双机热备实现模式双机热备有两种实现模式，一种是基于共享的存储设备的方式，另一种是没有共享的存储设备的方式，一般称为纯软件方式。基于存储共享的双机热备是双机热备的最标准方案。这种方式采用两台（或多台）服务器，使用共享的存储设备（磁盘阵列柜或存储区域网 SAN。

4、两台服务器可以采用热备（主从）、互备、双工（并行）等不同的方式。在工作过程中，两 台服务器将以一个虚拟的 IP地址对外提供服务，依工作方式的不同，将服务请求发送给其 中一台服务器承担。 同时，服务器通过心跳线 （目前往往采用建立私有网络的方式）侦测另 一台服务器的工作状况。 当一台服务器出现故障时，另一台服务器根据心跳侦测的情况做出判断，并进行切换，接管服务。对于用户而言，这一过程是全自动的，在很短时间内完成， 从而对业务不会造成影响。由于使用共享的存储设备，因此两台服务器使用的实际上是一样的数据，由双机或集群软件对其进行管理。1.4. 双机系统连接示意图MSA2IOOFC2. SAP和Mil

5、双机集群解决方案目前SAP和 Mil的生产系统已经稳定运行， 要实现SAP和Mil双机集群的解决方案， 必 须要满足几个条件，并制定周密的实施计划，并进行风险评估后方可实行。2.1. 存储备份要求2.1.1. 存储备份磁盘空间要求目前的SAP生产系统已经使用了几个月了， 产生了大量的生产数据， 所以在做SAP双机 集群的时候需要对现有的生产数据进行备份，包括 SAP的文件系统备份以及 oracle数据库 的全库备份。SAP的备份数据包括：SAP应用、可执行文件和一些日志，占用6GB增加率可以忽略不计SAP安装文件备份，占用不会增长存放数据库备份数据的目录，占用187GB存放了最近一个月的备份数

6、据，根据需要可以适应删除。SAP数据库，占用160多GB每月增加10GB完全备份这些数据需要的磁盘空间，6+187+160= 446GB，小于500GB目前的Mil生产系统已经使用了几个月了，在做Mil双机集群的时候需要对现有的生产数据进行备份，包括 Mil的文件系统以及oracle数据库的全库备份。Mil的备份数据包括：Mil的数据库，占用35GB增长量很小。其它文件，可以忽略不计。完全备份这些数据需要的磁盘空间，小于100GB2.1.2. 当前系统存储空间分配图SAPDEVSAPOASSAPPRDDL3E0G6DL980G6DLSSOjSleGBRAMFSAP1GGB RAM*J.P 3S

7、YS32 OH Ftkl2*146ftE DISK2146(iEGk2 1 斗 6G&DISKMIIPEitnRR-i 1MSA；00 062 StorageMES11 丽 Fl F AI.1HACMP5Y52：466B PIS I2 146GE DISK1HctSpm 5CpRAlD；Total9TCr -i.I从图中我们可以清楚的看到， 存储磁盘共有9TB的空间可以使用，各系统目前已经分配了 8TB的磁盘空间，还有 1TB的空间可以分配使用。2.13 存储磁盘使用情况分析目前各生产系统的文件系统的增长是基本不变的，主要的磁盘增长量集中在数据库上。各生产系统数据库在不同时期占用磁盘空间和数据

8、增长的情况如下表，生产系统占用磁盘空间（GB）说明初始状态当前状态月增长预计年增长分配磁盘剩余磁盘SAP大约100GB大约160GB大约10GB120GB2TB其它安装文 件和备份文 件占用了一 部分空间Mil大约30GB大约35GB大约1GB12GB1TB580GBMES小于1GB大约5GB小于1GB12GB2TB2.2. 硬件要求2.2.1. SAP 系统由于目前SAP的生产系统已经采用了一台HP DL580 G5的服务器作为主机，SAP的生产数据保存在HP的MSA2000的存储盘柜上，服务器与存储之间采用光纤链路与光纤交换机进 行通信，所以实现 SAP的双机集群解决方案还需要的硬件主要是

9、添加一台HPDL580 G5的服务器作为备机。2.2.2. MII 系统而Mil生产系统采用的是 HP DL380 G6的服务器作为主机， Mil的生产数据保存在 HP的MSA2000的存储盘柜上，服务器与存储之间采用光纤链路与光纤交换机进行通信，所以实施Mil双机集群解决方案还需要的硬件主要是添加一台HP DL380 G6服务器作为备机。2.2.3. 光纤交换机端口许可目前的HP光纤交换机采用的是 HP 8/24 SAN Switch，即购买了 8个光纤交换机端口的许可，而现在已经由7台服务器使用了 7个端口，如果同时安装SAP和Mil双机系统，再增加两台生产服务器就需要对端口使用许可进行升

10、级。224.KVM切换器升级目前的KVM切换设备只有8个端口，而如果增加两台服务器， 就需要9个端口，因此要对KVM切换器设备进行升级，需要再购买一台8端口的KVM切换器与原切换设备进行级连，合并之后，在输出显示器上可同时对 16 台服务器进行切换显示。2.2.5. 存储设备在存储设备方面，除了备份当前的 SAP和MII生产数据之外，如果需要充分考虑冗余，则在现有的存储磁盘基础上需要增加存储扩展笼以及存储硬盘等设备。因此，对SAP和Mil系统做双机集群功能，就需要考虑两种方案（增加存储设备、不增加存储设备）。2.2.6. 备件存储硬盘在长期的不断电使用过程中， 比较容易产生问题甚至是故障报警，

11、 为了能在第 一时间对产生故障的硬盘进行更换， 就需要准备几块硬盘备用， 在此建议使用3块1TB的硬 盘作为备件。目前每台生产服务器都配置了三块硬盘做RAID5,可以保证一块硬盘发生故障时，服务器的数据不会丢失。 如果要确保数据的绝对安全， 并能在第一时间对故障硬盘进行更换， 则 还需要考虑准备几块服务器硬盘作为备件，在此建议准备4块146GB（与原型号一样）的服务器硬盘为备件。2.2.7. 防雷设备由于机房目前已经安装了一、二级防雷设备， 考虑到机柜中的设备较多，负载较大，需要做好防雷措施。因此可考虑采用在机房配电柜和机柜PDU之间增加两路三级防雷设备。2.2.8. 硬件设备清单2.2.8.

12、1. 方案一 不增加存储设备方案因此，除了本方案主要是利用现有的存储设备中的未分配的磁盘空间来备份生产数据，安装双机增加的服务器以及光纤交换机端口许可和所需配件之外，无需再增加存储设备。设备配置清单如下：Q DL580 G5 1 台项目配置说明数量备注处理器In tel四核 Xeo n E742024核处理器，共8核内存16 X 2GB =32GB16最大支持256GB内置硬盘146GB X 3310k rpm，RAID5,最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2内置100M/1000M网卡控制终端ILO （选配）1系统管

13、理（可选）Q DL380 G6 1 台项目配置说明数量备注处理器In tel 双核 Xeo n E55401四核处理器内存8 X 2GB = 16GB8最大支持256GB内置硬盘146GB X 3310k rpm，RAID5,最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2内置100M/1000M网卡控制终端ILO （选配）1系统管理（可选）Q 光纤交换机端口许可 2套项目配置说明数量备注光纤交换机端口许可HP 8/8 and 8/24 SANSwitch 8-pt Upgr LTUJ 2为了做SAP和Mil生产系统的双机，两台

14、光纤交换机增加 2套8个端口的许可 KVM切换器升级设备1套项目配置说明数量备注KVM切换器HP 0x2x8 KVM SVR CNSL SW1通过级连方式与原 KVM切换器连接，合并 后，可同时对16台服务器进行切换显示。连接线KVM USB Cnsl Itfc Adptr1PK ALL2增加两台服务器设备，增加2条连接线Q 光纤卡（单模HBA卡）4块项目配置说明数量备注光纤卡HP 41B PCIe 4Gb FCSi ngle Port HBA，4给SAP和Mil系统做双机，增加两台服务 器，就需要增加4块单模的HBA卡、光纤收发模块8个项目配置说明数量备注光纤收发模块HP 8GbShortw

15、aveB-series FC SFP+1 Pack84块单模的HBA卡，需要8个光纤收发模块Q 光纤跳线8根项目配置说明数量备注光纤跳线15米LC-LC多模光纤通道电缆88个光纤收发模块需要 8条15米长的LC-LC 多模光纤通道电缆2 备件硬盘存储硬盘3块、服务器硬盘5块项目配置说明数量备注服务器硬盘备件HP 146GB 10K SAS DFHDD4作为服务器硬盘的备件。存储硬盘备件HP MSA2 1TB rpm inchSATA HDD3作为存储设备的备件。Q 防雷设备项目配置说明数量备注三级防雷器型号 OBO VF2302原机柜需要安装 2个OBO三级防雷器，确 保设备安全设备清单表编号

16、类型设备名称数量1:服务器DL580 G512:服务器DL380 G613配件光纤交换机端口许可（2 X 8）24配件光纤卡45:配件光纤收发模块86:配件光纤跳线87硬盘备件存储硬盘备件（仃B规格）38:配件KVM切换器一套19硬盘备件服务器硬盘备件（146GB910防雷设备OBC防雷设备2注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除2282方案二 增加存储设备方案由于目前存储设备 MSA2000中已经插满了 12块1T的硬盘，而目前已经分配了11块硬盘给系统使用，1块作为热备盘，其中只有 1TB的空间没有分配，因此，除了备份现有的生 产数据外，考虑到几年后的数据

17、量增加存储磁盘空间可能不够，需要增加存储设备， 在本次安装配置SAP和 Mil双机集群时一起增加存储设备。可通过增加存储盘柜扩展笼和存储硬盘的方式来实现。另外，如果增加了两台服务器，再增加存储扩展设备，现有机柜的承重、容量、负载可 能会压力较大，可考虑新增一个机柜的解决方案。在实施时，将新旧两个机柜并排放在一起， 中间可相隔1-2米的距离，从新增机柜的PDU中通过两路电源线接入机房配电柜中，新增机柜中安放新增的两台服务器，存储扩展设备还是存放在原机柜中。新旧机柜中的双机系统相关服务器可采用从地板下穿网线进行连接。新增机柜服务器与原机柜的存储设备通过地板下 穿光纤线连接。新增机柜中的服务器接入机

18、房网络交换机可采用从地板下穿网线进行连接新旧机柜的连接线如下图所示WAP备机SAPi-r2刃厲/|泮啜戏存储光纤 袞拱机设备配置清单如下:/DL580 G5 1 台项目配置说明数量备注处理器In tel四核 Xeo n E742024核处理器，共8核内存16 X 2GB =32GB16最大支持256GB内置硬盘146GB X 3310k rpm，RAID5,最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2内置100M/1000M网卡控制终端ILO （选配）1系统管理（可选）Q DL380 G6 1 台项目配置说明数量备注处理器In

19、 tel 双核 Xeo n E55401四核处理器内存8 X 2GB = 16GB8最大支持256GB内置硬盘146GB X 3310k rpm，RAID5,最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2内置100M/1000M网卡|1系统管理（可选）控制终端|lLO （选配）Q 光纤交换机端口许可 2个项目配置说明数量备注光纤交换机端口许可HP 8/8 and 8/24 SANSwitch 8-pt Upgr LTU12为了做SAP和Mil生产系统的双机，两台 光纤交换机增加 2套8个端口的许可0 KVM切换器升级设备1套项目

20、配置说明数量备注KVM切换器HP 0x2x8 KVM SVR CNSL SW1通过级连方式与原 KVM切换器连接，合并 后，可同时对16台服务器进行切换显示。连接线KVM USB Cnsl Itfc Adptr1PK ALL2增加两台服务器设备，增加2条连接线0 光纤卡（单模HBA卡）4块项目配置说明数量备注光纤卡HP 41B PCIe 4Gb FCSi ngle Port HBA，4给SAP和Mil系统做双机，增加两台服务 器，就需要增加4块单模的HBA卡O 光纤收发模块8个项目配置说明数量备注光纤收发模块HP 8GbShortwaveB-series FC SFP+1 Pack84块单模的

21、HBA卡，需要8个光纤收发模块0 光纤跳线8根项目配置说明数量备注光纤跳线15米LC-LC多模光纤通道电缆88个光纤收发模块需要 8条15米长的LC-LC 多模光纤通道电缆2 存储扩展设备1套项目配置说明数量备注存储扩展笼HP MSA2012 Drive BayChassis1作为存储硬盘的扩展架，可与原存储控制 器相连。存储硬盘HP MSA2 1TB rpm inchSATA HDD33块1TB存储硬盘可做 RAID5Q 备件硬盘3块项目配置说明数量备注服务器硬盘备件HP 146GB 10K SAS DPHDD4作为服务器硬盘的备件。存储硬盘备件HP MSA2 1TB rpm inchSAT

22、A HDD3作为存储设备的备件。Q 防雷设备项目配置说明数量备注三级防雷器型号 OBO VF2304原机柜需要安装两个防雷设备，如果新增 机柜，则还需要再安装 2个OBO的二级防II雷设备，确保设备安全Q 机柜项目配置说明数量备注机柜HP10642型机柜1HP原装机柜1套，另外相关配件包括：PD 电源2套（1套4个插线板）、地线电源线、 供电电源线、防水插头、网线等设备清单表编号类型设备名称数量1服务器DL580 G512服务器DL380 G613配件光纤交换机端口许可（2 X 8）24配件光纤卡45:配件光纤收发模块86:配件光纤跳线87硬盘备件存储硬盘备件（1TB规格）38:配件KVM切换

23、器一套19硬盘备件服务器硬盘备件（146GB910防雷设备OBC防雷设备411存储扩展设备存储扩展笼112存储扩展设备存储硬盘（1TB规格）313机柜机柜及配套设备一套1注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除23软件要求由于目前SAP和Mil生产系统安装的操作系统是windows2003企业版，数据库是oracle，所以，要实现生产系统的双机解决方案，则需要在新增的服务器上安装相应的操作系统、SAP和 Mil的安装文件和数据库软件。即操作系统：windows2003企业版数据库：oraclelOg双机软件：由操作系统自带的双机集群功能提供。2.4. 实施要求在

24、对SAP和 MII系统进行双机集群实施的时候，需要满足一些实施过程中的要求。1、安排人员做好生产数据备份的工作2、 由于在实施过程中需要有一定的宕机时间，所以需要做好生产计划安排，即当SAP 和Mil生产系统出现宕机的时候，如何进行应急操作，比如：入库、出库、盘库、 查询、报表等操作。以及在宕机时间内产生的数据如何处理和系统恢复后数据校验 的工作等。3、 需要安排人员做双机集群的安装配置以及调试工作，需要保证服务IP、服务主机名、 服务数据库实例名与原来单机安装时的相同4、需要安排人员在整个双机集群的安装配置过程中进行测试2.5. 实施计划2.5.1. 实施人员安排本次双机解决方案实施需要各部

25、分人员密切合作，才能共同完成实施工作。具体的人员分配情况和职责如下:阶段项目负责人职责参与人员计划阶段编制计划、设备采购收货确保编制的计划可行和详 尽，保证设备正常收货准备阶段协调各部门做好宕机后应 急处理等事宜确保协调好使用系统的各 部门做好实施前准备工作 以及宕机时的应急处理实施阶段生产数据备份确保各生产系统数据备份完全设备上架安装、线缆连接确保设备上架安装完整， 线缆连接正确。安装操作系统和集群功能确保操作系统安装元成， 双机集群功能安装配置完 成。安装数据库和导入数据确保数据库按双机模式安 装完成，并成功导入数据SAP和Mil系统配置确保SAP和Mil系统正确 配置完成。测试阶段双机切

26、换测试确保多种场景下双机切换 测试正常数据检查确保生产系统恢复后的生 产数据与原来完全一致2.52实施计划时间表编号工作内容预计所需 时间参与人员注意事项1.实施准备天生产部门、各系统使用部门、双机实施人员、SAP实施人员与生产部门和系统使 用部门人员协调SAP系 统宕机后的应急处理， 并做好实施前的时间 和人员准备。2.生产数据备份1天SAP实施人员在此过程期间生产系 统需要宕机处理。3.设备上架安装天（或1天）双机实施人员包括两台服务器的上 架安装，新增的KVM切 换器安装，如果选择增 加存储设备方案，还需 要增加安装存储扩展 笼以及新增硬盘时间。 如果选择新增机柜，还 要计算安装机柜及配

27、 套电源、布设和整理连 接线的时间。4.服务器安装操作系统以及双机集群功能1天双机实施人员在此过程期间生产系 统需要宕机处理。5.调整存储及配置SAP系统天SAP实施人员、双机实施人员在此过程期间生产系 统需要宕机处理。6.配置和新建操作系统帐号天SAP实施人员在此过程期间生产系 统需要宕机处理。7.重装oracle数据库为集群模式1天SAP实施人员、双机实施人员将SAP和 Mil系统的数据库重装为集群模式， 在此过程期间生产系 统需要宕机处理。8.导入备份数据天SAP实施人员、双机实施人员在此过程期间生产系 统需要宕机处理。9.双机切换测试天SAP实施人员、双机实施人员在此过程期间生产系 统

28、需要宕机处理。10.数据检查天SAP实施人员、直接用户合计时间：天（或7天）根据上表中实施计划安排， 整个双机安装配置过程预计一周时间，建议从周一开始实施,可考虑从周六开始，到到周末完成整个实施过程。如果需要新增机柜重新接电和布设网线,下周末结束，使整个安装配置时间增加2天，更加宽裕。2.6. 实施步骤安装和配置SAP和Mil系统的双机集群功能的实施步骤如下:2.6.1. 实施准备需要与生产部门和系统使用部门人员协调SAP和 Mil系统宕机后的应急处理， 比如在系统宕机后:入库、出库、盘库、查询、报表等功能如何操作。并做好实施前的时间和人员准备， 包括确定设备摆放位置、 参与人员和时间安排等事

29、宜。2.6.2. 生产数据备份主要是对SAP和 Mil系统的配置文件以及 ORACLED据库的数据进行备份。 对SAP和 Mil 文件系统采用文件拷贝的方式，而对 oracle 数据库采用全库备份后拷贝的方式进行备份处 理。备份后的数据存放到现有的存储设备MSA2000上，预计所需磁盘空间不超过 1TBOracle 数据库备份:用SAP标准备份命令” brbackup ”实施对数据库和 archive log的备份。备份后应注意 保存好备份日志、备份参数文件和 oracle 数据库参数文件；SAP文件系统级备份：用tar技术或其他压缩拷贝技术将以下SAP相关的文件系统进行备份。/usr/sap

30、/trans/usr/sap/PRD/sapmnt/PRDWin dows系统相关备份：要备份 hosts 和 service 文件。2.6.3. 设备上架安装分两种方案， 方案一为不增加存储设备， 方案二为增加存储设备， 选择两种方案的工作 量是不同的。打上锣丝固定， 安装好新增的方案一的主要的工作是将新增的两台服务器放到机柜上，将原SAP和MIIKVM切换器，进行连接，并整理好从交换机到新增服务器的网线后固定到位,生产服务器与新增的两台服务器分别用星跳线连接， 并用光纤将新增的服务器和光纤交换机 进行连接。方案二的工作要在方案一的基础上， 还要增加在机柜中安装存储扩展笼， 以及插入新增 的

31、存储硬盘，并用 SAS线连接到存储控制器， 然后对存储设备进行相应的配置。另外， 如果 选择新增一个机柜，则还要增加安装机柜及配套电源、布设和整理连接线的工作量。2.6.4. 服务器安装操作系统系统及双机集群功能这步主要是在新增的服务器上安装 windows2003 企业版操作系统， 并配置好机器名， IP 地址等，并在原SAP和Mil生产服务器上安装域， 在新增的操作系统上添加域， 按照标准的 双机集群安装配置步骤在 SAP和 Mil原生产服务器以及新增的服务器上安装双机集群功能， 并配置网络和相应的信息。集群安装注意事项： 两台集群的服务器的主机名称都应重新规划， 名称规则应保持原来简单精

32、炼的原则。 集 群安装后的服务名称和服务 iP 应保证和集群前的生产系统名称和 iP 一致。265.调整存储及配置 SAP和Mil系统将存储中原指向SAP和Mil生产服务器的虚拟磁盘分别挂接到新增的两台服务器上，并在新增服务器上对 SAP和 Mil系统进行相应的配置修改， 使得新增的服务器满足双机集群要 求。2.6.6. 配置新建操作系统帐号在新增的服务器上，对操作系统帐号进行新建和配置，以满足SAP系统要求。建立操作系统账号会根据原来生产系统的管理员list ，将所有SAP相关的用户全部移植到新的系统。使两台服务器的用户信息完全一致。2.6.7. 重装 oracle 数据库为集群模式orac

33、le 数据库，安装时在原SAP和 Mil生产服务器以及新增的两台服务器上重新安装选择集群模式。2.6.8. 导入备份数据用 oracle 工具或命令将之前备份的 SAP 和 MII 生产数据库导入到新创建的数据库中。 在两台服务器上重新安装集群方式的 oracle 数据库，并对数据库进行双机配置工作。 配置完成并通过测试后将原来的 oracle 备份通过 SAP 标准恢复命令” brrestore ”将 SAP 数据恢复到数据库中。2.6.9. 双机切换测试根据测试计划对双机进行双机切换测试。1、判断在发生什么样的错误后进行切换，并维护双机切换脚本；2、维护SAP和Mil切换脚本并加入标准双机切换脚本。使发生宕机切换时可以将SAP和 MII 应用一并启动或停止。2.6.10. 数据检查使用数据库工具或者在 SAP和 Mil系统中对生产数据进行检查，对双机集群功能安装后 的数据进行严格的核对。2.7. 测试计划对SA