双机热备搭建系统项目解决方案

1、UPS电源安装实施方案1. 双机集群介绍1.1. 双机集群的原理说明双机容错是计算机应用系统稳定、可靠、 有效、 持续运行的重要保证。它通过系统冗余 的方法解决计算机应用系统的可靠性问题， 并具有安装维护简单、 稳定可靠、 监测直观等优 点。当一台主机出现故障的时候， 可及时启动另一台主机接替原主机任务， 保证了用户数据 的可靠性和系统的持续运行。 在高可用性方案中， 操作系统和应用程序是安装在两台服务器 的本地系统盘上的， 而整个网络系统的数据是通过磁盘阵列集中管理和数据备份的。 数据的 集中管理是通过双机热备份系统， 将所有站点的数据直接从中央存储设备来读取和存储， 并 由专业人员进行管理

2、， 极保护了数据的安全性和性。 用户的数据存放在外接共享磁盘阵列中， 在一台服务器出现故障时， 备机主动替代主机工作， 保证网络服务不间断。 双机热备份系统 采用“心跳”方法保证主系统与备用系统的联系。所谓“心跳” ，指的是主从系统之间相互 按照一定的时间间隔发送通讯信号， 表明各自系统当前的运行状态。一旦“心跳” 信号表明 主机系统发生故障， 或者是备用系统无法收到主机系统的 “心跳” 信号， 则系统的高可用性 管理软件（双机软件）认为主机系统发生故障，立即令主机停止工作， 并将系统资源转移到 备用系统上，备用系统将替代主机发挥作用，以保证网络服务运行不间断。双机热备模式即目前通常所说的 a

3、ctive/standby 方式， active 服务器处于工作状态； 而 standby 服务器处于监控准备状态。当 active 服务器出现故障的时候，通过软件诊测或 手工方式将 standby 机器激活， 保证应用在短时间完全恢复正常使用。 这是目前采用较多的 一种模式。1.2. 双机系统逻辑图%曲毎器LAN双机系统逻辑图1.3. 双机热备实现模式双机热备有两种实现模式，一种是基于共享的存储设备的方式，另一种是没有共享的存储设备的方式，一般称为纯软件方式。基于存储共享的双机热备是双机热备的最标准方案。这种方式采用两台（或多台）服务器，使用共享的存储设备（磁盘阵列柜或存储区域网 SAN。两

4、台服务器可以采用热备（主从）、互备、双工（并行）等不同的方式。在工作过程中，两 台服务器将以一个虚拟的 IP地址对外提供服务，依工作方式的不同，将服务请求发送给其 中一台服务器承担。 同时，服务器通过心跳线 （目前往往采用建立私有网络的方式）侦测另 一台服务器的工作状况。 当一台服务器出现故障时， 另一台服务器根据心跳侦测的情况做出 判断，并进行切换，接管服务。对于用户而言，这一过程是全自动的，在很短时间完成，从 而对业务不会造成影响。由于使用共享的存储设备，因此两台服务器使用的实际上是一样的数据，由双机或集群软件对其进行管理。1.4. 双机系统连接示意图MSA2IOOFC2. SAP和Mil

5、双机集群解决方案目前SAP和Mil的生产系统已经稳定运行，要实现 SAP和Mil双机集群的解决方案， 必须要满足几个条件，并制定周密的实施计划，并进行风险评估后方可实行。2.1. 存储备份要求2.1.1. 存储备份磁盘空间要求目前的SAP生产系统已经使用了几个月了，产生了大量的生产数据，所以在做SAP双机集群的时候需要对现有的生产数据进行备份，包括SAP的文件系统备份以及 oracle数据库的全库备份。SAP的备份数据包括：SAP应用、可执行文件和一些日志，占用6GB，增加率可以忽略不计SAP安装文件备份，占用 92.5GB不会增长存放数据库备份数据的目录，占用187GB，存放了最近一个月的备

6、份数据，根据需要可以适应删除。SAP数据库，占用160多GB，每月增加10GB。完全备份这些数据需要的磁盘空间，6+92.5+187+160= 446GB，小于500GB。目前的Mil生产系统已经使用了几个月了，在做Mil双机集群的时候需要对现有的生产数据进行备份，包括 Mil的文件系统以及oracle数据库的全库备份。Mil的备份数据包括：MII的数据库，占用35GB，增长量很小。其它文件，可以忽略不计。完全备份这些数据需要的磁盘空间，小于100GB。当前系统存储空间分配图SAPDEV''SAPOASSAPPRDDL3E0G6DL980G6DLSSOjSleGBRAMFSAP

7、1GGB RAM*J.P 3SYS32 OH Ftkl2*146ftE DISK2'146(iE'Gk2 1 斗 6G&DISKMIIPEitnRR-i 12MSA；00 062 StorageMES11 丽 Fl F AI.1HACMP5Y52'：466B PIS I2 146GE DISK1'HctSpm" 5CpRAlD；Total9TCr -i.I从图中我们可以清楚的看到，存储磁盘共有9TB的空间可以使用，各系统目前已经分配了 8TB的磁盘空间，还有 1TB的空间可以分配使用。2.13存储磁盘使用情况分析目前各生产系统的文件系统的增长是

8、基本不变的，主要的磁盘增长量集中在数据库上。各生产系统数据库在不同时期占用磁盘空间和数据增长的情况如下表，生产系统占用磁盘空间（GB）说明初始状态当前状态月增长预计年增长分配磁盘剩余磁盘SAP大约100GB大约160GB大约10GB120GB2TB1.3TB其它安装文 件和备份文 件占用了一 部分空间Mil大约30GB大约35GB大约1GB12GB1TB580GBMES小于1GB大约5GB小于1GB12GB2TB1.7TB2.2. 硬件要求2.2.1. SAP 系统由于目前SAP的生产系统已经采用了一台HP DL580 G5的服务器作为主机，SAP的生产数据保存在HP的MSA2000的存储盘柜

9、上，服务器与存储之间采用光纤链路与光纤交换 机进行通信，所以实现SAP的双机集群解决方案还需要的硬件主要是添加一台HP DL580 G5的服务器作为备机。2.2.2. MII 系统而Mil生产系统采用的是 HP DL380 G6的服务器作为主机，Mil的生产数据保存在 HP的MSA2000的存储盘柜上，服务器与存储之间采用光纤链路与光纤交换机进行通信，所以 实施Mil双机集群解决方案还需要的硬件主要是添加一台HP DL380 G6服务器作为备机。2.2.3. 光纤交换机端口许可目前的HP光纤交换机采用的是 HP 8/24 SAN Switch，即购买了 8个光纤交换机端口的 许可，而现在已经由

10、 7台服务器使用了 7个端口，如果同时安装 SAP和Mil双机系统，再增加两台生产服务器就需要对端口使用许可进行升级。2.2.4. KVM 切换器升级目前的 KVM 切换设备只有 8个端口，而如果增加两台服务器，就需要 9 个端口，因此 要对 KVM 切换器设备进行升级，需要再购买一台 8 端口的 KVM 切换器与原切换设备进行 级连，合并之后，在输出显示器上可同时对 16 台服务器进行切换显示。2.2.5. 存储设备在存储设备方面， 除了备份当前的 SAP 和 MII 生产数据之外， 如果需要充分考虑冗余，则在现有的存储磁盘基础上需要增加存储扩展笼以及存储硬盘等设备。因此， 对 SAP 和

11、MII系统做双机集群功能，就需要考虑两种方案（增加存储设备、不增加存储设备） 。2.2.6. 备件存储硬盘在长期的不断电使用过程中， 比较容易产生问题甚至是故障报警， 为了能在第 一时间对产生故障的硬盘进行更换，就需要准备几块硬盘备用，在此建议使用 3 块 1TB 的 硬盘作为备件。目前每台生产服务器都配置了三块硬盘做 RAID5 ，可以保证一块硬盘发生故障时，服 务器的数据不会丢失。如果要确保数据的绝对安全，并能在第一时间对故障硬盘进行更换， 则还需要考虑准备几块服务器硬盘作为备件，在此建议准备 4 块 146GB （与原型号一样） 的服务器硬盘为备件。2.2.7. 防雷设备由于机房目前已经

12、安装了一、二级防雷设备， 考虑到机柜中的设备较多，负载较大，需要做好防雷措施。因此可考虑采用在机房配电柜和机柜 PDU 之间增加两路三级防雷设备。2.2.8. 硬件设备清单2.2.8.1. 方案一 不增加存储设备方案因此，除了本方案主要是利用现有的存储设备中的未分配的磁盘空间来备份生产数据，安装双机增加的服务器以及光纤交换机端口许可和所需配件之外，无需再增加存储设备。设备配置清单如下：Q DL580 G5 1 台项目配置说明数量备注处理器Intel 四核 Xeon E742024核处理器，共8核存16 X 2GB =32GB16最大支持256GB置硬盘146GB X 3310k rpm，RAI

13、D5，最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2置 100M/1000M 网卡控制终端ILO （选配）1系统管理（可选）Q DL380 G6 1 台项目配置说明数量备注处理器In tel 双核 Xeo n E55401四核处理器存8 X 2GB = 16GB8最大支持256GB置硬盘146GB X 3310k rpm，RAID5，最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2置 100M/1000M 网卡控制终端ILO （选配）1系统管理（可选）Q 光纤交换机

14、端口许可 2套项目配置说明数量备注光纤交换机端口许可HP 8/8 and 8/24 SANSwitch 8-pt Upgr LTU2为了做SAP和Mil生产系统的双机，两台 光纤交换机增加 2套8个端口的许可° KVM切换器升级设备 1套项目配置说明数量备注KVM切换器HP 0x2x8 KVM SVRCNSLSW1通过级连方式与原 KVM切换器连接，合并 后，可同时对16台服务器进行切换显示。连接线KVM USB Cnsl Itfc Adptr1PK ALL2增加两台服务器设备，增加2条连接线Q 光纤卡（单模HBA卡）4块项目配置说明数量备注光纤卡HP 41B PCIe 4Gb FC

15、Sin gle Port HBA4给SAP和Mil系统做双机，增加两台服务 器，就需要增加4块单模的HBA卡、光纤收发模块 8个项目配置说明数量备注光纤收发模块HP8GbShortwaveB-series FC SFP+ 1 Pack84块单模的HBA卡，需要8个光纤收发模 块Q 光纤跳线8根项目配置说明数量备注光纤跳线15米LC-LC多模光纤通道电缆88个光纤收发模块需要8条15米长的LC-LC多模光纤通道电缆2 备件硬盘存储硬盘3块、服务器硬盘5块项目配置说明数量备注服务器硬盘备件HP 146GB 10K SAS 2.5DP HDD4作为服务器硬盘的备件。存储硬盘备件HP MSA2 1TB

16、 7.2K rpm3.5 inch SATA HDD3作为存储设备的备件。Q 防雷设备项目配置说明数量备注|三级防雷器型号 OBO VF2302原机柜需要安装2个OBO三级防雷器，确 保设备安全设备清单表编号类型设备名称数量1:服务器DL580 G512:服务器DL380 G613配件光纤交换机端口许可（2 X 8）24配件光纤卡45:配件光纤收发模块86配件光纤跳线87硬盘备件存储硬盘备件（1TB规格）38:配件KVM切换器一套19硬盘备件服务器硬盘备件（146GB）910防雷设备OBC防雷设备2注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除2282 方案二 增加存

17、储设备方案由于目前存储设备 MSA2000中已经插满了 12块1T的硬盘，而目前已经分配了11块硬盘给系统使用，1块作为热备盘，其中只有1TB的空间没有分配，因此，除了备份现有的 生产数据外，考虑到几年后的数据量增加存储磁盘空间可能不够，需要增加存储设备，在本次安装配置SAP和Mil双机集群时一起增加存储设备。可通过增加存储盘柜扩展笼和存储 硬盘的方式来实现。另外，如果增加了两台服务器，再增加存储扩展设备，现有机柜的承重、容量、负载可 能会压力较大，可考虑新增一个机柜的解决方案。在实施时，将新旧两个机柜并排放在一起， 中间可相隔1-2米的距离，从新增机柜的PDU过两路电源线接入机房配电柜中，新

18、增机柜中安放新增的两台服务器，存储扩展设备还是存放在原机柜中。新旧机柜中的双机系统相关服务器可采用从地板下穿网线进行连接。新增机柜服务器与原机柜的存储设备通过地板下穿 光纤线连接。新增机柜中的服务器接入机房网络交换机可采用从地板下穿网线进行连接新旧机柜的连接线如下图所示WAP备机SAPi-r2刃厲/|泮啜戏存储光纤 袞拱机设备配置清单如下:/DL580 G5 1 台项目配置说明数量备注处理器Intel 四核 Xeon E742024核处理器，共8核存16 X 2GB =32GB16最大支持256GB置硬盘146GB X 3310k rpm，RAID5，最多可扩至 16块光驱DVD1可选DVD/

19、RWRAID 卡P400I/256MB1网卡10/100/1000M2置 100M/1000M 网卡控制终端ILO （选配）1系统管理（可选）Q DL380 G6 1 台项目配置说明数量备注处理器In tel 双核 Xeo n E55401四核处理器存8 X 2GB = 16GB8最大支持256GB置硬盘146GB X 3310k rpm，RAID5，最多可扩至 16块光驱DVD1可选DVD/RWRAID 卡P400I/256MB1网卡10/100/1000M2置 100M/1000M 网卡|1系统管理（可选）控制终端|lLO （选配）Q 光纤交换机端口许可2个项目配置说明数量备注光纤交换机端

20、口许可HP 8/8 and 8/24 SANSwitch 8-pt Upgr LTU2为了做SAP和Mil生产系统的双机，两台 光纤交换机增加 2套8个端口的许可0 KVM切换器升级设备 1套项目配置说明数量备注KVM切换器HP 0x2x8 KVM SVRCNSLSW1通过级连方式与原 KVM切换器连接，合并 后，可同时对16台服务器进行切换显示。连接线KVM USB Cnsl Itfc Adptr1PK ALL2增加两台服务器设备，增加2条连接线0 光纤卡（单模HBA卡）4块项目配置说明数量备注光纤卡HP 41B PCIe 4Gb FCSin gle Port HBA4给SAP和Mil系统做

21、双机，增加两台服务 器，就需要增加4块单模的HBA卡O 光纤收发模块 8个项目配置说明数量备注光纤收发模块HP8GbShortwaveB-series FC SFP+ 1 Pack84块单模的HBA卡，需要8个光纤收发模 块0 光纤跳线8根项目配置说明数量备注光纤跳线15米LC-LC多模光纤通道电缆88个光纤收发模块需要8条15米长的LC-LC多模光纤通道电缆0 存储扩展设备1套项目配置说明数量备注存储扩展笼HP MSA2012 3.5-in DriveBay Chassis1作为存储硬盘的扩展架，可与原存储控制 器相连。存储硬盘HP MSA2 1TB 7.2K rpm3.5 inch SAT

22、A HDD33块1TB存储硬盘可做RAID50 备件硬盘3块项目配置说明数量备注服务器硬盘备件HP 146GB 10K SAS 2.5DP HDD4作为服务器硬盘的备件。存储硬盘备件HP MSA2 1TB 7.2K rpm3.5 inch SATA HDD3作为存储设备的备件。0 防雷设备项目配置说明数量备注三级防雷器型号 OBO VF2304原机柜需要安装两个防雷设备，如果新增 机柜，则还需要再安装 2个OBO的二级防II雷设备，确保设备安全Q 机柜项目配置说明数量备注机柜HP10642型机柜1HP原装机柜1套，另外相关配件包括：PDU 电源2套（1套4个插线板）、地线电源线、 供电电源线、

23、防水插头、网线等设备清单表编号类型设备名称数量1服务器DL580 G512服务器DL380 G613配件光纤交换机端口许可（2 X 8）24配件光纤卡45:配件光纤收发模块86配件光纤跳线87硬盘备件存储硬盘备件（1TB规格）38:配件KVM切换器一套19硬盘备件服务器硬盘备件（146GB）910防雷设备OBC防雷设备411存储扩展设备存储扩展笼112存储扩展设备存储硬盘（1TB规格）313机柜机柜及配套设备一套1注：如果厂方能提供光纤交换机端口许可，则红色部分可从本方案设备清单中去除23软件要求由于目前 SAP和Mil生产系统安装的操作系统是windows2003企业版，数据库是oracle

24、，所以，要实现生产系统的双机解决方案，则需要在新增的服务器上安装相应的操作系统、SAP和Mil的安装文件和数据库软件。即操作系统：windows2003企业版数据库：oraclelOg双机软件：由操作系统自带的双机集群功能提供。2.4. 实施要求在对SAP和Mil系统进行双机集群实施的时候，需要满足一些实施过程中的要求。1、安排人员做好生产数据备份的工作2、 由于在实施过程中需要有一定的宕机时间，所以需要做好生产计划安排，即当SAP 和Mil生产系统出现宕机的时候，如何进行应急操作，比如：入库、出库、盘库、 查询、报表等操作。以及在宕机时间产生的数据如何处理和系统恢复后数据校验的 工作等。3、

25、 需要安排人员做双机集群的安装配置以及调试工作，需要保证服务IP、服务主机名、 服务数据库实例名与原来单机安装时的相同4、需要安排人员在整个双机集群的安装配置过程中进行测试2.5. 实施计划2.5.1. 实施人员安排本次双机解决方案实施需要各部分人员密切合作，才能共同完成实施工作。具体的人员分配情况和职责如下:阶段项目负责人职责参与人员计划阶段编制计划、设备采购收货确保编制的计划可行和详 尽，保证设备正常收货准备阶段协调各部门做好宕机后应 急处理等事宜确保协调好使用系统的各 部门做好实施前准备工作 以及宕机时的应急处理实施阶段生产数据备份确保各生产系统数据备份完全设备上架安装、线缆连接确保设备

26、上架安装完整， 线缆连接正确。安装操作系统和集群功能确保操作系统安装元成， 双机集群功能安装配置完 成。安装数据库和导入数据确保数据库按双机模式安 装完成，并成功导入数据SAP和Mil系统配置确保SAP和Mil系统正确 配置完成。测试阶段双机切换测试确保多种场景下双机切换 测试正常数据检查确保生产系统恢复后的生 产数据与原来完全一致2.52实施计划时间表编号工作容预计所需 时间参与人员注意事项1.实施准备0.5天生产部门、各系统使用部门、双机实施人员、SAP实施人员与生产部门和系统使 用部门人员协调SAP系 统宕机后的应急处理， 并做好实施前的时间 和人员准备。2.生产数据备份1天SAP实施人

27、员在此过程期间生产系 统需要宕机处理。3.设备上架安装0.5天（或1天）双机实施人员包括两台服务器的上 架安装，新增的KVM切 换器安装，如果选择增 加存储设备方案，还需 要增加安装存储扩展 笼以及新增硬盘时间。 如果选择新增机柜，还 要计算安装机柜及配 套电源、布设和整理连 接线的时间。4.服务器安装操作系统以及双机集群功能1天双机实施人员在此过程期间生产系 统需要宕机处理。5.调整存储及配置SAP系统0.5天SAP实施人员、双机实施人员在此过程期间生产系 统需要宕机处理。6.配置和新建操作系统0.5天SAP实施人员在此过程期间生产系 统需要宕机处理。7.重装oracle数据库为集群模式1天

28、SAP实施人员、双机实施人员将SAP和Mil系统的数据库重装为集群模式， 在此过程期间生产系 统需要宕机处理。8.导入备份数据0.5天SAP实施人员、双机实施人员在此过程期间生产系 统需要宕机处理。9.双机切换测试0.5天SAP实施人员、双机实施人员在此过程期间生产系 统需要宕机处理。10.数据检查0.5天SAP实施人员、直接用户合计时间：6.5天（或7天）根据上表中实施计划安排， 整个双机安装配置过程预计一周时间，建议从周一开始实施,可考虑从周六开始，到到周末完成整个实施过程。如果需要新增机柜重新接电和布设网线,下周末结束，使整个安装配置时间增加2天，更加宽裕。2.6. 实施步骤安装和配置

29、SAP 和 MII 系统的双机集群功能的实施步骤如下：2.6.1. 实施准备需要与生产部门和系统使用部门人员协调SAP和Mil系统宕机后的应急处理， 比如在系统宕机后：入库、出库、盘库、查询、报表等功能如何操作。并做好实施前的时间和人员准备， 包括确定设备摆放位置、 参与人员和时间安排等事宜。2.6.2. 生产数据备份主要是对 SAP 和 Mii 系统的配置文件以及 ORACLE 数据库的数据进行备份。对 SAP 和 Mii 文件系统采用文件拷贝的方式， 而对 oracle 数据库采用全库备份后拷贝的方式进行备 份处理。备份后的数据存放到现有的存储设备 MSA2000 上，预计所需磁盘空间不超

30、过 1TB。Oracle 数据库备份：用SAP标准备份命令"brbackup"实施对数据库和archive log的备份。备份后应注意保存 好备份日志、备份参数文件和 oracle 数据库参数文件；SAP 文件系统级备份：用 tar 技术或其他压缩拷贝技术将以下 SAP 相关的文件系统进行备份。/usr/sap/trans/usr/sap/PRD/sapmnt/PRDWindows 系统相关备份：要备份 hosts 和 service 文件。2.6.3. 设备上架安装分两种方案， 方案一为不增加存储设备， 方案二为增加存储设备， 选择两种方案的工作 量是不同的。打上锣丝固定

31、， 安装好新增的方案一的主要的工作是将新增的两台服务器放到机柜上，将原 SAP 和KVM 切换器， 进行连接， 并整理好从交换机到新增服务器的网线后固定到位，MII 生产服务器与新增的两台服务器分别用星跳线连接， 并用光纤将新增的服务器和光纤交 换机进行连接。方案二的工作要在方案一的基础上， 还要增加在机柜中安装存储扩展笼， 以及插入新增 的存储硬盘，并用 SAS 线连接到存储控制器，然后对存储设备进行相应的配置。另外，如 果选择新增一个机柜，则还要增加安装机柜及配套电源、布设和整理连接线的工作量。2.6.4. 服务器安装操作系统系统及双机集群功能这步主要是在新增的服务器上安装 windows

32、2003 企业版操作系统， 并配置好机器名， IP 地址等，并在原 SAP 和 MII 生产服务器上安装域，在新增的操作系统上添加域，按照标准 的双机集群安装配置步骤在 SAP 和 MII 原生产服务器以及新增的服务器上安装双机集群功 能，并配置网络和相应的信息。集群安装注意事项： 两台集群的服务器的主机名称都应重新规划， 名称规则应保持原来简单精炼的原则。 集 群安装后的服务名称和服务 IP 应保证和集群前的生产系统名称和 IP 一致。2.6.5. 调整存储及配置 SAP 和 MII 系统将存储中原指向 SAP 和 MII 生产服务器的虚拟磁盘分别挂接到新增的两台服务器上， 并在新增服务器上

33、对 SAP 和 MII 系统进行相应的配置修改，使得新增的服务器满足双机集 群要求。2.6.6. 配置新建操作系统在新增的服务器上，对操作系统进行新建和配置，以满足 SAP 系统要求。建立操作系统账号会根据原来生产系统的管理员 list ，将所有 SAP 相关的用户全部移植 到新的系统。使两台服务器的用户信息完全一致。2.6.7. 重装 oracle 数据库为集群模式oracle 数据库，安装时在原 SAP 和 MII 生产服务器以及新增的两台服务器上重新安装选择集群模式。2.6.8. 导入备份数据用 oracle 工具或命令将之前备份的 SAP 和 MII 生产数据库导入到新创建的数据库中。

34、 在两台服务器上重新安装集群方式的 oracle 数据库， 并对数据库进行双机配置工作。 配 置完成并通过测试后将原来的 oracle备份通过SAP标准恢复命令"brrestore"将SAP数据恢 复到数据库中。2.6.9. 双机切换测试根据测试计划对双机进行双机切换测试。1、判断在发生什么样的错误后进行切换，并维护双机切换脚本；2、维护 SAP 和 MII 切换脚本并加入标准双机切换脚本。 使发生宕机切换时可以将 SAP 和 MII 应用一并启动或停止。2.6.10. 数据检查使用数据库工具或者在 SAP 和 MII 系统中对生产数据进行检查，对双机集群功能安装 后的数据进行严格的核对。2.7. 测试计划对