银联商务某公司生产网络故障应急预案实用精品资料

1、银联商务XX公司生产网络故障应急预案第1.1版银联商务网络室2012年8月30日版本控制信息版本日期拟稿和修改说明0.002012-5-23王涛初稿0.012012-5-28戴小飞增加部分细节0.022012-6-8王锋增加网控器故障演练0.032012-6-15王锋将内外网交换机故障合并为同类故障1.02012/8/7王锋加入故障现象和故障研判1.12012/8/30孙毅补充部分演练的故障现象和故障研判本文档中的所有内容为银联商务有限公司的机密和专属所有。未经银联商务有限公司的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。目录1目的范围52演练

2、目标53风险评估53.1分公司网络设备现状53.2风险可控64演练实施步骤84.1演练时间及参加人员8演练前期准备工作8实施时间8参与人员名单8演练完成后续工作94.2演练场景一：生产内网上联路由器故障9上联到总公司/当地银联网络的线路出现故障9故障现象10故障研判10演练步骤11预期分析12结果分析12应急处理13上联到总公司/当地银联网络的设备接口模块出现故障13上联到总公司/当地银联网络的设备出现故障13故障现象13故障研判14演练步骤14预期分析14结果分析15应急处理154.3演练场景二：交换机故障15主交换机设备故障16故障现象16故障研判17演练步骤17预期分析18结果分析18应

3、急处理194.4演练场景三：隔离区防火墙故障20防火墙设备故障20故障现象20故障研判21演练步骤22预期分析22结果分析22应急处理23防火墙与内、外网交换机连接线路（端口）故障234.5演练场景四：生产外网下联路由器故障23外网路由器和商户间线路故障23故障现象23故障研判23演练步骤24预期分析24结果分析24应急处理25外网路由器设备故障254.6演练场景五：网控器切换25主上联卡故障25演练步骤25预期分析27结果分析27应急处理27主电源故障27演练步骤27预期分析29结果分析29应急处理295附件291 总则本预案旨在针对分子公司生产网络出现故障时，能准确定位故障原因，针对故障原

4、因采取有效措施，短时间内排除故障、恢复交易，最大限度地降低故障对生产造成的影响。2 适用范围本预案包括分子公司标准架构生产网的所有设备，主要包括：1. 生产内网上联路由器故障；2. 生产内、外网交换机故障；3. 隔离区防火墙故障；4. 生产外网下联路由器故障；5. 网控器上联卡及电源故障。3 风险评估3.1 分子公司标准架构网络拓扑分子公司网络设备连接如下图：3.2 影响性评估如上图所示，分子公司标准架构的内网路由器、内网交换机、隔离区防火墙、外网交换机、网控器等均采用热备组成设级高可用，单台设备发生故障时，业务数据流将自动切换到备用设备，生产交易不会出现长时间中断。分子公司外网路由器用于与合

5、作商户接入，当设备出现故障时，需要手动将商户接入线路切换至备用路由器，存在一定时间的生产交易中断。综上所述，银联商务分子公司标准脚骨生产网络发生单台设备故障时，可能会对生产系统交易造成影响，但风险总体是可控的。4 故障场景4.1 应急人员本预案所涉及的应急人员包括：岗位名称人员姓名运行监控岗系统支持岗网络支持岗应用支持岗4.2 场景一：生产内网上联路由器线路或设备故障4.2.1 上联到总公司/当地银联网络的线路出现故障 故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程telnet11.172.

6、255.1登陆分公司主路由器，telnet登录成功。2） 通过ping，ping成功。3） 通过在总公司下联路由器上ping直连接口，ping不成功。4） 通过在总公司下联路由器上sh ip int brie 显示该分公司接口为down down。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示线路类型：电信线路：总公司-XX分公司 无法ping通 线路编号：NA 报障电话：80082810000,则可能该路由器或线路已经出现故障。网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。 故障研判监控岗位故障

7、研判预期结果运行监控岗查看总公司监控机netcool告警界面（00:16316/ibm/console） 发现红色告警，显示线路类型：电信线路：总公司-XX分公司 无法ping通 线路编号：NA 报障电话：80082810000网络支持岗1） 通过远程telnet登陆故障路由器命令：telnet 11.XX.255.12） 通过ping路由器命令：ping 11.XX.255.13） 通过在总公司下联路由器上ping直连接口命令：ping 。4） 通过在总公司下联路由器上查看接口状态命令：sh ip int Serial1/2/0:

8、11） telnet登录成功。2） ping成功。3） ping失败。4） 显示Serial1/2/0:1 is down, line protocol is down。判断为：分公司生产内网上联路由器_CNXXRT01001的通讯线路中断。 故障处理步骤故障处理步骤详见银联商务XX公司生产网络切换演练实施方案中对应章节。 预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过cdp能看到与总公司/银联的网络设备邻接关系，当主线路出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不会影响交易。4.2.2 上联到总公司/当地银联网

9、络的设备接口模块出现故障故障现象类似4.2.1线路故障，故障的研判、故障处理步骤等与4.2.1一致，在此不做赘述。4.2.3 上联到总公司/当地银联网络的设备出现故障首先排除线路的故障，如果确定为上联路由器设备整机出现故障故障，需要关闭故障路由器上的端口，对设备进行维修或更换。 故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程telnet登陆故障路由器，telnet登录失败。2） 通过ping路由器，ping不通。3） 使用console口登陆，登陆失败。4） 检查路由器所有状态灯，显示有红色

10、告警或熄灭。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示节点11.XX.255.1无法获取分公司生产内网上联路由器信息则可能该路由器已经出现故障。网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。 故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面（00:16316/ibm/console） 发现红色告警，显示节点无法获取XX分公司生产内网主路由器信息网络支持岗1） 通过远程telnet登陆故障路由器命令：telnet 11.XX.255.12） 通过ping路由器命令：ping

11、 11.XX.255.13） 使用控制线连接到路由器标识有“console”的端口登陆。4） 检查路由器状态灯，显示红色告警或熄灭。SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪动；当状态灯为黄色或红色时故障1） telnet登录失败。2） ping不通。3） console口登陆失败，无法显示信息。4） 路由器状态灯显示红色告警或熄灭。判断为：分公司生产内网上联路由器_CNXXRT01001宕机。 故障处理步骤故障处理步骤详见银联商务XX公司生产网络切换演练实施方案中对应章节。 预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过cd

12、p能看到与总公司/银联的网络设备邻接关系，当设备出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不会影响交易。4.3 场景二：交换机故障下图为生产内网核心交换机连接图：下图为生产外网核心交换机连接图：4.3.1 主交换机设备故障首先排除线路的故障，如果确定为备用交换机设备整机出现故障故障，需要将备交换机上连接的主机切换到主交换机相应的端口。若确定为主交换机设备整机出现故障，需要将与主交换机互连的上联主路由器以及其他主机设备切换到备交换机相应的端口上，并观察备用交换机的工作是否正常。 故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中

13、的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程telnet登陆故障交换机，telnet登录失败。2） 通过ping 11.XX.255.3，ping不通。3） 使用console口登陆，登陆失败。4） 检查路由器所有状态灯，显示有红色告警或熄灭。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示节点11.XX.255.3无法获取分公司核心接入交换机信息则可能该交换机已经出现故障。网络运行岗：检查交换机所有状态灯，显示有红色告警或熄灭。 故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面（https:/11.131

14、.249.100:16316/ibm/console） 发现红色告警，显示节点无法获取XX分公司生产内网交换机SW1的信息网络支持岗1） 通过远程telnet登陆故障交换机命令：telnet 11.XX.255.32） 通过ping交换机命令：ping 11.XX.255.33） 使用控制线连接到路由器标识有“console”的端口登陆。4） 检查交换机状态灯，显示红色告警或熄灭。SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪动；当状态灯为黄色或红色时故障1） telnet登录失败。2） ping不通。3） console口登陆失败，无法显示信息。4） 交换

15、机状态灯显示红色告警或熄灭。判断为：分公司生产核心接入交换机_CNXXSW01001宕机。 故障处理步骤故障处理步骤详见银联商务XX公司生产网络切换演练实施方案中对应章节。 预期分析对于内网核心交换机，正常情况下，交易在主交换机上传输数据，当内网备交换机设备故障时，不会影响交易；当内网主交换机设备出现故障后，HSRP切换到备交换机为ACTIVE，也会引起防火墙的failover主、备切换，交易也将切换到备交换设备工作，通过备防火墙、备交换机的线路传输交易数据，影响交易时间40秒左右。对于外网核心交换机，正常情况下，商户通过外网路由设备接入进行交易，当外网交换机出现故

16、障后，根据实际外网连接情况分为两种：l 未进行外网改造过的，外网设备没有全互联的分公司，所有由该路由器接入的单专线商户交易中断；l 有进行过外网改造，外网设备有全互联的分公司，商户交易可以切换到备交换机上，切换时间约在3040秒。4.4 故障场景三：隔离区防火墙故障4.4.1 防火墙设备故障两台防火墙以Failover方式工作，与内、外网交换机互连。在工作过程中，与主防火墙互连的内外网主交换机的线路（端口）或防火墙的线路（端口）发生故障时，会引起防火墙主备切换。 故障现象 故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设

17、备故障。系统监控岗网络监控岗1） 通过远程telnet登陆故障防火墙，telnet登录失败 2） 通知分公司同事使用console口登陆，登陆失败。3） 登陆当前active防火墙，使用show failover命令查看failover状态是否发生切换。如发现This host：Secondary Active，则failover已经发生切换。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示无法获取XX分公司防火墙信息则可能该防火墙已经出现故障。网络运行岗：show failover状态图如下 故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机ne

18、tcool告警界面（00:16316/ibm/console） 发现红色告警，显示无法获取XX分公司防火墙信息网络支持岗1) 登陆至故障分公司内网交换机SW1，telnet 10.XX.33.5,登陆成功后使用命令show failover查看已经发生切换，备机已经接管成为Active状态2) telnet 10.XX.33.6至当前备份防火墙，登陆失败3) 通知分公司同事使用console线登陆故障防火墙（该防火墙failover的active灯灭），登陆失败Failover已经切换至备份防火墙，telnet/console登陆方式都无法登陆判断为：分公

19、司核心主防火墙_CNXXFW01001设备故障。 故障处理步骤故障处理步骤详见银联商务XX公司生产网络切换演练实施方案中对应章节。4.4.2 防火墙与内、外网交换机连接线路（端口）故障故障现象与4.4.1防火墙设备故障类似。故障的研判、故障处理步骤等与4.4.1一致，在此不做赘述。4.5 故障场景四：生产外网下联路由器故障4.5.1 外网路由器和商户间线路故障对于商户有主备双线接入情况下，双线中单独一条线路发生故障的场景。 故障现象监控岗位故障详细内容运行监控岗网管平台显示分XXX分公司生产外网XXX商户无法PING通系统监控岗网络监控岗1、通过远程telnet登陆

20、商户接入路由器，PING商户互联线路对端IP地址，PING失败。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示无法PING通XXXX分公司XXXX商户地址。 故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面（00:16316/ibm/console）显示分XXX分公司生产外网XXX商户无法PING通不同网络监控岗1） 通过ping路由器命令：ping 11.XX.255.2） 通过ping路由器直连商户对端命令：ping 11.XX.255.71） 正常2） 不通判断为：分公司网络区下联路由器_CNXXRT01003连接商户通讯线路中断。 故障处理步骤故障处理步骤详见银联商务XX公司生产网络切换演练实施方案中对应章节。 预期分析正常情况下，商户由外网路由器接入银商网络进行交易路由，当外网路由器设备故障时，所有与该路由器设备连接的单线路商户，交易中断。 4.5.2 外网路由器设备故障故障现象与4.5.1防火墙设备故障类似。故障的研判、故障处理步骤等与4.5.1一致，在此不做赘述。4.6 故障场景五：网控器故障4.6.1 主上联卡故障 故障现象监控