网络实战演练方案模版.doc

1、XXXX 分公司生产网络系统实战演练方案模版第 0.07 版XXXX 技术管理部XXXX 信息总中心二 0 一二年二月版本控制信息版本日期拟稿和修改说明本文档中的所有内容为XXXX 股份有限公司的机密和专属所有。未经 XXXX 股份有限公司的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。目录1演练场景说明.12演练准备工作 .3演练风险评估 .4演练场景一：上联线路主备切换与路由器宕机演练.4.1演练思路 .4.2演练步骤 .4.2.1演练细则 .4.3演练的应急处理步骤 .4.3.1操作步骤 .4.3.2操作细则 .5演练场景二：内外网核心交换

2、机宕机演练.5.1演练思路 .5.2演练步骤 .5.2.1演练细则 .5.3演练的应急处理步骤 .5.3.1操作步骤 .5.3.2操作细则 .6演练场景三：主备防火墙宕机演练 .6.1演练思路 .6.2演练步骤 .6.2.1演练细则 .6.3演练的应急处理步骤 .6.3.1操作步骤 .6.3.2操作细则 .7演练场景四：机构接入线路主备切换与设备演练.7.1演练思路 .7.2演练步骤 .7.2.1演练细则 .7.3演练的应急处理步骤 .7.3.1操作步骤 .7.3.2操作细则 .8演练场景五 : 网控器演练 .8.1演练思路 .8.2演练步骤 .8.2.1演练细则 .8.3演练的应急处理步骤

3、.8.3.1操作步骤 .8.3.2操作细则.9演练场景六: 线路运营商传输设备演练.9.1演练思路 .9.2演练步骤 .9.2.1演练细则 .9.3演练的应急处理步骤 .9.3.1操作步骤 .22333366677771111111111111113131313131414161616161617171717171919192020219.3.2操作细则211 演练场景说明依据分公司生产网络系统架构现况，本演练方案模版设计了六个演练场景，各演练场景的演练内容、演练目标与预期结果如下表所示：演练内容演练目标适用范围所有分公司场景一：上联路息中由器宕机及验证分公司连接信息总中心、北京信断线有效性。

4、演练心的二条广域网专线主备机制的验证内、外网任何一台核心交换机宕采用五层网络架构场景二：内外机对网的分公司交换机宕机机构 CUPS 系统 ZNAP 服务器 之间网络演练连接冗余机制的有效性。场景三：防火墙 验证主备防火墙之间Failover切换机所有分公司宕机演练制的有效性。预期结果有效。有效。有效。场景四：机构接验证机构主备线路接入主备切换机制的有入网络宕机及断效性。线演练验证当分公司网控器拨号下联卡故障时，通过当地运营商将本地POS 机主场景五 网控器号码后，由中心叫号码映射至总中心 400PRA 线 路异地灾分公司拨号进行远程统一灾备，以此来确认备切 换性下联卡高可用机制的有效验证当分公

5、司生产网络出现突发故障导致场景八本地网络彻底瘫痪，或机构上联分公司的两3G 灾备切换演根专线彻底中断，交易数据无法上送时，使练用分公司与机构间部署的 3G 无线网络进行通讯，实现当 地的机构与商户联机交易的快速恢 复。演练场景七：传验证线路运营商传输设备电源主备切换有输设备演练效性、双上联光路切换的有效性。所有分公司（主备引擎切换演练步骤只适用于 部署双引擎如思 科 7600 系列路 由器的分公司 ）所有分公司已经部署了 3G 灾备线路的分公司所有分公司 （关闭传输设备 主光路演练与关 闭传输设备主电 源演练仅在运营 商传输设备支持时适用 ）有效。有效。有效。有效。设定的场景为可能出现的故障，

6、通过演练验证网络的冗余性或应急方案可行；1、演练设备为银联运营生产相关的网络设备，包括防火墙、路由器、交换机、网控器及其它网络设备 ;2、 所有必须的演练场景应在一个演练计划内完成，但可安排在一个或连续的多个窗口内实施。3、 各分公司应依据附件5: 2013 年分公司演练场景建议表选择演练场景，除上述演练场景之外，分公司可依据本单位生产网络实际情况，进行演练场景的补充。2 演练准备工作1、对所有演练相关的网络设备（模块 ）准备好现场应急备件；2、 生产网络系统所有网络设备的配置文件须在设备本地存盘，并备份至TFTP 服务器。3、在演练之前，向信息总中心提供网络系统的相关信息，主要有路由信息、设

7、备连接信息、机构线路信息和设备配置信息等，同时进行生产网络系统健康检查，参见附件3 : 分公司生产网络系统演练准备检查项目表。3 演练风险评估演练场景场景一场景一场景二场景四场景五演练内容影响导致总中心交易服务器和分 公司上联线路主备切 换与 机构之间丢包，但 TCP 连接不中路由器宕机演练断或中断后自行恢复。导致总中心交易服务器和分 公司机构之间丢包，但 TCP 连接不中断或中断后自行恢复；导致网控内外网核心交换机宕器上联TCP 主 备卡切换 ，交易机演练自动恢复、网 控器下联 TCP 卡交易受影 响。导致总中心交易服务器和分公司主备防火墙宕机演练机构之间丢包，但 TCP 连接不中断或中断后

8、自行恢 复。机构接入线路主备切导致总中心交易服务器和分公司换与设备演 练机构之间丢包，但TCP 连接不中断或中断后自行恢复。本次演练将分公司拨号交易切换网控器 PRA 线路 异至总中心灾备环境，影响范围为分公司网控器拨号交易地灾备切换风险评估1、 宕机后无法正常重启2、 宕机重启后，部分模块无法工作3、 宕机后线路主、备机制无法生效1、 宕机后无法正常重启2、 宕机重启后，部分模块无法工作3、 宕机后交换机 /防火墙主备机制与 路 由系统冗余机制无法生效4、 机构连接中断后无法自仃恢复5、 网控器上联TCP 卡主备须手工回切1、 宕机后无法正常重启2、 宕机重启后，部分模块无法工作3、 宕机后

9、防火墙主备机制无法生效4、 机构连接中断后无法自仃恢复1、 宕机后无法正常重启2、 宕机重启后，部分模块无法工作3、 宕机后线路主备机制无法生效4、 机构连接中断后无法自仃恢复1、运营商实施号码映射时短暂影响 拨号 POS 交易场景八3G 灾备切换演练导致总中心交易服务器和分公司1、机构连接中断后无法自行恢复演练机构之间丢包，但TCP 连接不中断或中断后自行恢复。导致总中心交易服务器和分公司2、 宕机后无法正常重启场景七 ：演练场景七：传输设 机构之间丢包，但TCP 连接不中3、 宕机重启后，部分模块无法工作备演练断或中断后自行恢复4、 宕机后防火墙主备机制无法生效5、 机构连接中断后无法自仃

10、恢复4 演练场景一：上联线路主备切换与路由器宕机演练4.1 演练思路1、先后关闭上联信息总中心、北京信息中心二台路由器上的广域网接口，观察路由能否自动切换，并通过长 ping 机构地址来记录路由切换时间。2、先后关闭上联信息总中心、北京信息中心二台路由器的电源，观察路由能否自动切换，并通过长ping 机构地址来记录路由切换时间。要点：设备宕机演练前，须确认广域网线路、网络路由、相关交易均已恢复至正常。4.2 演练步骤步骤演练内容第一步上联北京信息中心线路断线演练第二步上联信息总中心线路断线演练第三步上联北京信息中心路由器宕机演练第四步上联信息总中心路由器宕机演练n4.2.1 演练细则第一步：上

11、联北京信息中心线路断线演练1 序号操作内容操作人复核人i通知成员机构、信息总中心即将进行上联线路的断线演练分公司总中心登录二台内网核心交换机执行如下命令：Show ip route 2Show ip route 分公司总中心确认 /13 、/13 、/24 网段路由源 自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器。CUPS 系统 ZNAP 服务器，开启对分3通知信息总中心网络值班岗登录总中心公司辖内机构主机地址的长Ping分公司4通知信息总中心网络值班岗登录收单系

12、统PNAP 服务器，开启对分总中心公司辖内网控器上联卡地址的长Ping分公司5断开分公司上联北京信息中心广域网线路（拔出对应网线）分公司总中心6信息总中心网络值班岗观察Ping 包丢包情况分公司总中心7观察网管平台应有 XX 分公司至北京信息中心线路中断、RPING 不通的告警分公司总中心8信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分公司自查交易情况分公司总中心9恢复分公司上联北京信息中心广域网线路（插回网线）分公司总中心线路恢复后执行如下命令：10Show ip ospf nei分公司Show ip bgp summary确认该设备和相邻设备的动态路由邻居关系已经正常建立登录分

13、公司二台内网核心交换机，执行如下命令：Sh ip route 11Show ip route 分公司总中心确认 /13 网段路由源自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器第二步：上联信息总中心线路断线演练序号操作内容登录二台内网核心交换机执行如下命令：Sh ip route Show ip route 1确认 /13、/13、/24网段路由源自上联北京信息中心路由器、/13 网段路由源自

14、上联信息总中心路由器。通知信息总中心网络值班岗登录CUPS 系统 ZNAP 服务器，开启对分2公司辖内机构主机地址的长 Ping通知信息总中心网络值班岗登录收单系统PNAP 服务器，开启对分3Ping公司辖内网控器上联卡地址的长4 断开分公司上联信息总中心广域网线路（拔出对应网线）5信息总中心网络值班岗观察Ping 包丢包情况6观察网管平台应有 XX 分公司至信息总中心线路中断、RPING 不通的告警7信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分公司自查交易情况8 恢复分公司上联信息总中心广域网线路（插回网线）线路恢复后执行如下命令：操作人复核人分公司总中心分公司总中心分公司总中

15、心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心9Show ip ospf neiShow ip bgp summary分公司确认该设备和相邻设备的动态路由邻居关系已经正常建立登录分公司二台内网核心交换机，执行如下命令：Sh ip route 10Show ip route 确认 /13网段路由源自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器第三步：上联北京信息路由器宕机演练序号操作内容1 通知信息总中心、辖内各成员机构，演练开始登录二台内网核心交换机执行如下命令：分公司总中心操作人复核人分

16、公司总中心2Sh ip route Show ip route 分公司总中心确认 /13、 /13、 /24网段路由源3456778910| 序号123445自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器。通知信息总中心网络岗，在 CUPS 系统 ZNAP 服务器上开启到五家机构总中心主机的长 ping分公司关闭上联北京信息中心路由器电源（如双电源设备，两路电源都要分公司总中心关闭）登录内网核心交换机执行如下命令：Show ip route 分公司

17、总中心Show ip route 确认上述二条路由均源自上联信息总中心路由器观察长 ping 的丢包情况分公司总中心观察网管平台应有内网核心交换机报到该路由器RPING 不通、 OSPF总中心NEIGHBOR DOWN 报警分公司三层网络结构的分公司，需检查场景二/步骤一的第8 步打开上联北京信息中心路由器的电源（如双电源设备，则两个电源分公司总中心都打开）通过 Con sole口监测、记录路由器重启情况，观察路由器重启有无分公司总中心异常，如有异常，则通知信息总中心网络岗路由器重启完成后，执行如下命令：Show ip ospf nei分公司总中心Show ip bgp su

18、mmary确认该设备和相邻设备的动态路由邻居关系已经正常建立观察长 ping 的丢包情况三层网络结构的分公司，需检查场景二/步骤一的第 12、13步登录分公司二台内网核心交换机，执行如下命令：Sh ip route Show ip route 分公司总中心确认 /13网段路由源自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器第四步：上联信息总中心路由器宕机演练操作内容操作人复核人通知信息总中心网络岗，在 CUPS 系统 ZNAP 服务器上开启到五家机构主机的长 ping关闭上联信息总中心路由器电源（如双电源

19、设备，两路电源都要关分公司总中心闭）登录二台内网核心交换机执行如下步骤：Sh ip route 确认 /13网段的路由源自上联北京信息中心分公司总中心路由器信息总中心网络值班岗记录长ping 丢包数据，正常应在五分钟内分公司总中心恢复观察网管平台应有内网核心交换机报到该路由器RPING 不通、 OSPF总中心NEIGHBOR DOWN 报警，记录 UMF 平台的其它告警信息分公司三层网络结构的分公司，需检查场景二/步骤二的第8 步信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分分公司总中心公司自查交易情况交易完全恢复正常后，打开上联信息总中心路由器

20、的电源（如双电总中心分公司源设备，则两个电源都打开）6通过 Con sole 口监测、记录路由器重启情况，观察路由器重启有无异常，如有异常，则通知信息总中心网络岗分公司总中心路由器重启完成后，执行如下命令：7Show ip ospf nei分公司总中心Show ip bgp summary确认该设备和相邻设备的动态路由邻居关系已经正常建立观察长 ping 的丢包情况三层网络结构的分公司，需检查场景二/步骤二的第12、13 步登录分公司二台内网核心交换机，执行如下命令：Sh ip route 8Show ip route 分公司总中心确认 /

21、13 网段路由源自上联北京信息中心路由器、/13网段路由源自上联信息总中心路由器9信息总中心网络岗通知交易监控岗，检查分公司交易情总中心况；同时分公司自查交易情况分公司10确认分公司交易完全正常后，本演练场景结束分公司总中心4.3 演练的应急处理步骤在演练过程中，如网络设备关机后，交易（CUPS系统ZNAP上的长ping或收单系统PNAP上的长ping或相关监控岗位发现告警）受影响，且在5 分钟内无法恢复，则应立即恢复系统。如系统重启异常或无法重启则执行以下应急处理步骤：4.3.1 操作步骤步骤操作内容第一步分公司使用预先准备的备件进行紧急更换第二步将原先保存的故障设备配置文

22、件导入备件第三步将备件接入网络，替换故障设备第四步检查网络是否恢复正常第五步协调集成商更换故障设备4.3.2 操作细则序号操作内容操作人复核人1与信息总中心网络岗协商后，使用预先准备的设备备件进行紧急更换总中心分公司2将原先 TFTP 服务器上保存的故障设备配置文件导入备件分公司总中心3将备件接入生产网络，替换故障设备分公司 1总中心检查网络是否恢复正常，执行如下命令：Sh cdp nei/*检杳 CDP neighbor是否正常建立4Sh ip ospf nei/*检杳路由邻居关系是否建立分公司总中心Sh ip bgp sum/*检杳与总中心的 BGP 邻居是否建立Sh ip bgp/*检查

23、是否已经学习到BGP 路由5根据维保合同，协调集成商更换故障设备分公司总中心5 演练场景二：内外网核心交换机宕机演练5.1 演练思路依次对内网主用核心交换机、内网备用核心交换机、外网主用核心交换机、外网备用核心交换机进行关机演练；通过长Ping 机构地址和内网网控器TCP 卡地址，确认路由系统、防火墙系统冗余机制的有效性。注： 1、关闭下一台交换机前，需确认前一台交换机已重启完毕并恢复正常（包 括路由等），同时 Primary 防火墙为 Active 状态。2、交换模块内嵌的分公司无须进行相应交换机的宕机演练。5.2 演练步骤步骤操作内容第一步内网主用核心交换机宕机演练第二步内网备用核心交换机

24、宕机演练第三步外网主用核心交换机宕机演练第四步外网备用核心交换机宕机演练5.2.1 演练细则第一步：内网主用核心交换机宕机| 序号操作内容操作人复核人1通知信息总中心网络值班岗，开始关闭内网主用核心交换机分公司总中心登录上联信息总中心路由器，执行如下命令：2Sh ip route 144.x.x.x（辖内机构地址 ）分公司总中心确认存在四条路由，且分别源自两台内网核心交换机通知信息总中心登录 CUPS 系统 ZNAP 服务器，开启对机构地址的长3Ping ; 通知信息总中心在二代收单PNAP 上开启对分公司 NAC 所有分公司总中心上联卡地址的长 Ping4关闭内网主用交换机电源（如双电源设备

25、，则双路电源均须关闭）分公司总中心登录分公司上联信息总中心路由器，执行如下命令：5Sh ip route 144.x.x.x（辖内机构地址）分公司总中心确认机构路由源自内网备用交换机6信息总中心网络值班岗记录对机构端服务器的长Ping 的丢包情况分公司总中心7信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分分公司总中心公司自查交易情况观察网管平台应有内网备用核心交换机报到该主用交换机RPING8不通、 OSPF NEIGHBOR DOW的告警，冋时有防火墙报 FAILOVER异分公司总中心常的告警9通知信息总中心网络值班岗，冋时开启内网主用交换机电源分公司总中心10设备正常启动后，确

26、认路由邻居关系已正常建立：分公司总中心Sh ip ospf nei登录上联信息总中心路由器，检查确认路由是否恢复正常:11Sh ip route 144.x.x.x（辖内机构地址 ）分公司总中心确认存在四条路由，且分别源自二台内网核心交换机观察长 ping 的丢包情况登录防火墙系统检查Failover 状态（此时防火墙系统应已发生主备切换）12Sh failover分公司总中心Sh conn确认防火墙系统 Failover 工作状态正常， TCP 链接信息已同步如果 Secondary 防火墙为 Active 状态，则执行如下命令进行回切：登录 Primary防火墙（ Sta ndby 状态）

27、 tel net 144.x.9.x总中心13分公司Config tFailover active14| 序号1234567889101112信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分公司自查交易情况；第二步：内网备用核心交换机宕机演练操作内容通知信息总中心网络值班岗，开始关闭内网备用核心交换机登录上联信息总中心路由器，执行如下命令Sh ip route 144.x.x.x （辖内机构地址 ）确认存在四条路由，且分别源自两台内网核心交换机通知信息总中心 CUPS 系统 ZNA 服务器，开启对机构地址的长Ping ；通知信息总中心在二代收单PNAP 上开启对分公司 NAC 所有上

28、联卡地址的长 Pi ng关闭内网备用交换机电源（如双电源设备，则双路电源均须关闭）登录分公司上联信息总中心路由器，执行如下命令：Sh ip route 144.x.x.x（辖内机构地址）确认机构路由源自内网主用核心交换机信息总中心网络值班岗记录对机构端地址长Ping 的丢包情况信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分公司自查交易情况观察网管平台应有内网主用核心交换机报到该备用交换机RPING不通、 OSPF NEIGHBOR DOW 的告警通知信息总中心网络值班岗，冋时开启内网备用交换机电源通过 Con sole 口监测、记录交换机重启情况，观察重启有无异常，如有异常，则通知

29、信息总中心网络岗设备正常启动后，确认路由邻居关系已正常建立：Sh ip ospf nei登录上联信息总中心路由器，检查确认路由是否恢复正常：Sh ip route 144.x.x.x（辖内机构地址 ）确认存在四条路由，且分别源自二台内网核心交换机观察长 ping 的丢包情况登录防火墙系统检查Failover 状态Sh failover分公司总中心操作人复核人分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心分公司总中心Sh conn确认防火墙系统Failover 工作状态正常，主备防火墙TCP 链接信

30、息已同步通知信息总中心外围监控岗，二台内网核心交换机宕机演练完成，13请其检查分公司网控器上联卡与二代收单PNAP 二代多渠道 NASA分公司总中心的连接情况，如发生主备切换，则手工回切14信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分分公司总中心公司自查交易情况第三步：外网主用核心交换机宕机演练序号操作内容操作人复核人1通知总中心及辖内机构，开始关闭外网主用核心交换机分公司总中心登录外网机构线路接入主要网络设备，执行如下命令：2Sh ip route 9.234x21（总 CUPS 系统 ZNAP 服务器映射分公司总中心后地址 ）确认存在四条路由，分别源自二台外网核心交换机3通知

31、信息总中心网络值班岗登录CUPS 系统 ZNAP 服务器，开启对机分公司总中心构地址的长 Pi ng4关闭外网主用核心交换机电源（如双电源设备，则双路电源均须关闭）分公司总中心登录外网机构线路接入主要网络设备，执行如下命令：567889101112Ship route 9.234x21（总中心CUPS 系统ZNAP 服务器映射后地址）确认存在二条路由，源自外网备用核心交换机信息总中心网络值班岗记录对机构端地址长Pi ng 的丢包情况；信息总中心网络岗通知交易监控岗，检查分公司交易情况；同时分公司自查交易情况观察网管平台应有外网备用核心交换机报到该主用交换机RPING不通、 OSPF NEIGHBOR DOW的告警，冋时有防火墙报FAILOVER 异常的告警通知信息总中心网络值班岗，同时开启外网主用核心交换机电源通过 Con sole 口监测、记录交换机重启情况，观察重启有无异常，如有异常，则通知信息总中心网络岗设备正常启