网络实战演练方案模版.doc

XXXXXXXX 分公司生产网络系统分公司生产网络系统 实战演练方案模版实战演练方案模版 第 0 07 版 XXXX 技术管理部 XXXX 信息总中心 二二 一二年二月一二年二月 版本控制信息 版本版本日期日期拟稿和修改拟稿和修改说明说明 本文档中的所有内容为 XXXX 股份有限公司的机密和专属所有 未经 XXXX 股份有限公司的 明确书面许可 任何组织或个人不得以任何目的 任何形式及任何手段复制或传播本文档 部分或全部内容 目录目录 1演练场景说明演练场景说明 1 2演练准备工作演练准备工作 2 3演练风险评估演练风险评估 2 4演练场景一 上联线路主备切换与路由器宕机演练演练场景一 上联线路主备切换与路由器宕机演练 2 4 1演练思路 2 4 2演练步骤 3 4 2 1演练细则 3 4 3演练的应急处理步骤 6 4 3 1操作步骤 6 4 3 2操作细则 6 5演练场景二 内外网核心交换机宕机演练演练场景二 内外网核心交换机宕机演练 6 5 1演练思路 6 5 2演练步骤 7 5 2 1演练细则 7 5 3演练的应急处理步骤 10 5 3 1操作步骤 10 5 3 2操作细则 11 6演练场景三 主备防火墙宕机演练演练场景三 主备防火墙宕机演练 11 6 1演练思路 11 6 2演练步骤 11 6 2 1演练细则 11 6 3演练的应急处理步骤 12 6 3 1操作步骤 12 6 3 2操作细则 13 7演练场景四 机构接入线路主备切换与设备演练演练场景四 机构接入线路主备切换与设备演练 13 7 1演练思路 13 7 2演练步骤 13 7 2 1演练细则 13 7 3演练的应急处理步骤 15 7 3 1操作步骤 16 7 3 2操作细则 16 8演练场景五演练场景五 网控器演练网控器演练 16 8 1演练思路 16 8 2演练步骤 16 8 2 1演练细则 16 8 3演练的应急处理步骤 18 8 3 1操作步骤 18 8 3 2操作细则 18 9演练场景六演练场景六 线路运营商传输设备演练线路运营商传输设备演练 18 9 1演练思路 18 9 2演练步骤 18 9 2 1演练细则 18 9 3演练的应急处理步骤 19 9 3 1操作步骤 19 9 3 2操作细则 20 1演练场景说明演练场景说明 依据分公司生产网络系统架构现况 本演练方案模版设计了六个演练场景 各演练场 景的演练内容 演练目标与预期结果如下表所示 演练内容演练内容演练目标演练目标适用范围适用范围预期结果预期结果 场景一 上联 路由器宕机及 断线演练 验证分公司连接信息总中心 北京信 息中心的二条广域网专线主备机制的 有效性 所有分公司 有效 场景二 内外 网交换机宕机 演练 验证内 外网任何一台核心交换机宕 机对机构 CUPS 系统 ZNAP 服务器 之间网络连接冗余机制的有效性 采用五层网络架 构的分公司 有效 场景三 防火 墙宕机演练 验证主备防火墙之间 Failover 切换机 制的有效性 所有分公司 有效 场景四 机构 接入网络宕机 及断线演练 验证机构主备线路接入主备切换机制 的有效性 所有分公司 主备引擎切换演 练步骤只适用于 部署双引擎如思 科 7600 系列路 由器的分公司 有效 场景五 网控器 PRA 线路异地灾备 切换 验证当分公司网控器拨号下联卡故障 时 通过当地运营商将本地 POS 机主 叫号码映射至总中心 400 号码后 由 中心进行远程统一灾备 以此来确认 分公司拨号下联卡高可用机制的有效 性 所有分公司 有效 场景六 3G 灾备切换 演练 验证当分公司生产网络出现突发故障 导致本地网络彻底瘫痪 或机构上联 分公司的两根专线彻底中断 交易数 据无法上送时 使用分公司与机构间 部署的 3G 无线网络进行通讯 实现 当地的机构与商户联机交易的快速恢 复 已经部署了 3G 灾备线路的分公 司 有效 演练场景七 传输设备演练 验证线路运营商传输设备电源主备切 换有效性 双上联光路切换的有效性 所有分公司 关闭传输设备 主光路演练与关 闭传输设备主电 源演练仅在运营 商传输设备支持 时适用 有效 设定的场景为可能出现的故障 通过演练验证网络的冗余性或应急方案可行 1 演练设备为银联运营生产相关的网络设备 包括防火墙 路由器 交换机 网控器及 其它网络设备 2 所有必须的演练场景应在一个演练计划内完成 但可安排在一个或连续的多个窗口内 实施 3 各分公司应依据附件 5 2013 年分公司演练场景建议表 选择演练场景 除上述演 练场景之外 分公司可依据本单位生产网络实际情况 进行演练场景的补充 2演练准备工作演练准备工作 1 对所有演练相关的网络设备 模块 准备好现场应急备件 2 生产网络系统所有网络设备的配置文件须在设备本地存盘 并备份至 TFTP 服务器 3 在演练之前 向信息总中心提供网络系统的相关信息 主要有路由信息 设备连接信 息 机构线路信息和设备配置信息等 同时进行生产网络系统健康检查 参见 附件 3 分公司生产网络系统演练准备检查项目表 3演练风险评估演练风险评估 演练场景演练场景演练内容演练内容影响影响风险评估风险评估 场景一 上联线路主备切 换与路由器宕机 演练 导致总中心交易服务器和分 公司机构之间丢包 但 TCP 连接不中断或中断后自行恢 复 1 宕机后无法正常重启 2 宕机重启后 部分模块无法工作 3 宕机后线路主 备机制无法生效 场景二 内外网核心交换 机宕机演练 导致总中心交易服务器和分 公司机构之间丢包 但 TCP 连接不中断或中断后自行恢 复 导致网控器上联 TCP 主 备卡切换 交易自动恢复 网 控器下联 TCP 卡交易受影 响 1 宕机后无法正常重启 2 宕机重启后 部分模块无法工作 3 宕机后交换机 防火墙主备机制与 路由系统冗余机制无法生效 4 机构连接中断后无法自行恢复 5 网控器上联 TCP 卡主备须手工 回切 场景三 主备防火墙宕机 演练 导致总中心交易服务器和分 公司机构之间丢包 但 TCP 连接不中断或中断后自行恢 复 1 宕机后无法正常重启 2 宕机重启后 部分模块无法工作 3 宕机后防火墙主备机制无法生效 4 机构连接中断后无法自行恢复 场景四 机构接入线路主 备切换与设备演 练 导致总中心交易服务器和分 公司机构之间丢包 但 TCP 连接不中断或中断后自行恢 复 1 宕机后无法正常重启 2 宕机重启后 部分模块无法工作 3 宕机后线路主备机制无法生效 4 机构连接中断后无法自行恢复 场景五 网控器 PRA 线路 异地灾备切换 本次演练将分公司拨号交易 切换至总中心灾备环境 影 响范围为分公司网控器拨号 交易 1 运营商实施号码映射时短暂影响 拨号 POS 交易 场景六3G 灾备切换演练 导致总中心交易服务器和分 公司演练机构之间丢包 但 1 机构连接中断后无法自行恢复 TCP 连接不中断或中断后自 行恢复 场景七 演练场景七 传 输设备演练 导致总中心交易服务器和分 公司机构之间丢包 但 TCP 连接不中断或中断后自行恢 复 2 宕机后无法正常重启 3 宕机重启后 部分模块无法工作 4 宕机后防火墙主备机制无法生效 5 机构连接中断后无法自行恢复 4演练场景一 上联线路主备切换与路由器宕机演练演练场景一 上联线路主备切换与路由器宕机演练 4 1 演练思路演练思路 1 先后关闭上联信息总中心 北京信息中心二台路由器上的广域网接口 观察路由能否 自动切换 并通过长 ping 机构地址来记录路由切换时间 2 先后关闭上联信息总中心 北京信息中心二台路由器的电源 观察路由能否自动切换 并通过长 ping 机构地址来记录路由切换时间 要点 设备宕机演练前 须确认广域网线路 网络路由 相关交易均已恢复至 正常 4 2 演练步骤演练步骤 步骤步骤演练内容演练内容 第一步 上联北京信息中心线路断线演练 第二步 上联信息总中心线路断线演练 第三步 上联北京信息中心路由器宕机演练 第四步 上联信息总中心路由器宕机演练 4 2 1 演练细则演练细则 第一步 上联北京信息中心线路断线演练第一步 上联北京信息中心线路断线演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知成员机构 信息总中心即将进行上联线路的断线演练分公司总中心 2 登录二台内网核心交换机执行如下命令 Show ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 145 0 0 0 13 10 195 80 0 24 网段路由源 自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联 信息总中心路由器 分公司总中心 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 分公司辖内机构主机地址的长 Ping 分公司总中心 4 通知信息总中心网络值班岗登录收单系统 PNAP 服务器 开启对分 公司辖内网控器上联卡地址的长 Ping 分公司总中心 5 断开分公司上联北京信息中心广域网线路 拔出对应网线 分公司总中心 6 信息总中心网络值班岗观察 Ping 包丢包情况分公司总中心 7 观察网管平台应有 XX 分公司至北京信息中心线路中断 RPING 不分公司总中心 通的告警 8 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 9 恢复分公司上联北京信息中心广域网线路 插回网线 分公司总中心 10 线路恢复后执行如下命令 Show ip ospf nei Show ip bgp summary 确认该设备和相邻设备的动态路由邻居关系已经正常建立 分公司 11 登录分公司二台内网核心交换机 执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 网段路由源自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联信息总中心路由器 分公司总中心 第二步 上联信息总中心线路断线演练第二步 上联信息总中心线路断线演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 登录二台内网核心交换机执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 145 0 0 0 13 10 195 80 0 24 网段路由源 自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联 信息总中心路由器 分公司总中心 2 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 分公司辖内机构主机地址的长 Ping 分公司总中心 3 通知信息总中心网络值班岗登录收单系统 PNAP 服务器 开启对分 公司辖内网控器上联卡地址的长 Ping 分公司总中心 4 断开分公司上联信息总中心广域网线路 拔出对应网线 分公司总中心 5 信息总中心网络值班岗观察 Ping 包丢包情况分公司总中心 6 观察网管平台应有 XX 分公司至信息总中心线路中断 RPING 不通 的告警 分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 8 恢复分公司上联信息总中心广域网线路 插回网线 分公司总中心 9 线路恢复后执行如下命令 Show ip ospf nei Show ip bgp summary 确认该设备和相邻设备的动态路由邻居关系已经正常建立 分公司 10 登录分公司二台内网核心交换机 执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 网段路由源自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联信息总中心路由器 分公司总中心 第三步 上联北京信息路由器宕机演练第三步 上联北京信息路由器宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知信息总中心 辖内各成员机构 演练开始分公司总中心 2 登录二台内网核心交换机执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 分公司总中心 确认 144 8 0 0 13 145 0 0 0 13 10 195 80 0 24 网段路由源 自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联 信息总中心路由器 3 通知信息总中心网络岗 在 CUPS 系统 ZNAP 服务器上开启到五家 机构主机的长 ping 分公司总中心 4 关闭上联北京信息中心路由器电源 如双电源设备 两路电源都 要关闭 分公司总中心 5 登录内网核心交换机执行如下命令 Show ip route 144 0 0 0 Show ip route 144 8 0 0 确认上述二条路由均源自上联信息总中心路由器 分公司总中心 6 观察长 ping 的丢包情况分公司总中心 7 观察网管平台应有内网核心交换机报到该路由器 RPING 不通 OSPF NEIGHBOR DOWN 的报警 分公司总中心 三层网络结构的分公司 需检查场景二 步骤一的第 8 步 7 打开上联北京信息中心路由器的电源 如双电源设备 则两个电 源都打开 分公司总中心 8 通过 Console 口监测 记录路由器重启情况 观察路由器重启有 无异常 如有异常 则通知信息总中心网络岗 分公司总中心 9 路由器重启完成后 执行如下命令 Show ip ospf nei Show ip bgp summary 确认该设备和相邻设备的动态路由邻居关系已经正常建立 分公司总中心 观察长 ping 的丢包情况 三层网络结构的分公司 需检查场景二 步骤一的第 12 13 步 10 登录分公司二台内网核心交换机 执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 网段路由源自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联信息总中心路由器 分公司总中心 第四步 上联信息总中心路由器宕机演练第四步 上联信息总中心路由器宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 通知信息总中心网络岗 在 CUPS 系统 ZNAP 服务器上开启到五家 机构主机的长 ping 1 关闭上联信息总中心路由器电源 如双电源设备 两路电源都要 关闭 分公司总中心 2 登录二台内网核心交换机执行如下步骤 Sh ip route 144 0 0 0 确认 144 0 0 0 13 网段的路由源自上联北京信息中心 路由器 分公司总中心 3 信息总中心网络值班岗记录长 ping 丢包数据 正常应在五分钟内 恢复 分公司总中心 4 观察网管平台应有内网核心交换机报到该路由器 RPING 不通 OSPF NEIGHBOR DOWN 的报警 记录 UMP 平台的其它告警信息 分公司总中心 三层网络结构的分公司 需检查场景二 步骤二的第 8 步 4 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 5 交易完全恢复正常后 打开上联信息总中心路由器的电源 如双分公司总中心 电源设备 则两个电源都打开 6 通过 Console 口监测 记录路由器重启情况 观察路由器重启有 无异常 如有异常 则通知信息总中心网络岗 分公司总中心 7 路由器重启完成后 执行如下命令 Show ip ospf nei Show ip bgp summary 确认该设备和相邻设备的动态路由邻居关系已经正常建立 分公司总中心 观察长 ping 的丢包情况 三层网络结构的分公司 需检查场景二 步骤二的第 12 13 步 8 登录分公司二台内网核心交换机 执行如下命令 Sh ip route 144 0 0 0 Show ip route 144 8 0 0 确认 144 8 0 0 13 网段路由源自上联北京信息中心路由器 144 0 0 0 13 网段路由源自上联信息总中心路由器 分公司总中心 9 信息总中心网络岗通知交易监控岗 检查分公司交易 情况 同时分公司自查交易情况 分公司总中心 10 确认分公司交易完全正常后 本演练场景结束分公司总中心 4 3 演练的应急处理步骤演练的应急处理步骤 在演练过程中 如网络设备关机后 交易 CUPS 系统 ZNAP 上的长 ping 或收单系统 PNAP 上的长 ping 或相关监控岗位发现告警 受影响 且在 5 分钟内无法恢复 则应立即恢复系统 如系统重启异常或无法重启则执行以下应急处理步骤 4 3 1 操作步骤操作步骤 步骤步骤操作内容操作内容 第一步 分公司使用预先准备的备件进行紧急更换 第二步 将原先保存的故障设备配置文件导入备件 第三步 将备件接入网络 替换故障设备 第四步 检查网络是否恢复正常 第五步 协调集成商更换故障设备 4 3 2 操作细则操作细则 序号序号操作内容操作内容操作人操作人复核人复核人 1 与信息总中心网络岗协商后 使用预先准备的设备备件进行紧急 更换 分公司总中心 2 将原先 TFTP 服务器上保存的故障设备配置文件导入备件分公司总中心 3 将备件接入生产网络 替换故障设备分公司总中心 4 检查网络是否恢复正常 执行如下命令 Sh cdp nei 检查 CDP neighbor 是否正常建立 Sh ip ospf nei 检查路由邻居关系是否建立 Sh ip bgp sum 检查与总中心的 BGP 邻居是否建立 分公司总中心 Sh ip bgp 检查是否已经学习到 BGP 路由 5 根据维保合同 协调集成商更换故障设备分公司总中心 5演练场景二 内外网核心交换机宕机演练演练场景二 内外网核心交换机宕机演练 5 1 演练思路演练思路 依次对内网主用核心交换机 内网备用核心交换机 外网主用核心交换机 外网备用核心 交换机进行关机演练 通过长 Ping 机构地址和内网网控器 TCP 卡地址 确认路由系统 防火 墙系统冗余机制的有效性 注 1 关闭下一台交换机前 需确认前一台交换机已重启完毕并恢复正常 包括路由等 同时 Primary 防火墙为 Active 状态 2 交换模块内嵌的分公司无须进行相应交换机的宕机演练 5 2 演练步骤演练步骤 步骤步骤操作内容操作内容 第一步 内网主用核心交换机宕机演练 第二步 内网备用核心交换机宕机演练 第三步 外网主用核心交换机宕机演练 第四步 外网备用核心交换机宕机演练 5 2 1 演练细则演练细则 第一步 内网主用核心交换机宕机第一步 内网主用核心交换机宕机 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知信息总中心网络值班岗 开始关闭内网主用核心交换机分公司总中心 2 登录上联信息总中心路由器 执行如下命令 Sh ip route 144 x x x 辖内机构地址 确认存在四条路由 且分别源自两台内网核心交换机 分公司总中心 3 通知信息总中心登录 CUPS 系统 ZNAP 服务器 开启对机构地址的 长 Ping 通知信息总中心在二代收单 PNAP 上开启对分公司 NAC 所有上联卡地址的长 Ping 分公司总中心 4 关闭内网主用交换机电源 如双电源设备 则双路电源均须关闭 分公司总中心 5 登录分公司上联信息总中心路由器 执行如下命令 Sh ip route 144 x x x 辖内机构地址 确认机构路由源自内网备用交换机 分公司总中心 6 信息总中心网络值班岗记录对机构端服务器的长 Ping 的丢包情况分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 8 观察网管平台应有内网备用核心交换机报到该主用交换机 RPING 不通 OSPF NEIGHBOR DOWN 的告警 同时有防火墙报 FAILOVER 异常的告警 分公司总中心 9 通知信息总中心网络值班岗 同时开启内网主用交换机电源分公司总中心 10 设备正常启动后 确认路由邻居关系已正常建立 Sh ip ospf nei 分公司总中心 11 登录上联信息总中心路由器 检查确认路由是否恢复正常 Sh ip route 144 x x x 辖内机构地址 确认存在四条路由 且分别源自二台内网核心交换机 分公司总中心 观察长 ping 的丢包情况 12 登录防火墙系统检查 Failover 状态 此时防火墙系统应已发生主 备切换 Sh failover Sh conn 确认防火墙系统 Failover 工作状态正常 TCP 链接信息已同 步 分公司总中心 13 如果 Secondary 防火墙为 Active 状态 则执行如下命令进行回切 登录 Primary 防火墙 Standby 状态 telnet 144 x 9 x Config t Failover active 分公司总中心 14 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 第二步 内网备用核心交换机宕机演练第二步 内网备用核心交换机宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知信息总中心网络值班岗 开始关闭内网备用核心交换机分公司总中心 2 登录上联信息总中心路由器 执行如下命令 Sh ip route 144 x x x 辖内机构地址 确认存在四条路由 且分别源自两台内网核心交换机 分公司总中心 3 通知信息总中心 CUPS 系统 ZNAP 服务器 开启对机构地址的长 Ping 通知信息总中心在二代收单 PNAP 上开启对分公司 NAC 所有 上联卡地址的长 Ping 分公司总中心 4 关闭内网备用交换机电源 如双电源设备 则双路电源均须关闭 分公司总中心 5 登录分公司上联信息总中心路由器 执行如下命令 Sh ip route 144 x x x 辖内机构地址 确认机构路由源自内网主用核心交换机 分公司总中心 6 信息总中心网络值班岗记录对机构端地址长 Ping 的丢包情况分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 8 观察网管平台应有内网主用核心交换机报到该备用交换机 RPING 不通 OSPF NEIGHBOR DOWN 的告警 分公司总中心 8 通知信息总中心网络值班岗 同时开启内网备用交换机电源分公司总中心 9 通过 Console 口监测 记录交换机重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 10 设备正常启动后 确认路由邻居关系已正常建立 Sh ip ospf nei 分公司总中心 11 登录上联信息总中心路由器 检查确认路由是否恢复正常 分公司总中心 Sh ip route 144 x x x 辖内机构地址 确认存在四条路由 且分别源自二台内网核心交换机 观察长 ping 的丢包情况 12 登录防火墙系统检查 Failover 状态 Sh failover Sh conn 确认防火墙系统 Failover 工作状态正常 主备防火墙 TCP 链接信 息已同步 分公司总中心 13 通知信息总中心外围监控岗 二台内网核心交换机宕机演练完成 请其检查分公司网控器上联卡与二代收单 PNAP 二代多渠道 NASA 的连接情况 如发生主备切换 则手工回切 分公司总中心 14 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 第三步 外网主用核心交换机宕机演练第三步 外网主用核心交换机宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知总中心及辖内机构 开始关闭外网主用核心交换机分公司总中心 2 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总 CUPS 系统 ZNAP 服务器映射 后地址 确认存在四条路由 分别源自二台外网核心交换机 分公司总中心 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 机构地址的长 Ping 分公司总中心 4 关闭外网主用核心交换机电源 如双电源设备 则双路电源均须 关闭 分公司总中心 5 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总中心 CUPS 系统 ZNAP 服务 器映射后地址 确认存在二条路由 源自外网备用核心交换机 分公司总中心 6 信息总中心网络值班岗记录对机构端地址长 Ping 的丢包情况 分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 8 观察网管平台应有外网备用核心交换机报到该主用交换机 RPING 不通 OSPF NEIGHBOR DOWN 的告警 同时有防火墙报 FAILOVER 异常的告警 分公司总中心 8 通知信息总中心网络值班岗 同时开启外网主用核心交换机电源分公司总中心 9 通过 Console 口监测 记录交换机重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 10 设备正常启动后 确认动态路由邻居关系已正常建立 Sh ip ospf nei 或 Sh ip eigrp nei 分公司总中心 观察长 ping 的丢包情况 11 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总中心 CUPS 系统 ZNAP 服务器 映射后地址 确认存在四条路由 分别源自二台外网核心交换机 分公司总中心 12 登录防火墙系统检查 Failover 状态 此时防火墙系统应已发分公司总中心 生主备切换 执行以下命令 Sh failover Sh conn 确认防火墙系统 Failover 工作状态正常 主备防 火墙 TCP 链接信息已同步 13 如果 Secondary 防火墙为 Active 状态 则执行如下命令进行 回切 登录 Primary 防火墙 Standby 状态 telnet 144 x 9 x Config t Failover active 分公司总中心 14 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时分公司自查交易情况 分公司总中心 第四步 外网备用核心交换机宕机演练第四步 外网备用核心交换机宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知总中心及辖内机构 开始关闭外网备用核心交换机分公司总中心 2 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总中心 CUPS 系统 ZNAP 服务器 映射后地址 确认存在四条路由 分别源自二台外网核心交换机 分公司总中心 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 机构地址的长 Ping 分公司总中心 4 关闭外网备用核心交换机电源 如双电源设备 则双路电源均须 关闭 分公司总中心 5 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总中心 CUPS 系统 ZNAP 服务 器映射后地址 确认存在二条路由 源自外网主用核心交换机 分公司总中心 6 信息总中心网络值班岗记录对机构端地址长 Ping 的丢包情况分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 观察网管平台应有内网主用核心交换机报到该备用交换机 RPING 不通 OSPF NEIGHBOR DOWN 的告警 分公司总中心 8 通知信息总中心网络值班岗 同时开启外网备用核心交换机电源分公司总中心 9 通过 Console 口监测 记录交换机重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 观察长 ping 的丢包情况 10 设备正常启动后 确认动态路由邻居关系已正常建立 Sh ip ospf nei 或 Sh ip eigrp nei 分公司总中心 11 登录外网机构线路接入主要网络设备 执行如下命令 Sh ip route 9 234 x 21 总中心 CUPS 系统 ZNAP 服务器 映射后地址 确认存在四条路由 分别源自二台外网核心交换机 分公司总中心 12 登录防火墙系统检查 Failover 状态 执行以下命令 Sh failover 分公司总中心 Sh conn 确认防火墙系统 Failover 工作状态正常 主备防火墙 TCP 链 接信息已同步 13 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 14 确认分公司交易完全正常后 本演练场景结束分公司总中心 5 3 演练的应急处理步骤演练的应急处理步骤 在演练过程中 如网络设备关机后 交易 CUPS 系统 ZNAP 上的长 ping 或收单系统 PNAP 上的长 ping 或相关监控岗位发现告警 受影响 且在 5 分钟内无法恢复 则应立即恢复系统 如系统重启异常或无法重启则执行以下应急处理步骤 5 3 1 操作步骤操作步骤 步骤步骤操作内容操作内容 第一步分公司使用预先准备的备件进行紧急更换 第二步将原先保存的故障设备配置文件导入备件 第三步将备件接入网络 替换故障设备 第四步检查网络是否恢复正常 第五步协调集成商更换故障设备 5 3 2 操作细则操作细则 序号序号操作内容操作内容操作人操作人复核人复核人 1 与信息总中心网络岗协商后 使用预先准备的设备备件进行紧急 更换 分公司总中心 2 将原先 TFTP 服务器上保存的故障设备配置文件导入备件分公司总中心 3 将备件接入生产网络 替换故障设备分公司总中心 4 检查网络是否恢复正常 执行如下命令 Sh cdp nei 检查 CDP neighbor 是否正常建立 Sh ip ospf nei 检查路由邻居关系是否建立 Sh ip bgp sum 检查与总中心的 BGP 邻居是否建立 Sh ip bgp 检查是否已经学习到 BGP 路由 分公司总中心 5 根据维保合同 协调集成商更换故障设备分公司总中心 6演练场景三 主备防火墙宕机演练演练场景三 主备防火墙宕机演练 6 1 演练思路演练思路 1 先后关闭分公司生产主用防火墙电源 验证防火墙系统 Failover 热切换机制的有效性 2 待主用防火墙正常启动 手动回切为 ACTIVE 状态 并检查 TCP Session 已经全部同步 完成后 再关闭备用防火墙 6 2 演练步骤演练步骤 步骤步骤操作内容操作内容 第一步生产主用防火墙宕机演练 6 2 1 演练细则演练细则 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知信息总中心开始实施防火墙系统宕机演练分公司总中心 2 先后登陆分公司二台防火墙 144 x 9 x 检查防火墙系统 Failover 状态 执行如下命令 Sh failover Sh conn 确认防火墙系统 Failover 状态正常 Primary 防火墙为主用防火 墙 分公司总中心 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 机构地址的长 Ping 分公司总中心 4 关闭主用 Priamry 防火墙电源分公司总中心 5 信息总中心网络值班岗记录长 Ping 丢包情况分公司总中心 观察网管平台应有内网主用核心交换机报到 standby 防火墙 RPING 不通的告警 同时有防火墙报 FAILOVER 异常的告警 分公司总中心 6 开启防火墙电源分公司总中心 7 通过 Console 口监测 记录防火墙重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 观察长 ping 的丢包情况 8 先后登陆分公司二台防火墙 144 x 9 x 检查防火墙系统 Failover 状态 执行如下命令 Sh failover Sh conn 确认防火墙系统 Failover 状态正常 此时 Secondary 防火墙为主 用防火墙 分公司总中心 9 登陆 priamry 防火墙 此时为 standby 状态 进行手工回切 Config t Failover active 退出防火墙 分公司总中心 10 再次登陆 primary 防火墙 确认防火墙的在用 TCP Session 是否 已经全部同步 确认防火墙已经回切 primary 防火墙为 active 状态 Sh conn Sh failover 分公司总中心 11 关闭主用 Secondary 防火墙电源分公司总中心 12 信息总中心网络值班岗记录长 Ping 丢包情况分公司总中心 13 观察网管平台应有内网主用核心交换机报到 standby 防火墙 RPING 不通的告警 同时有防火墙报 FAILOVER 异常的告警 分公司总中心 14 开启防火墙电源分公司总中心 15 通过 Console 口监测 记录防火墙重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 16 观察长 ping 的丢包情况 17 先后登陆分公司二台防火墙 144 x 9 x 检查防火墙系统 Failover 状态 执行如下命令 Sh failover Sh conn 确认防火墙系统 Failover 状态正常 此时 Primary 防火墙为主用 防火墙 分公司总中心 18 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 19 确认分公司交易完全正常后 本演练场景结束分公司总中心 6 3 演练的应急处理步骤演练的应急处理步骤 在演练过程中 如网络设备关机后 交易 CUPS 系统 ZNAP 上的长 ping 或收单系统 PNAP 上的长 ping 或相关监控岗位发现告警 受影响 且在 5 分钟内无法恢复 则应立即恢复系统 如系统重启异常或无法重启则执行以下应急处理步骤 6 3 1 操作步骤操作步骤 步骤步骤操作内容操作内容 第一步分公司使用预先准备的备件进行紧急更换 第二步将原先保存的故障设备配置文件导入备件 第三步将备件接入网络 替换故障设备 第四步检查网络是否恢复正常 第五步协调集成商更换故障设备 6 3 2 操作细则操作细则 序号序号操作内容操作内容操作人操作人复核人复核人 1 与信息总中心网络岗协商后 使用预先准备的设备备件进行紧急 更换 分公司总中心 2 将原先 TFTP 服务器上保存的故障设备配置文件导入备件分公司总中心 3 将备件接入生产网络 替换故障设备分公司总中心 4 检查网络是否恢复正常 执行如下命令 Sh cdp nei 检查 CDP neighbor 是否正常建立 Sh ip ospf nei 检查路由邻居关系是否建立 Sh ip bgp sum 检查与总中心的 BGP 邻居是否建立 Sh ip bgp 检查是否已经学习到 BGP 路由 分公司总中心 5 根据维保合同 协调集成商更换故障设备分公司总中心 7演练场景四 机构接入线路主备切换与设备演练演练场景四 机构接入线路主备切换与设备演练 7 1 演练思路演练思路 3 关闭分公司所有双线路机构接入主线路接口进行演练 验证机构接入双线路切换机制的 有效性 观察并记录丢包情况 4 关闭分公司机构接入主路由器 进行宕机演练 验证机构接入双线路切换机制的有效 性 观察并记录丢包情况 5 针对分公司提供双引擎的网络设备 进行主备引擎切换演练 验证设备双引擎切换机 制的有效性 7 2 演练步骤演练步骤 步骤步骤操作内容操作内容 第一步机构接入线路切换演练 第二步机构接入路由器宕机演练 第三步机构接入路由器主备引擎切换 仅针对提供双引擎的网络设备 7 2 1 演练细则演练细则 第一步 机构接入线路的断线演练第一步 机构接入线路的断线演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知成员机构 信息总中心即将进行机构接入网络的宕机演练分公司总中心 2 通知成员机构检查银联通信 ZNAP 路由应源自机构主线接入网络设 备 分公司 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 分公司辖内银行机构地址的长 Ping 分公司总中心 4 关闭机构接入网络连接机构主线路端口分公司总中心 5 信息总中心网络值班岗观察 Ping 包丢包情况分公司总中心 6 观察网管平台应有外网主用核心交换机报到该路由器 RPING 不通 的告警 分公司总中心 7 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 8 恢复机构接入网络连接机构主线路端口分公司总中心 9 通知成员机构检查银联通信 ZNAP 路由应源自机构主线接入网络设 备 分公司 10 执行 1 9 步 演练其他机构接入线路分公司总中心 第二步 机构接入路由器的宕机演练第二步 机构接入路由器的宕机演练 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知成员机构 信息总中心即将进行机构接入路由器的宕机演练分公司总中心 3 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 分公司辖内银行机构地址的长 Ping 分公司总中心 4 逐一关闭机构备线路接入网络设备 机构单线路接入网络设备电 源 双电源设备则关闭两路电源 分公司总中心 5 信息总中心网络值班岗观察 Ping 包丢包情况 应无丢包 分公司总中心 观察网管平台应有外网主用核心交换机报到该路由器 RPING 不通 的告警 6 逐一开启上述网络设备电源 双电源设备则开启两路电源 分公司总中心 7 通过 Console 口监测 记录上述网络设备重启情况 观察重启有 无异常 如有异常 则通知信息总中心网络岗 分公司总中心 8 信息总中心网络值班岗观察 Ping 包丢包情况 应无丢包 分公司总中心 9 登陆分公司二台外网核心交换机 确认机构网段路由源自机构主 线路接入网络设备 执行如下命令 sh ip route 144 x x x 分公司辖内机构主机地址 确认机构网段路由源自机构主线路接入网络设备 分公司总中心 10 关闭机构接入主线路接入网络设备电源 双电源设备则关闭两路 电源 分公司总中心 11 信息总中心网络岗观察长 Ping 包恢复情况 并记录丢包数据分公司总中心 12 登陆分公司二台外网核心交换机 确认机构网段路由源自机构备 线路接入网络设备 执行如下命令 sh ip route 144 x x x 分公司辖内机构主机地址 确认机构网段路由源自机构备线路接入网络设备 分公司总中心 13 信息总中心交易监控岗观察分公司交易的中断与恢复情况 并记 录相关数据 分公司总中心 14 信息总中心确认 Ping 包与交易恢复后 通知分公司开启机构主线 路接入网络设备电源 双电源设备则开启两路电源 分公司总中心 15 通过 Console 口监测 记录设备重启情况 观察重启有无异常 如有异常 则通知信息总中心网络岗 分公司总中心 16 信息总中心网络值班岗观察 Ping 包丢包情况 并记录相关数据分公司总中心 17 登陆分公司二台外网核心交换机 确认机构网段路由源自机构主 线路接入网络设备 执行如下命令 sh ip route 144 x x x 分公司辖内机构主机地址 sh ip ospf nei 或 sh ip eigrp nei 确认机构网段路由源自机构主线路接入网络设备 分公司总中心 通知成员机构检查银联通信网关路由应恢复至机构主线接入网络 设备 18 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 19 执行 1 18 步 演练其他机构接入路由器分公司总中心 第三步 机构接入路由器主备引擎切换第三步 机构接入路由器主备引擎切换 仅针对配备双引擎的网络设备 序号序号操作内容操作内容操作人操作人复核人复核人 1 通知成员机构 信息总中心即将进行机构接入路由器的宕机演练分公司总中心 2 通知成员机构检查银联通信 NAP 路由应源自机构主线接入网络设 备 分公司 3 登陆分公司机构接入路由器 144 x 253 x 检查路由器 Redundancy 状态 执行如下命令 Show redundancy Show module 确认路由器统 Redundancy 状态正常 路由器第五槽位状态为 ACTIVE 第六槽位状态为 STANDBY HOT 分公司总中心 4 通知信息总中心网络值班岗登录 CUPS 系统 ZNAP 服务器 开启对 分公司辖内银行机构地址的长 Ping 分公司总中心 5 登陆机构接入路由器 输入命令 redundancy force switchover分公司总中心 6 通过 Console 口监测 记录原主用引擎重启情况 观察重启有无 异常 如有异常 则通知信息总中心网络岗 分公司总中心 7 登陆分公司二台机构接入路由器 144 x 253 x 检查路由器 Redundancy 状态 执行如下命令 Show redundancy Show module 分公司总中心 确认路由器统 Redundancy 状态正常 路由器第五槽位状态为 STANDBY HOT 第六槽位状态为 ACTIVE 8 登陆机构接入路由器 输入命令 redundancy force switchover分公司总中心 9 通过 Console 口监测 记录原备用引擎重启情况 观察重启有无 异常 如有异常 则通知信息总中心网络岗 分公司 10 登陆分公司机构接入路由器 144 x 253 x 检查路由器 Redundancy 状态 执行如下命令 Show redundancy Show module 确认路由器统 Redundancy 状态正常 路由器第五槽位状态为 ACTIVE 第六槽位状态为 STANDBY HOT 分公司总中心 11 信息总中心网络岗通知交易监控岗 检查分公司交易情况 同时 分公司自查交易情况 分公司总中心 12 执行 2 11 步 演练其他机构接入路由器引擎分公司总中心 13 确认分公司交易完全正常后 本演练场景结束分公司总中心 7 3 演练的应急处理步骤演练的应急处理步骤 在演练过程中 如网络设备关机后交易 CUPS 系统 ZNAP 上的长 ping 或收单系统 PNAP 上 的长 ping 或相关监控岗位发现告警 受影响 且在 5 分钟内无法恢复 则应立即恢复系统 如宕机重启异常或无法重启则执行以下应急处理步骤 7 3 1 操作步骤操作步骤 步骤步骤操作内容操作内容 第一步分公司使用预先准备的备件进行紧急更换 第二步将原先保存的故障设备配置文件导入备件 第三步将备件接入网络 替换故障设备 第四步检查网络是否恢复正常 第五步协调集成商更换故障设备 7 3 2 操作细则操作细则 序号序号操作内容操作内容操作人操作人复核人复核人 1 与信息总中心网络岗协商后 使用预先准备的设备备件进行紧急 更换 分公司总中心 2 将原先 TFTP 服务器上保存的故障设备配置文件导入备件分公司总中心 3 将备件接入生产网络 替换故障设备分公司总中心 4 检查网络是否恢复正常 执行如下命令 Sh cdp nei 检查 CDP neighbor 是否正常建立 Sh ip ospf nei 检查路由邻居关系是否建立 Sh ip bgp sum 检查与