银行异地灾备中心部分分行接入模拟演练方案(核心系统).doc

银行异地灾备中心部分分行接入模拟演练方案 核心系统 1 1演练目标和原则 1 11 1本次模拟场景描述本次模拟场景描述 本次演练模拟北京地区发生灾难导致我行生产环境不能对 外提供服务 异地灾备中心接到灾难宣告后 按照灾难恢复预 案中的相关切换手册 脚本 流程 启动异地灾备中心核心系 统对外提供服务 演练的系统范围为核心系统 核心卡系统 柜面系统与指 纹授权系统 演练中 XX 分行和 XX 分行部分终端通过分行至 异地灾备中心 15M ATM 线路上联异地灾备中心柜面系统虚拟 IP 地址 登录异地灾备中心柜面系统 完成核心系统基本存取款 业务等功能验证 演练在 XX 异地灾备中心设立指挥中心 模拟演练灾难恢复 预案中的灾难预警和灾难宣告的通知流程 1 21 2演练目标演练目标 本次演练拟实现如下目标 1 验证异地核心系统迁移后 异地核心群系统接管生产 的可用性 2 验证异地灾备中心 EMC TimeFinder clone 和 IBM Flashcopy 可用性 2 3 检验恢复预案和切换回切手册的有效性和可用性 并 在演练过程中发现信息系统应急管理体系存在的问题和不足 以便演练后进行改进和完善 4 验证分行终端接入异地灾备中心网络能力 5 使参演人员熟悉应急管理和灾难恢复的流程 提高参 演人员的应急处理能力和系统的风险防控能力 1 31 3演练原则演练原则 本次演练的计划和实施将遵循以下原则 1 不影响全行生产环境各系统的正常运行 2 不影响异地灾备中心数据复制的正常运行 3 不影响异地灾备中心接管生产系统能力 4 不影响参演分行对外提供服务 1 41 4演练时间 地点及参演人员演练时间 地点及参演人员 1 演练时间 2013 年 6 月 1 日 8 30 12 00 2 演练地点 异地灾备中心 XX 分行 XX 分行 3 演练指挥 信息科技部负责人 演练副指挥 xxx 4 参演部门 信息技术部应急与灾备室 网络管理室 科技开发中心开发三室 XX 分行 XX 分行 5 演练支持部门 科技开发中心技术与业务测试室 XX 分行 6 演练组织 信息技术部应急与灾备室 3 7 参演人员 总行 信息技术部应急与灾备室 网络管理室 科 技开发中心开发三室 XX 分行 信息技术部负责人 网络技术人员 1 人 分行营业部 2 人 作业中心 1 人 XX 分行 网络技术人员 1 人 分行营业部 2 人 作 业中心 1 人 公司 电信集成 能通 EMC IBM 8 参演终端详细信息 IP 地址所属营业部所属营业部地址 终端 1XX 分行营业部 XX 市河西区宾水道 增 9 号 终端 2XX 分行营业部 XX 市河西区宾水道 增 9 号 终端 3XX 分行营业部XX 市庆春路 73 号 终端 4XX 分行营业部XX 市庆春路 73 号 2 2演练组织架构和人员名单 2 12 1演练组织架构演练组织架构和职责和职责 为了加强本次演练组织管理 确保演练工作的顺利进行 按照总行应急管理办法及异地灾备中心灾难恢复预案成立以下 工作组 负责制定演练计划 组织实施演练工作 对演练结果 进行总结汇报 4 应急领导小组 应急执行小组 灾难恢复工作小组 系统恢复小组 网络恢复小组 分行业务恢复小组 外部专家支持组 参与本次演练的各工作组角色与职能如下 2 1 1 应急领导小组 应急领导小组组长由信息技术部负责人担任 主要职责是 1 负责对异地灾备中心发起灾难预警和灾难宣告 2 负责对演练过程中出现的异常情况进行决策 工作地点 异地灾备中心 XX 2 1 2 应急执行小组 应急执行小组组长由信息技术部分管应急工作的副总经理 担任 下设灾难恢复工作小组 系统恢复小组 网络恢复小组 分行业务恢复小组和外部专家组 由总行网络管理室 开发三 室 应急与灾备室成员 异地灾备中心维护人员 分行信息科 技部人员 分行业务人员和合作厂商人员组成 2 1 2 1 灾难恢复工作小组 由应急与灾备室人员和合作厂商成员组成 主要职责是 1 负责演练过程中的跟踪和记录 2 负责协助演练实施完成演练工作 解决过程中问题 5 3 演练过程发现并记录问题 后续优化灾备恢复流程与 演练流程 4 负责撰写演练总结报告 工作地点 异地灾备中心 XX 2 1 2 2 系统恢复执行小组 系统恢复小组由应急与灾备室 开发三室 合作厂商人员 组成 主要职责是 1 负责异地灾备中心系统设备的检查 2 负责应用系统的切换和回退工作 3 负责演练过程中核心系统的启动和停止工作 工作地点 异地灾备中心 XX 2 1 2 3 网络恢复执行小组网络恢复执行小组 网络恢复小组由应急与灾备室 网络管理室 合作厂商人 员组成 主要职责是 1 负责异地灾备中心网络设备的检查 2 负责异地灾备中心通信网络的切换和回退工作 工作地点 异地灾备中心 XX 2 1 2 4 分行业务恢复小组分行业务恢复小组 分行业务恢复小组由分行作业中心 1 人 分行营业部 2 人 和信息科技部 1 人组成 主要职责是 1 作业中心人员负责支持业务案例测试工作 2 分行营业部人员负责在柜面终端上进行测试案例的执 6 行工作 3 信息科技部人员负责调整及恢复分行柜面系统环境 协调并解决演练期间分行出现的技术问题 工作地点 XX 分行 XX 分行 2 1 2 5 外部专家支持组 外部专家组由中国电信 IBM EMC 能通等公司派员组成 主要职责是负责为演练提供相关技术支持和服务 工作地点 异地灾备中心 XX 2 22 2演练组织成员及名单演练组织成员及名单 工作组工作组人员人员 演练指挥信息技术部负责人 演练副指挥 演练主持 应急领导组组长 信息技术部负责人 组长组长 灾难恢复工 作小组 应急与灾备室人员 合作厂商人员 系统恢复小 组 应急与灾备室人员 开发三室人员 合作厂商成员 应急 执行 组 网络恢复小 组 应急与灾备室人员 网络管理室人员 7 合作厂商成员 分行业务恢 复小组 XX 分行技术人员 XX 分行营业部人员 XX 分行作业中心人员 XX 分行技术人员 XX 分行营业部人员 XX 分行作业中心人员 外部专家支 持组 电信 IBM EMC 能通 3 3演练方案 3 13 1演练内容演练内容 1 在 XX 异地灾备中心设立指挥中心 模拟演练灾难恢复 预案中的灾难预警和灾难宣告的通知流程 2 灾难预警状态下服务器 存储 网络等 IT 设备状态检 查工作 3 灾难宣告后启动异地灾备中心核心系统 核心卡系统 柜面系统和指纹授权系统 4 参与测试分行确认与灾备中心的通信正常 5 分行技术人员确认能从分行终端接入 分行柜员用自 己的柜员账号登入异地灾备中心柜面系统 在输入账号密码后 8 可以正常登入并进行数据测试和业务测试 6 按照事先制订好的业务验证案例完成业务测试 7 业务验证测试完成后 进行异地灾备中心各网络系统 和应用系统恢复 异地灾备中心系统恢复正常运行 3 23 2演练当日总体安排演练当日总体安排 6 月月 1 日日工作事项工作事项 8 15 8 30异地灾备中心演练人员 生产中心演练人员 XX 分行 XX 分行演练人员到位 8 45 8 50应急领导小组组长做出灾难预警决策 8 50 9 15应急执行小组执行 IT 系统巡检工作 9 15 9 20应急领导小组组长进行灾难宣告 9 20 10 45应急执行小组执行 IT 系统切换工作 10 45 10 50 通知应急领导小组切换完成 通知 XX 分行 XX 分行进行系统功能验证 10 50 11 40 业务人员进行系统功能验证及对外提供服务 11 40 12 00 汇报切换和测试结果 领导总结发言 演练结 束 9 3 33 3演练流程演练流程 部分分行接入模拟演练流程 异地灾备中心值 班人员 应急领导小组应急执行小组相关文档 灾难恢复阶段预警阶段灾难宣告阶段 开始 预警决策 确认预警有效 性 通知恢复小组 人员到位 发出预警通知 异地灾备中心资源准备和环境检查 向应急执行小 组报告预警工 作完成 接到报告 异 地灾备中心已 进入预警状态 灾难宣告决策 确认宣告有效 性 启动灾难恢复切换工作 向应急领导小 组报告已进入 预警状态 报告应急执行 小组切换完成 接到报告 宣 布灾难恢复完 成 参演分行业务 验证 结束 IT基准文档 演练工作记录单 业务测试工作记 录单 发出灾难宣告 通知 报告应急领导 小组切换完成 通知参演分行 进行业务验证 灾难恢复预案及 切换手册 演练工作记录单 业务验证完成 10 3 43 4演练步骤演练步骤 序号任务负责人开始时间 1演练启动 1 1 参演人员到位8 15 1 2 讲述演练规则和内容演练主持 8 30 1 3 领导讲话8 35 1 4 宣布演练正式开始8 43 2 灾难预警决策应急领导 小组 8 45 2 1 立即按预案进行异地灾备环境的预警 工作开展 应急执行 小组 8 45 2 2 由应急执行小组成员负责进行人员召 集的工作 应急执行 小组成员 8 50 2 3 预警状态检查 网络环境确认 系统及相关环境确认 DS8700 存储状态确认 VMAX 存储状态确认 MGM 数据复制状态确认 SRDF 数据复制状态确认 基础设施状态进行确认 系统恢复 执行小组 系统运 维岗 数 据备份运 维岗 网络恢复 执行小组 8 50 11 网络运 维岗 3灾难宣告9 15 3 1 灾难宣告决策应急领导 小组 9 15 3 2 启动 XX 银行异地灾难环境 核心 系统 灾难恢复预案 进行 IT 系统 切换 应急执行 小组 9 20 4模拟 IT 切换9 20 4 1 1 在核心系统主机上删除 DR 盘 1 确认核心系统主机上存储盘无 卷组信息 2 在主机上删除存储盘 2 在核心卡系统主机上删除 DR 盘 1 确认核心卡系统主机上存储盘无 卷组信息 2 在主机上删除存储盘 3 在指纹授权系统主机上删除 DR 盘 1 确认指纹授权系统主机上存储盘 无卷组信息 系统恢 复执行 组 9 20 12 2 在主机上删除存储盘 4 在柜面系统主机上删除 DR 盘 5 暂停 MGM 数据复制 6 生成 FlashCopy 1 生成核心卡系统的 FlashCopy 2 生成指纹授权系统的 FlashCopy 3 生成柜面系统的 FlashCopy 7 恢复 MGM 数据复制 8 修改 DS8700 的存储映射 1 连接到 DS8700 存储 2 修改核心卡系统的存储映射 3 修改指纹授权系统的存储映射 4 修改柜面系统的存储映射 9 生成核心系统的 Timefinder clone 10 修改核心系统 VMAX 的存储 映射 11 在核心系统主机上识别 Timefinder clone 盘 12 在核心卡系统主机上识别 FlashCopy 盘 13 在指纹授权系统主机上识别 13 FlashCopy 盘 14 在柜面系统主机上识别 FlashCopy 盘 15 启动核心卡系统 1 核心卡系统服务器激活卷组 2 设置数据库运行环境 3 启动核心卡系统数据库 4 启动核心卡系统应用 16 启动核心系统 1 核心系统服务器激活卷组 2 设置数据库运行环境 3 启动核心系统数据库 4 启动核心系统应用 17 启动指纹授权系统应用 1 指纹授权系统服务器激活卷组 2 启动指纹授权系统数据库与应用 18 启动柜面系统应用 1 启动 SQL Server 故障转移群集 2 启动打印服务器和文件服务器 3 启动终端服务器和应用服务器 4 配置打印服务端口 5 连接到打印机 14 4 3确认各系统切换流程执行完毕 灾备恢复 工作组 10 45 4 4通知指挥小组切换完成 灾备恢复 工作组 10 45 4 5 业务验证 1 业务功能验证 2 数据追补 3 分行柜员交易测试 灾难恢复 验证组 参演分 行人员 灾难恢复 执行组 系统运 维岗 数 据备份运 维岗 10 50 5演练总结11 40 5 1切换和测试结果汇报 演练主 持 11 40 5 2领导讲话11 45 6系统回退14 00 6 1 1 停止柜面系统应用 1 停止应用服务器和终端服务器 2 停止打印服务器和文件服务器 应急执行 组 系统 运维岗 14 00 15 3 停止 SQL Server 故障转移群集 2 停止指纹授权系统应用 1 清空指纹授权数据库数据 2 恢复指纹授权数据库数据 3 停止指纹授权应用与数据库 4 卸载文件系统 关闭卷组 3 停止核心系统 1 停止应用 2 停止数据库 3 卸载文件系统 关闭卷组并导出 4 停止核心卡系统应用系统 1 停止应用 2 停止数据库 3 卸载文件系统 关闭卷组并导出 5 在核心系统主机上删除 Timefinder clone 盘 6 在核心卡系统主机上删除 FlashCopy 盘 7 在指纹授权系统主机上删除 FlashCopy 盘 8 修改核心系统 VMAX 的存储 映射 数据备份 运维岗 16 9 修改 DS8700 的存储映射 1 连接到 DS8700 存储 2 修改核心卡系统的存储映射 3 修改指纹授权系统的存储映射 4 修改柜面系统的存储映射 10 在核心系统主机上识别 DR 卷 11 在核心卡系统主机上识别 DR 卷 12 在指纹授权系统主机上识别 DR 卷 13 在柜面系统主机上识别 DR 卷 6 2 网络回退 1 修改演练分行终端 RDP IP 2 在管理虚拟防火墙上开通 VIP 109 200 3 239 的防火墙策略 应急执行 小组 网 络运维岗 14 00 注 在操作期间异地灾备中心管理岗每 30 分钟向演练领导小组 汇报实施进度情况 3 53 5预警状态检查预警状态检查内容内容 在接入测试演练前 要检查异地灾备中心的存储设备 服 务器和网络环境 确认异地灾备中心的存储设备 服务器和网 络运行正常 具备分行接入演练的条件 异地灾备中心所有设 备信息详见 XX 银行异地灾备中心 IT 基准 文档 17 3 5 1 服务器状态检查 根据设备信息表 通过跳板机 IP 109 200 3 88 登陆核心 系统 IP 109 200 3 11 核心卡系统 IP 109 200 3 109 指纹授 权系统 IP 109 200 13 输入以下命令进行检查 errpt errpt d H T PERM 硬件告警信息 errpt d S T PERM 软件告警信息 errpt aj df m 查看文件系统的利用率 是 否有超过 80 lsdev Cc adapter 是否有失效的状态 lsvg l 卷是否有 stale 状态 topas 查看 io 性能 lsps s lspa a 交换区使用情况 netstat in 网络检查 netstat rn 路由查看 ping 110 19 1 1 查看与网关的通信 3 5 2 WINDOWS 主机状态检查 1 通过终端机 远程桌面连接 连接到各柜面系统服务 器 2 检查硬件是否告警 3 查看磁盘空间利用率是否超过 80 18 4 检查数据库运行状态是否正常 3 5 3 DS8700 存储设备状态检查 3 5 3 1 登录 通过远程桌面连接 109 200 3 88 中转服务器 登录后 再 通过远程桌面连接 ydtpcserver 109 200 3 87 服务器 登录后 点击开始 所有程序 IBM Tivoli Storage Productivity Center Productivity Center 启动 IBM Tivoli Storage Productivity Center 在弹出对话框中 输入用户名 administrator 密码及 TPC 服务器地址 109 220 2 15 9549 打开 TPC 界面 3 5 3 2 查看存储状态 点击 Element Management 启动 Element Manager 管理界 面 点中 DS8700 存储设备 从 Select Action 下拉框中选择 Launch Default Element Manager 弹出 FireFox 浏览器窗口 输 入用户名 admin 及密码后 进入 IBM System Storage DS 监控界 面 点击 Home System Status 检查设备状态信息 确认状态 Status 是 Normal 的 点击 Normal 链接 检查存储设备状态详 情 3 5 3 3 检查数据复制情况 通过远程桌面连接 XXTPCserver 服务器 登录后 在 FireFox 浏览器地址栏中输入 https 109 200 2 15 3443 CSM 输 入用户名 administrator 与密码 进入 TPC R 管理界面 在 TPC R 中 点击 Management Servers 选项 右边显示 Status 为 19 Synchronized 为正常同步状态 3 5 3 4 数据复制状态检查 点击 Sessions 链接 查看 HXB MGM Session 状态 正常 情况 status 是 normal 与 Prepared 的 在 Role Pair 下 点击 H1 H2 和 H2 H3 查看卷复制进度 点击 HX MGM Session Global Mirror info 查看 RPO 时 间 3 5 3 5 检查 FLASHCOPY 状态 点击 session 选择 H3 FC bancs session 显示出 H1 T1 之间 的状态 点击 H1 T1 显示 flashcopy 卷的对应关系 点击 show 显示每对 lun 的详细信息 核心卡系统和柜面系统的状态查看与此类似 3 5 4 VMAX 存储设备状态检查 在异地灾备中心跳板机上打开 IE 浏览器 输入 https 109 200 3 190 8443 打开 EMC Unisphere 界面 输入用 户名 monitor 和密码进入监控界面 通过 Dashboard 可以监控报警情况 如下 20 3 5 5 384B 交换机状态检查 通过 telnet 连接到交换机 IP 地址 109 220 5 183 109 220 5 184 输入用户名 admin 及密码 登录交换机 switchstatusshow 检查设备总体状态 Healthy OK 为正常 Marginal Warning 视具体情况判定正常或者非正常 errshow 查看错误内容 有无硬件报错 switchshow 检查端口状态是否正常 3 5 6 B80 交换机状态检查 通过 telnet 连接到交换机 IP 地址 109 220 2 13 109 220 2 14 输入用户名 admin 及密码 登录交换机 switchstatusshow 检查设备总体状态 Healthy OK 为正常 21 Marginal Warning 视具体情况判定正常或者非正常 errshow 查看错误内容 有无硬件报错 switchshow 检查端口状态是否正常 3 5 7 R06 路由器状态检查 通过 telnet 连接到交换机 输入用户名 admin 及密码 登 录交换机 主机IP 109 220 2 11 109 220 3 4 109 220 3 20 109 220 3 36 R06 3 1 109 220 3 52 109 220 2 12 109 220 3 68 109 220 3 84 109 220 3 100 R06 3 2 109 220 3 116 switchstatusshow 检查设备总体状态 屏幕显示状态 Healthy OK 为正常 Marginal Warning 视具体情况判定正常或者非正常 errshow 查看错误内容 有无硬件报错 switchshow 检查端口状态是否 online 22 portshow fciptunnel all 查看 16 17 18 19 tunnel 是不 是 up 状态 3 5 8 加密机设备状态检查 通过终端服务器登录加密机 telnet 110 19 1 198 6666 telnet 110 19 1 199 6666 无错误提示则可验证加密机状态正常 3 5 9 负载均衡设备状态检查 在跳板机上通过 IE 登录负载均衡设备 登录方式为 https 109 200 3 239 8888 进入到负载均衡设备管理界面 检查设备运行状态及各个 虚拟机是否正常 3 5 10 网络设备状态检查 在异地灾备中心跳板机上通过 ping 命令检查异地网络连接 状态 ping 109 255 254 1 异地机房核心交换机 1 ping 109 255 254 2 异地机房核心交换机 2 ping 109 255 254 3 异地机房生产接入交换机 ping 109 255 254 4 异地机房管理接入交换机 ping 109 255 254 5 异地机房操作间接入交换机 ping 109 240 3 10 异地机房管理虚拟防火墙 ping 109 240 3 12 异地机房生产虚拟防火墙 23 ping 109 2401 3 连接西三旗路由器 ping 109 240 1 4 连接亦庄路由器 分行指定终端测试与异地灾备中心的网络连接 ping 分行测试终端 ip 分行连接异地灾备中心路由器 3 63 6异地灾备中心删除异地灾备中心删除 DRDR 盘盘 3 6 1 在异地灾备中心核心系统主机上删除存储盘 注 在灾备中心就绪状态下操作系统已识别到存储 DR 卷 应用卷组未被导入 3 6 1 1 确认主机上不存在应用卷组 确认应用卷组不存在 若卷组存在 再检查卷组是否激活 应用文件系统是否挂载 应用与数据库是否运行 lsvg 输出结果如下 rootvg oravg testvg pagevg 3 6 1 2 在主机上删除存储盘 powermt remove hba all lsdev Ctpower Fname xargs l rmdev dl hdiskpower0 deleted hdiskpower1 deleted 24 hdiskpower2 deleted Hdiskpower38 deleted hdiskpower39 deleted powerpath0 deleted lsdev CtSYMM Fname xargs l rmdev dl 输出结果如下 hdisk18 deleted hdisk19 deleted hdisk20 deleted hdisk175 deleted hdisk176 deleted hdisk177 deleted 3 6 2 在异地灾备中心核心卡系统主机上删除存储盘 注 在灾备中心就绪状态下操作系统已识别到存储 DR 卷 应用卷组未被导入 3 6 2 1 确认主机上不存在应用卷组 确认应用卷组不存在 若卷组存在 再检查卷组是否激活 应用文件系统是否挂载 应用与数据库是否运行 lsvg 输出结果如下 25 datavg pagevg rootvg 3 6 2 2 在主机上删除存储盘 lspv grep vpath awk print 1 xargs n 1 rmdev Rdl 输出结果如下 vpath0 deleted vpath1 deleted vpath2 deleted vpath19 deleted vpath20 deleted vpath21 deleted lsdev Cc disk grep 2107 awk print 1 xargs n 1 rmdev Rdl 输出结果如下 hdisk16 deleted hdisk17 deleted hdisk18 deleted hdisk101 deleted hdisk102 deleted 26 hdisk103 deleted lspv grep vpath 确认主机上无 vpath 磁盘 lsdev Cc disk grep 2107 确认主机上无 DS8700 磁盘 3 6 3 在异地灾备中心柜面系统主机上删除存储盘 3 6 3 1 停止打印服务器和文件服务器 使用域管理员帐号登录 X3850 3 服务器 打开 Hyper V 管 理器 确认 ydfileserver 服务器和 ydprintserver 服务器已关闭 3 6 3 2 停止 SQL SERVER 故障转移群集 使用域管理员帐号登录 X3850 11 服务器 依次选择 开始 管理工具 故障转移群集管理器 打开故障转移群集 管理器 在 服务和应用程序 页面中 确认 SQL Server MSSQLSERVER 和 ydbldbfs 脱机 27 在 存储 页面中 将 群集磁盘 6 脱机 3 6 4 在异地灾备中心指纹授权系统主机上删除存储盘 注 在灾备中心就绪状态下操作系统已识别到存储 DR 卷 应用卷组未被导入 3 6 4 1 确认主机上不存在应用卷组 确认应用卷组不存在 若卷组存在 再检查卷组是否激活 应用文件系统是否挂载 应用与数据库是否运行 lsvg 输出结果如下 rootvg pagevg 3 6 4 2 在主机上删除存储盘 lspv grep vpath awk print 1 xargs n 1 rmdev Rdl 28 输出结果如下 vpath0 deleted vpath1 deleted vpath2 deleted vpath3 deleted lsdev Cc disk grep 2107 awk print 1 xargs n 1 rmdev Rdl 输出结果如下 hdisk4 deleted hdisk5 deleted hdisk6 deleted hdisk17 deleted hdisk18 deleted hdisk19 deleted lspv grep vpath 确认主机上无 vpath 磁盘 lsdev Cc disk grep 2107 确认主机上无 DS8700 磁盘 3 73 7异地灾备中心准备克隆盘异地灾备中心准备克隆盘 3 7 1 检查 TPC 的状态 确认 HXB MGM Session 状态是 Normal 且 Prepared 如下 图所示 29 3 7 2 暂停 HXB MGM Session MGM H2 H3 数据复制 选中 HXB MGM Session 名 从 Select Action 下拉菜单中 选择 SuspendH2H3 并点击 Go 如下图所示 待弹出警告框后 选择 Yes 如下图所示 30 完成后 HXB MGM Session 状态是 Suspended 且 Recoverable 的 Master State 是 Paused 的 如下图所示 31 3 7 3 生成核心卡系统和柜面系统的 FlashCopy 3 7 3 1 生成核心卡系统系统的 FlashCopy 在 TPC R 中 选中 H3 FC BancsCard FlashCopy 类型的 Session 点击下拉菜单中的 Flash 如下图所示 在弹出框中点击 YES 生成 FlashCopy 32 3 7 3 2 生成柜面系统系统的 FlashCopy 在 TPC R 中 选中 H3 FC BancsLink FlashCopy 类型的 Session 点击下拉菜单中的 Flash 如下图所示 33 在弹出框中点击 YES 生成 FlashCopy 3 7 4 恢复 MGM 数据复制 选中 HXB MGM Session 名 从 Select Action 下拉菜单中 34 选择 Start H1 H2 H3 并点击 Go 如下图所示 待弹出警告框后 选择 Yes 如下图所示 完成后 HXB MGM Session 状态是 Normal 且 Prepared 的 35 复制进度已 100 完成 如下图所示 3 7 5 修改核心卡系统和柜面系统 DS8700 的存储映射 3 7 5 1 修改异地灾备中心核心卡系统的存储映射 用 DSCLI 登录到异地灾备中心的 DS8700 把映射给 AIX 主机的盘由 DR 卷改成 FlashCopy 卷 用 lshostconnect l 命令来检查并记录当前 DS8700 hostconnect 的状态 36 执行下面命令删除核心卡系统 DR 卷的映射 rmhostconnect dev IBM 2107 75ZT361 0002 rmhostconnect dev IBM 2107 75ZT361 0003 执行下面命令添加核心卡系统的 FlashCopy 卷的映射 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D7B644 hosttype pSeries volgrp V5 ioport I0003 I0002 YD BCARD FCS4 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D7AFCE hosttype pSeries volgrp V5 ioport I0203 I0202 YD BCARD FCS6 3 7 5 2 修改异地灾备中心柜面系统的存储映射 用 DSCLI 登录到异地灾备中心的 DS8700 把映射给 Windows 主机的盘由 DR 卷改成 FlashCopy 卷 用 lshostconnect l 命令来检查并记录当前 DS8700 hostconnect 的状态 37 执行下面命令删除柜面系统 DR 卷的映射 rmhostconnect dev IBM 2107 75ZT361 0004 rmhostconnect dev IBM 2107 75ZT361 0005 rmhostconnect dev IBM 2107 75ZT361 0006 rmhostconnect dev IBM 2107 75ZT361 0007 rmhostconnect dev IBM 2107 75ZT361 000A rmhostconnect dev IBM 2107 75ZT361 000B 执行下面命令添加柜面系统业务系统的 FlashCopy 卷的映 射 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D4BD30 hosttype pSeries volgrp V12 ioport I0201 I0200 BLINK 1 P0 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D44336 hosttype pSeries volgrp V12 ioport I0001 I0000 BLINK 1 P1 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D4A04C hosttype pSeries volgrp V12 ioport I0203 I0202 BLINK 2 P0 38 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D5BDA0 hosttype pSeries volgrp V12 ioport I0003 I0002 BLINK 2 P1 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9CC2B8E hosttype pSeries volgrp V26 ioport I0001 I0000 BLINK 3 P0 mkhostconnect dev IBM 2107 75ZT361 wwname 10000000C9D5EBE8 hosttype pSeries volgrp V26 ioport I0201 I0200 BLINK 3 P1 3 7 6 生成核心系统的 Clone 卷 在异地灾备中心操作间前排右侧联想 PC 上点击 异地跳板 机 图标 通过远程桌面连接 109 200 3 88 异地跳板机 然 后通过 SecureCRT 登录到 V MAX 控制机 IP 地址 109 200 3 14 上 var emc BANCS clone clone recreate sh var emc BANCS clone clone activate sh 3 7 7 修改核心系统 VMAX 的存储映射 在异地灾备中心操作间前排右侧联想 PC 上点击 异地跳板 机 图标 通过远程桌面连接 109 200 3 88 异地跳板机 然 后通过 SecureCRT 登录到 V MAX 控制机 IP 地址 109 200 3 14 上 usr symcli bin symaccess sid 0310 name sg bancs type 39 storage add devs 22E9 2411 usr symcli bin symaccess sid 0310 name sg bancs type storage add devs 2419 2671 usr symcli bin symaccess sid 0310 name sg bancs type storage remove devs 1879 1AD1 usr symcli bin symaccess sid 0310 name sg bancs type storage remove devs 1B29 1C51 3 7 8 在异地灾备中心核心系统主机上识别 TimeFinder clone 盘 cfgmgr v lspv lsdev Cc disk 3 7 9 在异地灾备中心核心卡系统主机上识别 FlashCopy 盘 cfgmgr v lspv lsdev Cc disk datapath query device grep i SERIAL datapath query device grep i SERIAL wc l 发现 22 个 vpath 盘 LunID 如下 2400 2409 2500 2509 2600 2700 3 7 10在异地灾备中心柜面系统主机上识别 FlashCopy 盘 使用域管理员帐号登录 109 200 3 32 x3850 3 服务器 40 109 200 3 85 x3850 11 109 200 3 86 x3850 12 服务器 选择 开始 所有程序 管理工具 服务器 管理器 存储 磁盘管理 点击右下磁盘 在 操作 菜单下选择重新扫描磁盘 发现脱机磁盘 选择 开始 所有程序 Subsystem Device Driver DSM Subsystem Device Driver DSM 打开命令行窗口 输入命令 datapath query device 检查 SERIAL 值中的 LunID x3850 3 服务器 LunID 如下 4400 4500 4600 x3850 11 12 服务器 LunID 如下 4401 4501 4700 使用域管理员帐号登录 X3850 11 和 X3850 12 服务器 确 保两台服务器均挂载了 SQL Server 服务器数据卷 S 262G 备份卷 H 262G 和仲裁盘 Q 10G 如下图所示 41 使用域管理员帐号登录 X3850 3 服务器 确保服务器挂载 了文件服务器卷和打印服务器卷 如下图所示 3 83 8异地灾备系统启动异地灾备系统启动 3 8 1 启动核心系统 本次测试场景为日间联机交易模式 所以按照日间模式启 动相应的资源 3 8 1 1 核心系统服务器激活卷组 导入卷组 sh usr drscipt importvg sh 激活并挂载卷组 mount sh 查看卷组是否激活 lsvg lsvg o 42 确认 bancs1vg p012vg p013vg p014vg archlogvg 已激 活 df g 确认以下文件系统已挂载 fns fns p fns ps fns pd appl qqs bak VAC arc p01 2 log arc p013 log arc rman bak arc p014 log 3 8 1 2 设置数据库运行环境 修改数据库设备权限 chown oracle dba dev p01 a u w z chown R oracle dba arc 使用 ls alt dev rp01 查看命令执行结果 调整与加密机关联配置文件 cp usr drscript hsm conf fns p r exe ls rlt fns p r exe hsm conf 3 8 1 3 启动核心系统数据库 启动数据库 su oracle dbstart 启动数据库监听 lsnrctl start 检查数据库是否启动成功 ps ef grep smon 43 命令输出参考结果如下 oracle 229684 1 0 Jul 19 0 06 ora smon p013bans oracle 156792 1 0 Jul 19 0 03 ora smon p014banr oracle 103738 1 0 Jul 19 0 07 ora smon p012band 3 8 1 4 启动核心系统应用 检查批量处理任务执行时生成的日志文件 确定批量处理 任务完成情况及联机交易处理时段 按照联机交易处理时段以 不同用户启动应用 检查批量处理任务状态 注意 确认日结完成情况 是否进入夜间联机交易处理时 段 启动应用 su fnsonlp c bancsstart su fnsonlpd c bancsstart 检查应用状态 su fnsonlp qtest 检查核心系统控制用户进程是否正常 exit su fnsonlpd 44 qtest 检查核心系统应用进程是否正常 bncr0004 检查应用启动状态 jso rte 3 8 2 启动核心卡系统 3 8 2 1 核心卡系统服务器激活卷组 导入卷组 importvg y cardvg f n vpath2 importvg y pcardvg f n vpath0 importvg y orchlogvg f n vpath20 激活卷组 varyonvg f n cardvg varyonvg f n pcardvg varyonvg f n archlogvg 查看卷组 lsvg lsvg o 确认 cardvg pcardvg archlogvg 已激活 3 8 2 2 设置数据库运行环境 加载文件系统 usr bin mount sh 修改数据库设备权限 chown oracle dba dev pcard a u w z 45 使用 ls rlt dev pcard a u w z 查看命令执行结果 3 8 2 3 调整与加密机关联配置文件 修改 IP 地址为灾备环境加密机 IP 地址 cp usr drscript hsm conf fns p t lib external ls rlt fns p t lib external hsm conf 输出结果如下 rwxrwxr x 1 fnstpcp fnspr 188 Jul 27 11 12 hsm conf 3 8 2 4 启动核心卡系统数据库 启动数据库 su oracle dbstart 启动数据库监听 lsnrctl start 检查数据库是否启动成功 ps ef grep oracle 3 8 2 5 启动核心卡系统应用 su fnstpcp tpstart 3 8 2 6 检查核心卡系统运行是否正常 tm 46 3 8 3 启动指纹授权系统应用 3 8 3 1 指纹授权系统服务器激活卷组 导入卷组 importvg y datavg f vpath0 激活卷组 varyonvg f datavg 查看卷组是否激活 lsvg lsvg o 确认 datavg 已激活 3 8 3 2 启动指纹授权系统数据库与应用 cd hacmp zwrz start sh 3 8 4 启动柜面系统应用系统 3 8 4 1 确认系统卷 确认柜面系统系统所使用的卷可用 包括 SQL Server 服务 器数据卷 备份卷 仲裁盘 文件服务器卷和打印服务器卷 使用域管理员帐号登录 X3850 11 和 X3850 12 服务器 确 保两台服务器均挂载了 SQL Server 服务器数据卷 S 262G 备份卷 H 262G 和仲裁盘 Q 10G 使用域管理员帐号登录 X3850 3 服务器 确保服务器挂载 了文件服务器卷和打印服务器卷 47 3 8 4 2 启动数据库集群 启动 SQL Server 故障转移群集 并更新 SQL Server 数据库 依次选择 开始 管理工具 故障转移群集管理 器 打开故障转移群集管理器 在 服务和应用程序 页面中 将 SQL Server MSSQLSERVER 联机 在相同页面下 将 ydbldbfs 联机 在 存储 页面中 将 群集磁盘 6 联机 打开 SQL Server Management Studio 控制台 使用帐号 sa 密码 hxb qqs 登录 接着点击工具栏上的 新建查询 按 钮 将 X3850 11 服务器 C queue update sql 文件中的内容拷贝 到新建查询脚本中后执行该脚本 以更新 workflow HXB 数据 库中的数据 3 8 4 3 启动打印服务器和文件服务器 使用域管理员帐号登录 X3850 3 服务器 打开 Hyper V 管 理器 启动 ydfileserver 服务器 在相同页面下 启动 ydprintserver 服务器 3 8 4 4 启动终端服务器和应用服务器 使用本地管理员帐号登录 X3850 1 和 X3850 2 服务器 打 开 Hyper V 管理器 启动 ydappserver1 12 虚拟机服务器 使用本地管理员帐号登录 X3850 4 和 X3850 10 服务器 打 开 Hyper V 管理器 启动 ydzdserver1 41 虚拟机服务器 48 使用域管理员帐号依次登录 ydappserver1 12 虚拟机 在 每台应用服务器中启动 应用程序池 bancslink 和网站 bancslink 等待应用程序池 bancslink 和网站 bancslink 正常启动后 在 Internet 信息服务 IIS 管理器中浏览 bancslink 网页 3 8 4 5 配置打印服务端 根据参加演练的机构配置打印服务端口 使用域管理员帐号登录 ydprintserver 虚拟机服务器 依次 选择 开始 管理工具 打印管理 在 端口 中新 增灾备中心的四台打印机端口 在 打印机 列表中 根据参加演练分行的机构号查询 查询到后修改其对应的端口为第一步中增加的端口 以便演练 过程中能够正常打印 用户使用机构代码帐号登录终端服务器后 要首先运行桌 面上的 连接到打印机 批处理文件 才能正常使用打印机 4 4演练前准备 4 14 1异地灾备环境现状异地灾备环境现状 XX 银行按照 两地三中心 总体架构建设异地灾备中心 和同城灾备中心 异地灾备中心实施