基于Data Guard技术的江西邮政储蓄数据库迁移的设计与实现.doc

工 程 硕 士 研 究 生 学 位论文 人申请 学 位论文与 资 料若有 不 实之 处 ， 本 人承担 一切相 关 责任 。垫 盗本 人签名：本 人完全了解 北 京邮电大学 有 关 保 留和使 用 学 位论文的 规定， 即：研究 生在校攻 读 学 位期间论文工 作 的 知识 产权单 位属 北 京邮电大学 。 学 校有 权保 留并向 国家有 关 部门 或 机构 送交论文的 复 印 件 和磁 盘， 允许学 位论文被 查 阅和借阅； 学 校可 以 公布学 位论文的 全 部或 部分内 容 ， 可 以 允许采 用 影 印 、 缩 印 或 其 它 复 制 手 段保 存 、 汇编 学 位论文。本 人签名： 每。书 江西 邮政 储蓄 数据 库 迁 移的 设计 与实现迁 移方案设 计 时， 本 文研 究 了 心；譬鸭 ， 瓹 馢 目收 钕低辰峁 埂 收 钊砑 低 彻 苣？ 榻峁 埂 收 钕低 橙砑 峁 埂 钜滴 衩 式 樯 堋际 酢 渲 媒 樯 堋； 浇 樯 堋攀 谱 芙帷数据 库 迁 移难 点 分析方案介绍 课题 背 景迅猛 发展， 现 有邮 政 储蓄 系统 的 处理 能力 已 凸 显不 足 ， 在业务 高 峰 期 时， 出现 系统 处理 不 能满 足 业务 需求的 现 象 。储蓄 主机 和数 据 库 所在磁盘 阵 列 都 已 运 行 六 年多 ， 磁盘 在业务 繁 忙时很容易 达 到 诵 校 坏 列 创锏 时，数据 库 读写 速 度 就会特 别 慢， 处理 时间 就会明 显延 长， 而 交 易 高 峰 期 时往 往 用 户交 易 在源 源 不 断地 增加 ， 直 接 的 后 果就是 应用 服 务 队列 处理 不 过 来 ， 造成 交 易 拥 论文 结构 邮 政 储蓄 背 景 知 识省 中心 卡 业务子 系统清 算 子系统数据 清理 模块、 整 个 储蓄系统 的 系统 软 件结构图如 图 ： 点 蓟 岵 斡耄 聿 街柘 嗟 狈 倍 啵 骰 腃 、 磁盘 疧 和数 据 库 表 空 间 都 会 荗 菘 饧 兜 母 呖 捎 眯 渲 糜 梢桓 錾 菘 夂 妥 疃 个 备用 数据 库 组成 ： 这 些行 界面或 包 含图形 界面的 据 库 可以 是单 实例的 数据 库 ， 也是 可以 是 数据 库 。 突 嵬 渲 饔 檬 菘 獾闹 刈 鍪 重 做 数据 是按 顺 序 写 入 的 数据库 所有变 更 的 历 史 记 录 。如 果将 数据 库 恢 复到 一个 时间 点 ， 再次 执 行 相 关的 的 重固 通过 提供 最 大保 护 、 最 大可用 和最 大性能三种模式 ， 业在数 据 可用 性和系统 性能需求之 间 最 一个 最 好的 平 衡 。况 下再次 和主用 数据 库 同步 。 技术 是 数 据库用 来 备份 、 回拷 和恢复 还有 很 多 其 他 功 能，比 如 可 以 预 检查 文件是 否 可 以 正 确 地被 备份 或还原 、 并 行操 作 、 支持归档 日 志 备份 失 败 的自 动 切 换 等 。 的优点很 多 ，但 它 的缺 点就 是 技术性较强 ，专用 性突 出，需要实 施者 花 费 时 间去学习和摸 索 ，通过搭 建环 境 ，不 断地测 试 ，才 能真 正掌握 。 工具包 含 在 软件的安 装 中，它 的位 置 也 很 好 查 找，在 痓 目 录下 。 工 圄 圄 圄 圃图 谢 指碿 的 描 述 图 畆 渲校 是 用 来 指定 备份 集 ； 第 三章 数 据 库迁移需求 分 析本 地盘 篨 灿 椴 畚 唬 壳耙讶 渴 褂 猛 瓯稀 渲磁 带 库： 型号 为 操 作 系统、 数 据库及中间 件版本 ： 】喀耄主 机设 备与 存储设 备的连 接 示 意 图 见 图 。 器 作 为第 三方 接 入 路 由器 ，第 三方 接 入 路 由器 与 核 心交换 机之间 配 置 一 台 防 火 墙 。 县中心的网络 连 接 按照地区隶属 关 系连 接 相应的地市 中心，各地市 局再将所属 网点流 量汇 集 转 发至 省 中心。 省 中心、 地市 中心采 用 综合网中的 屑涛 V饕 M 断呗 罚 訢 线 路 做备份 电 路 ； 县中心以 中的 带 宽 为主 通讯 线 路 。 江西 邮 政 金 融 网络 结构 见 图 ： ， 渤弦 、 “。 多 帕 骐绕澎蠡 嚣 辩 中 甶 莀 理 嘲。卉 蒌法镬 多该 文件系统是 数 据 库用 来 存放 归档 日 志 专用 的，所有 的归档 日 志 都 是 在 这个 数 据库迁移必要性分 析 颗 心系统数 据库无 法继 续正 常运 行。 保 峋 鱿 帜 诖娌 蛔阄 薹 诵 械 那 榭 觯 襊 ，内 存严 重不 足 。 擎的省 内 部分 就 要花 好 几 个 工作 日 。 没法 做 必 要 的 调 整。当 采 用 灾备系统重 新 建过 的 方 法 时， 省中 心本 次 迁移 前后 的 数据 库 表 空 间 大小 可 以 不保持一 致 ， 可 以 根据 储蓄系统上 线 几 年来 的 实际 使用 情 况， 重 新 规 划 数据 库 的 各 个表 空 间 大 小 ， 优化 表 空 间 结构 ， 合理 利 用 磁盘 阵 列 空 间 大 小 。 缺点 是灾备系统在新 数据 库 启用 后 需要 重 新 创 建 ， 实施时用 疘 导 入导 出导 致 的停 业 时间 较长 。 迁移 后 的 数据 库 所 在存 储设 备需求 估 算分析 。 第 四章 数据 库 迁 移 方 案的 设 计库 的 备份， 再 在新 的 磁盘 阵 列 上 利 用 备份生 成 的 文 件做 新 的 数聋 菘 獗 戆 慈辗智 保 梢越 比 找 郧八 惺 萏 崆 癳 导 出， 然 后 在于 本 次 数据 库 迁 移 ， 采 用 的 是 同 版 本 迁 移 方 式， 并且 ， 储蓄系统数据 库 大 部 分是 按 月 分区 ， 正 式切 换 时需要 导 出、导 入的 数据 库 比 较大 ， 停 业 的 时间 比 较长 。 能 够实现 同 步或 异 步、同 城 集群 、洲际 集 同 步和异 步结合， 可 以 在不 同切 换 ， 实现 高 可 用 性 。 由于 异 步方 式的 方 案是 提 供的 磁盘 阵 列 层次 的 容 灾解决方 案， 也 可 以 用 在数据本 节从 实施难 易 程 度、停 业 时间 长 短 、费 用 、与外 围 系统影响、对 原 有数据 库 的 优化 、实施人 员 等各 方 面 对 比 三 个候选方 案， 具 体信 息见表 所 示。从 表 中 的 对 比 我们可 以 看 出， 疘 方 案虽然 实施较 为 容 易 ， 并且也 能 对 现 有数据 库 表 空 间 大 小 进行 适度 的 调 整， 但 是 一 旦 调 整， 就会带来 另 外的 工 作 量， 即全国 灾备中 心需要 对 新 储蓄系统数据 库 重 新 部 署 灾备系统， 这 些工 作 需要 全国 灾备中 心的 配合， 省内 可 控性 不强。 更主 要 的 是 疘 方 案的停 业 时间 较长 ， 江西邮 政储蓄系统作 为 小 时的 客 户 金 融服 务系统， 停 业时间 的 增 长 无 疑会带来 客 户 使用 的 不方 便 ， 所 以 在最 终 方 案选择 中 ， 该 方 案没有被采 纳 。 组别总 计 的 个数矛耋 采 用 油 冀 盟 承蚝胖 笏 猩 傻 墓榈 等 罩旧 闪 斜 砦募 儆 胒 归 档 日 志 要 想在新 的 数据 库 中 进行 应 用 ， 首先 新 数据 库 的 控制文 件， 必 须 是 痵 状 态 ， 必 须 段 为 日 期 和时间 字段 ， 每 天停 数据 库 之前， 在 为 了 进一 步验证 迁 移 前后 数据 的 一 致 性 ， 还 可 以 考 虑 将 数据 库 中 与应 用 相关 痗 ， 文 件中 没有任 何 出错信息， 那 么 数 据 迁移 结束 后，查看 电 子 稽查能 否 继续 实 时刷 新 数 据 库表。电 子 稽 查数 据 库 表采 用 快照方 式实 时刷 新 储蓄 系 统数 据 库 表。全国 灾 备 系 统采 用 查看 灾 备 传输日 志 是 否 正常 ，查看 传输完 成 的 归 档 日 志 是 否在 灾 备 系 统中 正常 应用 。新 储蓄 系 统日 终 结束 后，看 这些 文件 能 否 自 动传到 事后监督系 统，并 且 事后监督 日 终 是 否正常 。 。新 储蓄 系 统日 终 结束 后，看 这些 文件 能 否 自 动传到 历史 数 据查询 系 统，并 且 历史 数 据 查询日 终 是 否 正常 。新 储蓄 系 统日 终 结束 后，看 这些 文件 能 否 在 客户管理 系 统中应用 正常 。数 据 迁移 结束 后，查看 通 过 数据 安全 管理 系 统的 界 面 是 否 能够 登 陆 新 的 储蓄 系 统 守在 正式 切换 阶段 ，所 有 的 验证 交易 均 为 真 实 的 操 作，之 前 两 个阶段 的 交易 只在 测 试环境 有 效 ，在 生 产环境 中 是 不 存 在 的 ，而 正是 切换 后，迁移 后的 数 据 库 就转 为 了新 的 生 产数 据 库 ，此 时的 交易 验证 要 尽 可 能 的 详 细 ，必 须包含 所 有 储蓄 核心 交易 ，尤其 是 与金 融 外 围 系 统有 业务 交易 往来 的 储蓄 类交易 ，能 测 的 都 需 要 尽可 能 得测 到 。此 阶段 的 业务 案例 测 试可 以设 计如 下案例 ： 卡 业务 测 试案 例 ： 卡 开 户，卡 本地 存 款 、 取款 ，卡 跨地 市 存 款 、 取款 ，卡跨省存 款 、 取款 ； 绿卡 通 卡 开 户，绿卡 通 卡 本地 存 款 、 取款 ，绿卡 通 卡 跨地 市存 款 、 取款 ，绿卡 通 卡 跨省存 款 、 取款 ； 绿卡 】睿 炭 蠥 取款 ，他 行 卡 】睿 炭 n 取款 ； 绿卡 眩 炭 n消 费 ；汇兑 缴 拨 款 。代 理保险 业务 测 试案例 ： 折 卡 承保 撤单 。 迁移 实 施流程设 计在 设 计整 个数 据 迁移 流程时，通 过 分析 整 个工 作的 操 作内 容 ，结 合 软件 安装目 录、 为盘 阵列层 面 将 两 类操 作系 统使 用 的 空 间 隔离 ，也 为 了保证 储蓄 系 统核 心 数 据 的 安节 的 个数 的 个数 閤 组 空 间 规 划 表用 途 据 库 的 备 份策略 采用 的 是 备 份，是 一种 热备 方 式 ，可 以不 用 停数 据 库 。新 数 据 库 的 备 份和 归 档 日 志 备 份的 存 放 空 间 。 光表 储蓄 主 机 操 作系 统用 户设 计表 痯 数 据 库 软件 的 安装较 为 复杂 ，由于 软件 产 痮 痮 !狽 痮 痑 狶 甖 痡 痡 ： ： 的 安装较 为 简 单 ，直接 登 陆 主 机 运 行 安 痓 ； ； 中 已 经 有 所 描 述 ，在 此 不 再 重复。需 要 说明 的 是 数 据 库 数 据 文件 使 用 其中 的 四 个 卷组，规划 规划蠢 痸 痩 !狪 痸 痩 名 称 一次 新 数 据 库 在 内 部测 试时需 要 正常 打 开 ，才能 做业务 验证 交易 。但新 数 据 库 打开 后，将 无 法 接 着同步生 产数 据 库 ，在 不 进 行 新 的 备 份的 情 况下 ，只能 将 最早的老数 据 库 的 备 份进 行 恢复，并 且 追 加之 间 相 差的 所 有 归 档 日 志 ，由于 一个归 档 日 志 的 追 加时间 可 能 较 长 ，所 以每 次 新 数 据 库 打 开 后，都 从 旧 的 生 产数 据库 备 份文件 恢复，耗 时会 比 较 长 。一个比 较 好 的 解 决 办 法 就 是 在 新 数 据全 备 份，并 在 备 份完 成 后，关 闭数 据 库 ，将 此 刻 的 控 制 文件 进 行 备 份。此 时的 装载数 据 启 动后台 日 志 再 次 备 注 对 于数据库 迁 移来说 ， 预演 的目的只 有 一 个 ， 就是 在新设 备 上运 行所有 正 式切 换 的操 作 步骤 ， 查 看 迁 移步骤 的完 整 性 ， 计 算各 个 步骤 的时间 开 销， 预估正 式切 换 时关 键 操 作 的时间 点 ， 估算 技 术操 作 与业 务 验 证 的衔 接点 ， 从而保 证 正 式切换 的顺 利完 成 。同 时， 为 了 验 证 数据库 迁 移后 ， 原 有 的终端 外设 在新的 系统 中 能否 继 续正 常使 用， 在预 演 时要求所有 的网点 都 要参加 预演 测 试， 并 且 要提交 预演业 务 测 试报 告 。 第 五章 数据库 迁 移方案的 实 现归 类统 计 的数据文 件个 数如 下 ： 奇孝个 文件放到一 起 备 份 ， 备 份 脚 本 范 例如 下 ： 痭 ；痭 ； 痙 一，；、 然 后 将传 输 过 来的 归 档日志 生 成 一 个 列 表 ， 并 且 将这 些列 表 中 的文 件通 过 循 可 以一 目了然 地 查 看 数据库 正 同 步在哪个 归 档日志 ， 并 且 该 归 档日志 已 经同结 束 之后 ， 还 需要将数据回 归 到恢 复 状 态 。如 果用最初始 的旧数据库 的备 份 恢 复 ， 之间 相 差 的归 档日志 太 多 ， 一 来新旧数据库 同 步时间 比 较长 ， 二来旧数据库 传 输过 来的 归 档日志 不 能删 除， 存 在文 件系统 可 用空间 的保存 要求。新数据库 进行备 份 时， 需要先将新数据库 致于关 闭 状 态 ， 将旧生 产数据库 的控制文 件拷 贝为 新数据库 的控制文 件：然 后 将新数据库 致于装 载状 态 ， 进行新数据库 全库 的备 份 ， 由于新 痙 痳 痸 痙 痳 痸 痸 痸 痸 痸 痸 痸 痸 痸 ”； 痙 痩 ；矿 痙 ；毒 痙 痩 ； 是 将 数据 库的启动命令和 应 用 的启动命令整 合进一 个 脚 本， 琤 眐 ”， 疘 新数据 库备份 方式改 变 的实 现囊备份 内 容包括两 部分 ， 一 部分 是 数据 库的全 备份 ， 一 部分 是 归档日志 的备份 。备份 实 现 时 ， 必 须以 储 蓄 系统 的日期 为 保 留 周 期 的判 断 依 据 ： 痽 ， 以此来 记 录储 蓄 系统 备份 信息 ， 主 要 实 现 如下：撑 生成 数据 库备份 脚 本 ； ； ” ” 乒 痭 撑 归档日志 备份 脚 本 定 已 传输成 功 的 最 大 同 志 序号藿。盏 ； ” 海 ： 篩 急 阜 莨 榈等 罩 尽 辜毛 绞降 氖 菘馇 疲 匦 朐诰缮 菘馍仙 蓅 痷 畉 ： 痭 甤 生成 乏 猵 息 ： ”， 疘 ”黟 印 ” ” 看 到 这个 提 示 很纳 闷 ， 因为 在 执行逻辑 卷 生 成 的 时 候 ， 产生 的 屏 显信息 太 多 ， 每 一 个 命 令会 产生 跫 负 跸 嗤 钠 聊幌 允 荆 个 产生 的 屏 幕 显 示 就有 条 ， 内 容太 多 ， 执行的 也