iStream容灾备份解决方案

1 目录 1ISTREAM 数据库复制系统技术实现方案数据库复制系统技术实现方案.3 1.1 项目概述项目概述.3 1.2iStream 产品简介产品简介.4 1.2.1 iStream 软件的设计原则和基本架构.4 1.2.1.1 iStream 软件的整体架构.4 1.2.1.2 iStream 软件源端体系架构图.5 1.2.1.3 iStream 软件目标端架构.6 1.2.2 iSteam 软件使用的关键技术.6 1.2.2.1 日志分析技术简介 .6 1.2.3 iStream 软件的运行环境.7 1.2.3.1 操作系统和数据库版本支持.7 1.2.3.2 iStream 支持的数据类型列表.7 1.2.4 iStream 软件为用户提供的解决方案.9 1.2.4.1 提高系统可用性 .9 1.2.4.2 灾难恢复.9 1.2.4.3 分担交易业务 .10 1.2.3.4 业务数据分发 .11 1.2.4.5 配合业务交易，容灾系统完全恢复交易.12 1.2.4.6 交易数据库移植 .12 1.3 数据实时复制方案数据实时复制方案.13 1.3.1 系统方案设计原则与目标.13 1.3.2 系统方案逻辑架构图.14 1.3.3 系统方案拓扑图 .15 1.3.4 系统方案 iStream 技术与功能.15 2项目实施计划项目实施计划.16 2.1 项目实施前的准备项目实施前的准备.16 2.1.1 操作系统准备工作.16 2.1.2 数据库准备工作 .16 2.1.3 源端数据库参数 log_buffer 相关参数的修改.17 2.1.4 目标端灾备数据库环境准备.17 2.1.5 源端表空间扩充 .17 2.1.6 网络准备工作 .18 2.2 iStream 软件实施计划表软件实施计划表.18 3用户及管理员培训方案用户及管理员培训方案.19 2 3.1 iStream 软件原理介绍软件原理介绍.19 3.2 iStream 软件安装培训内容软件安装培训内容.19 3.2.1 安装前的准备 .19 3.2.1.1 操作系统相关准备 .19 3.2.1.2 数据库的相关准备工作 .20 3.2.2 安装与配置 .20 3.2.2.1 源端软件安装与配置 .20 3.3 iStream 软件维护介绍软件维护介绍.23 3.3.1 调整 map.23 3.2.2 调整目标端 .24 3.2.3 同步的性能调整 .27 3.2.4 数据比对 .28 3.2.5 增量同步的性能调整.28 3.2.6 高可用性的配置 .30 A）源端高可用性的配置.30 B）目的端高可用性的配置.30 C）出现不能继续装载的处理.31 3.2.7 装载 DML 错误的处理方式.31 3.3 系统应急培训系统应急培训 .32 3.3.1 应急切换操作 .32 3.3.2 日志维护指南 .33 3.4 iStream 软件培训安排软件培训安排.33 4售后服务及相应承诺售后服务及相应承诺.34 4.1 九桥软件服务体系简介九桥软件服务体系简介 .34 4.2 九桥技术服务内容九桥技术服务内容.34 4.3 技术服务期内服务响应承诺技术服务期内服务响应承诺.34 4.4 支持方式支持方式.34 4.5 九桥服务联系方式九桥服务联系方式.34 5ISTREAM 软件应用案例列表及介绍软件应用案例列表及介绍.34 5.1 iStream 软件案例列表软件案例列表.34 5.2 证券行业典型案例介绍证券行业典型案例介绍.34 3 1 1iStreamiStream 数据库复制系统技术实现方案数据库复制系统技术实现方案 1.1 项目概述 在企业信息化进程不断加快的今天，保持业务的持续性是企业用户进行数据存储时 必须考虑的重要方面。灾难的出现，可能导致生产停顿、客户满意度降低，企业的竞争 力会因此大打折扣。震惊世界的“9.11” 事件发生后，全世界都看到了金融、电信等行 业用户在灾难中的巨大损失。在灾难后如何快速、正确地恢复业务系统就成为摆在企业 面前的一个难题。 金融证券是我国国计民生的最重要环节之一，同样面临着如何应对灾难，以求防患 于未然。在业务日新月异的今天，信息技术部门格外看重证券实时交易软件系统的数据 保护。试想一下，如果证券系统的数据遭遇灾难而不能恢复的话，业务将无法正常运行， 那么将造成重大的无法弥补的损失。因此，信息系统的安全性和抗灾难能力直接关系到 证券公司，乃至国家的切身利益，尽可能地保证系统的安全性是必须重点考虑的。 一个先进的、完善的灾备系统将全力的保护证券业务系统的稳定运行，让证券公司 在业务飞速发展的同时没有后顾之忧。现在，我们很欣喜的看到，XX在整合业务系统的 同时就考虑了灾备平台的建设，并对灾备系统高度重视。 iStream 是新一代数据库逻辑复制软件。利用数据库日志在线跟踪、分析技术，将 生产数据库的交易信息以事务为单位，通过异步的方式，实时的传递、装载到目标数据 库中，以达到源端、目标端复制数据保持同步的目的。软件不依赖硬件的复制能力，支 持多种系统平台，具有部署简单、复制速度快、交易延迟时间短的特点；能够支持所有 系统平台，跨多种Windows/Linux操作系统和大型机平台、不同Oracle版本之间的交易复 制。并且复制的目标数据库为在线打开状态，可以随时复用。因此，非常适合于异构热 容灾、 数据迁移、数据实时复制等领域。 本方案根据XX系统数据库灾备方面的规划需要，着重考虑合理地设计和建设基于 Oracle数据库的数据灾备需求的解决方案，满足证券系统业务的连续性和高可用性的要 求。 此外，随着业务的不断深入以及市场竞争的需要，数据应用成为另一个业内的热点。 在本方案中将向用户介绍，以iStream 数据复制系统（下简称iStream）为核心的企业第 二数据中心和查询应用平台，将如何高效的利用交易数据，快速的查询、分析数据。 4 1.2 iStream 产品简介 1.2.1 iStream 软件的设计原则和基本架构软件的设计原则和基本架构 iStream 使用经典计算机编程语言 C 语言来编写，整个软件架构软件采用模块化设 计，与 Oracle 数据库的设计原则相似，采用多进程模式进行抓取和装载，每个进程 负负责特定任务。 1.2.1.1 iStream 软件的整体架构软件的整体架构 主要工作流程： 1. iStream 首先完成历史数据复制，历史数据即使首次同步时数据库原有的数据， 历史数据同步完成之后开始增量同步。 2. 源端软件相应的 ptrack 进程跟踪抓取数据库中的在线日志（redolog） ，对实时 变化的交易数据日志进行快速抓取 3. 在 share memory 中使用 pmerg 进程过滤分析，并合成传输文件，三分之一的日 志将被抓去放到缓存队列中，然后将文件压缩，压缩比例为大于 9：1，使 用 pcomm 进程将文件通过网络传输到目标端 4. 目标端将接受传输文件，按照相应的交易顺序装载入库。 在此期间，目标端数据库始终处于 open 状态，可以进行准实时的数据查询工作。 5 1.2.1.2 iStream 软件源端体系架构图软件源端体系架构图 源端进程介绍： DDS_PMONS负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起 异常退出进程并报告状态 DDS_PMSGS负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 msg.log中。 DDS_PRECVS负责接收界面发送来的管理命令并执行,同时也负责全同步时历史数据的 复制。 DDS_PTRACK负责跟踪数据库redo log动态增量信息，并抓取变化的redo log块。 DDS_PMERGE负责将DDS_PTRACK 抓取量信息进行分析、过滤、合成交易文件。 DDS_PCOMM负责将DDS_PMERGE 合成的交易文件发送到目标端 DDS_PCLEAN负责将 DDS_PMERGE和DDS_PCOMM没有成功处理的数据包提交进行处理 6 1.2.1.3 iStream 软件目标端架构软件目标端架构 目标端进程介绍： DDS_PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起 异常退出进程并报告状态 DDS_PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 $DDS_DATA/msg.log中DDS_PRECVT负责接收界面发送来的管理命令并执行，并接收交易文 件到指定的目录中； DDS_PPUT负责将装载历史、增量信息到数据库中，并记录相关信息。也负责数据的 比对。 1.2.2 iSteam 软件使用的关键技术软件使用的关键技术 1.2.2.1 日志分析技术简介日志分析技术简介 iStream软件是直接通过读取Oracle日志来分析出交易内容，而不是通过数据库表来 得到，这样将不依赖数据库本身的数据内容而直接得到交易信息。从而大大加快了合成 交易文件的速度。 日志分析技术流程如下图： 7 1.2.3 iStream 软件的运行环境软件的运行环境 1.2.3.1 操作系统和数据库版本支持操作系统和数据库版本支持 iStream 软件支持所有主流操作系统以及 Oracle 数据库版本之间的跨平台跨数据版本 复制，内容详见下表： Oracle 版本 操作系统平台 9i 10g11gRACASM AIX 5L AIX 6L HP-UX 11i(PA-RISC) HP-UX 11i(IA-64) Solaris8/9/1（SPARC ） RHEL4/5（x86） SLES9(x86) SLES10(x86) WINDOWS2003/2008/xp 8 1.2.3.2 iStream 支持的数据类型列表支持的数据类型列表 支持总项目支持总项目支持项目支持项目支持内容支持内容备注备注 tabletableInsert/update/delet e 数据准确数据准确 （DMLDML 部分）部分） PartitionPartition tablestables Insert/update/delet e TableTable Create/truncate/drop columnscolumns Add/modify/drop constraintsconstraints Add/modify/drop indexesindexesCreate/alter/drop viewsviewsCreate/alter/drop sequencessequencesCreate/alter/drop functionsfunctionsCreate/alter/drop Package(Package( body)body) Create/alter/drop proceduresproceduresCreate/alter/drop TriggerTriggerCreate/alter/drop SynonymSynonymCreate/drop Create/drop 数据准确数据准确 （DDLDDL 部分）部分） RoleRole Grant/revoke Blob/clob/long/bfile Number/ TIME OracleOracle 自带类自带类 型型 Char/varchar2/nvarch ar2 ISTREAM 支持所有 Oracle 自带 数据类型 数据类型数据类型 用户定义类型用户定义类型 USER DEFINED TYPE 操作系统平台操作系统平台 Hp/ibm/solaris/linux /windows Oracle9i/10G/11G 归档/非归档 平台方面平台方面 OracleOracle File/lv/ocfs/asm 一对一 or 一对多 or 多 对一 or 组合 同步模式同步模式 双向同步 9 同步方式同步方式 只全同步 or 增量 or 组 合 交易回退交易回退 表的 dml/truncate/drop 单表同步单表同步 增量过程中，单表全同 步 支持在线初始支持在线初始 化化 首次同步允许有交易。 特性特性 同步对象同步对象用户、表、组 网络中断网络中断断点续传，无人工干预 健壮性健壮性 目标端停止复目标端停止复 制软件制软件 断点续传 1.2.4 iStream 软件为用户提供的解决方案软件为用户提供的解决方案 1.2.4.1 提高系统可用性提高系统可用性 iStream 软件可以帮助用户提高交易系统Oracle数据库的可用性，无论是执行 计划内停机（如系统升级、备份）还是遇到非计划故障引起的宕机（例如硬件故障、 灾难、人为错误等），iStream 都能尽量减少业务切换的时间，提高可用性。能够 最大限度地减少数据丢失、经济损失以及生产力的降低。 下图表示交易系统切换后，业务交易在容灾系统上继续执行的示例。 10 1.2.4.2 灾难恢复灾难恢复 对于大部分公司而言，容灾是一项巨大的工程，意味着高额的资金投入和人力成本。 受到传统复制技术的限制，容灾必须拥有专用的硬件支持、专用的传输链路、容灾距离 以及系统平台等诸多的限制。此外由于传统容灾系统的不能时时使用的特性，导致不但 风险不能评估，而且巨大的投入也可能得不到任何回报。 iStream 使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证 了在低带宽环境下实现低延迟的Oracle交易异步复制，是一种高效且低成本的数据库容 灾方式。iStream 使用标准的IP网络进行通讯，容灾端的Oracle数据库可以部署在本地 或远程容灾中心，距离没有限制。此外，由于复制的目的端数据库始终处于打开状态， 因此，当生产数据库遇到计划内或非计划停机时，iStream 能够支持前端应用程序快速、 无缝的切换到容灾数据库。与其它基于磁盘或文件系统的物理复制技术相比，不但省略 了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率。 当源端应用系统数据库在恢复正常使用后，可以通过iStream 将容灾端数据再次复 制到源端数据库中，从而达到互为容灾的目的。 下图表示，交易系统恢复正常后，容灾系统数据复制到原交易系统上的示例。 1.2.4.3 分担交易业务分担交易业务 iStream 逻辑交易复制技术保证了目的端数据库始终处于可用状态，因此对于 iStream 所复制的schema只能做只读应用之外，新创建的shema不会对复制本身产生任何 影响，对于即席查询、报表处理、数据备份、统计分析等业务或应用都可以放在复制的 11 目标数据库上进行处理。 多种应用也不必在同一个交易数据库上争夺处理资源和时间窗口。生产系统运行和 维护的压力得以释放，提高了稳定性，而不同的应用在分布的数据库上也可以进行有针 对性的优化。 下图表示在容灾系统做业务查询、报表处理、数据备份、统计分析等应用的示 1.2.3.4 业务数据分发业务数据分发 iStream 能够完成企业范围内的数据分发，从交易数据生产库实时复制到一个或多 个本地或异地的数据库中。iStream 支持多种数据分发拓扑结构，一对一、一对多、多 对一、级联复制以及组合的数据分发模式。数据分发是一种典型的通过部署多服务器、 多数据库来分担负载，提高响应速度的企业应用模式。 下图表示交易系统的业务数据同时分发到不同目标端的示例。 12 1.2.4.5 配合业务交易，容灾系统完全恢复交易配合业务交易，容灾系统完全恢复交易 iStream 在每提交一个合成的交易文件后，都会在目的端共享内存中记录最后一个 完成装载的交易的源端提交时间。并且通过iStream提供的工具可以将共享内存显示出来， 以方便不同需求。 对于交易系统有严格交易记录的系统，配合iStream目标端提供的源端记录交易提交 时间可以达到完全恢复全部交易的目的。 这种情况，只有在特殊情况下，才会使用。 下图表示iStream如何配合做全部交易 恢复的示例 13 1.2.4.6 交易数据库移植交易数据库移植 在交易系统数据库移植过程中，经常会面临两个问题： 即新系统和源系统os平台或 数据库平台不同 系统切换一段时间过程中，某种原因导致新交易系统部分交易无法正常运行，这个 时候就需要将交易系统切换到原来的交易系统上，而如何将切换后的交易及时同步到原 来的交易系统上，是用户在做交易数据库系统移植时所面临的一个难题。 针对这两种情况，iStream针对这种进行了合理的解决方式，如下图所示： iStream本身支持异构跨平台方式，对于源端和目标端os和db版本不同的情况均能够 支持。 14 iStream 将新交易系统同步的切换后，变化的数据及时的同步到旧交易系统上，这 样就可以保持两边数据的一致性。从而在交易切换时能够满足后台交易数据一致性的需 求。 1.3 XX 数据实时复制方案 1.3.1 系统方案设计原则与目标系统方案设计原则与目标 目前在主机房服务器处理周边业务系统，备机房服务器除用于备份之外，还可以作 为业务查询，报表查询分析等功能，以满足用户的多种需要。 通过iStream数据复制软件，建立了一个独立的查询数据库，在不影响生产系统性能 的同时，为查询及报表业务提供了一个与生产系统同步的数据源。可根据查询业务的特 点，对数据库的业务特点配置进行选择，最大程度的优化了查询业务的性能，起到了很 好的负载均衡作用。完成生产服务器到查询服务器的数据同步工作. 1.3.2 系统方案逻辑架构图系统方案逻辑架构图 灾备数据库生产数据库 主应用业务系统 2 iStream实时复制 XX数据实时同步项目部署图数据实时同步项目部署图 中间件 1 4 业务查询 3 5 6 具体逻辑步骤如下： 1. 交易流水正常入库。箭头 1 所示： 15 2. 数据多点实时复制，箭头 2，6 所示。至此形成整体综合的单向，反向，双向复制模 式：一对一(1:1),将通过网络实时的将数据备份到目标端。以满足用户的灾备，实 线 3 所示可以实现分担交易，进行业务查询，报表查询，分析等功能。 3. 当红线 4 生产库出现故障宕机时，此时主应用业务系统切换到灾备系统，虚线 5 所 示，进行主应用业务系统的操作。 4. 当生产库修复正常之后，灾备数据库系统通过虚线 6 所示实时反向复制到生产库系 统，达到数据恢复到主生产库中。此时：复制模式为一对一（1:1） ，但数据源端暂 时为灾备库（虚线箭头 1,5,6 工作） ，箭头 5 所示，等灾备数据库同步到主生产库完 成后，业务切换到主生产库，恢复到最初状态。 5. 此主备的切换过程速度相当快，而对交易流水录入系统影响为秒级。 1.3.3 系统方案拓扑图系统方案拓扑图 备份数据库备份数据库 Linux Oracle 10g 生产数据库生产数据库 Linux Oracle 10g 远程实时复制远程实时复制 业务生产业务生产系统系统 备份备份系统系统 主应用业务系统主应用业务系统 业务查询业务查询 1.3.4 系统方案系统方案 iStream 技术与功能技术与功能 iStream 使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证 了在低带宽环境下实现低延迟的 Oracle 交易异步同步，是一种高效且低成本的数据库容 灾方式。iStream 使用标准的 TCP/IP 协议进行通讯，容灾端的 Oracle 数据库可以部署 在本地或远程容灾中心，距离没有限制。 16 iStream 功能方面，由于同步的目标端数据库始终处于打开状态，因此，当生产数 据库遇到计划内或非计划停机时，iStream 能够支持前端应用程序快速的切换到容灾数 据库。与其它基于磁盘或文件系统的物理同步技术相比，不但省略了漫长的数据库 recovery 和启动时间，而且能够保证 100%的切换成功率，在支持生产系统的热容灾方面 的基础上还支持业务分担，数据分发与集中，数据迁移，支持双向同步. 17 2 2项目实施计划项目实施计划 2.1 项目实施前的准备 实时 iStream 数据库复制系统之前，需要用户配合一些准备工作，具体内容如下： 2.1.1 操作系统准备工作操作系统准备工作 1 源端、目标端 rac 模式 iStream 软件只需安装在 rac 其中的一个节点上，可在共享存储上划分出文件系统 作为 iStream 软件的安装目录，大小在 50G 至几百 G，可根据日常业务量调整， 文件系 统可建成 ocfs 类型、也可建成普通类型，区别如下：Ocfs 文件系统：当出现主机单点 故障时可以在 rac 其他节点直接启动软件。 2 普通文件系统：当出现主机单点故障时需要手工将 iStream 所在的文件系统手动 mount 到 rac 的其他节点上，然后在启动软件。 3 源端、目标端非 rac 模式 从 vg 或分区磁盘中划分文件系统作为 iStream 软件的安装目录，大小在 50G 至几百 G，可根据日常业务量调整空间大小 注：源端、目标端软件介质大小 10M 左右，由源端传输到目标端的 dtf 文件的缓存 大小应根据日常业务量大小和 DRS 数据回滚功能时间长短而定，具体可与九桥软件工程 实施人员沟通协调。总原则为尽量为 iStream 单独划分文件系统，不要和 oracle 数据库 数据文件、oracle 安装目录、根目录等共存在同一个文件系统上。 2.1.2 数据库准备工作数据库准备工作 1 源端在线日志组设定 a)数据库为非 asm 实例 数据库在线日志组个数至少在 3 组以上，如果数据库为 rac 模式，则每个 rac 实例 在线日志组个数都不少于 3 组。 b)数据库为 asm 实例 Asm 实例模式下，源端在线日志组需满足每个在线日志组必须有一个成员在非 asm 磁盘组中（raw 设备或共享文件系统中） c)当数据库为归档模式时： 18 在 rac 模式下，需要将 rac 上的每个节点能够访问其他节点归档文件（可采用 ocfs 共享文件系统或 nfs 文件系统方式实现） d)当数据库为非归档模式： 此时需要将数据库的在线日志组个数尽量增加至 6-8 组。 2.1.3 源端数据库参数源端数据库参数 log_buffer 相关参数的修改相关参数的修改 在源端，Oracle9i、 10g、11G 的 logfile 并行动态参数进行的调整。 Oracle10G、11G（一般需要修改）的调整方式如下： 以“SYS”用户身份查询隐藏参数_log_parallelism_max 是否为 1，是则不需要修改， 反之要修改 SQL col ksppinm for a20 SQL col ksppstvl for a10 SQL col ksppdesc for a40 SQL SELECT ksppinm, ksppstvl, ksppdesc FROM x$ksppi x, x$ksppcv y WHERE x.indx = y.indx AND ksppinm like _log_para%; SQL alter system set _log_parallelism_max=1 scope=spfile; 修改后要重启所有节点实例 Oracle9i(一般不需要修改)的调整方式如下： 以“SYS”用户身份查询 log_parallelism 是否为 1，是则不需要修改，反之要修改 SQLshow parameter log_parallelism SQLalter system set log_parallelism=1 scope=spfile; 修改后要重启所有节点实例 2.1.4 目标端灾备数据库环境准备目标端灾备数据库环境准备 iStream 软件实施复制灵活，一般多以表或用户为单位进行实时复制，目标端数据 库安装完毕后，需要创建相应的用户及表空间（尽量保持与源端一致） 。 2.1.5 源端表空间扩充源端表空间扩充 当源端数据量较大时（单表体积较大时） ，可能在全同步时会由于 undo 表空间不足 19 产生全产生快照太老的错误，导致全同步操作失败，因此要酌情扩充 undo 表空间。具体 情况可与 iStream 工程人员协商。 2.1.6 网络准备工作网络准备工作 确保网络由 TCP/IP 协议联通（可传传送接受文件为标准） ，可通过 SSH 等手段，也 可源端到目标端单向连接。 iStream 所使用的网络端口也要开放。 具体实现可与 iStream 工程人员协商。 2.2 iStre am 软件 实施 计划 表 项目步骤项目步骤所需时间所需时间备注备注 售前测试2 天 正式环境下安装2 天 灾备演练2 天 软件培训3 天 上线验收2 天 后期监控1 天 因合同签订时间 无法确定，故只 提供每项进度所 需时间 20 3 3用户及管理员培训方案用户及管理员培训方案 3.1 iStream 软件原理介绍 主要讲述 iStream 数据库复制系统的工作原理。 3.2 iStream 软件安装培训内容 3.2.1 安装前的准备安装前的准备 3.2.1.1 操作系统相关准备操作系统相关准备 1 创建 iStream 操作系统用户 在同步的源端和目的端操作系统上创建新的系统用户来安装 iStream 软件，也可以 直接使用已有的 Oracle 数据库安装用户来安装 iStream 软件。 如果是 RAC 模式，则需要在 iStream 安装节点创建即可。 新建用户必须属于 dba 和 oinstall 组（即跟 orac