Oracle容灾备份实时备份数据迁移应用实践.ppt

Oracle容灾备份: 实时备份、 数据迁移应用实践,iStream DDS Oracle数据库复制软件介绍,概要,DDS实时复制软件的技术体系 DRS逻辑备份与恢复 DDS解决方案与案例 DDS产品特点 技术交流,DDS技术架构,传输进程 s,SQL,数据查询,透明压缩传输,采集进程,分析进程 s,业务系统,交易合成 s,redo log,Share memory,Disk,生产数据库,接收进程 s,交易装载 s,OCI,Share memory,Disk,SQL,复制数据库,IP网络,DTF,源端体系结构,PTRACK,PMONS,PMSGS,PRECVS,PCOMM,PCLEAN,SHM-SYS系统参数以及状态信息,PMERGE,SHM-MEM 交易信息交换区域,Redo log Blocks,共享内存区,后台进程,Msg.log,磁盘缓存,操作指令,PTRACK跟踪到redo log增量信息，将其写入共享内存，并通知 PMERGE 进行处理，PTRACK同时将此数据包写入缓存目录以便后续进程没有成功处理或系统其它异常情况时，这些数据能够恢复并重新进行处理。 PMERGE收到PTRACK的通知，将收到的数据包进行各种必要的处理，生成处理后的数据包，将新数据包写入共享内存，并通知PCOMM 进行处理。 PCOMM 收到PMERGE的通知，将收到的数据包发送到目标端系统，如果发送不成功（目标系统未启动、网络故障），将数据包写入缓存目录 。 PCLEAN清道夫进程，负责将缓存中不再需要的文件删除掉。,目标端体系结构,PPUT,PMONT,PMSGT,SHM系统运行状态以及参数,Msg.log,磁盘缓存,后台进程,操作指令,PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态； PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到日志文件msg.log中； PRECVT负责接收界面发送来的管理命令并执行，接收增量数据包，装载历史数据； PPUT负责装载历史、增量信息到数据库中,做数据验证；,PRECVT,PCLEAN,共享内存区,数据库日志分析技术的概念,delete from xx where xx,update xx set xx where xx,update xx set xx where xx,update xx set xx where xx,update xx set xx where xx,commit,commit,update xx set xx where xx,update xx set xx where xx,rollback,事务合成 transaction merge,Memory,Merge完整交易,Track process,Merge process,Merge process,以交易为单位传输，保证数据的一致性和完整性,rollback的DML放弃处理,Redo log,翻译DML,批量同步和增量复制,生产数据库,复制数据库,Redo log,Archive log,DDS,DDS,Apply,步骤1：批量数据初始化同步 （快照方式与直接读取数据文件） 步骤2：增量数据实时更新 （支持裸设备、文件系统、OCFS）,SGA,压缩传输,目标系统,源系统,缓存队列和传输保证,Comm process,Comm process,OK,Track process,PUT process,两端都设置磁盘缓存，交易文件按照交易顺序传输,缓存队列,缓存队列,在网络中断、系统宕机、数据库shutdown等故障情况下，仍能保证复制数据的连续性,等目标端确认写入磁盘后才删除源端数据,选择性复制,对象过滤,Sys系统表,Table复制,Schema复制,Schema复制,Table复制,表级复制 组级复制(多表) 用户级复制 Table Partition Table Temporary Table IOT View Sequence Index Procedure Function Package Synonym Trigger Role Privilege UDT Materialized View,支持异构平台,支持异构平台，硬件可自由选择 存储系统异构 DAS、NAS、SAN、IPSAN 服务器异构 IBM aix、HP hpux、SUN solaris、Linux Windows,完善的复制方式,Where 方式复制 优点：源端目标段相互切换方便 缺点：同步速度慢 rowid方式复制 优点：同步速度快 缺点：源端目标段相互切换需做全同步,灵活复制方式,灵活的复制方式 单向1:1复制,可实现完全复制和选择性复制 N:1复制,可实现海量数据整合，集中(N无限制) 1:N复制,可实现数据分发、筛选、迁移（N无限制） 支持双向复制（where模式）,什么是DRS？,Data Rollback Server 利用DDS产生的过程文件进行数据库回滚和前滚 重现数据库的历史状态，审计、查询、恢复 单表回滚 全部数据回滚,DRS,DRS恢复truncate的表,truncate误操作给用户带来巨大损失 利用传统技术如何恢复？ DRS自动“保存”数据 保存时间通过配置参数指定,Truncate table xx,Rename XX to XX Create table XX,XX,XX,XX,解决方案1 - 数据库实时远程容灾,传统容灾技术的局限 不能支持异构环境，产品选择余地小，成本不可控； 在传输方面对带宽和距离的限制颇多； 系统部署时间长、步骤复杂、对生产系统影响较大； 容灾切换存在一定的风险；,iStream DDS容灾方案特点 支持异构硬件平台和异构操作系统环境 传输数据量小，带宽要求低，距离无限制 数据可以复用，可获更多投资回报 容灾切换没有风险,1,生产,容灾,2,3,4,距离 100公里,1,生产,容灾,距离 无限制,兴业证券,同城灾备数据库 Linux AS4U4 Oracle 10g,异地灾备数据库 Oracle 10g 2个节点RAC Linux AS4U4,集中交易数据库 Oracle 10G 2个节点RAC IBM AIX5L,本地复制 100M带宽,总部福州,福州同城营业部灾备机房,10M,上海,合肥华安 期货,单实例 Linux 10g,单实例 Linux 10g,本地容灾查询 2个节点 IBM AIX5L,DDS本地复制 1000M带宽,合肥总部,总部机房,2M,同城营业部灾备机房,解决方案2 - 跨平台无缝数据迁移,关键系统数据迁移的难点 必须长时间停止业务交易用于导出导入数据； 过长的业务中断时间，可能是几小时，也可能是几天； 7*24运行的业务系统如何迁移？,iStream DDS数据迁移优势 实时数据迁移，无需暂停业务交易； 只有系统割接需要停止交易，分钟级； 支持异构硬件、操作系统平台迁移； 支持Oracle数据库不同版本之间的迁移；,广发证券 应用案例,5节点Linux 10g RAC,4节点Linux 10g RAC,本地容灾查询 单实例Linux 10g,5公里DDS复制 10M带宽,DDS本地复制 1000M带宽,应用查询,应用效果： 已经集中的用户量100万左右 实时复制过程中交易系统主机CPU占用率5% 本地数据复制平均延迟26秒 异地系统平均延迟48秒。,总部,同城营业部灾备机房,解决方案3 - 分担生产数据库负载,复制数据库实时打开 原来在生产系统上的操作可以转移到复制系统 支持数据查询 支持数据抽取 支持数据回滚到历史时间点,中银国际证券,查询数据库 10g单实例 HP UINX 11.23,容灾数据库 10g单实例 HP UINX 11.23,集中交易数据库 Oracle10g 2个节点RAC HP UINX 11.23,DDS本地复制 1000M带宽,上海总部,同城营业部灾备机房,100公里 10M,解决方案4 - 企业多节点数据集中,建立企业第二数据中心 支持硬件及操作系统异构环境 支持不同的Oracle版本 支持数据过滤及筛选 支持本地或远程部署 支持数据源数据库数量可达256个,iStream DDS,iStream DDS,河北财政多对一应用案例,各地市生产交易库 AIX（oracle为10g 或9i),主交易2,各县生产交易库 AIX(oracle为10g 或9i),主交易1,AIX10g加 HACMP,异地容灾机房,DDS复制,DDS复制,多对一：容灾、查询、实时监控等多种用途有效结合,应用查询，web实时监控,源端节点数总共为204台,容灾查询端只安装l了一个数据库与一套DDS目标端软件,吉林公安 多对一应用案例,IBM 小型机（AIX）+ Oracle 10g,主交易59,IBM PC SERVER（Linux）+ Oracle 10g,主交易14,IBM PC SERVER(Linux)+ Oracle 10g RAC,异地容灾机房,DDS复制,DDS复制,多对一：容灾、查询、实时监控与警综平台测试等多种用途有效结合,应用查询，web实时监控,源端主机分别放在各地市，共九台机器,总数据量约为1.8TB,容灾查询端只安装l了一个数据库与一套DDS目