DSG-Oracle容灾复制

DSGRealSyncoracle容灾复制软件介绍,迪思杰（北京）数码技术有限公司,从几个案例说起,广西移动-BOSS查询系统青海移动-NGBOSS灾备一体化福建电信-查询系统甘肃电信-CRM迁移山东联通-CRM查询长江证券-异地容灾河北地税-集中式异地容灾,青海移动灾备一体化解决方案,青海移动NGBOSS容灾备份总体结构图,OCS数据库,SAN,备份阵列,青海移动NGBOSS容灾备份总体结构图,数据一致性数据库,结算、统计数据库,容灾服务器,备份服务器,计费数据库,帐务数据库,CRM数据库,容灾阵列,STKL180,P4000,其他文件系统,VVFS验证服务器pcserver,福建电信查询系统,在生产系统上只存放3个月数据，3个月到2年的数据存放到查询平台上去。将计费数据库和统计数据库上的数据同步到一个独立的查询数据库中，通过该查询数据库实现24个月的计费话单数据保存、对外数据接口、以及对外查询业务。,福建电信查询系统,Bill数据库（计费数据库）：两台IBMP595(14*2GHzcpu)，OracleRAC模式数据库大小容量为：2233.69434；每天产生的Log日志量大约为122GB。Stat.数据库（统计数据库）：两台IBMP595，OracleRAC模式；数据库大小计划容量为：1500GB；每天产生的Log日志量计划为100GB左右。性能参数全同步性能：360GB/小时（46GB在440s全同步导出结束）；实时同步性能：每天产生100GB的ArchiveLog情况下未出现日志分析和装载的延迟。CPU和内存资源占用：DSGRealSync在实时同步过程中的CPU占用1%，内存占用大约在400M左右。,IBMP670,原CRM数据库,新CRM数据库,HPSD,Agent,Server,甘肃电信CRM系统迁移,山东联通CRM系统查询平台,一个,oracledatabase,，,分为,5,个,user,，,每个,user,对应一个生产数据库,RealSyncAgent,RealSyncAgent,RealSyncAgent,RealSyncAgent,RealSyncAgent,RealSyncAgent,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,60,多张表,约,100,GB,河北地税集中容灾系统,11个地市各自有自己独立的税务征管系统省中心需要将分散的数据集中到一个系统上作统计分析和报表,省集中数据库,数据仓库,ETL,2Mbps带宽,Realsync数据集中,长江证券集中交易系统灾备一体化,ORACLERAC,HPRX4CPU,集中交易系统,本地查询/备份系统,上海灾备系统,2M带宽,DSGRealSyncSnapAssure,Agent,Agent,HPRX4CPU,目录,为什么需要realsyncRealSync数据库复制产品介绍重点问题分析和讨论,RealSync实现原理,ologx,Archivedlog,RedoLog,QUEUE,XEXP,sender,receiver,QUEUE,ROWIDMappingTable,loader,TransactionsXF1Format,OCI,SourceDB,TargetDB,realsync首次全同步技术的优势,采用直接路径方式导出和装载数据realsync采用直接路径方式导出数据，并且采用直接路径方式装载数据。而exp/imp则采用传统路径导出和装载数据，性能远远不如直接路径装载的方式。多路并发导出和装载DSGRealsync支持分配多个任务对多个表进行并发导出和装载，而EXP对多个表是串行导出的。导出、传输和装载任务并行进行exp/imp的工作模式是先exp，然后压缩，然后传输，然后再装载。因此时间就为所有时间之和。而realsync是边导出，边传输，边装载。三个时间不是相加的，这样至少缩短总体时间1/2以上。数据压缩传输realsync对导出的数据进行压缩后在网上传输。而exp需要对导出后的数据进行手工压缩后才能传输。,全同步任务可灵活调整；realsync在作全同步时可根据业务灵活调整，如根据业务规则分批进行全同步、而无需一定要在有限的时间内完成整个库的全同步，而是把业务变化最频繁，容灾需求最紧急的数据优先同步；全同步应该能够满足业务需求对于800GB的数据量，根据工程性能指标参考，可在5-6个小时左右完成全同步。操作简单采用DSGRealSync自带的全同步工具，只需要一条命令就可完成全同步，而不需要过多的人为干预。支持异构环境realsync支持源系统和目标系统之间的OS系统、存储系统、数据库版本不相同；,realsync首次全同步技术的优势,应用特点(1),目标端的数据库处于OPEN状态目标端数据库用来作报表、查询满足“平战结合”的容灾作容灾应用时，避免容灾数据库不能启动的风险作容灾应用时，切换时间短，不需要重起数据库,应用特点（2）,单向1:1复制,可实现完全复制和选择性复制,N:1复制,可实现企业数据整合统一报表统一经营分析数据统一稽核等,1:N复制,可实现企业数据分发数据共享企业应用集成数据分布式查询等,灵活的复制结构,选择性抽取（3）,选择性复制按用户复制按表复制按列复制,支持异构平台（4）,支持异构平台，硬件可自由选择存储系统异构服务器异构操作系统异构数据库的不同版本,各种复制技术的比较,RealSync磁盘复制技术的比较,优势目标端数据可用于查询支持异构操作系统平台支持异构oracle平台支持表级复制节约带宽和网络资源劣势只支持异步复制占用主机的CPU资源,优势支持所有数据类型复制可支持同步方式复制不占用主机CPU资源劣势目标端数据不可用操作系统必需同构oracle必需同构只能全库复制带宽占用高距离一般应用在几十公里,RealSync,磁盘复制,RealSyncvsoracleDG,目录,DSG公司介绍RealSync数据库复制产品介绍重点问题分析和讨论参考案例,我们应该考虑哪些问题？,复制性能能否满足大数据量的压力？对生产系统的CPU资源占用？批量数据初始化同步如何解决？如何比较数据一致性以及修复方式？如何确保在有限带宽下的复制实时性？故障情况下如何保证系统的可靠性？,1.电信业的高并发压力？,日志分析速度的压力福建电信：100秒分析4GB日志(测试）广西移动：每天处理600GB日志（实际工程）目标端数据装载压力福建电信：1100s装载7GB日志(测试）广西移动：每天处理600GB日志（实际工程）,2.对源端系统性能的影响？,广西移动3-8号9点多采集到的DSG进程资源占用cpu占用之和：0.5%（共32cpu）内存占用之和：3GB左右,装载性能和CPU资源占用,6个并发任务，占据12个cpu的33每天200-300GBredolog,3.如何进行全同步？,现有数据如何初始化装载到查询系统上已有历史数据如何初始化装载到查询系统上,全同步与exp/imp的差别,首次全同步的特点,不停业务技术特点用xexp直接读取block导出数据用directpath装载多任务并发、压缩传输：压缩比4:1性能高广西移动：300GB：2小时操作简单只需要一条命令,4.如何进行一致性比较和修复？,一致性比较包括的内容？Object属性比较记录条数的比较记录内容的比较（最困难和最耗费时间的内容）传统的记录比较方法？采用select方式比较每条记录的每个字段是否相同？缺点：速度非常缓慢DSGRealSync比较方法采用快速EXP和CRC校验码算法进行比较比较每一条记录及内容可单独修复不同步的表,物理模式的一致性比较和修复,快速数据一致性检查资源占用小：不干扰系统运行,Table,XEXPCRC,CheckSum1,Table,XEXPCRC,CheckSum2,？,6.故障情况下保证系统的可靠性,故障情况包括网络中断服务器宕机数据库shutdownRealsync通过网络传输控制和装载控制保证数据不丢失,故障容错确认机制,3.102.xf1,102.xf1,分析进程,(1)写入文件,发送进程,(2)读取文件,接收进程,(4)写入数据文件,(3)发送文件,(5)写入控制文件,(6)反馈ok信息,(7)删除文件,RealSync技术特点总结,Transactionalreplication技术提高了复制的可靠性和稳定性；Directpathloading技术降低了对目标系统的性能要求;Intelligentmapping技术保障了复制的性能和数据完整性的高速校验；XF1dataformat提供了开放的开发接口；,RealSync复制容灾的案例,电信行业：北京移动、广西移动、甘肃移动、贵州移动、青海移动、广西电信、陕西电信、贵州电信、四川电信、安徽电信、海南电信、福建电信、甘肃电信、宁夏电信、广东电信、杭州电信、舟山电信、绍兴电信、湖州电信、辽宁网通、山东联通、江西联通、福建联通、广西联通、湖南联通、江苏联通、四川联通、广东联通、湖北联通、内蒙联通金融行业：广发银行、中国国际金融有限公司、上海期货交易所、中国金融期货交易所、华夏基金、易方达基金、招商基金、鲁证期货、东吴期货、国泰君安期货、中大期货、银河证券、民族证券、宏源证券、新时代证券、上海证券、远东证券、太平洋证券、东兴证券、万联证券、金元证券、信达证券、江南证券、华泰证券、南京证券、信泰证券、东吴证券、长江