IBMInfoSphereCDC入门资料.ppt

1、IBM Infosphere CDC,高性能端到端数据整合方案，解决数据孤岛问题 使用基于日志的变化数据获取 (CDC)技术，从数据日志中捕获变化数据 在多处理平台间双向整合数据 易于扩展处理大数据量，而不影响重要应用的性能 跨企业数据库系统进行实时数据整合 从生产系统捕获数据，而不影响性能 实时地转换，并将数据应用到目标系统 业务收益: Business intelligence 无时间窗的Real-time 报表 e-Business Web存储和后端操作的双向整合 Master Data Management 跨企业合并和分发数据 数据的冗灾,Infosphere CDC,CDC架构,A

2、ccess Server,主要功能点,数据同步 数据转换 多平台，多节点 支持行过滤，表级复制，计算列，以及其他扩展等。Table level 支持1对多，多对一以及级联同步 对同步的过程可以AUDIT 纠错机制 支持JAVA API 图形化的监控工具,Log-Based Change Data Capture,主要特征: 低影响 灵活实施,支持异构平台 易于使用,Continuous (Real Time),Replication Modes:,Database Table,Replication Log,Net Change (Periodic),Refresh (Full Copy),P

3、ush Engine,数据质量问题-实现统一完整视图,数据格式的转换(如日期) 数据类型的转换 字段拆分 字段合并 代码标准化 数据清洗(如去除空格),多表关联 多表拆分 衍生数据计算 汇总处理 记录拆分 表合并 ,异构平台支持,IBM System i,IBM System z,IBM System p,HP-9000,Intel,HP Alpha,Sun,MS SQL Server,Sybase,DB2 / UDB,Oracle,TCP/IP,Teradata,OS/400,OS/390,AIX,HP-UX,Solaris,MS Windows,Linux,PointBase,DATABA

4、SES Source & Target,DATABASES Target Only,OPERATING SYSTEMS,HARDWARE PLATFORMS,NETWORK PROTOCOLS,MESSAGE QUEUE Support,JMS,MQ Series,WebMethods,BEA,TIBCO,Netezza,Itanium,统一的管理界面,易于使用,基于Java的GUI，配置、管理和监控 同一屏幕内管理数据整合流程 自动映射，拖拽实现转换 事件日志、报警、统计报告,特点,低延迟 一旦提交了对源表进行的修改，并从日志中读取到这些修改，这些变化就立即发送出去。 高吞吐量 Q Capt

5、ure程序始终可以跟踪在源表发生的快速变化，并且Apply程序使用多线程，使得它能够及时跟踪通信通道中的消息。 低网络流量 消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少量的数据。 异步性 消息队列使得Apply程序可以不连接源数据库或者源子系统就可以接收事务。如果QCapture程序或者Apply程序停止，需要进行处理的消息在程序准备好之后后，将仍然存在于队列中。由于消息是永久的，所以源表和目标表即使在系统或设备故障的情况下仍可以保持同步。 基于日志的复制，可忽略对于重要生产系统的影响，不需要时间窗口，不要时间戳来探测变化。不需要改变应用或者表结构，没有额外的硬件需

6、要，只复制变化，意味这最小的网络带宽，交易一发生，就转换发送给目标，增加数据量，缩短处理窗口,架构（数据源),架构(目标端),Log-Based Replication,Feature: 可以读取REDO和ARCHIVE LOG,Business Benefits: 实时性，以及对原有系统影响降到最低,可以复制ORACLE DDL和DML,Table Sequence Context Directory Dimension Function Index Library Materialized View Package Trigger,Procedure Profile Resource Co

7、st Role Rollback Segment Synonym Tablespace User View,Feature: 支持DDL （数据库对象和SCHEMA的变化可以同步),Business Benefits: 减少错误和减轻管理成本， 支持DDL和DML,Oracle 9i,10g, 11g,灵活的架构,Feature: 扩展性好，全图形化操作,某用户灾备方案详细说明及优势,可用于数据容灾,远程控制端,生产服务器,冗灾服务器,时间漏斗,R/W,R,应用数据库 online,可选择全库或者部分数据的复制,Replicate AllOr Selective,同时支持复制过程数据格式的转换

8、,Proposed IBM Architecture应对复杂场景,1000 Pharmacy Servers,Central Server,Inside SuperValus Data Center,Outside SuperValus Data Center,Load Balanced High Availability Cluster,MQ ESE,Data Consolidation,Server Two,Server One,MQ ESE,DataMirror CDC,MQ ESE,MQ ESE,MQ ESE,DataMirror CDC,DataMirror CDC,DataMirror CDC,Feature: 一致点的控制，可以和TSM等结合,图形化的管理,支持 Oracle 9i,10g and 11g 基于日志的备份 D