IBM InfoSphere CDC入门资料PPT课件

1、 高性能端到端数据整合方案，解决数据孤岛问题 使用基于日志的变化数据获取 (CDC)技术，从数据日志中捕获变化数据 在多处理平台间双向整合数据 易于扩展处理大数据量，而不影响重要应用的性能 跨企业数据库系统进行实时数据整合 从生产系统捕获数据，而不影响性能 实时地转换，并将数据应用到目标系统 业务收益: Business intelligence 无时间窗的Real-time 报表 e-Business Web存储和后端操作的双向整合 Master Data Management 跨企业合并和分发数据 数据的冗灾数据的冗灾Infosphere CDC第1页/共23页CDC架构架构Source(

2、Source)Target(Target)AccessServerCLIENT第2页/共23页主要功能点主要功能点数据同步数据转换多平台，多节点支持行过滤，表级复制，计算列，以及其他扩展等。Table levell 支持1对多，多对一以及级联同步l 对同步的过程可以AUDITl 纠错机制l 支持JAVA APIl 图形化的监控工具第3页/共23页Log-Based Change Data CaptureDatabase LogsSource EngineTarget EngineTCP/IPMonitoring and ConfigurationDatabaseMessage QueueWeb

3、 ServicesBusiness ProcessDB2, Oracle,SQL Server, Teradata,etcFlat files 主要特征: 低影响 灵活实施 支持异构平台 易于使用第4页/共23页Continuous(Real Time)Replication Modes:Database TableReplication LogNet Change(Periodic)Refresh(Full Copy)PushEngine第5页/共23页数据质量问题数据质量问题-实现统一完整视图实现统一完整视图 数据格式的转换(如日期) 数据类型的转换 字段拆分 字段合并 代码标准化 数据清

4、洗(如去除空格)多表关联多表关联多表拆分多表拆分衍生数据计算衍生数据计算汇总处理汇总处理记录拆分记录拆分表合并表合并 第6页/共23页异构平台支持异构平台支持IBM System iIBM System zIBM System pHP-9000IntelHP AlphaSunMS SQL ServerSybaseDB2 / UDBOracleTCP/IPTeradataOS/400OS/390AIXHP-UXSolarisMS WindowsLinuxPointBaseDATABASESSource & TargetDATABASES Target OnlyOPERATINGSYSTE

5、MSHARDWAREPLATFORMSNETWORKPROTOCOLSMESSAGE QUEUESupportJMSMQ SeriesWebMethodsBEA TIBCONetezzaItanium第7页/共23页统一的管理界面统一的管理界面第8页/共23页易于使用易于使用 基于Java的GUI，配置、管理和监控 同一屏幕内管理数据整合流程 自动映射，拖拽实现转换 事件日志、报警、统计报告第9页/共23页特点特点 低延迟 一旦提交了对源表进行的修改，并从日志中读取到这些修改，这些变化就立即发送出去。 高吞吐量 Q Capture程序始终可以跟踪在源表发生的快速变化，并且Apply程序使用多线

6、程，使得它能够及时跟踪通信通道中的消息。 低网络流量 消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少量的数据。 异步性 消息队列使得Apply程序可以不连接源数据库或者源子系统就可以接收事务。如果QCapture程序或者Apply程序停止，需要进行处理的消息在程序准备好之后后，将仍然存在于队列中。由于消息是永久的，所以源表和目标表即使在系统或设备故障的情况下仍可以保持同步。基于日志的复制，可忽略对于重要生产系统的影响，不需要时间窗口，不要时基于日志的复制，可忽略对于重要生产系统的影响，不需要时间窗口，不要时间戳来探测变化。不需要改变应用或者表结构，没有额外的硬件需要，

7、只复制间戳来探测变化。不需要改变应用或者表结构，没有额外的硬件需要，只复制变化，意味这最小的网络带宽，交易一发生，就转换发送给目标，增加数据量，变化，意味这最小的网络带宽，交易一发生，就转换发送给目标，增加数据量，缩短处理窗口缩短处理窗口第10页/共23页架构（数据源)第11页/共23页架构(目标端)第12页/共23页Log-Based ReplicationFeature:可以读取REDO和ARCHIVE LOGBusiness Benefits:实时性，以及对原有系统影响降到最低第13页/共23页可以复制ORACLE DDL和DMLTableSequenceContextDirectory

8、DimensionFunctionIndexLibraryMaterialized ViewPackageTriggerProcedureProfileResource Cost RoleRollback SegmentSynonymTablespaceUser ViewFeature:支持DDL（数据库对象和SCHEMA的变化可以同步)Business Benefits:减少错误和减轻管理成本，支持DDL和DMLOracle 9i,10g, 11g第14页/共23页灵活的架构Feature:扩展性好，全图形化操作第15页/共23页可用于数据容灾可用于数据容灾远程控制端远程控制端生产服务器生产

9、服务器冗灾服务器冗灾服务器时间漏斗R/WR应用数据库应用数据库 online第16页/共23页可选择全库或者部分数据的复制Replicate AllOr Selective同时支持复制过程数据格式的转换第17页/共23页Proposed IBM Architecture应对复杂场景应对复杂场景MQ ESEData ConsolidationServerTwoServerOneMQ ESEDataMirrorCDCMQ ESEMQ ESEMQ ESEDataMirrorCDCDataMirrorCDCDataMirrorCDC第18页/共23页Feature:一致点的控制，可以和TSM等结合第19页/共23页图形化的管理第20页/共23页 支持 Oracle 9i,10g and 11g 基于日志的备份 DDL & DML 支持 全量刷新