实时数据复制CDC产品方案

Insight 实时数据复制 CDC产品介绍 Slide 2 Copyright 2005 Insight - All Rights Reserved BI技术的领导者 BI服务的领导者 广泛的合作伙伴 产品架构师：数据仓库之父 Bill Inmon 商务智能开创者 关于 Insight 商务中心：伦敦 研发中心：爱尔兰 意大利 领域：咨询服务 支撑中心遍布全球：欧洲、北美、亚太、中国 Slide 3 Copyright 2005 Insight - All Rights Reserved 电信四大运营商 中国 BI应用先行者 中国电信 电信集团数据门户系统 电信集团财务分析系统 浙江电信企业数据应用门户 杭州电信日报系统 青海电信 CRM 中国移动 中国移动集团 BAM系统 中国移动集团 DMBI系统 中国移动集团 BOSS分析监控系统 上海、广东、山东等 7省移动 BOSS分析监控系统 中国网通 浙江网通网上营业厅报表分析系统 海南网通 网通国际 内蒙网通财务分析系统 中国联通 中国联通 UNI BI系统 广东联通网格化 BI系统 Insight CDC Insight CDC 独有的 Oracle数据库 LOGO文件解析技术，在对生产库几乎没有影响情况下，把数据实时复制出来，做分析和查询用。 强大的跨平台数据复制解决方案，支持任何平台上的数据库。 支持几乎所有主流数据库的双向、实时复制传输 。 独立的软件运行平台。 友好的用户管理和配置界面 轻量级的程序，安装方便、快捷。 较低成本，较短投资回报周期 Insight CDC工作流程 分析日志 重做日志 /归档日志 源引擎和元数据 目标引擎和元数据 TCP/IP 基于 JAVA GUI的管理配置图形界面 数据库 ODS JMS 业务流程 平面文件 审计 直连到已有的 ETL Insight CDC应用领域 数据复制应用 ODS系统 数据仓库 生产报表系统 数据接口系统 数据集中 数据分发 从源系统上实时抽取增量数据； 目标系统数据（开状态）可被实时查询和使用。 Insight CDC产品特点一 Insight CDC产品特点二 Oracle IBM DB2 for i5/OS IBM DB2 for z/OS IBM DB2 UDB Microsoft SQL Server Microsoft Access Sybase ASE Sybase SQL Anywhere MySQL SolidDB for MySQL Cloudscape Teradata Netezza Informix Ingres PostgreSQL EnterpriseDB Gupta SQLBase Firebird Solid ANTs 目标端支持多种数据库 Insight CDC产品特点三 单向 1:1复制 ,可实现完全复制和选择性复制 N:1复制 ,可实现企业数据整合 统一报表 统一经营分析 数据统一稽核等 1:N复制 ,可实现企业数据分发 数据共享 企业应用集成 数据分布式查询等 双向 1:1复制 ,实现双数据中心 ,实现业务分担 层级递进，多极机构的实时数据获取 Insight CDC产品特点四 Vertical partitioning Horizontal partitioning H & V partitioning 选择表抽取 表内指定数据抽取 按需获取数据 Insight CDC产品特点五 部署方式灵活 源机（生产机） 目标机（如 ODS/DW） 第三服务器 Insight CDC产品部署于独立一台服务器上，不需要在生产机或者目标机上装任何产品。 对生产机没有任何潜在威胁。 大大减少部署的难度和维护的成本。 Insight CDC产品特点六 图形化的复制配置向导 (生成 XML配置文件 )，使用和维护方便 以其它方式编辑 XML文件 Insight CDC产品特点七 特殊对象的优化处理 CLOB、 BLOB 压缩表 Merge MAP方式 PK表 /无 PK表 Slide 13 Copyright 2005 Insight - All Rights Reserved 关注点 可靠性 高性能 低影响 日志分析速度的压力 浙江电信： 日志分析峰值可达每小时 200-400G 目标端数据装载压力 浙江电信：每秒钟完成 30000条 update操作 每秒钟完成 100000条 insert操作 高性能 Insight CDC确保正常情况下的源端 CPU占用在 0-5%左右 不会造成源端系统的业务处理能力的大幅度下降 对源系统性能的影响 故障情况包括 网络中断 服务器宕机 数据库关闭 Insight CDC保证数据不丢失 网络传输控制 装载控制 审计功能确保源和目标一致性 开放接口便于调用 故障环境下如何保证系统的可靠性 CDC在 BOSS实时报表中的应用 Continuous OLTP Native Log DB 中间库 中间库 BOSS系统 实时展现 本地数据库日志 现状：直接对 BOSS生产库出报表，严重影响 BOSS系统的效率。 使用 CDC产品后，在对 BOSS系统几乎没有影响的情况下，通过 CDC产品实时把数据抽取到中间库，通过中间库实时出报表。 CDC在 ODS里的应用 ODS OLTP Native Log DB OLTP Native Log DB BOSS、 计费系统 CRM、营销支撑系统 ODS系统 CDC在数据仓库里的应用 Continuous OLTP Native Log DB EDW Stage ETL ETL服务器 BOSS、计费、 CRM等生产系统 Scheduled Batch 数据仓库 本地数据库日志 CDC在电信 ITSM里的应用 IT 服务管理 Web / 语 音服 务台 / 语 音服 务台 IT 运维报表与数据展现 IT 运维报表与数据展现 信息公告 信息公告 IT 知识库管理 IT 知识库管理 IT 基础设施监控 IT 专网 IT 专网 操作系统 操作系统 数据库 数据库 桌面 桌面 环境与 动力 环境与 动力 主机 主机 安全设施 安全设施 应用软件监控 CRM CRM 计费结算 综合管理 服务开通 服务开通 网络资源 网络资源 其他应用软件 业务数据监控 业务受理 业务订购 资源调度 服务开通 账单清单查询 帐务处理 客户资料变更 计费 充值、缴费 其他业务 其他业务 投诉申告 服务投诉 服务支持流程（事件管理、问题管理、变更管理、配置管理、发布管理 .) 服务支持流程（事件管理、问题管理、变更管理、配置管理、发布管理 .) IT 人员管理 IT 人员管理 IT 资产管理 IT 资产管理 IT 供应商管理 IT 供应商管理 服务交付流程（持续性管理、容量管理、服务水平管理、成本管理 . ） 服务交付流程（持续性管理、容量管理、服务水平管理、成本管理 . ） 中间件 中间件 存储 备份 存储 备份 IT 需求管理 IT 需求管理 其他基 础设施 其他基 础设施 其他流程（如 IT 操作维护流程） 其他流程（如 IT 操作维护流程） 收入保障 业务咨询 故障申告 CRM 10000号 服务开通 网上客服中心 CDC实时取数 CDC在电信 OSS监控中的应用 在营业厅每办理一个业务，就会在 CRM形成一个订单，订单通过 EAI平台分解成若干个子工单分发给各个平台进行处理。 OSS前端监控系统监控订单在各个平台的处理状态。 系统架构 CDC在电信 10000号中的应用 浙江电信 10000 杭州 舟山 台州 丽水 衢州 湖州 绍兴 金华 嘉兴 温州 宁波 生产数据库 目标数据库服务器 CDC Ins