PowerExchange培训教材.ppt

1、Informatica PowerExchange for Oracle 培训,夏 凯 2009-01,电话MSN：xiakaicd,a,体系结构 安装介绍 注册数据源 PWX与PC集成,学 习 内 容,a,PowerExchange Batch： 用于数据源到目标之间的大批量数据迁移，适用于Unix、PC、MVS和AS/400数据格式的数据。 PowerExchange Change： 用于从创建的压缩变更文件（condensed changes files）中周期性地获取更新。 PowerExchange Real-time： 从日志信息中直接捕获更新，实时性较高

2、。对于Oracle的数据增量抽取，只能使用PowerExchange Real-time。 PowerExchange Change和PowerExchange Real-time只能捕获到所需的更新数据，将数据加载到目标数据库的任务需要由PowerCenter或其他第三方工具来完成。,PowerExchange抽取模式,a,1、PowerCenter发布一系列标准SQL请求。,2、PowerExchange转换SQL通过Native方式给数据源发送请求。,3、数据源通过Native方式做出反馈。,4、PowerExchange 发送经过翻译后的数据记录给PowerCenter。,a,1、通过

3、Oracle的LogMiner搜集Redo Logs 变化信息。,2、被收集的变化数据会被提交给PWX Condense Job,4、PowerCenter发布一系列标准SQL请求给PowerExchange的侦听程序来访问变化数据,6、PowerExchange 发送经过翻译后的数据记录给PowerCenter。,3、Condense Job将通过LogMiner接口捕捉来的变化数据，并基于外部配置文件产生Condense文件。,5、Listener从Condense文件抽取变化数据。,a,Oracle Redo Log是PowerExchange Oracle capture流程的必要部分

4、，被监测数据必须在Archive Log模式下运行。 LogMiner读取Redo Log，使PowerExchange能够从指定的时间点抽取数据，这些时间点由Oracle SCN（System Change Numbers）分隔。 Navigator被用做创建变更捕获注册信息，这些注册信息定义了用户需要实时监测的数据。 CAPI连接PowerExchange REGISTRATION，获取需要监测的表和列信息，然后连接Oracle和Log Miner，根据restart information确定应该返回哪些变更记录。 UOW Cleanser (Unit of Work)保证工作单元能够按

5、照其提交的顺序被依次处理，同时去除回滚的事务 。 PWX Condense Job接收变化信息并创建Condense文件。 当PowerCenter Workflow被调用后，通过Listenter请求变化信息。,PowerExchange “Change” Architecture for Oracle,a,Informatica PowerExchange,Operating Environment,User Application,Registration Data Maps,Oracle,Informatica PowerCenter,Informatica PowerAnalyzer

6、,Other Tools,Listener,PowerExchange “Real time” Architecture for Oracle,Oracle Logs,1、通过Oracle的LogMiner搜集Redo Logs 变化信息。,2、被收集的变化数据会被存储在change Stream或者Virtual Change Stream队列中,3、PowerCenter发布一系列标准SQL请求给PowerExchange的侦听程序来访问变化数据,4、PowerExchange的侦听程序根据请求，发送经过“翻译”后的变化数据给PowerCenter，从而实现变化数据的实时捕获,Native

7、 DB Request,Native DB Response,a,PowerExchange Listener Agent接收变化信息。(如果Oracle和PowerCenter Server在同一台机器就没有必要) PowerExchange客户端提供PowerExchange和PowerCenter的连接。 PowerCenter调用一个持续的Workflow应用不断将变化数据迁移到目标。,PowerExchange “Real time” Architecture for Oracle,a,体系结构 安装介绍 注册数据源 PWX与PC集成,学 习 内 容,a,操作系统支持情况 Windo

8、ws 2000, XP, 2003 AIX 5.1 and above Solaris 2.7 and above HPUX 11 and above Linux versions (Redhat AS 2.1-3.0 ) with kernel 2.4 Suse Linux ES 8-9,系 统 必 要 需 求,Oracle必要条件（最好在DBA的配合下操作） Oracle V9.2.0.6或以上； Real Application Clusters 不支持Oracle 9i版本，在Oracle 10g上支持。 Oracle必须运行在归档模式下； Oracle 9i版本Supplementa

9、l Logging必须打开(设置为true)； Oracle LogMiner必须配置完成； Oracle catalog被拷贝到Oracle Redo Log； A template SQLPlus script is provided to perform the above functions,a,局 限 性 说 明,支持的数据类型 NUMBER CHAR VARCHAR2 RAW DATE TIMESTAMP(目前能捕获到微秒级别),不支持的数据类型 LONG LONG RAW LOB types TIMESTAMP WITH LOCAL TIME ZONE LogMiner不支持的类

10、型,a,安装的几类环境,所有的组成部分都在统一台windows机器上。(DB+PC+PWX+Client) 服务端和客户端单独部署，PowerCenter Server和Oracle Server在同一台主机。(DB+PC+PWX和Client分开) PowerCenter Server和Oracle Server分别部署在两台主机 PowerExchange安装在PowerCenter Server端，通过SQL*Net访问Oracle数据库。(DB和PC+PWC+Client分开) PowerExchange安装在Oracle Server端，本地连接Oracle数据库。 (DB+PWX和

11、PC+Client分开),PowerExchange采用的是Server/Client模式，在被监控的服务器上安装server（Listener），获取源数据的变更，在数据抽取服务器上安装client（Navigator），定义所要监控的数据。,a,所有组件都在同一台Windows机器上(PowerCenter，PowerExchange和Oracle)。因为所有的访问都是“Local”的，因此，不需要配置PWX的Listener。,环境一：所有组件部署在 同一台Windows主机,a,PowerCenter首先被安装。 安装PowerExchange。 更新dbmover.cfg文件，增加C

12、API信息和Oracle信息。 ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamaps“ CAPT_PATH=C:Program FilesInformaticaInformatica PowerExchangecapture“ CAPI_CONN_NAME=CAPIUOWC CAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC

13、,CAPINAME=CAPIORA) CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id) 注： 1、ORACLEID=(collection_id, oracle_sid,connect_string,capture_connect_string ) ORACLEID：最大为20个字符。 collection_id：在注册捕获定义时会被引用，两者保持必须一致。 oracle_sid：被监测数据库的数据库实例名。 connect_string：被监测数据库的服务访问别名。 capture_co

14、nnect_string：可选项。 2、其中，ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。 3、目录capture和camap需要手动创建。,所有组件部署在 同一台Windows主机安装配置要点,a,重启机器，完成安装！,安 装 过 程,a,环境二：服务端和客户端 分开部署,a,PowerCenter首先被安装。 终端上安装PWX Navigator。安装PWX软件，修改终端上的dbmover.cfg。 NODE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A 其中，Server_A是节点名

15、称，在注册捕获定义时需要引用该节点名称。 10.1.1.100是被监测数据库所在主机的IP地址。 2480是监听端口号。 Server_A上安装PWX软件，修改Server_A上的dbmover.cfg。 ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamaps CAPT_PATH=C:Program FilesInformaticaInformatica P

16、owerExchangecapture CAPI_CONN_NAME=CAPIUOWC CAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA) CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL= Collection-Id) 注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。 2、目录capture和camap需要手动创建。,服务端和客户端分开部署 安装配置要点,a,Registrations,

17、Informatica PowerCenter,Informatica PowerExchange,PWXPC,Oracle,Oracle Logs,PowerCenter Client ,PWX, PWXPC,PWX Listener,主机Server_B是PowerCenter Server。需安装PWX。PWX Listener是必需的。,主机Server_A为 Oracle Server。,Server_A: 10.1.1.100,Server_B: 10.2.2.200,环境 三(1)：服务分开部署用 SQL*Net访问远程Oracle,a,PowerCenter首先被安装。 终端上

18、安装PWX Navigator。安装PWX软件，修改终端上的dbmover.cfg。 NODE=(Server_B,TCPIP,10.2.2.200,2480) /*连接Server_B Server_B上安装PWX软件，修改Server_B上的dbmover.cfg。 ORACLEID=(Collection-Id, OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamaps CAPT_PATH=C:Pro

19、gram FilesInformaticaInformatica PowerExchangecapture CAPI_CONN_NAME=CAPIUOWC CAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA) CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id) 注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。 2、目录capture和camap需要手动创建。,服务

20、分开部署SQL*Net访问 远程Oracle安装配置要点,a,环境 三(2)：服务分开部署用 PWX Listener访问远程Oracle,Registration Data Maps,Informatica PowerCenter,Informatica PowerExchange,PWX Listener,PWXPC,Oracle,Oracle Logs,主机Server_A为Oracle Server。PWX Listener必需安装。,主机Server_B是PowerCenter Server。PWX必需安装(listener不需要配置),Server_A: 10.1.1.100,Se

21、rver_B: 10.2.2.200,a,PowerCenter首先被安装。 终端上安装PWX Navigator。安装PWX软件，修改终端上的dbmover.cfg。 NODE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A Server_A上安装PWX软件，修改Server_A上的dbmover.cfg。 ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica P

22、owerExchangecapturecamaps CAPT_PATH=C:Program FilesInformaticaInformatica PowerExchangecapture CAPI_CONN_NAME=CAPIUOWC CAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA) CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id) Server_B上安装PWX软件，修改Server_B上的dbmover.cfg NO

23、DE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A,服务分开部署PWX Listener访问 远程Oracle安装配置要点,a,Oracle设置要点,a,体系结构 安装介绍 注册数据源 PWX与PC集成,学 习 内 容,a,Resources Data Capture,Data Capture只能被用做实现Change Data Capture,Application Groups 显示被抽取的信息，并支持用户reset下次抽取进程的时间。（数据库连接信息，抽取开始、结束时间等。） Extraction Groups 包含被指定注册表的中被抽取的表

24、/字段。 Registration Groups 所包含仅为Change Data Capture的注册表的信息。,说明: 增加Registration Group会自动创建Extraction和 Application groups。,a,输入Registration Group逻辑名,选择要在Registration Group中注册的服务器。Location下拉框中列出的是Client端dbmover.cfg配置文件中配置的所有节点 。,添加Registration Group,选择数据源类型,输入被选数据源的用户名和密码,输入在DBMOVER.CFG中定义的连接名。必须与Listene

25、r端dbmover.cfg中的collection_id一致。,如果想在添加Registration Group之后马上添加Capture Registration，则勾选复选框。如果清除复选框的勾选，“下一步”按钮会自动变为“完成”按钮。一个Registration Group下可以有多个Capture Registration。,a,添加Capture Registration-表和字段信息,输入表的逻辑名,输入表的owner,输入表名,双击表名得到表字段list,勾选希望监控的列。其中带有key标志的列是该表的索引列。 如果被监测的表没有任何索引列，则所有的列都需捕获。,a,添加Capt

26、ure Registration-CDC信息,选择CDC状态。 Acitve，Registration会立即生效； Inactive，所定义的Registration不会被Collection agent立即使用。,Condense：设置是否生成压缩文件保留对源库数据行提交的所有更新。 None = Real-time; Part = Change,设置Supplemental Log的名称，在本步骤中，系统会自动生成设置Supplemental Logging的DDL。,勾选，系统会在当前步骤完成时立即执行所产生的DDL。 清除勾选，用户需要手动执行相应的DDL文件。在执行实时监控之前，必须

27、运行该DDL以设置Supplemental Logging，否则实时捕获将不起作用。,a,在本地保存执行的DDL。,一旦保存DDL后,该DDL将被执行在指定表上启动Supplement Logging。,添加Capture Registration-执行DDL,a,Extraction Definition-Row Test,使用Row Test功能可以随机查询出一个Extraction Group的变化数据。,DTL_ 字段提供一组信息，如什么时间，什么地方，被谁执行过怎么的操作等信 息，和实际数据一起显示。,a,Extraction Definition-Row Test,a,Extrac

28、tion Definition-Advanced Options,设置执行Logminer的超时时间，不是Logminer的初始化时间。,从定义oracle信息： Oracle Instance: Oracle Connection String: Oracle Schema:,Extract：SL、RS。 SL：抽取从上次抽取之后的所有数据。 RS：重复抽取上一次的抽取。,Image：BA、AI、TU。 BA：以Update、Delete、Insert记录的方 式捕获修改前和修改后的值。 AI：只捕获最近一次修改的修改后的值。 TU：捕获修改前和修改后的值， 用indicator标识变更类型。,a,体系结构 安装介绍 注册数据源 PWX与PC集成,学 习 内 容,a,PowerExchange与PowerCenter的集成是通过PowerExchange Interfaces for PowerCenter完成。在运行PowerCenter的机器上安装PowerExchange之后，PowerExchange Interfaces for PowerCenter会被自动安装，无需单独安装。,概 述,PowerExchange Interfaces for PowerCenter分为两种： PowerExchange Client for Powe