PowerExchange培训教材ppt课件

InformaticaPowerExchangeforOracle培训,夏凯2009-01,电话SN：xiakaicd,.,体系结构安装介绍注册数据源PWX与PC集成,学习内容,.,PowerExchangeBatch：用于数据源到目标之间的大批量数据迁移，适用于Unix、PC、MVS和AS/400数据格式的数据。PowerExchangeChange：用于从创建的压缩变更文件（condensedchangesfiles）中周期性地获取更新。PowerExchangeReal-time：从日志信息中直接捕获更新，实时性较高。对于Oracle的数据增量抽取，只能使用PowerExchangeReal-time。PowerExchangeChange和PowerExchangeReal-time只能捕获到所需的更新数据，将数据加载到目标数据库的任务需要由PowerCenter或其他第三方工具来完成。,PowerExchange抽取模式,.,1、PowerCenter发布一系列标准SQL请求。,2、PowerExchange转换SQL通过Native方式给数据源发送请求。,3、数据源通过Native方式做出反馈。,4、PowerExchange发送经过翻译后的数据记录给PowerCenter。,.,1、通过Oracle的LogMiner搜集RedoLogs变化信息。,2、被收集的变化数据会被提交给PWXCondenseJob,4、PowerCenter发布一系列标准SQL请求给PowerExchange的侦听程序来访问变化数据,6、PowerExchange发送经过翻译后的数据记录给PowerCenter。,3、CondenseJob将通过LogMiner接口捕捉来的变化数据，并基于外部配置文件产生Condense文件。,5、Listener从Condense文件抽取变化数据。,.,OracleRedoLog是PowerExchangeOraclecapture流程的必要部分，被监测数据必须在ArchiveLog模式下运行。LogMiner读取RedoLog，使PowerExchange能够从指定的时间点抽取数据，这些时间点由OracleSCN（SystemChangeNumbers）分隔。Navigator被用做创建变更捕获注册信息，这些注册信息定义了用户需要实时监测的数据。CAPI连接PowerExchangeREGISTRATION，获取需要监测的表和列信息，然后连接Oracle和LogMiner，根据restartinformation确定应该返回哪些变更记录。UOWCleanser(UnitofWork)保证工作单元能够按照其提交的顺序被依次处理，同时去除回滚的事务。PWXCondenseJob接收变化信息并创建Condense文件。当PowerCenterWorkflow被调用后，通过Listenter请求变化信息。,PowerExchange“Change”ArchitectureforOracle,.,InformaticaPowerExchange,OperatingEnvironment,UserApplication,RegistrationDataMaps,Oracle,InformaticaPowerCenter,InformaticaPowerAnalyzer,OtherTools,Listener,PowerExchange“Realtime”ArchitectureforOracle,OracleLogs,1、通过Oracle的LogMiner搜集RedoLogs变化信息。,2、被收集的变化数据会被存储在changeStream或者VirtualChangeStream队列中,3、PowerCenter发布一系列标准SQL请求给PowerExchange的侦听程序来访问变化数据,4、PowerExchange的侦听程序根据请求，发送经过“翻译”后的变化数据给PowerCenter，从而实现变化数据的实时捕获,NativeDBRequest,NativeDBResponse,.,PowerExchangeListenerAgent接收变化信息。(如果Oracle和PowerCenterServer在同一台机器就没有必要)PowerExchange客户端提供PowerExchange和PowerCenter的连接。PowerCenter调用一个持续的Workflow应用不断将变化数据迁移到目标。,PowerExchange“Realtime”ArchitectureforOracle,.,体系结构安装介绍注册数据源PWX与PC集成,学习内容,.,操作系统支持情况Windows2000,XP,2003AIX5.1andaboveSolaris2.7andaboveHPUX11andaboveLinuxversions(RedhatAS2.1-3.0)withkernel2.4SuseLinuxES8-9,系统必要需求,Oracle必要条件（最好在DBA的配合下操作）OracleV9.2.0.6或以上；RealApplicationClusters不支持Oracle9i版本，在Oracle10g上支持。Oracle必须运行在归档模式下；Oracle9i版本SupplementalLogging必须打开(设置为true)；OracleLogMiner必须配置完成；Oraclecatalog被拷贝到OracleRedoLog；AtemplateSQLPlusscriptisprovidedtoperformtheabovefunctions,.,局限性说明,支持的数据类型NUMBERCHARVARCHAR2RAWDATETIMESTAMP(目前能捕获到微秒级别),不支持的数据类型LONGLONGRAWLOBtypesTIMESTAMPWITHLOCALTIMEZONELogMiner不支持的类型,.,安装的几类环境,所有的组成部分都在统一台windows机器上。(DB+PC+PWX+Client)服务端和客户端单独部署，PowerCenterServer和OracleServer在同一台主机。(DB+PC+PWX和Client分开)PowerCenterServer和OracleServer分别部署在两台主机PowerExchange安装在PowerCenterServer端，通过SQL*Net访问Oracle数据库。(DB和PC+PWC+Client分开)PowerExchange安装在OracleServer端，本地连接Oracle数据库。(DB+PWX和PC+Client分开),PowerExchange采用的是Server/Client模式，在被监控的服务器上安装server（Listener），获取源数据的变更，在数据抽取服务器上安装client（Navigator），定义所要监控的数据。,.,所有组件都在同一台Windows机器上(PowerCenter，PowerExchange和Oracle)。因为所有的访问都是“Local”的，因此，不需要配置PWX的Listener。,环境一：所有组件部署在同一台Windows主机,.,PowerCenter首先被安装。安装PowerExchange。更新dbmover.cfg文件，增加CAPI信息和Oracle信息。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecapturecamaps“CAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecapture“CAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACLEID=(collection_id,oracle_sid,connect_string,capture_connect_string)ORACLEID：最大为20个字符。collection_id：在注册捕获定义时会被引用，两者保持必须一致。oracle_sid：被监测数据库的数据库实例名。connect_string：被监测数据库的服务访问别名。capture_connect_string：可选项。2、其中，ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。3、目录capture和camap需要手动创建。,所有组件部署在同一台Windows主机安装配置要点,.,重启机器，完成安装！,安装过程,.,环境二：服务端和客户端分开部署,.,PowerCenter首先被安装。终端上安装PWXNavigator。安装PWX软件，修改终端上的dbmover.cfg。NODE=(Server_A,TCPIP,10.1.1.100,2480)/*连接Server_A其中，Server_A是节点名称，在注册捕获定义时需要引用该节点名称。10.1.1.100是被监测数据库所在主机的IP地址。2480是监听端口号。Server_A上安装PWX软件，修改Server_A上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecapturecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。2、目录capture和camap需要手动创建。,服务端和客户端分开部署安装配置要点,.,Registrations,InformaticaPowerCenter,InformaticaPowerExchange,PWXPC,Oracle,OracleLogs,PowerCenterClient,PWX,PWXPC,PWXListener,主机Server_B是PowerCenterServer。需安装PWX。PWXListener是必需的。,主机Server_A为OracleServer。,Server_A:10.1.1.100,Server_B:10.2.2.200,环境三(1)：服务分开部署用SQL*Net访问远程Oracle,.,PowerCenter首先被安装。终端上安装PWXNavigator。安装PWX软件，修改终端上的dbmover.cfg。NODE=(Server_B,TCPIP,10.2.2.200,2480)/*连接Server_BServer_B上安装PWX软件，修改Server_B上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecapturecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。2、目录capture和camap需要手动创建。,服务分开部署SQL*Net访问远程Oracle安装配置要点,.,环境三(2)：服务分开部署用PWXListener访问远程Oracle,RegistrationDataMaps,InformaticaPowerCenter,InformaticaPowerExchange,PWXListener,PWXPC,Oracle,OracleLogs,主机Server_A为OracleServer。PWXListener必需安装。,主机Server_B是PowerCenterServer。PWX必需安装(listener不需要配置),Server_A:10.1.1.100,Server_B:10.2.2.200,.,PowerCenter首先被安装。终端上安装PWXNavigator。安装PWX软件，修改终端上的dbmover.cfg。NODE=(Server_A,TCPIP,10.1.1.100,2480)/*连接Server_AServer_A上安装PWX软件，修改Server_A上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:ProgramFilesInformaticaInformaticaPowerExchangecapturecamapsCAPT_PATH=C:ProgramFilesInformaticaInformaticaPowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)Server_B上安装PWX软件，修改Server_B上的dbmover.cfgNODE=(Server_A,TCPIP,10.1.1.100,2480)/*连接Server_A,服务分开部署PWXListener访问远程Oracle安装配置要点,.,Oracle设置要点,.,体系结构安装介绍注册数据源PWX与PC集成,学习内容,.,ResourcesDataCapture,DataCapture只能被用做实现ChangeDataCapture,ApplicationGroups显示被抽取的信息，并支持用户reset下次抽取进程的时间。（数据库连接信息，抽取开始、结束时间等。）ExtractionGroups包含被指定注册表的中被抽取的表/字段。RegistrationGroups所包含仅为ChangeDataCapture的注册表的信息。,说明:增加RegistrationGroup会自动创建Extraction和Applicationgroups。,.,输入RegistrationGroup逻辑名,选择要在RegistrationGroup中注册的服务器。Location下拉框中列出的是Client端dbmover.cfg配置文件中配置的所有节点。,添加RegistrationGroup,选择数据源类型,输入被选数据源的用户名和密码,输入在DBMOVER.CFG中定义的连接名。必须与Listener端dbmover.cfg中的collection_id一致。,如果想在添加RegistrationGroup之后马上添加CaptureRegistration，则勾选复选框。如果清除复选框的勾选，“下一步”按钮会自动变为“完成”按钮。一个RegistrationGroup下可以有多个CaptureRegistration。,.,添加CaptureRegistration-表和字段信息,输入表的逻辑名,输入表的owner,输入表名,双击表名得到表字段list,勾选希望监控的列。其中带有key标志的列是该表的索引列。如果被监测的表没有任何索引列，则所有的列都需捕获。,.,添加CaptureRegistration-CDC信息,选择CDC状态。Acitve，Registration会立即生效；Inactive，所定义的Registration不会被Collectionagent立即使用。,Condense：设置是否生成压缩文件保留对源库数据行提交的所有更新。None=Real-time;Part=Change,设置SupplementalLog的名称，在本步骤中，系统会自动生成设置SupplementalLogging的DDL。,勾选，系统会在当前步骤完成时立即执行所产生的DDL。清除勾选，用户需要手动执行相应的DDL文件。在执行实时监控之前，必须运行该DDL以设置SupplementalLogging，否则实时捕获将不起作用。,.,在本地保存执行的DDL。,一旦保存DDL后,该DDL将被执行在指定表上启动SupplementLogging。,添加CaptureRegistration-执行DDL,.,ExtractionDefinition-RowTest,使用RowTest功能可以随机查询出一个ExtractionGroup的变化数据。,DTL_字段提供一组信息，如什么时间，什么地方，被谁执行过怎么的操作等信息，和实际数据一起显示。,.,ExtractionDefinition-RowTest,.,ExtractionDefinition-AdvancedOptions,设置执行Logminer的超时时间，不是Logminer的初始化时间。,从定义oracle信息：OracleInstance:OracleConnectionString:OracleSchema:,Extract：SL、RS。SL：抽取从上次抽取之后的所有数据。RS：重复抽取上一次的抽取。,Image：BA、AI、TU。BA：以Update、Delete、Insert记录的方式捕获修改前和修改后的值。AI：只捕获最近一次修改的修改后的值。TU：捕获修改前和修改后的值，用indicator标识变更类型。,.,体系结构安装介绍注册数据源PWX与PC集成,学习内容,.,PowerExchange与PowerCenter的集成是通过PowerExchangeInterfacesforPowerCenter完成。在运行PowerCenter的机器上安装PowerExchange之后，PowerExchangeInterfacesforPowerCenter会被自动安装，无需单独安装。,概述,PowerExchangeInterfacesforPowerCenter分为两种：PowerExchangeCl