PowerCenter学习文档 说明 手册PPT课件

InformaticaPowerCenter培训 李婧2010 04 电话SN xiche 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 INFA产品线 INFA支持情况 PowerCenter选件 丰富的ETL功能 Real Time实时功能Partitioning分区功能HighAvailability高可靠性功能Pushdown功能EnterpriseGrid网格功能Team basedDevelopment团队开发功能MetadataExchange元数据交换功能UnstructuredData非结构化数据功能Visio模板Mapping生成器功能DataFederation数据联邦功能DataProfiling数据质量探查功能 异构数据源 异构目标实现多种缓慢变化维全局变量及参数 参数文件局部变量 前后记录比较条件汇总异构数据源关联行 列转换静态 动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大函数支持 丰富转换语言 数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader Oracle DB2 复用Workflow功能丰富的Workflow控制任务串行 并行控制基于时间 事件和指示文件触发任务Workflow中调用OS外部命令Workflow中调用Email多ETLServer协同工作 InformaticaPowerCenter应用架构 PowerCenterServer和数据移动 PowerCenterServer 资料库 源和目标之间的处理路径 PowerCenter产品组件 服务端组件客户端组件 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 产品安装与样例安装 产品安装服务器安装客户端安装详见安装手册样例安装数据库准备RDBU 资料库数据库 SDBU 样例源数据库 TDBU 样例目标数据库 BDBU 样例参考数据库 样例数据准备样例参考导入 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 系统管理 InformaticaServer管理http localhost 6001DomainManagerNodeManagerRepositoryServiceManagerIntegrationServiceManagerLicenseManager资料库内容管理RepositoryManagerFolderManagerPrivilegeManager 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 开发六大步骤示意图 定义源定义目标创建映射定义任务创建工作流工作流调度监控 Designer WorkflowManager WorkflowMonitor 第一步 定义源 引入源的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication 源分析器 InformaticaService ODBCMappedDriveNFSMountingLocalDirectory SaveMetaDataofSources OPB SRCOPB SRC OPB SRC FLDOPB SRC FLD 第二步 定义目标 引入目标的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication 目标分析器 SaveMetaDataofTargets OPB TARGOPB TARG OPB TARG FLDOPB TARG FLD 第三步 创建映射 第四步 定义任务 第五步 定义工作流 第六步 工作流调度监控 第一天 产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试 数据转换调试 组件介绍Expression组件Filter与RouterJoiner与LookupAggregator组件 第二天 组件列表 SourceQualifier 从数据源读取数据Expression 行级转换Filter 数据过滤Sorter 数据排序Aggregator 聚合Joiner 异构数据关接连接Lookup 查询连接UpdateStrategy 对目标编辑insert update delete rejectRouter 条件分发SequenceGenerator 序列号生成器 组件列表 Normalizer 记录规范化Rank 对记录进行TOPxUnion 数据合并TransactionControl 对装载数据按条件进行事务控制StoredProcedure 存储过程组件Custom 用户自定义组件HTTP WWW组件Java Java自编程组件 其它应用组件 组件类型 Passive组件流入流出组件的行数不发生变化例如 Expression Lookup HTTP组件Active组件流入流出组件的行数会发生变化例如 Aggregator Router Filter组件 P A 函数分类 聚合函数字符串函数转换函数数据清洗函数日期函数编码函数财务函数数值函数数学函数特有函数判断函数用户自定义函数 函数列表 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 Expression组件 组件功能基于行级的数据项赋值 修改 计算在同行记录中可新增 减少数据项组件类型Passive组件应用范围数据类型转换 例如Expression to date Port1 yyyymmdd 数据项计算 例如Expression Port1 Port2 Port3新增变量 例如Expression i i 1 Expression组件 练习一 Expression组件 描述将原始客户信息记录转换成合格标准的数据导入到暂存区 源表 customer east txtcustomer west txtcustomer central txt目标 TDBU STG CUSTOMERS要点姓与名合并为姓名 电话号码转换成易读格式的电话号码 如 466 766 283 性别转换 将F转换成FEMALE M转换成MALE 其它转换成UNK 年龄分段 20岁以下 20 29 30 39 40 49 50 60 60岁以上 解决方案详见m LAB 01 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 SourceQualifier Filter组件 组件功能对流入组件中的记录数据进行过滤类似于关系型数据库Where应用与SourceQualifier的过滤功能区别在执行位置上组件类型Active组件应用范围数据过滤 SourceQualifier Filter组件 注意 在SourceQualifier中的UserDefinedJoin SourceFilter NumberofSortedPorts中定义了SQL条件 那么 在SqlQuery中就不要在重写相关的SQL条件 否则 将不会生效 Router组件 组件功能对流入组件中的记录数据按照条件进行分发类似于Java语言中的Switch语句组件类型Active组件应用范围数据分发 Router组件 练习二 描述将暂存区的客户信息按照性别分别导入到男 女 性别不明三张表内 源表 TDBU STG CUSTOMERS目标 TDBU STG CUSTOMERS FEMALETDBU STG CUSTOMERS MALETDBU STG CUSTOMERS UNK要点偿试用Filter组件多种方法对目标进行装载解决方案详见m LAB 02 练习三 描述将暂存区的客户信息按照性别分别导入到男 女 性别不明三张表内 源表 TDBU STG CUSTOMERS目标 TDBU STG CUSTOMERS FEMALETDBU STG CUSTOMERS MALETDBU STG CUSTOMERS UNK要点使用Router组件对数据进行分发比较Filter与Router各种方法的应用特点 性能解决方案详见m LAB 03 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 Joiner组件 组件功能对异构数据进行关联 同构关联用SourceQualify组件 类似于SQL中的Join语句组件类型Active组件应用范围2个异构数据类型的表关联 同构Joins与异构Joins 同构Joins 同种结构数据SourceQualify组件从源直接Joinsn个源可用1个SQ组件在源中先定义连接关系 异构Joins 不同DB或Flat与Flat之间Joiner组件在PowerCenter中Joinsn 1个Joiner组件在Joiner中定义连接条件 Joiner组件 Join类型 练习四 描述将员工信息与员工工资2个异构表关联后 将关联结果数据倒入到暂存区 源表 Employees layout结构Employees list txt文件目录Employees east txtEmployees west txtEmployees central txtSalary txt目标 TDBU STG EMPLOYEES要点用Joiner组件进行Mapping设计注意Master与Detail的设置选择 关联时建议将数据量少的设置为Master 解决方案详见m LAB 04 练习五 描述将员工信息与员工工资2个同构表关联后 将关联结果数据倒入到暂存区 源表 SDBU EMPLOYEESSDBU SALARY目标 TDBU STG EMPLOYEES要点用SourceQualify组件进行Mapping设计注意关联关系设置建议N个同构数据源只需用1个SourceQualifier组件关联 关联时建议将在Source设计区将需要关联的源表手工用连线关联起来 在Mapping设计区删除各个源所带的SourceQualifier组件 用一个新的SourceQualifier组件包含所有源的字段内容 解决方案详见m LAB 05 Lookup组件 组件功能对FlatFile或数据库根据关联的条件进行查询返回符合条件的值 否则为空连接关联与非连接关联类似于SQL中的Join语句组件类型Passive组件应用范围查询文本文件的关联数据查询数据库的关联数据 连接Lookup与非连接Lookup Lookup源 Lookup组件 查询条件 ITEM ID IN ITEM IDPRICE IN PRICE 流入值 查询输出值 流入值 查询到的值 Lookup组件 组件 查询条件 IIF ISNULL customer id lkp MYLOOKUP order no customer id 是否查询Y 返回查询到的值 Lookup组件 练习六 描述将员工信息去员工工资文本文件查询员工工资信息 未查到的工资默认为0 最后将结果数据倒入到暂存区 源表 Employees layout结构Employees list txt文件目录Employees east txtEmployees west txtEmployees central txtSalary txt目标 TDBU STG EMPLOYEES要点用连接Lookup组件进行Mapping设计注意Salary FlatFile 的设置解决方案详见m LAB 06 练习七 描述将合格的员工信息去员工工资文本文件查询员工工资信息 未查到的工资默认为0 最后将结果数据倒入到暂存区 源表 Employees layout结构Employees list txt文件目录Employees east txtEmployees west txtEmployees central txtSalary txt目标 TDBU STG EMPLOYEES要点用非连接Lookup组件进行Mapping设计注意Salary FlatFile 的设置注意数据查询的条件解决方案详见m LAB 07 组件介绍Expression组件SourceQualifier Filter与RouterJoiner与LookupAggregator组件 第二天 Aggregator组件 组件功能对数据集进行聚合聚合分有SUM AVG Count Max Min 组件类型Active组件应用范围分组汇总平均值 最大值 Aggregator组件 Aggregator组件函数 注意区别 SUM IN count IIF ID 20 IN count 将不符合条件的值默认赋值为nullIIF ID 20 SUM IN count 将不符合条件的值默认赋值为0 Aggregator组件属性 Aggregator组件排序的区别 不对流入到Aggregator组件的数据进行排序 练习八 描述将采购清单按照数据仓库星型设计原则进行标准化存储 对货物库存量 订单量和货物费用按照采购编号 货物品名 代理商 订单日期 接收日期和发货日期进行汇总 源表 TDBU STG INVENTORY目标 TDBU FACT INVENTORYLOOKUP表 产品维表为DIM PRODUCT日期维表为DIM DATE要点订单文本文件与产品表的关联汇总前排序分组汇总解决方案详见m LAB 08 第三天 UpdateStrategy组件UserDefinedFunctionJavaTransformation组件StoredProcedure组件 UpdateStrategy组件 组件功能对流过组件的每一条记录赋一个操作标志根据操作标志对目标关系型数据库表生成SQL操作操作标志有DD INSERT DD DELETE DD UPDATE DD REJECT组件类型Active组件应用范围数据增量更新对目标编辑 UpdateStrategy组件 练习九 描述将暂存区的发生变更了的员工信息倒入到员工维表中 源表 TDBU STG EMPLOYEES目标 TDBU DIM EMPLOYEES要点使用Router组件对数据按不同要求进行编辑操作偿试用一个UpdateStrategy组件完成上述功能解决方案详见m LAB 09 第三天 UpdateStrategy组件UserDefinedFunctionJavaTransformation组件StoredProcedure组件 UserDefinedFunction 函数介绍用户自定义函数可以在Designer中定义 在Expression中使用可以使用任何有效的函数 除了Aggregation函数 也可以使用在同一个文件夹里的其它UDFs在FCS中UDFs不支持快捷键 也就是说它们只能在自己被创建的文件夹中被访问组件类型用户自定义函数UDFs是文件夹级别的对象应用范围较少的字段形成的比较复杂的函数逻辑此函数逻辑在多个mapping中都使用 UserDefinedFunction 第三天 UpdateStrategy组件UserDefinedFunctionJavaTransformation组件StoredProcedure组件 JavaTransformation组件 组件功能调用现有的java程序 提供java接口对java程序进行编译 并提供编译结果组件类型ActiveorPassive应用范围对复杂的业务逻辑如果有写好的java程序对于用infa实现比较麻烦的业务逻辑 JavaTransformation组件 第三天 UpdateStrategy组件UserDefinedFunctionJavaTransformation组件StoredProcedure组件 StoredProcedure组件 组件功能调用现有的存储过程被调用的存储过程有无参数都可一个mapping中可调用多个存储过程 并可设定执行顺序组件类型ActiveorPassive应用范围对复杂的业务逻辑如果有写好的存储过程对于用infa实现比较麻烦的业务逻辑 StoredProcedure组件 可以选择执行时间 目标表插入数据后执行 练习十 实例描述将原始客户信息记录转换成合格标准的数据倒入到暂存区 转换处理在存储过程中完成源表 customer east txtcustomer west txtcustomer central txt目标 TDBU STG CUSTOMERS解决方案见存储过程EMP INFA TRANSFORM详见m LAB 13 第四天 增量抽取实例参数文件控制断点续传实例行列转换实例 增量抽取实例 实例描述对流过组件的每一条记录赋一个操作标志根据操作标志对目标关系型数据库表生成SQL操作操作标志有DD INSERT DD DELETE DD UPDATE DD REJECT解决方案全表比较方法时间戳方法详见m LAB 10字段压缩比较PowerExchange 第四天 增量抽取实例参数文件控制断点续传实例行列转换实例 参数与变量存在的三种形式 系统级变量SYSDATE系统日期SESSSTARTTIMESESSION启动时间 SessStartTime返回Session启动时间的字符串值Mapping级参数与变量SETMAXVARIABLE Variable value 设置最大值变量SETMINVARIABLE Variable value 设置最小值变量SETVARIABLE Variable value 设置变量值SETCOUNTVARIABLE Variable 设置递增 减变量文件级参数与变量固定格式 Mapping参数与变量形式 从Designer中的Mappings Mapplets菜单中进行定义在相应的Mapping或Mapplet中进行引用即可 参数文件形式 全局变量 域级服务变量 节点级服务处理变量 Workflow级变量优先于前几级定义的变量 参数文件设置 Workflow参数文件设置 参数文件的级别规则 GLOBAL SERVICE SERVICEPROCESS WORKFLOW SESSION 使用范围 执行优先权 高 低 低 高 Mapping与Workflow Worklet之间进行变量传递 使用不同参数文件并行运行同一个Workflow 参数文件实例 实例描述对源文本文件名进行参数化对源表名进行参数化对目标输出文本文件名进行参数化对源与目标的数据库连接进行参数化对日志文件及路径进行参数化解决方案详见m LAB 11注意事项注意变量的命名规则 特别是固定的前缀 第四天 增量抽取实例参数文件控制断点续传实例行列转换实例 断点续传实例 实例描述当在数据抽取时 因意外致使数据抽取发生中断 重新启动服务时仍可从断点执行数据抽取解决方案通过表pm recovery和PM TGT RUN ID记载最近提交点的位置 当session失败 或停止 后可从断点处接着装载数据 在monitor中 recovertask 在源表数据未发生变化的前提下详见m LAB 12监控脚本select frompm recovery selectrow countfrompm recovery select fromPM TGT RUN ID selectcount fromSessionRecovery Target truncatetableSessionRecovery Target 断点续传实例 第四天 增量抽取实例参数文件控制断点续传实例行列转换实例 列行转换实例 实例描述源数据一条记录有多个字段格式一样 经过格式化 到目标生成多条记录 并且只保留一个该格式字段 解决方案使用Normalizer组件 实现列 行转变详见m LAB 14 1行列转转用Aggregator组件实现 详见m LAB 14 2 第五天 系统性能调优Partition功能 瓶颈类型 Source瓶颈Target瓶颈Mapping瓶颈Session瓶颈System瓶颈 Source调优 源为文本文件调优LineSequentialBufferLength 1024 源为关系型数据库在SourceQualify优化SQL在源数据增加索引增加DatabasenetworkPacketsize当DB跟Informatica在同一机器上 使用IPC协议 Target调优 目标为文本文件调优LineSequentialBufferLength 1024 目标为关系型数据库删除目标索引和约束增加checkpointinterval使用Bulkloading和ExternalLoading增加DatabasenetworkPacketsizeO