PowerCenter培训教材.ppt

InformaticaPowerCenter培训,夏凯2009-01,电话SN：xiakaicd,第一天,产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试,INFA产品线,INFA支持情况,PowerCenter选件,丰富的ETL功能,Real-Time实时功能Partitioning分区功能HighAvailability高可靠性功能Pushdown功能EnterpriseGrid网格功能Team-basedDevelopment团队开发功能MetadataExchange元数据交换功能UnstructuredData非结构化数据功能Visio模板Mapping生成器功能DataFederation数据联邦功能DataProfiling数据质量探查功能,异构数据源，异构目标实现多种缓慢变化维全局变量及参数，参数文件局部变量，前后记录比较条件汇总异构数据源关联行/列转换静态、动态Lookup支持ETL事务处理自定义SQLPreSQL和PostSQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大函数支持、丰富转换语言,数据源为文件列表SessionRecovery基于多目标表约束装载错误数量控制FTP源和FTP目标ETL任务分区增量汇总测试装载BulkLoadingExternalLoader(Oracle、DB2.)复用Workflow功能丰富的Workflow控制任务串行、并行控制基于时间、事件和指示文件触发任务Workflow中调用OS外部命令Workflow中调用Email多ETLServer协同工作,InformaticaPowerCenter应用架构,PowerCenterServer和数据移动,PowerCenterServer、资料库、源和目标之间的处理路径,PowerCenter产品组件,服务端组件客户端组件,第一天,产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试,产品安装与样例安装,产品安装服务器安装客户端安装详见安装手册样例安装数据库准备RDBU（资料库数据库）SDBU（样例源数据库）TDBU（样例目标数据库）BDBU（样例参考数据库）样例数据准备样例参考导入,第一天,产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试,系统管理,InformaticaServer管理http:/localhost:6001DomainManagerNodeManagerRepositoryServiceManagerIntegrationServiceManagerLicenseManager资料库内容管理RepositoryManagerFolderManagerPrivilegeManager,第一天,产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试,开发六大步骤示意图,定义源定义目标创建映射定义任务创建工作流工作流调度监控,Designer:WorkflowManager:WorkflowMonitor:,第一步：定义源,引入源的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication,源分析器,InformaticaService,ODBCMappedDriveNFSMountingLocalDirectory,SaveMetaDataofSources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_,第二步：定义目标,引入目标的类型RelationaldatabaseFlatfileCOBOLfileXMLobjectApplication,目标分析器,SaveMetaDataofTargets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_,第三步：创建映射,第四步：定义任务,第五步：定义工作流,第六步：工作流调度监控,第一天,产品体系介绍产品安装配置系统管理介绍开发六大步骤数据转换调试,数据转换调试,组件介绍Expression组件Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,第二天,组件列表,SourceQualifier:从数据源读取数据Expression:行级转换Filter:数据过滤Sorter:数据排序Aggregator:聚合Joiner:异构数据关接连接Lookup:查询连接UpdateStrategy:对目标编辑insert,update,delete,rejectRouter:条件分发SequenceGenerator:序列号生成器,组件列表,Normalizer:记录规范化Rank:对记录进行TOPxUnion:数据合并TransactionControl:对装载数据按条件进行事务控制StoredProcedure:存储过程组件Custom:用户自定义组件HTTP:WWW组件Java:Java自编程组件,其它应用组件,组件类型,Passive组件流入流出组件的行数不发生变化例如：Expression、Lookup、HTTP组件Active组件流入流出组件的行数会发生变化例如：Aggregator、Router、Filter组件,P,A,函数分类,聚合函数字符串函数转换函数数据清洗函数日期函数编码函数财务函数数值函数数学函数特有函数判断函数用户自定义函数,函数列表,组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,第二天,Expression组件,组件功能基于行级的数据项赋值、修改、计算在同行记录中可新增、减少数据项组件类型Passive组件应用范围数据类型转换，例如Expression：to_date(Port1,yyyymmdd)数据项计算，例如Expression：(Port1+Port2)/Port3新增变量，例如Expression：i=i+1,Expression组件,练习一：Expression组件,描述将原始客户信息记录转换成合格标准的数据导入到暂存区。源表：customer_east.txtcustomer_west.txtcustomer_central.txt目标：TDBU.STG_CUSTOMERS要点姓与名合并为姓名；电话号码转换成易读格式的电话号码，如：(466)766-283；性别转换，将F转换成FEMALE、M转换成MALE、其它转换成UNK；年龄分段，20岁以下、2029、3039、4049、5060、60岁以上；解决方案详见m_LAB_01,组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,第二天,SourceQualifier、Filter组件,组件功能对流入组件中的记录数据进行过滤类似于关系型数据库Where应用与SourceQualifier的过滤功能区别在执行位置上组件类型Active组件应用范围数据过滤,SourceQualifier、Filter组件,注意：在SourceQualifier中的UserDefinedJoin、SourceFilter、NumberofSortedPorts中定义了SQL条件，那么，在SqlQuery中就不要在重写相关的SQL条件，否则，将不会生效。,Router组件,组件功能对流入组件中的记录数据按照条件进行分发类似于Java语言中的Switch语句组件类型Active组件应用范围数据分发,Router组件,练习二,描述将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。源表：TDBU.STG_CUSTOMERS目标：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要点偿试用Filter组件多种方法对目标进行装载解决方案详见m_LAB_02,练习三,描述将暂存区的客户信息按照性别分别导入到男、女、性别不明三张表内。源表：TDBU.STG_CUSTOMERS目标：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要点使用Router组件对数据进行分发比较Filter与Router各种方法的应用特点、性能解决方案详见m_LAB_03,组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,第二天,Joiner组件,组件功能对异构数据进行关联（同构关联用SourceQualify组件）类似于SQL中的Join语句组件类型Active组件应用范围2个异构数据类型的表关联,同构Joins与异构Joins,同构Joins,同种结构数据SourceQualify组件从源直接Joinsn个源可用1个SQ组件在源中先定义连接关系,异构Joins,不同DB或Flat与Flat之间Joiner组件在PowerCenter中Joinsn-1个Joiner组件在Joiner中定义连接条件,Joiner组件,Join类型,练习四,描述将员工信息与员工工资2个异构表关联后，将关联结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点用Joiner组件进行Mapping设计注意Master与Detail的设置选择(关联时建议将数据量少的设置为Master.)解决方案详见m_LAB_04,练习五,描述将员工信息与员工工资2个同构表关联后，将关联结果数据倒入到暂存区。源表：SDBU.EMPLOYEESSDBU.SALARY目标：TDBU.STG_EMPLOYEES要点用SourceQualify组件进行Mapping设计注意关联关系设置建议N个同构数据源只需用1个SourceQualifier组件关联，关联时建议将在Source设计区将需要关联的源表手工用连线关联起来，在Mapping设计区删除各个源所带的SourceQualifier组件，用一个新的SourceQualifier组件包含所有源的字段内容。解决方案详见m_LAB_05,Lookup组件,组件功能对FlatFile或数据库根据关联的条件进行查询返回符合条件的值，否则为空连接关联与非连接关联类似于SQL中的Join语句组件类型Passive组件应用范围查询文本文件的关联数据查询数据库的关联数据,连接Lookup与非连接Lookup,Lookup源,Lookup组件,查询条件：ITEM_ID=IN_ITEM_IDPRICE=IN_PRICE,流入值,查询输出值,流入值,查询到的值,Lookup组件,组件,查询条件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id),是否查询Y,返回查询到的值,Lookup组件,练习六,描述将员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点用连接Lookup组件进行Mapping设计注意Salary（FlatFile）的设置解决方案详见m_LAB_06,练习七,描述将合格的员工信息去员工工资文本文件查询员工工资信息，未查到的工资默认为0，最后将结果数据倒入到暂存区。源表：Employees_layout结构Employees_list.txt文件目录Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目标：TDBU.STG_EMPLOYEES要点用非连接Lookup组件进行Mapping设计注意Salary（FlatFile）的设置注意数据查询的条件解决方案详见m_LAB_07,组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,第二天,Aggregator组件,组件功能对数据集进行聚合聚合分有SUM、AVG、Count、Max、Min组件类型Active组件应用范围分组汇总平均值、最大值,Aggregator组件,Aggregator组件函数,注意区别：SUM(IN_count,IIF(ID20,IN_count)将不符合条件的值默认赋值为nullIIF(ID20,SUM(IN_count)将不符合条件的值默认赋值为0,Aggregator组件属性,Aggregator组件排序的区别,不对流入到Aggregator组件的数据进行排序,练习八,描述将采购清单按照数据仓库星型设计原则进行标准化存储，对货物库存量、订单量和货物费用按照采购编号、货物品名、代理商、订单日期、接收日期和发货日期进行汇总。源表：TDBU.STG_INVENTORY目标：TDBU.FACT_INVENTORYLOOKUP表：产品维表为DIM_PRODUCT日期维表为DIM_DATE要点订单文本文件与产品表的关联汇总前排序分组汇总解决方案详见m_LAB_08,第二天,组件介绍Expression组件SourceQualifier、Filter与RouterJoiner与LookupAggregator组件UpdateStrategy组件,UpdateStrategy组件,组件功能对流过组件的每一条记录赋一个操作标志根据操作标志对目标关系型数据库表生成SQL操作操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT组件类型Active组件应用范围数据增量更新对目标编辑,UpdateStrategy组件,练习九,描述将暂存区的发生变更了的员工信息倒入到员工维表中。源表：TDBU.STG_EMPLOYEES目标：TDBU.DIM_EMPLOYEES要点使用Router组件对数据按不同要求进行编辑操作偿试用一个UpdateStrategy组件完成上述功能解决方案详见m_LAB_09,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,增量抽取实例,实例描述对流过组件的每一条记录赋一个操作标志根据操作标志对目标关系型数据库表生成SQL操作操作标志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解决方案全表比较方法时间戳方法详见m_LAB_10字段压缩比较PowerExchange,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,参数与变量存在的三种形式,系统级变量SYSDATE系统日期SESSSTARTTIMESESSION启动时间$SessStartTime返回Session启动时间的字符串值Mapping级参数与变量SETMAXVARIABLE($Variable,value)设置最大值变量SETMINVARIABLE($Variable,value)设置最小值变量SETVARIABLE($Variable,value)设置变量值SETCOUNTVARIABLE($Variable)设置递增、减变量文件级参数与变量固定格式,Mapping参数与变量形式,从Designer中的Mappings/Mapplets菜单中进行定义在相应的Mapping或Mapplet中进行引用即可,参数文件形式,全局变量,域级服务变量,节点级服务处理变量,Workflow级变量优先于前几级定义的变量,参数文件设置,Workflow参数文件设置,参数文件的级别规则,GLOBAL,SERVICE,SERVICEPROCESS,WORKFLOW,SESSION,使用范围,执行优先权,高,低,低,高,Mapping与Workflow/Worklet之间进行变量传递,使用不同参数文件并行运行同一个Workflow,参数文件实例,实例描述对源文本文件名进行参数化对源表名进行参数化对目标输出文本文件名进行参数化对源与目标的数据库连接进行参数化对日志文件及路径进行参数化解决方案详见m_LAB_11注意事项注意变量的命名规则：特别是固定的前缀,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,断点续传实例,实例描述当在数据抽取时，因意外致使数据抽取发生中断，重新启动服务时仍可从断点执行数据抽取解决方案通过表pm_recovery和PM_TGT_RUN_ID记载最近提交点的位置，当session失败(或停止)后可从断点处接着装载数据，在monitor中，recovertask。在源表数据未发生变化的前提下详见m_LAB_12监控脚本select*frompm_recovery;selectrow_countfrompm_recovery;select*fromPM_TGT_RUN_ID;selectcount(*)fromSessionRecovery_Target;truncatetableSessionRecovery_Target;,断点续传实例,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,存储过程实例,实例描述将原始客户信息记录转换成合格标准的数据倒入到暂存区，转换处理在存储过程中完成源表：customer_east.txtcustomer_west.txtcustomer_central.txt目标：TDBU.STG_CUSTOMERS解决方案见存储过程EMP_INFA_TRANSFORM详见m_LAB_13,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,列行转换实例,实例描述源数据一条记录有多个字段格式一样，经过格式化，到目标生成多条记录，并且只保留一个该格式字段。解决方案使用Normalizer组件，实现列/行转变详见m_LAB_14_1行列转转用Aggregator组件实现，详见m_LAB_14_2,第三天,增量抽取实例参数文件控制断点续传实例存储过程实例行列转换实例系统性能调优,瓶颈类型,Source瓶颈Target瓶颈Mapping瓶颈Session瓶颈System瓶颈,Source调优,源为文本文件调优LineSequentialBufferLength(1024)源为关系型数据库在SourceQualify优化SQL在源数据增加索引增加DatabasenetworkPacke