informatica组件介绍

1、ServiceService主讲人：黄祝康主讲人：黄祝康日期：日期：2014-2-282014-2-281InformaticaInformatica 基础开发基础开发目录n1.客户端简介n2.ETL抽取前准备n3.ETL任务设计步骤n4.简单实例演示2 3 3Powcenter -组件总体介绍n数据抽取组件 1、Source Qualifier：数据源编辑组件 2、文本文件导入 3、XML文件导入 4、JOIN组件：关联组件n数据转换组件 1、Normalizer：行转换列组件 2、Expression组件：表达式组件 3、Aggregator组件：聚合组件 4、Filter组件：过滤组件

2、5、Router组件：路由组件 6、Sorter组件：排序组件 4 4Powcenter -组件总体介绍n数据转换组件 7、Union组件：联合组件 8、Lookup组件：查找组件 9、Stored Procedure组件：调用存储过程组件 10、Sequence Generator组件：生成序列号组件 11、Input/Output组件：输入/输出组件n数据装载组件 1、Update Strategy组件：插入/更新/删除/拒绝组件 5 5数据抽取组件-Source Qualifier（一）n功能：根据查询SQL从关系表或文本文件查出所要记录；n特点：1、每个数据源后面都会带一个Source

3、 Qualifier组件；关系表源文本文件源Source Qualifier组件Source Qualifier组件 6 6数据抽取组件-Source Qualifier（二）2、连接同构的源数据，可以连接多个表；异构数据源，需要使用JOIN组件；Source Qualifier组件 7 7数据抽取组件-Source Qualifier（三）3、定制SELECT语句来读取源数据，去除重复记录、增 加过滤条件、关联条件等； 8 8数据抽取组件-Source Qualifier（四）4、可以在执行数据抽取之前（Pre SQL）或者执行数据抽取（Post SQL）之后对数据进行处理（可以调用SQL脚

4、本、调用存储过程）；Pre SQLPost SQL 9 9数据抽取组件-文本文件导入（一）n功能：文本文件源数据导入n特点：1、选择Source-Import from File导入文本文件源数据的数据结构，分隔符可以自己定义；定义分隔符 10 10数据抽取组件-文本文件导入（二）2、指定文本文件所在的目录，可预览数据； 11 11数据抽取组件-文本文件导入（三）3、不支持Excel数据导入，Excel文件要另存为另存为扩展名为csv的文件才可以导入； 12 12数据抽取组件-XML源文件导入n功能：XML源数据导入n特点：1、选择Source-Import XML Definition导入X

5、ML源数据的数据结构；2、在Session指定XML文件所在的目录；XML源文件 13 13数据抽取组件-Joiner（一）n功能：实现同构或者异构源数据关联；n特点：1、一次只能关联2个源数据，如果是N个源数据，就要N-1个Joiner 进行关联；2、文本文件和关系表源数据关联、不同数据库的关系表源数据关联；3、对数据进行排序再进行关联； 14 14数据抽取组件-Joiner（二）4、可以指定关联类型，关联类型有Normal Join、Master Outer Join Detail、Detail Outer Join、Full Outer Join4种；指定关联类型 15 15数据转换组件

6、-Normalizer（一）n功能：行转换成列；n特点：1、只能实现行转列，如果要实现列转换成行（要用Source Qualifier组件定制SELECT实现）； 16 16数据转换组件-Normalizer（二）2、在Normalizer TAB里面进行设置Occurs；表示记录出现的次数 17 17数据转换组件-Expression组件（一）n功能：执行非汇总的计算n特点：1、在Port中“I（表示Input输入）”“O（表示Output输入）”“V（表示Variable变量）”，如果“O”打勾并在Expression中设置默认值表示设置常量；设置常量 18 18数据转换组件-Expres

7、sion组件（二）2、可以设置局部变量，变量在该mapping中有效，“V（表示变量）”端口打勾，并设置变量表达式；设置变量表达式 19 19数据转换组件-Expression组件3、在表达式编辑器中可以编写类SQL脚本，如IIF、DECODE、SUBSTR等、可以校验表达式是否准确；校验表达式 20 20数据转换组件-Aggregator组件（一）n功能：汇总计算n特点：1、求平均值AVG、求和SUM、最大值MAX、最小值MIX、统计COUNT等；Aggregator组件 21 21数据转换组件-Aggregator组件（二）2、跟SQL的group by区别，SQL里面除了不进行汇总计算的

8、字段都要跟在group by后面，但该组件只要求选择分组的字段。双击agg_CALC_PROFIT_and_MARGIN组件，选择Ports的TAB页；使用Group By进行计算 22 22数据转换组件-Filter组件（一）n功能：根据条件过滤不符合条件的行。n特点：1、过滤条件就是可以返回真或假的表达式，如果表达式的值为真记录就进入下一个组件，为假就过滤；过滤组件 23 23数据转换组件-Filter组件（二）双击FILTER组件打开组件的Properties TAB设置过滤条件设置过滤条件 24 24数据转换组件-Router组件（一）n功能：类似于FILTER组件，都是过滤不符合条件

9、的行，但是FILTER只有一组条件，而Router可有一个或者多组条件。n特点： 1、一个输入，有多个输出；Router组件 25 25数据转换组件-Router组件（二）2、该组件的功能类似于SQL的case when语句；3、要在Groups里面设置分组条件；设置3个分组条件 26 26数据转换组件-Sorter组件（一）n功能：对数据行进行排序。n特点：1、在一个mapping里建立该组件，指定多个用来排序的端口；Sorter组件 27 27数据转换组件-Sorter组件（二）2、指定升序或者降序；指定升降序 28 28数据转换组件-Union组件（一）n功能：把不同种类或同种类的源合并

10、到一起，相当于SQL语句的UNION ALL。n特点：1、可以设置多个输入，只能一个输出；Union组件 29 29数据转换组件-Union组件（二）2、要求源数据的字段数一样，字段类型一样；3、源数据可以是多个，要求对源数据进行分组； 30 30数据转换组件-Lookup组件（连接一）n功能：获取一个相关联的值，类似于数据库的子查询。n特点：1、有连接和未连接之分；2、Lookup表可以是数据库表，也可以是文本文件；连接的Lookup未连接的Lookup 31 31数据转换组件-Lookup组件（连接二）3、在Ports TAB为设置输入端口、输出端口、条件端口；R表示返回值端口L表示查询条

11、件 32 32数据转换组件-Lookup组件（连接三）4、在Condition TAB为设置查找条件；条件表达式输入字段查找值 33 33数据转换组件-Lookup组件（连接四）5、输出字段流向下一个组件；输入字段输出字段查找字段 34 34数据转换组件-Lookup组件（连接五）6、在Properties TAB为定制Select查询；定制Select 35 35数据转换组件-Lookup组件（未连接一）n功能：返回一个相关联的值，类似于数据库的函数功能。n特点：1、未连接的Lookup组件不需要同mapping里面的组件进行连线，Ports TAB设置：输入、输出、条件端口，返回值端口；必

12、须有返回值 36 36数据转换组件-Lookup组件（未连接二）2、可以定制返回值的Select查询；定制Select 37 37数据转换组件-Lookup组件（未连接三）3、未连接的可以被表达式组件调用，调用方式：冒号+LKP+ Lookup组件名称+参数；调用未连接Lookup组件 38 38数据转换组件-Lookup组件（未连接四）4、输出字段的值流向下一个组件；调用未连接Lookup组件输出字段 39 39数据转换组件-Stored Procedure组件（带参数一）n功能：调用存储过程（带参数）。n特点：1、在数据库中建立存储过程，在Design Mapping导入存储过程； 40

13、40数据转换组件-Stored Procedure组件（带参数一）2、连接存储过程的输入字段（表示传入的参数）、输出字段（表示返回值）；存储过程组件 41 41数据转换组件-Stored Procedure组件（带参数一）3、在Ports TAB为设置输入端口、输出端口、返回值； 42 42数据转换组件-Stored Procedure组件（不带参数）n功能：调用存储过程（指不带参数）。n特点：1、在数据库中建立对应的存储过程；2、在session中的Pre SQL/Post SQL选项调用存储过程，表示session执行之前或执行之后调用存储过程； 43 43数据转换组件-Sequence

14、Generator组件（一）n功能：生成序列号。n特点：1、序列号组件默认有NEXTVAL、 CURRVAL两个字段，只有输出端口，没有输入端口； 44 44数据转换组件-Sequence Generator组件（二）2、设置开始值，每次递增的值；3、设置循环使用序列号，当序列号当前值到达最大值时，重置序列号为初始值；设置循环 45 45数据转换组件-Sequence Generator组件（三）4、设置重置初始值，指在每运行完一次后，序列号自动重置为初始值。设成重置 46 46数据转换组件- Mpplet（一）n功能：传入输入值，传出输出值，做成可多次调用的mapplet。n特点：1、 In

15、put/Output组件用来做成重用Mpplet组件供其它Mapping调用；调用Mpplet 47 47数据转换组件- Mpplet（二）2、右键Mpplet组件打开该组件，Input用来接收值的输入，Output用于值的输出，Input和Output之间可以有很多的转换过程；3、Input不能直接接收源数据的输入， Output不能直接把数据导入数据库；Output组件Input组件 48 48数据装载组件-Update Strategy组件（一）n功能：处理一个被标记的行，可以插入、删除、更新、拒绝。n特点：1、该组件要和Lookup、Expression组件一起配合使用；Update组件 49 49数据装载