Kettle使用范例

1、Kettle使用范例1. 错误处理在转换步骤的过程中，当某个步骤发生错误时可能要进行额外的步骤处理。因此，在设置时就要求为步骤添加错误处理。以下面的流程为例：Source TableTarget TableTarget Table'T.Succor XML outputSuccor XML outputError XML Output该流程为将源表的数据同步到目标表中，在目标表中人为的设置某个字段的长度小于源表，让其能在处理过程中会报出异常。为了可视化处理结果，将同步的结果输出到XML文件中。选中"Target Table”步骤，点击鼠标右键，然后选择"Define

2、 error handling”菜单项，T argatl将会弹出设置对话框。D&ta miovement. .Cliange number d£ copies to start.Copy to clipboardCTRL_CDsplic乞stepDtlttt- st«pDELKi de stepDetach, stepShow iripiit fi eldsShow 甲it put fi elds：Ali gji / Di striBute*Check selected step (e)iterate imappinig:thie target stepEar ti

3、t toiling.Clusterings,.-Define error handling.Previewlutput0081764New hopQpin mapping (.sub-trinstorniEdit stepEdi t step JeEcriptionTarget Table旦区Error handling 宜七电prtM电Target stepEnable the error handlingNr of errors fieldnsmeError dexcripti &ns f i«ldnajnError fi elds fieldjismeError cod

4、es; fildnaineMax nr errors allowedMax X errors allowedMixi nr of raws to> read beforeError XML OutputCancel在"Target step”中选择后续处理步骤即可。在各个field name填上字段的名字，将会在结果集中多出相应的字段，以便后续步骤能读出相应的错误信息。例如界面上的“ErrorDesc字段，将用于保存错误信息。以上的数据处理流程处理结束之后，“Success XML Output”步骤生成的XML文件内容为所有同步成功的数据；“ Error XML Output

5、 ”步骤生成的XML文件内容为所有同步错误的 数据。2. 字典翻译2.1.单选字典翻译单选字典翻译要使用到"Stream lookup/流查询”步骤，分别要从业务表和字典表中抽取出数据。该灌示流程讲解如何翻译单选字典 鬲1中使用到*Btneam lookup"步骤H-3Query AJ 炸T ransfojnAJLXXWL OutputQQuery AJLX Dictionary“Query AJXX ”步骤负责从业务表中抽取出数据。回凶Step 口硼色 Query 忙PU(CoTknaction SourceDBGet SQL select statement.S9LSE

6、LECT ajbh,ajlx,ajmc FROM basjajLine 1 Column 35Enable lary c o-nversi o-n !_ Replace vari ables in script? OInsertExecute“Query AJLX Dictionary ”步骤负责从字典表中抽取出字典数据。Transform AJLX ”步骤负责翻译“ ajlx ”字段的字典值。X由于使用这种方式翻译单选字段时，要多查询一个字典表，因此最好控制字典表的数据 量，以免影响性能。22多选字典翻译由于"Stream lookup ”只能实现单值的数据查询，无法实现像多选字典

7、这类多值的数据 查询，因此"Stream lookup ”步骤无法实现多选字典字段的翻译。多选字典的翻译，只能通过采用调用存储过程的方式实现，这就要使用到“Call DBProcedure ”。冠滬示疣程讲解必何翻译勰中使用到口1 DB ProcedureQuery AJ>C<Add conslants 匚all DB ProcedureXML Output由于“ Call DB Procedure ”步骤在调用存储过程或是函数时，参数设置不能使用常量，只能调用数据流中的字段值。因此，在调用“Call DB Procedure”步骤之前，要使用“ Addcon sta n

8、ts”步骤来为数据流添加一个常量字段，做为字典种类。增加了常量字段之后，该字段就可以在"Call DB Procedure ”步骤中引用了。Set FieldsCancel3. 设置转换全局参数点击主菜单的 Transformation菜单项里的"Settings”的子菜单项，调出transfrom设置界面。回冈TrtMfwfiAi <ml | Parajnetrs.、丄o底gi®g D七醴営 IHpgmdEnei览占 Illi s；亡虐A盘niamag j Fsurti tionii'l HiMiitcxring：Par iwh«ttri

9、# Default V&lusDescriptionij逛聞一j盪谄234567891选择"Parameters” Tab页，在"Parameters”列表中设置转换流程的全局参数。 在流程设计过程中，可以使用$PARAM_NAME代表对应全局参数。4. 批量数据单条记录分别转换在实际应用中，经常会有这样的一种转换情况：首先要从某个数据源（表或者是格式化文件）中提取出批量数据，然后再对批量数据中的每一条记录分别执行一个完整的数据转换。这种数据处理流程，在设计时要通过Transformation和Job相结合来实现，以数据传输抽取数据的过程为例：数据传输首先要从增量表

10、中检索出有哪些更新的表，然后再每个表提取出增量数据的主键信息，最后到业务表中取抽取出业务数据，打包成数据文件。可以查看 Kettle程序samplesjobsprocess all tables目录下的例子。4.1.设计一个总体的 JobSTARTGet list of tablesE Ktract a table总体流程了分别为"Get list of tables ” Transformation 和"Extract a table”子 Job。 在"Extract a table ”子 Job 中，“ Execute for every in put row

11、 ” 的选项要选中，才能实现 当条记录分别执行"Extract a table” Job流程。4.2.设计一个Transformation 取批量数据"Get list of tables ” Transformation负责从增量表中取得所有增量表的名字。T able inputSelect value?Copy tews to resultTransformation的最后一步，要使用"Copy rows to result ”步骤，以便总体 Job能读取。4.3.设计一个子Job处理单条记录"Extract a table”子Job负责针对每一个表

12、抽取出增量数据。Extract one tableSTART在该子 Job 中，分另 U设计了两个 Tran sformati on : “ Define extract table name variable ”禾口Extract on table ”。4.3.1.取单条记录并设置变量Define extract table name variable ” Tra nsformatio n 主要是负责从总 Job 中取出批量数据的单条数据信息，并定义变量信息，以便子 Job中的其他Transformation能使用。Set Svlem InfoGet rows from resultSele

13、ct values Ddine Eulract Table vari-abJeGet rows from result ” step负责取得单条数据的信息。3 匕NtU£i； vlDlir £111 £"Ba®Step namefht生 from 厂爵瘗盟FittldsTyp«Length?reci siitabl nameStringOKCane al"Get Systemid Info ” step负责取出当前时间。Select values” step负责将extracttime字段由日期类型转为字符串。Define Extract Table variable ” step 负责设置变量。“ Variable scope type ”为变量的作用域，具体根据需求设置。4.3.2.执行单条数据的转换Oatabase ianXML OutputExtract。ne table” Transformation负责执行抽取单个表的数据。Get table updated record