kettle调研手记-技巧汇总.docVIP

1、 对于源数据后面自动添加“.0”的问题可以通过在输入步骤“格式”栏中设置长度解决，如下图2、 输入为excel文件时的设置说明1. 文件选择一个Excel文件或保存有Excel 文件的目录。文件或目录：设置要读取的Excel文件的名称，或一个目录。可以使用【浏览】按钮来选择文件或目录。正则表达式：设置一个正则表达式来匹配一个目录下的部分Excel文件。选择的文件：列出所有选中的文件，可以使用【增加】按钮将【文件或目录】中的文件添加到文件列表中。2. 工作表选择工作薄中的一个或多个工作表，并通过指定工作表中的开始行号和开始列号来设要读取的内容。工作表名称：设置要读取的工作表的名称，可以通过【获取工作表名称】按钮来获取Excel工作薄中的所有工作表。起始行：设置工作表中数据的开始行号（从0开始）起始列：设置工作表中数据的开始列号（从0开始）3. 内容内容中包含列名： 如果内容中第一行是列名，则选中该选项。列名所占行数：如果内容中第一行是列名，该选项可以设置列名一共占据几行。在列名比较长的情况下，列名可能会占据工作表的多行。输出中不包括空行： 在输出中不包括空行。遇到空行停止读取： 在读取工作表内容的过程中如果遇到了空数据行则读取结束。文件名称字段： 在输出中增加一个字段来保存读取的 Excel 文件名。工作表名称字段：在输出中增加一个字段来保存读取的 Excel 工作表名。行号字段： 在输出中增加一个字段来保存读取的 Excel 工作表中的每一行的行号，行号是在工作表中的实际行号。行数限制： 读取的最大行数, 0 代表所有行。4. 错误处理严格类型检查： 如果选中该选项，当读取到的列数据类型和指定的列数据类型不一致时则读取失败. 否则会进行数据类型的转换，如果转换失败则产生错误行（行中的一个或多个数据读取失败）。忽略错误：如果选中该选项，当读取数据行发生错误行时，则忽略发生的错误行。跳过错误行： 如果选中该选项，将跳过发生错误的行。否则读取错误的数据将置为空值。警告文件保存目录：设置警告信息保存目录，用于保存在读取数据过程中发生的警告。错误文件保存目录：设置错误信息保存目录，用于保存在读取数据过程中发生的错误。错误行号保存目录：设置错误行号保存目录，用于保存在读取数据过程中发生错误行的行号。5. 字段显示并设置从Excel工作表中读取到的所有字段，包括名称，类型，精度，刻度，转换掩码等信息。名称：列出要读取的字段名，用户可以通过【获取字段名称】按钮获得所有字段名。类型：指定字段的期望数据类型，如果和实际数据类型不符，可能在读取时会产生错误。长度：该字段的长度。精度：该字段的精度（对于Number类型）。去除空格：去除空格的几种方式（不去除、左去除、右去除、全部去除）小数: 小数点符号可以是 . (10;000.00) 或 , (5.000,00)分组: 数字的分组符号可以是 , (10,000.00) 或 . (5.000,00)Null if: 如果是 Null 时设置为其他值.重复: 如果是 Null 时重复上一个非空的值.格式：设置数据格式，一般用于数据转换的情况。Excel工作表中的数据，都有特定的数据类型，因此在读取数据时，需要为每个字段设置和实际相符的正确的数据类型。如果没有设置数据类型，则所有的数据都以字符串方式来读取，此时不同类型的数据转换为字符串时，会有不同的转换方式。以数值类型转换为字符串类型为例：格式表达式格式描述#,#,#.#每三位使用逗号分割的数字（默认方式）#.#%数字后面添加百分号#取整数（四舍五入）0000000000十位整数，不足十位前面补0000.00小数点前最少三位，不足前面补零，小数点后最少两位，不足后面补03、 根据入库单号把明细中的金额求和后,更新到主表中,但是如果有的入库单号在主表中不存在则就会报错,这是数据问题,解决办法为,在更新步骤中设置一下”忽略查询失败”,则只对目标表中存在数据进行更新,如下图:4、 使用资源库（repository）登录时，默认的用户名和密码是admin/admin5、 当job是存放在资源库（一般资源库都使用数据库）中时，使用Kitchen.bat执行job时，需使用如下的命令行：Kitchen.bat /rep repository_name /user admin /pass admin /job job名称 E:test.log其中repository_nameo为repository.xml中的repository,在最下面6、 当job没有存放在资源库而存放在文件系统时，使用Kitchen.bat执行job时，需使用如下的命令行：Kitchen.bat /norep /file user-transfer-job.kjb7、 资源名称最好不要用中文,如果程序在保持时的字符集跟系统不一致,就会造成repositories.xml文件中出现乱码,导致无法启动,解决方法是:到用户目录下找到repositories.xml。将.kettle文件夹删除，重写用英文名称创建后，成功启动。8、 在WINDOWS下自动执行的配置:先建一个bat文件,内容为:E:workkettlepdi-ce-4.2.0-RC1data-integrationKitchen.bat /rep kettle_test /user admin /pass admin /job job的名称然后在windows中新建一个定时任务即可9、 在LINUX下执行脚本命令:10、 KETTLE所在目录/data-integration/kitchen.sh/rep repository_name /user admin /pass admin /job job名称 /opt/data_wash/log/test.log其中repository_nameo为repository.xml中的repository,在最下面11、 Repository.xml在linux系统下的位置:$HOME/.kettle/repository.xml12、 定义全局变量:在.kettle目录下,打开perties文件,以键值对的方式添加即可,如:变量名称=变量值,然后在kettle设置图中可以利用” Get Variables”步骤获取到13、 在windows下，kettle的资源库中的数据库表名为小写，而在linux下则为大写，这一点需要注意，以移植时需要所导出表的插入sql脚本，否则会出现无法登录，找不到表的错误。（表中的字段，在linux下与在windows下一样都大写的）14、 多人共同登录同一资源库时，在保存或打开一个转换时不会报错误，但会一直停留在那里不动，经过源码启动时后台出现错误“Deadlock found when trying to get lock; try restarting transaction”，初步原因为表死锁，查看造成死锁的sql语句为：show engine innodb status在发生死锁现象时执行这句，结果中的laster detected deadlock可以看到最近造成死锁的两条sql是什么15、 菜单相关对话框中的信息修改:kettle-ui-swt.jarorgpentahodiuispoonmessagesmessages_zh_CN.properties,需要注意转码.16、 修改启动加载界面中的文字信息位置:Src-ui/org/pentaho/di/ui/core/dialog/license/license.txtSrc-ui/org/pentaho/di/spoon/Spoon.java17、 spoon是启动IDE的，调度Job查找Kitchen.java,调度transformation查找Pan.java18、 先用ant执行 源码下的 build.xml文件，部署一下；19、 修改标题：kettle-ui-swt.jar包中orgpentahodiuispoonmessages messages_zh_CN.properties中“Spoon.Application.Name”的值，格式为unicode编码20、 修改启动界面中的版本信息：在src-ui包中的 org.pentaho.di.ui.core.dialog.Splash.java中在加载versionText之前，把它值为空（目前不显示版本信息） 21、 修改“帮助”菜单中的“关于”：在src-ui包中找到org.pentaho.di.ui.spoon.Spoon.java，找到helpAbout()函数并做修改22、 jndi设置23、 多人共用同一数据资源库时锁表问题的解决:Kettle的锁表机制为:当一个用户登录资源库后,打开任何一个转换或任务后,系统就认为该用户可能要修改打开的设计图,就为该用户锁定所有表,此时其它用户再登录后就无法保存所做的修改,发生这种现象的原因是由kettle的设计机制所至,此时只要大家第一次登录并打开第一个转换或任务后,先进行一下保存,则不会发生此问题