kettle使用手册

1、1 打开程序，点击 spoon.bat0上秀切 卧版刖冠制络痉m “ WE稔动到S*!?J迪吩o一十及目蜕出话问.彳芨任住文件天新建E打开，中. 以就才全眄活历史记录力反向班打开此电脑 折印岑（D:）> kettle >V0 as, kettle-人口立人名召/j vaa%4J»iwwwwvii%i miFH purge-utility.batpurge-utility.sh=2 READMEJNFOBRIGHT.txt茴 README_LINUX.txt3 README_OSKtxt=README_UNIX_AS400.txtFH runSamples.bat:runS

2、amples.sh仔次E用 Tnr2016/4/7 14:532016/4/7 14：S32016/4/7 14:532016/4/7 14:532016/4/7 14:532016/4/7 14:532016/4/7 14:532016/4/7 14:53美型大小 1 2.J23eWWind。,。fit处理“1KBSH文件1KB1 KB1 KB1 KB文本文档1KBWindows 我处理.“1KBSH文件1KB匚set-perrtaho-e se?-pentaho-<snv.tit h2016/4/7 14：S32016/4/7 14:53Windows 批St层.5 KBSH文件4

3、KB"l Spoor, bot2016/12/36 18:18Windows tttfctB.4 KB;7_0S）：） ri *.?） Spoon bat bak A mand spoon.ico 金 spoon.png,，poon.%hFl SpoonCon5ole.bat F3! SpoorDebug.bat2016/10/30 17:53 236/4/7 1453 2016A4/7 1*32016/4/7 14:532016/4/7 14:532016/4/7 14:53BAK文同4KBCOMMAND 文件1KB33标345KBPNG文件3KBSH文件6KBWindows1KB

4、Windows 楸1热,2KB其实对于简单的数据库数据的抽取，基本只需要转换（.ktr格式）和作业（.kjb格式）这两种东 西。下而就是建立一个转换的步骤：a点击文件-新建转换。b在左侧的树状列表中选“主对象树"，新建DB连接（参照第4点）。c在核心对象输入这个地方拖出一个表输入，在“输出”目录下拖出“表输出"，按住 shift,从一个对象拖到另一个对象可进行连线。2基本作业由开始，转换，成功3步骤组成。步骤之间使用shift+左犍连线。2.1 '1'代表无条件执行：2.2 '2,代表上一步执行完成后，再执行下一步；2.3 '3'代表

5、不执行，左击连接线使其生效（绿色）或失效（灰色）。打开具体步骤中的转换流程，点击，Transformation'跳转至相应具体转换流程,编辑此转换具体路径，双击转换，弹出窗口，1为相对路径，点击2,选择具体Visitor转换，为绝对路径。 X作立哈尔.d屐接aa5角箔本父投文件van$fo<mac»on二级- x建立数据库连接，输入相应信息测试，成功即可"Spoor - visit寸士旧例明图我行二月强“ KEG）后 Rl 之句忸 ,由3对X Q,«Jc«<ilofitijobfru X P"Gg : 3及 港 H Cond

6、ition |； OAje«tiG“joMifia 黑 Zoxu/mcct ； %Clear co tn pie* D9 CecheA I .9 .- h> TI 口610 总BfTR 图 |：8*二3山仔海后乂月A-至伊”万辕.韦*西且重R&t,2中界外三渔二豫寿疟作？次 rO Hops （的俎？：数克怎分WochemG。子曲乃科 KvfidRShchoEsD Ma Sarvic, Hodoop du如3转换具体设置，如图4,表输出至文本文件愉出流程跳接线为错误处理步骤， 当输出格式不能满足表愉出的目的表结构类型时，将会将记录输出到文本文件输出中的记录中。SQL5.1

7、双击表输入，输入相应的SSQL语句，选择配置数据库连接，或新增，预览查询 生成的结果（如果数据库配置中使用变量获取，此处预览生成错误）。“lectpciV1SIT_££C|UE»：E H-L ax VISIT_CCCURPEXC£_1D pat FSffiOM_ID ” PEJ»2«_ID rmll 。9 VISI7_a«CEFT,rD.t.|9isn STAJH DXTE. yvvv-B«-cid hh24 > ”)«x VISIT START ZTE,null “ 9IS1TZSTARTZTIH

8、E-一nvl2(71 SI7EHDWMTE ： v15it_efd_date. yyyy-Mi-« Mi：I m to_<totei'H5ir_5tdit_4»te. vyn-wi-4d hh241ag visir.EKD.DATC.Trail g 'Pl5n_EMD 71ME.8gpt_】d a. 7I£JT_TVF_O3»2EFT_ID p.PJKICEJLW 工 FR?VICB_H».1 AS CARS SHEIDVISIT_T?Pt .« 7lSn_S-XKR_Vi»LUE ：,山： ；riSi

9、r_PTO3RD_2“ VT£ir-S-5URC£_C0PFT_IDFR/ IK.VISIT ivloft join jwrtcn jw cci Rr PEKC«.SOURCE.VALUE-1v BrRn_idl«t» joxn oancapt an cc<icapt_naB««>/is3 t.tvp* and ccncwpt vcc*bulax7.id ' 7x > 11 Typ«" ： ?tr join pwndex p 8 P PWVICR_S0URCE_7ALUE-W P

10、WVirR_ID vbMQ iv 2sh_U0 and(ulect p«r PE5?=XH_ID £“r8n p«r vh«r« p«r PEfi£X«-S»3URC£_7ALUE-xv p«rBan_id> as not null行:M）共取明口时如遢e制口以切切*.跖神”-正e«s（jwi.Oh*嗨g> L*腼5.2双击'表输出'，选择数据库连接，浏览选择相应目标表，（此处使用批量插 入勾选去除，目的是在错误处理步骤中无法使用批量处理，可能是插

11、件兼容问 题）Wizard.二强病出目visit.occurrence取 10000盆更衣想咯后人盾俣0 厘女工施珀一月分g赦据 短天分区效加©Help6 表输出插件定义a） Target Schema：目标模式。耍写数据的表的Schema的名称°允许表明中包含工”对数据源来 说是很重要的b）目标表：要写数据的表名。c）提交记录数量：在数据表中用事物插入行。如果n比。大，每n行提交一次连接。否则不使用 事务，速度会慢一些。d）裁剪表：在第一行数据插入之前裁剪表，e）忽略插入错误：使Kettle忽略比如违反主健约束之类的插入错误，最第20个静告将被日忐记录。 在批量插入的时候

12、这个功能不可用。f）使用批量插入：这个选项速度快，默认被选上。g）表分区数据：使用这个选项可以在多个表之间拆分数据。例如把数据放到表si、S2、S3中米代 替直接插入数据到表s中。h） 例如:create or replace view sales as1. Select* from sales_2005012. Unionall3. Select* from sales_200502i） 表名定义在一个字段里：使用此选项可以拆分数据到一个或者多个表里，目标表名可以用你指定的字段来定义。例如：如果你想存储客户性别数据，这些数据可能会存储到表M和表F里面。 这个选项可以阻止这些字段插入到相应的表

13、里。j） 返回一个自动产生的关键字：往表中插入行时，是否产生一个关键字。k）自动产生关键字的字段名称：指定包含关键字的输出字段的字段名称。7 执行任务，Windos： bat批处理文件,U *DkettJehbtetl_firolbdl - Notepdd t r文枳E» «(i)凌亦 冷菊力 际(M) U0JaRCD 5sg 运行® 猿付® caoso z。Q囹Q。曰I *电车n U | A，| t z耳m!V岸口回©-此I BB值SH吧.V«tE3 |B L.32404849S 二 S2 S38et CUSSFATB-yLASS*

14、皿Enmrlne.ba:set CLASSPATH-' . A f ： libawtS face. J ar fiAC CLASSPATH- - 一，、.<一： lltoOWT'UCflOOQ.CLASSPATH- -. A7 . ： ;lik>a>ctcccMrAnd«. jarset CLA35PATM=- -s-;Ilb5wwin32swt.JarRENRfK * Run.ROCSET NowDate-YDA73;-C.;.%SET ODacd-，>。 .: 一 ；?.：、* j/norep /file D:>tleetljobfi

15、nalSetl5ob. > D;Xkecclcet.l3etotinallCQSloQ_d_'- i' .logBatch filelargth : 1,613 lin«B : S5Ln: 55 Cel : 1: 0 |Windf (CR Lf) GB2312INSLinux： sh批处理文件,=D:kettleajiroc.5h - Notepad 文侬n *fe：E)疫R 确(V) 归(Mj 迳«®T) «0)运行 IRJ C(P) «O(W) ?» 3自%2 1里I 4电黔I。e I“11年” . 了&qu

16、ot;i * a /回府可国尽H . 1 r i .Z 1Ljfn .：， 一 T Jpco shS 'Hm ： ： 1 包/ m J* ser FATH-C: XProaran rilesXJava3licl.8.0.;%PATH%2S262728293V7 Libraries33343s3637* s-t CLAS3PATE-%CLA33FATH; libswc/runt.LTw- jarI set； llTswc/： Xace. J ax? 3«r CLASSPATH-1iCLXSSFATHl;li»5wr/ccOTtan.3ar孑 s*r CLASSPATE

17、-iiCLASSFATH%; 1 itoswr/eonnandj.I 2Qt CTASSPATR=»CLXSSr7H>litoflWC/vin32/avr.jAr|I * Run.39set XcwDate-%DATE:*0,10%set OldDate-%NowDcce. 0z 4%XawDate: -S,2:-»8.2%./kitchen, ah /norep -nie-Zhoroe/racOl/Jcecle/ceshl/ajproc-Jcjb -Ica-/home/rac01/kecle/ce8hl/llnux_proc_$ (dats 4%y«w_%

18、T).logUnix 攵6Pt rte4cgh : 1,589 lines :竺Ln ： 33 Col： 49 Sd : 01 0Unix (IF)GB231Z Mplifkd) INSKitchen一作业执行器是一个作业执行引擎,用来执行作业。这是一个命令行执行I：具，没啥可讲的,就把它的参数说明列一下。-rep:Repository name 任务包所在存储名-user:Repository username 执行人-pass:Repository password 执行人密码-job: The name of the job to launch 任务包名称-dir: The direct

19、ory (donHt forget the leading / or )-file : The filename (Job XML) to launch-level: The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing)指定日志级别-log: The logging file to write to 指定日志文件-listdir : List the directories in the repository 列出指定存储中的目录结构。-listjobs : List the jobs in the specified directory 列出指定目录下的所有任务-listrep : Lis