Kettle使用培训文档 PPT课件

Kettle使用培训文档,2020/5/6,1,Kettle使用-ETL&Kettle,ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。,2020/5/6,2,Kettle使用-下载&部署,Kettle可以在/网站下载下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可,2020/5/6,3,Kettle使用-运行,进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat文件，出现如下界面,2020/5/6,4,Kettle使用-运行,Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以选择没有资源库,2020/5/6,5,Kettle使用-ktr&kjb,点击页面左上角的创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr点击页面左上角的创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb,2020/5/6,6,Kettle使用-transformation,菜单介绍,MainTree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。Steps：一个transformation中应用到的环节列表Hops：一个transformation中应用到的节点连接列表,2020/5/6,7,Kettle使用-transformation,菜单介绍,CoreObjects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。Input：输入环节Output：输出环节Lookup：查询环节Transform：转化环节Joins：连接环节Scripting：脚本环节,2020/5/6,8,Kettle使用-Transformation,每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。,2020/5/6,9,Kettle使用-Transformation,常用环节介绍,2020/5/6,10,Kettle使用-Job,菜单介绍,MainTree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。Jobentries：一个Job中引用的环节列表,2020/5/6,11,Kettle使用-Job,菜单介绍,Jobentries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。,2020/5/6,12,Kettle使用-Job,常用环节介绍,2020/5/6,13,Kettle使用案例从多个数据库抽取数据放到一个公共表中,2020/5/6,14,Kettle使用案例,创建transformation过程,2020/5/6,15,Kettle使用案例,新建transformation文件双击左边转换将创建一个新的transformation(也可以通过菜单里面的文件-新建-转换方式新建文件)，点击另存为，保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation，文件保存后后缀名为ktr。,2020/5/6,16,Kettle使用案例,创建数据库连接在transformation页面下，点击左边的【主对象树】，双击【DB连接】，进行数据库连接配置。,2020/5/6,18,Kettle使用案例,2020/5/6,19,Kettle使用案例,抽取、转换、装载过程1.表输入在EtltestTrans页面下，点击左侧的【核心对象】，点击【输入】，选中【表输入】，拖动到主窗口释放鼠标。,2020/5/6,20,Kettle使用案例,2020/5/6,21,Kettle使用案例,双击工作区中【表输入】图标，数据库连接选择刚刚创建好的连接名为Oracle的数据库连接，在主窗口写入对应的查询语句：SELECTID,NAME,AGE,ADDRESSFROMUSERINFOORDERBYNAME步骤名称写为：oracle-userInfo表输入,2020/5/6,22,Kettle使用案例,2020/5/6,23,Kettle使用案例,2020/5/6,24,Kettle使用案例,2020/5/6,25,Kettle使用案例,2020/5/6,26,Kettle使用案例,2020/5/6,27,Kettle使用案例,3.表连接查询与表输入再次连接查询SQLServer表输入，如图：,2020/5/6,28,Kettle使用案例,2020/5/6,29,Kettle使用案例,2020/5/6,30,Kettle使用案例,插入/更新在EtltestTrans页面下，点击左侧的【核心对象】，点击【输出】，选中【插入/更新】，拖动到主窗口释放鼠标。将它与第三次表连接查询进行连线。双击”插入/更新”图标，进入编辑窗口。,2020/5/6,31,Kettle使用案例,2020/5/6,32,Kettle使用案例,数据库连接选择数据仓库的数据库，目标表选择对应的infortaotal表，在查询关键字里，表字段写name(表示仓库