Kettle安装部署及实例演示

1、水壶安装部署及示例演示本文件由三部分组成：1.Java的安装和部署2.水壶的安装和展开3.水壶发展示范日期：2013/12/14作者：李频一、Java安装和部署1.1安装Java在/zh_CN/下载适当的jre/* *有两个可选版本：rpm安装包。gz自解压安装包在这里，选择rpm格式进行安装，并将安装包(jre-7u45-linux-i586.rpm)上传到根目录/home/java。/* *根下安装可以为所有用户提供java环境支持，也可以根据实际情况为某个用户安装)终端输入：rpm -ivh jre-7u45-linux-i586.rpm开始安装Jav

2、a现在已经成功安装了！/* *默认的安装路径是/usr/java/jre1.7.0_451.2配置java环境修改文件/etc/profile:输入配置文件，按下Ctrl+F到文件的末尾，并写下以下内容：JAVA _ HOME=/usr/JAVA/JRE 1 . 7 . 0 _ 45路径=$JAVA_HOME/bin:$PATH类路径=. $ JAVA _ HOME/lib/dt . jar : $ JAVA _ HOME/lib/tools . jar导出JAVA_HOME导出路径导出类路径 JAVA_HOME是JAVA的安装路径。/* *请注意，环境变量的java路径是安装路径，而不是ja

3、va的执行路径；java路径查询：Java在哪里Java执行路径查询：whitjava保存退出！在终端中键入java。如果显示帮助信息，则java环境配置完成：二。水壶安装和部署2.1水壶的安装在/p/kettle/下载所需的水壶版本根用户将安装包(pdi-ce-5.0.1-stable.zip)上传到/opt/kettle目录。因为要在用户电话下安装水壶(或根据需要为需要的用户安装)，需要更改水壶文件的所有者和组：chown-R teleow :电水壶切换到telepow用户并开始安装，因为水壶安装包格式是。zip，所以运行：解压缩pdi-ce-5.

4、0.1-stable.zip安装到当前目录。安装完成后，您可以看到生成了一个新的文件夹数据集成，那么/opt/ketch/data-integration就是ketch的安装和执行目录。输入此目录并给出所有。sh文件执行权限：chmod x *。嘘然后打字。/kitchen.sh在终点站。如果出现帮助信息，水壶安装和部署完成三、水壶示例演示一旦安装和部署了Java和水壶，您就可以使用水壶工具了！在下文中，将以从一个个人计算机数据库提取数据到另一个个人计算机数据库的实施时间为例来说明水壶的使用。3.1运行水壶在水壶安装目录下运行：/spoon.sh将弹出水壶操作界面。/* *请注意，如果水壶的运

5、行界面无法弹出，表明缺少图像插件，那么需要为linux系统安装图形运行工具。将图形工具安装包(libXp-1.0.0-8.1.el5.i386.rpm)上传到根目录下的临时目录，然后安装：rpmIVH LiBxp-1 . 0 . 0-8 . 1 . El 5 . i386 . rpm然后是登录界面Kettle为用户提供了两种存储用户编写的Kettle脚本的方法：一个是水壶工具自己的资源库(相当于一个小型专用数据库)；其次，脚本信息直接存储在自建目录中，而不使用资源库。这里我们不使用资源库登录，点击“取消”弹出的帮助消息单击“关闭”然后你可以看到水壶的用户界面。3.2任务信息描述本次演示涉及的信

6、息是：PC01知识产权：30端口号：8000数据库：sybase用户数据库：dynamicdb数据库用户：telepow数据库用户密码：任务表：开关电源PC02知识产权：6端口号：8000数据库：sybase用户数据库：dynamicdb数据库用户：telepow数据库用户密码：uo23hoS982_Ow_db任务表：v _ switchpower需要做的是定期从PC02的视图表中提取数据在PC01的开关电源表中3.3创建转换3.3.1新转型打开“文件”“新建”“转换”创造变革变革013.3.2创建数据库连接在“转换视图”窗口中双击“数据库连接”为

7、此转换建立数据库连接连接名称：已建立的数据库连接的名称-get _ 86连接类型：连接的数据库类型-Sybase接入：连接方式JDBC主机名：连接主机的IP地址-6数据库名称：连接的用户数据库-动态数据库端口号：数据库端口号-8000用户Nmae:数据库用户名-teleow密码：数据库用户密码-uo23hos982 _ ow _ db配置完成后，点击左下角的“测试”测试数据库连接状态。屏幕截图信息出现，表明配置正确，数据库连接正常！单击确定保存并退出！3.3.3创建转换关系单击转换窗口中的“设计”将“输入”中的“表格输入”表格输入图标拖到右窗口，然后将“输出”中的“插入/更

8、新”插入/更新图标拖到右窗口按住“Shift”键，然后单击右侧窗口中的“表格输入”图标。单击并按住右侧的“插入/更新”图标，找到一条带有连接两个图标的箭头的连接线。因此，在两个图标之间建立了数据提取和数据存储之间的关系。3.3.4配置表输入信息双击“表格输入”图标，弹出表格，输入配置信息，配置从PC02提取数据的相关信息。步骤名称：步骤名称-tableinput01连接：它所属的数据库连接-Get_86，即刚刚建立的PC02连接的数据库连接在PC02中任务表所需的操作-从动态中选择*.V_SWITCHPOWDEV单击确定保存并退出！3.3.5配置表插入/更新信息同样，双击“插入/更新”图标，打

9、开配置界面，配置将数据插入PC01的相关信息步骤名称：步骤名称-插入/更新01连接：它所属的数据库连接-Into_130，请注意，因为该数字要插入到PC01中根据，单击“连接”右侧的“新建”新按钮，创建一个指向PC01的新数据库连接目标表：目标表-开关电源，它是将数据插入PC01的表协商大小：数据量限制-值集最好大于每次插入表中的记录总数查找值的键：查询键-在PC02中提取v _ switchpower的数据时过滤所需的键，单击右侧的“获取文件”获取所有字段并删除冗余字段更新文件：要更新的字段-单击右侧的“获取更新文件”以获取PC01中要更新的SWITCHPOWDEV表的所有字段单击确定保存并

10、退出！3.3.6操作转换配置转换信息后，首先调试准备好的转换，验证是否有任何错误，然后单击菜单栏图标。弹出调试结果可以看出没有错误。最后，运行此连接以提取数据，并单击菜单栏图标。弹出窗口，点击“是”保存名称：保存的转换名称-Get_86to130其他文件夹的浏览器：存储路径-/opt-/opt/kettle/k tlog，它将转换保存在自己建立的路径中，以便于后续的搜索和调用。单击确定开始操作。下面将打印动态日志。完成后，可以看到日志中的“完成”一词。至此，转换已经建立！3.4创建计划作业转换完成后，开始建立定时任务，实现了定时数据提取的要求。实现计时任务有两种方法：一种是使用水壶自己的计时工

11、具“开始”。第二是在linux中使用crontab函数。3.4.1水壶的“星形”计时功能的新工作打开“文件”-“新”-“作业”，并创建一个新作业创建数据库连接为作业创建一个数据库连接，即到PC01的连接。双击作业视图窗口中的“数据库连接”打开配置界面配置完成后，保存并退出！创建任务关系打开任务设计窗口“常规”，将“开始”和“转换”图标拖到右侧窗口，然后将“脚本中的“SQL”拖到右侧窗口并连接图标。配置启动信息双击图标“开始”打开配置窗口重复：重复选中此框表示循环根据以下配置重复类型：循环类型-每周，每周重复一天中的时间：时间设置-当天17

12、: 10星期几：星期选择-星期六，计划在每个星期六执行写SQL语句由于上述编译转换只能将PC02的数据提取到PC01中(即更新PC01和PC02共享的数据，而不是将PC01中的数据，而是将PC02中的数据插入到PC01中)，但不能保持PC01和PC02的数据完全相同(即不能从PC01中删除PC02中尚未包含的数据)，因此必须在执行转换之前编写一条SQL语句。在插入PC02的数据之前，需要清除PC01中的数据，双击“SQL”图标，弹出配置界面joblentry name:SQL脚本的名称-sql连接：它所属的数据库连接-区域设置。这里，PC01中的SWITCHPOWDEV表将被操作

13、，因此选择了现场连接。要执行的语句-从交换机上删除保存退出！进口转换双击“转换”图标，将准备好的转换导入系统。作业条目名称：作业步骤名称-转换转换文件名：转换的路径已经写入-/opt/kettle/get _ 86to130.ktr。单击右侧的图标选择转换保存退出！行动任务单击菜单栏以执行作业，弹出窗口，然后单击“lanuch”名称：保存作业的名称-作业01浏览其他文件夹：保存作业的路径作业开始运行，动态日志将打印在下面，并且它将在开始时停止在“开始”状态，因为设置的周期时间尚未到达。到周六17: 10时，任务将继续下去。从日志中可以看出，本周的任务已经完成，最终的“开始”状态表明下一个周期正在等待中。至此，水壶的独立定时器任务设置演示完成了！下面解释由linux的crontab实现的定时功能。3.4.2针对Linux的crontab脚本的计时因为所需的水壶脚本已经编写