Kettle基本知识交流PPT课件

.1、珂挞，飞牛运营部商务智能朱胜，2，Kettle培训内容，Kettle功能和产品介绍Kettle控件简介Kettle案例演示Kettle时间表，3，Kettle简介，Kettle是开源的、基于元数据的ETL工具栏，它提供了开源ETL工具中更强大的功能。KETTLe表示“KettleE .T.T.L.Envirnonment 仅使用第一个字母的缩写。也就是说，ettl需求旨在提取、转换、加载和加载。用中国名字翻译应该叫水壶。名字的起源是这个项目的主要程序员MATT在一个论坛上说的。就是想把各种数据放进锅里，以指定的形式流出。4，pentao产品线，Pantaho产品线Reporting:集成Jasper和BIRT data mining : WEKA analysis : Mondrian dashboards:data integration，5，kettle系列，Kettle5.0系列当前的Spoon-transform (transform)设计工具(GUI方法)Pan-transform启动器(命令行方法例如，从SAP系统获取数据并将数据保存到文件的转换任务可以批量运行Spoon设计的ETL转换(例如使用时间调度程序)。Pan是在后台运行的程序，没有图形界面。Kitchen允许您批处理设计为Chef的作业(例如，使用时间调度程序)。KITCHEN是一个后台可执行程序。操作和Transformation之间的区别：Transformation侧重于数据的ETL，而操作的范围可以是Transformation、Mail、SQL、Shell、FTP等或其他操作。7，Kettle的安装，要运行此工具，必须安装Sun的JAVA执行环境1.4或更高版本。相关资源只需在网络上搜索JDK，下载并解压缩不需要绿色安装的安装。在不同的平台上运行Spoon支持的脚本。在Spoon.bat: windows平台上运行Spoon。Spoon.sh:在Linux、AppleOSX和Solaris平台上运行Spoon。8，介绍Kettle转换功能1，将transformation(.ktr)和job (.k3b)，transformation完成数据的默认转换，job控制整个工作流。默认文本文件Access、Excel、XML和Property文件格式轻松地从MDX查询语言、Cube文件和StreamingXML数据流自动创建空记录，或从XBase类型文件(DBF)中获取系统信息，如数据关系数据库读取文件名和系统时间特殊目标数据源将数据写入Cube支持将数据写入XML调用各种查询支持的数据库存储过程的主数据库查询判断表和列，操作系统文件是否从URL接收查询以web服务查询信息数据流中的值作为参数执行数据库查询流查询：从转换到其他流的查询值转换函数值映射、分组、删除、字段拆分、复制行转换、10，Kettle转换函数简介3，支持的脚本JS脚本SQL脚本正则表达式支持批量加载渐变维更新。grenplumbulkloaderoraclebulkloadermsqlbulkloadermysqlbulkloaderpostgreqlbulkloader支持分区表和群集。11，介绍可执行操作系统命令和任务的Kettle任务功能1: Ping、13、数据库连接类型和访问类型、支持的数据库连接类型、屏幕快照下的数据库类型，还需要完成jar程序包才能正确连接数据库。 14，访问类型，数据库访问类型为JDBCOCIODBCJNDI，15，kettle实现阶段，双击可执行kettle文件夹下的Kettle文件，出现Kettle启动界面。创建数据库连接(可以跳过)创建数据库连接创建转换Jobs，流程控制，16，Kettle案例，案例说明：将文本文件中的格式化数据导入Oracle数据库中的指定表，17，ketle选择打开数据库无，18，创建数据库连接，创建数据库连接，19，输入数据源连接名称，选择数据源类型和访问方法，20，输入服务器主机名和数据库名称，21，输入数据表空间和索引表空间名称，22，输入用户名和密码，23，测试数据库连接，24，数据源设置成功，25，右键单击格式副本，然后依次单击新建、创建格式副本、26，在左侧输入列中选择文本文件输入控件，将其拖放到右侧工作区，27，在输出列中，将表输出控件拖动到左侧工作区，28，右键单击两个控件之一，选择“连接新节点”，29，选择起始步骤，30，双击文本文件输入控件，编辑，31，编辑文本文件“内容”标签，32，然后单击“获取字段”按钮以自动获取字段名，然后编辑相关属性并预览记录。33，编辑输出表格控件属性，34，然后单击绿色按钮开始变换，35，保存格式副本，36，可以看到执行结果，37，可以添加到SQL脚本执行中，38，有许多ETL功能可用于实现核心对象中的数据。39，创建作业，在左侧常规列中拖动两个控件，40，双击“变换1”以编辑，41，42，保存作业后运行作业，43，Kettle调度，使用Kitchen工具调用作业Kitchen . bat/file :d : Job _ name . k3b/level : basic，44，sum