Kettle基本知识交流

.,Kettle培训,飞牛运营部商务智能朱胜,.,Kettle培训内容,Kettle功能与产品介绍Kettle控件介绍Kettle案例演示Kettle调度,.,Kettle介绍,Kettle是一款开源的、元数据驱动的ETL工具集，是开源ETL工具里功能比较强大的一个。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。,.,Pentaho产品线,Pantaho产品线Reporting：可集成Jasper和BIRTDataMining:WekaAnalysis:MondrianDashboards：DataIntegration:Kettle,.,Kettle家族,Kettle5.0家族目前包括几个产品：Spoon转换(transform)设计工具(GUI方式)Pan转换(transform)执行器(命令行方式)Kitchen工作(job)执行器(命令行方式)Carte基于Jetty的，监听Http请求Encr用户加密密码,.,Kettle四大家族,Spoon允许你通过图形界面来设计ETL转换过程（Transformation）和作业。例如，从一个SAP系统抽取数据，并把这些数据存储到一个文件里的转换任务如下：Pan允许批量运行由Spoon设计的ETL转换（例如使用时间调度器）。Pan是一个后台执行的程序，没有图形界面。Kitchen允许批量使用由Chef设计的任务（例如使用一个时间调度器）。KITCHEN是一个后台运行程序。Job和Transformation的差别：Transformation专注于数据的ETL，而Job的范围比较广，可以是Transformation，也可以是Mail、SQL、Shell、FTP等，甚至可以是另外一个Job。,.,Kettle的安装,要运行此工具你必须安装Sun公司的JAVA运行环境1.4或者更高版本，相关资源你可以到网络上搜索JDK进行下载绿色免安装，解压即可用。在不同的平台上运行Spoon所支持的脚本：Spoon.bat:在windows平台运行Spoon。Spoon.sh:在Linux、AppleOSX、Solaris平台运行Spoon。,.,Kettle转化功能介绍1,Kettle中有两种脚本文件，transformation(.ktr)和job(.kjb)，transformation完成针对数据的基础转换，job则完成整个工作流的控制。所有功能支持控件化，使用简单支持多样化数据源类型：基本的文本文件Access、Excel、XML、Property文件格式MDX查询语言、Cube文件、StreamingXML数据流自动产生空记录或者行从XBase类型文件(DBF)读取数据关系型数据库获取系统信息如文件名称、系统时间等,.,Kettle转化功能介绍2,特殊目标数据源支持把数据写入到Cube把数据写入XML支持多种查询调用数据库存储过程基本的数据库查询判断表以及列、操作系统文件是否存在从URL接收查询使用Web服务查询信息使用数据流中的值作为参数来执行一个数据库查询流查询：从转换中其他流里查询值转换功能值映射、分组、去重、拆分字段、行列转换复制行,.,Kettle转化功能介绍,支持的脚本JS脚本SQL脚本正则表达式支持渐变维度更新批量加载：GreenplumBulkLoaderOracleBulkLoaderMSSQLBulkLoaderMYSQLBulkLoaderPostgreSQLBulkLoader支持分区表和集群,.,Kettle作业功能介绍1,可以执行操作系统命令和操作：Ping主机写日志发送邮件从POPServer获取邮件并保存在本地比较文件夹、文件创建、复制、移动、删除、压缩文件从HTTP获取或者上传文件操作延迟等待,.,Kettle作业功能介绍2,判断文件是否存在执行JavaScript、SQL、Shell脚本支持安全FTP获取、上传文件删除远程文件支持SSH2上传下载,.,数据库连接类型和访问类型,支持的数据库连接类型，截图如下，有些数据库类型需要完善jar包，以确保数据库能够正确连接,.,访问类型,数据库访问类型支持如下几种：JDBCOCIODBCJNDI,.,Kettle实施步骤,双击运行kettle文件夹下的Kettle文件，出现kettle欢迎界面。创建资料库(可省略)创建数据库连接创建转换创建Jobs，进行流程化控制,.,Kettle案例,案例描述：把文本文件中的格式化数据导入到oracle数据库的指定表中,.,打开Kettle选择没有资料库,.,创建数据库连接,创建数据库连接,.,输入数据源连接名称，选择数据源类型和访问方式,.,输入服务器主机名和数据库名称,.,输入数据表空间和索引表空间名称,.,输入用户名和密码,.,测试数据库连接,.,数据源建立成功,.,右击转换，新建出现如下界面,创建转换,.,从左侧输入栏目中选择文本文件输入控件，拖拽到右侧工作空间中,.,从输出栏目拖拽表输出控件到左侧工作区,.,选中两个控件，在其中一个控件上右击，选择新建节点连接,.,选择起始步骤,.,双击文本文件输入控件，进行编辑,.,文本文件“内容”标签编辑,.,点击获取字段按钮，可自动获取字段名称，然后编辑相关属性，预览记录。,.,编辑输出表控件属性,.,然后点击绿色按钮，启动转换,.,保存转换,.,可以查看执行结果,.,可以加入执行SQL脚本,.,在核心对象中有很多控件可用来实现数据的ETL功能。,.,创建作业,从左侧通用栏目中拖拽两个控件,.,双击Transformation1进行编辑,.,.,保存jobs后执行任务,.,Kettle调度,利用Kitchen工具实现作业的调用Kitchen.bat/file:D:jo