kettle_步骤解释

kettle 步骤解释 1 Transform 转换 Dummy Plugin 空操作 这是一个空的测 试步骤 2 Input 导入数据 ESRI Shapefile Reader 读取矢 量数据 从 SHP 文件中读取图形数据和属性数据 S3 CSV InputCSV 文件输入 将读取的 CSV 文件数据并行存储到 Amazon 中 3 输入 Access Input 导入数据库文件 从微软 数据库文件中读取数据 CSV file input 导入 CSV 文件 导 入简单的 CSV 文件 Cube 输入导入 Cube 文件 从一个 cube 文件中读取数据 Excel 输入导入 Excel 文件 从微软的 Excel 文件中读取数据兼容 Excel 95972000 Fixed file input 导入文本文件 导入文本文件 Generate random value 生成随机数 随机数生成器 Get file Names 获得文 件名称 从系统中获得文件并将其发送到下一步 Get files Rows Count 获取文件行数 获取文件行数 Get SubFolder names 获取子文件夹名称 读取一个主文件夹获取所有的子 文件 Get data from XML 从 xml 文件中获取数据 使用 XPath 路径读取 xml 文件这个步骤也允许你解析以前字段定 义的 xml 文件 LDAP Input 使用 LDAP 协议读取远程数据 利 用 LDAP 协议连接远程主机读取数据 LDIF Input 导入 LDIF 文件 从 LDIF 文件中读取数据 Mondrian Input 导入 MDX 文 件 用 MDX 查询语句执行和审核数据分析 LDAP 服务器 Property Input 导入属性文件 从属性文件中读入键值对 RSS Input 导入 RSS 订阅 读取 RSS 订阅信息 SalesForce Input 导入 salesforce 服务 读取 slaseforce 模块服务并 将其转换成数据并把这些数据写入多个输出流 XBase 输入 导入 DBF 文件 从一个 XBase 类型的 DBF 文件中读取记录 输出 Access Output 导出数据 将记录存储到微软的数据库 表中 Cube 输出导出 Cube 文件 将数据写入 Cube 文件中 Excel Output 导出 Excel 文件 存储记录到 Excel 格式化文 档中 Properties Output 导出属性信息 将数据写入属性文 件 RSS Output 导出 RSS 订阅信息 读 RSS 订阅信息流 SQL File Output 导出 SQL 文件 SQL INSERT 语句输出到文件 Synchronize after merge 合并后同步信息 根据某个字段 值的条件插入删除更新数据库表 5 转换 Add XML 添加 xml 文件内容 将几个字段编码写入 xml 文件 Add a checksum 添加 checksum 列 为每个输入行添加 checksum 列校验和 Closure Generator 结束操作 允许利用 ID 的父子关系生成 一个结束表 Number range 编码范围 创建数字字段的范围 Replace in string 替换字符串 用另一个单词替换当前的 所以得字符串 Row Normaliser 行转换数据恢复 从透视表 中还原数据到事实表通过指定维度字段及其分类值度量字 段最终还原出事实表数据 Split field to rows 拆分字段 按指定分隔符拆分字段 Strings cut 裁剪字符串 裁剪字符 串生成子串 Unique rows HashSet 除去重复行 去掉输入流 中的重复行在使用该节点前要先排序否则只能删除连续的 重复行 XSL TransformationXSL 转换 实现 XML 到 XSL 的 转换 值映射值映射 实现对特定字段总一个值到另一值得 映射 行扁平化行扁平化 将输入流出现的结果字段进行扁 平化处理指定需处理的字段和扃平化后的新字段将其它字 段做为组合 Key 进行扃平化处理 行转列行转列 通过检索 键值对拆分行分配他们到新的字段中 同 Normaliser 过程 相反 5 utility 应用 Clone row 复制行 根据需要可以多 次复制行 Delay row 延迟行 对输入字段延迟一定时间后输 出 Execute a process 执行一个进程 执行一个进程然后返 回一个结果 If field value is null 如果字段为空 如果 字段为空为它设置一个常数 Mail 邮递 发送一个邮件 Metadata structure of stream 数据流结构 读取传入数据 流 Null if 设置空字符 如果某个字符值为指定的值就 将它设置为 null Process files 文件操作 通过输入文件 名对文件进行删除拷贝转移操作 Write to log 写日志 向 日志文件中写入数据 6 Flow Abort 中止 中止一个转变 Append streams 追加流 追加一个有序流 Blocking Step 阻塞 阻塞到所有的输入行都执行完 Detect empty stream 空输入流检测 如果输入流里没有字段将会输出空字段 Identify last row in a stream 区分最后的一个输入流 对最后一个输入流进行标识 Switch Case 判断 根据判断 条件转到特定的路径 7 脚本 Execute row SQL script 执 行 sql 脚本语言 对前一步创建的字段执行 SQL Modified Java Script Value 建设 JavaScript 表达式 建设 JavaScript 表达式更好的性能和更容易表达的用户界面也 允许您创建多个脚本 Regex Evaluation 正则表达式验证 允许你输入一个字段用正则表达式就行验证 User Defined Java Expression 用户定义 java 表达式 利用 Janino 优化 java 性能 8 查询 Check if a column exists 检索列 此 步骤可以验证数据库表中的一个特定的列是否存在 Dynamic SQL row 动态 SQL 语句 以前的字段执行动态 SQL 语句 File exists 文件存在 检索文件是否存在 HTTP PostHTTP 请求 使用 URL 请求一个 web Service 服务 HTTP clientHTTP 客户端 HTTP 客户端执行一个简单的调用 Table exists 表存在 验证某一个表在数据库中是否存在 9 连接 Merge Join 合并连接 执行一个典型的数据集之间的 合并 Sorted Merge 排序合并 用给定的关键字段对多个输 入流进行排序 XML Join 添加 XML 标签 向目标 XML 字段中 添加一个 XML 标签 11 Validation 验证 Credit card validator 信用卡验证 1 帮助你验证一个信用卡号是有效 的 2 判断信用卡类别 Data Validator 数据验证 根据设置 规则对数据进行验证 Mail Validator 邮件验证 验证邮件 地址是否有效 XSD Validatorxml 文件验证 根据 XML 模式 定义验证 XML 文件 12 statistics 统计 Analytic Query 分析查询 执行分析查询有序集 Reservoir Sampling 数据 仓库抽样 从输入流中抽取复制的数据行 Sample rows 抽样 记录 根据设置数目过滤记录 Univariate Statistics 变量 分析 对一个输入字段进行一些简单的计算 13 作业 Get Variables 获得变量 找到指定的变量将他们放到有用的字 段中 Get files from result 从以前的结果中获得文件 这 个步骤允许你读取先前的文件或者上一个 job 工程的入口 Set Variables 设置环境变量 根据输入行设置环境变量 Set files in result 复制文件名到结果 设置文件名到转 换结果以后的 job 工程入口可以运用这个信息 15 内联 Injector 记录注册器 通过 API 端口注册行记录到转换过程 Socket reader 套接字读取器 用在集群环境下实现服务器 之间的数据传输 Socket writer 写套接字 用在集群环境利 用 TCP IP 协议实现服务器之间数据传输 16 实验 GZIP CSV Input 导入压缩文件 导入压缩文件到输入流读取器 Greenplum Bulk LoaderGreenplum 批量加载 加载 MySQL Bulk LoaderMySQL 批量加载 利用已知通道进行文件加载 PostgreSQL Bulk LoaderPostgreSQL 批量加载 PostgreSQL 批量加载 Set field value 设置字段值 和其他字段共同设 置字段值 Set field value to a constant 设置常数字段 为一个字段设置常数 17 不推荐 Get previous row fields 获得先前的字段 获得先前字段的值 Streaming XML Input 导入 XML 文件流 基于 SAX 分析器对 XML 文件提供价 值分析 18 Bulk Loading 批量加载 Infobright Loader 数据仓库加载器 加载数据到数据仓库表中 LucidDB Bulk Loader 批量加载 LucidDB 数据库 使用流模式加载数据到 Lucid