datastage控件使用指南天善智能一家之言

天善智能致全体BI同仁的公开信 (订阅本博客随时掌握天善动态，文档工具。目前已经600人订阅，还不订阅更待何时？) ——5群： 6群：前4群基本满员，多达2000人，加入也是必须的。（加入时请注明：天善智能）天 Datastage控件使用指南 引 常用STAGE使用说 SequentialFile ColumnExport ChangeCapture Copy Filter Funnel Tansformer Sort LookUp JOIN Merge Modify DataSet FILESET LookupFileSet OracleEnterprise RemoveDuplicates Compress Expand COMPARESTAGE Switch ColumnImport 导入导出JOB及其它组 管理配置文 DATASTAGEADMINISTRATOR常用配 设置TIMEOUT时 设置PROJECT的属 更新 Server的License和本 的 DATASTAGEDIRECTOR使 察看JOB的状态，运行已经编译好的 将编译好的JOB加入计划任 JOB的运行情 引常用Stage使用说SequentialFile点住文件，双击鼠标，在general说明此文件内容，格式，ColumnImportStage相反，将多个类型不同的字段合并成一经过stage的前后数功能特点：ChangeCaptureStage有两个输入，分别标记为beforelinkafterlinkbeforelinkafterlink的区别我们称作changesetChangeCaptureStage可以和ChangeApplyStage配合使用来计算afterset。Allkeys，Explicit ExplicitKeys&Values ExplicitKeys，AllValues DropOutputFor True：删除before及aftelink中key值相同的行DropOutputForDelete False：保留beforelink中有但是afterlink中没有

DropOutputFor DropOutputFor False：保留beforelink中没有但aftelinkCopy只有一个输入及一个输出时最好将设置为True，这样可以在DesigerFilter同的筛选条件，可以将数据输出到不同的outputlink。FunnelSortFunnel：按照Key值排序合并输出Stageinputlink，多个outputlink，可以将字段进行转换，也可以通过条件来指定数据输出到那个outputlink。在开发过程中可以使用拖拽。CopyStage，FilterStageTransformerStage。SortAllowDuplicates：是否去除重复数据。为False条数据，当StableSort为True时，选取第一条数据。当SortUnility为UNIX时此选项无Sort OutputStatistics： StableSort： CreateClusterKeyChangeColumn：段：clusterKeyChange。当SortKeyMode为Don’tSort(PreviouslySorted)或Don’tSortCreateKeyChangeColumn：是否为每一条记录创建一个新的字段功能说明：LookUpStage把数据读入内存执行查询操作，将匹配的 JoinLookUpStageJoinStageLookUpStage将数据读入到内存中，所以效率很高，但是占用了较多的物理内存。所以当referencedata比较小的时候，我们推荐用LookUpStage；当referencedata比较大的时候，我们推荐用JoinStage。MergeMergeKey定为Master，其余的为Update。把Update中MergeKey相同的记录合并入Master。Modify功能说明：Modifystage只能有一个输入及一个输出，它可以修改表结构：Specification的具体用法删除一个字段：DROPcolumnname[,columnname]保留一个字段：KEEPcolumnname[,columnname] new_columnname[:new_type]=DataSetStage类型：File功能说明：从dataset文件中数据或者写数据到dataset文件中，一个Date包括StagePage，InputsPage，OutputsProperties中配置了文件的存放路径和更新OutputsPage描述了信息的dataset文件的详细信息；操作过程InputsPage类似FileSetStage类型：File连接（rejectslink） Page：主要是Properties和Format的配明的是Options下的RejectMode的选择，当stage有rejectlink的时候，必须选择Output；没有rejectlink时，可选择其他两个选项。Format的配置：定义了数据写到文件中的LookupFileSetStage类型：File将参照数据生成专门的LookupFileSet文件，以便提高查找的效率Stage创建一个LookupFileSet文件：OracleEnterprise使用INSERT或UPDATWE命令更新数据库表Inputs向数据库中写数据，关键是对PropertiesStage类型：Processing Stage类型：Processing的记录，通常与sortstage配合使用StagePage：Properties中的key值与之前 stage的分类key值相OupputsPageCompressStage类型：Processingdataset文件压缩成二进制文件（与expenddatastage相对应StageOupputsPageExpandStage类型：ProcessingStageOupputsPageDifferenceStage类型：ProcessingStageDropOutputFor True：删除before及aftelink中key值相同的行DropOutputForDelete False：保留beforelink中有但是aftelink中没有的DropOutputFor DropOutputFor False：保留beforelink中没有但aftelinkOupputsPageCompareStage类型：ProcessingStageOupputsPageSwitchStage类型：Processing的输出（SwitchStage有一个inputlink和多个outputlinkrejectlink，outputlink最多可达128个；此功能很类似与C函数中的switch函数）。Stage功能说明：将一个字段中的数据输出到多个字段中。（也可以用这个stageStagePage：关键是对Properties的配经过stage的前后数DataStageManager使导入导出Job及其它组件通过Export--→DataStageComponents把设计