DataStage开发经验汇总-.doc

DataStage开发经验汇总 Datastage开发经验汇总 润信科技文档信息项目名称项目经理文档名称DataStage开发经验汇总批复信息负责人日期意见拟制审核批准文件控制版本记录日期作者版本变更说明2008.1.1张定行V1.00建立文档审阅记录日期审阅者意见分发记录日期接受人地点第104页目 录1引言11.1编写目的11.2参考资料11.3说明12DS软件简介22.1DataStage企业版概述22.1.1绪论22.1.2Advanced Development and Maintenance22.1.3Complete Development Environment42.1.4Enterprise Deployment and Management72.1.5Highly Scalable Architecture92.1.6EndtoEnd Enterprise Meta Data102.1.7附录A132.1.8附录B182.2DataStage client 介绍192.3Administrator202.3.1全局设置202.3.2工程属性设置212.3.3Environment222.4Manager232.4.1菜单栏介绍242.4.2工具栏介绍262.4.3资源目录介绍262.4.4显示区介绍272.5Director272.5.1菜单栏介绍282.5.2工具栏介绍302.5.3作业目录介绍312.5.4显示区介绍312.6Designer312.6.1工具栏介绍322.6.2菜单栏介绍332.6.3资源目录介绍352.6.4设计区介绍362.6.5Job属性362.6.6Job类型373DS安装与配置383.1安装与初始化383.2环境设置383.3安装步骤393.4安装驱动程序523.5修改目录权限533.6修改dsenv533.7修改datastage字符集543.8进程的启动和停止543.9验证DataStage的安装553.10Client安装554DS开发流程介绍564.1基本步骤564.2运行机制564.3注意事项565Parallel Job Stage585.1Development/Debug Stages585.1.1Peek Stage585.1.2Row Generator Stage585.2File Stages585.2.1Data Set Stage585.2.2Sequential File Set Stage605.2.3File Set Stage635.2.4Lookup File Set Stage645.3Database Stages665.3.1Oracle Enterprise Stage665.4Processing Stages675.4.1Aggregator Stage675.4.2Change Capture Stage685.4.3Compare Stage705.4.4Compress Stage705.4.5Copy Stage715.4.6Difference Stage725.4.7Expand Stage745.4.8Filter Stage745.4.9Funnel Stage755.4.10Join Stage765.4.11Lookup Stage785.4.12Merge Stage795.4.13Modify Stage815.4.14Remove Duplicates Stage825.4.15Sort Stage835.4.16Switch Stage845.4.17Transformer Stage856开发经验876.1技巧汇总876.1.1Filler和sqlload的关键字冲突问题。876.1.2自定义sql876.1.3Table name和tab definition一致的问题876.1.4数据的排序非常重要876.1.5数据排序实现的两种方式876.1.6聚合数据的两种方式886.1.7最优化的并行机制886.1.8SchemaFiles的使用896.1.9实现调度的方法906.2常用数据库连接916.2.1Informix数据库连接916.2.2Oracle数据库连接926.3性能调优936.3.1优化策略936.3.2关键问题分析986.3.3并行度986.3.4处理建议996.3.5其它1006.3.6机器的对称性1006.3.7并行调度测试说明1007问题汇总1027.1开发问题1027.1.1数据库连接错误1027.1.2Oracle入库出现空格1027.1.3连接oracle时出错1027.2系统问题1037.2.1Datastage重新启动无法登陆1037.2.2DS作业无法Reset，无法重新启动1037.2.3作业Link信息取不到1037.2.4启动Server时，没有任何提示就且失败退出1031 引言1.1 编写目的DataStage作为在建行数据实施中指定的ETL工具，迫切的要求我们实施人员必须对其功能有个全面的了解，并对一些经常使用到的技术能够熟练的掌握。学习和掌握DataStage，特别是对于没有接触过的新手，能够有一份指导性的文档使其尽快的上手，对我们公司现在和将来加强实施队伍的技术能力是具有十分重大的意义。希望这份文档能够成为我们润信科技在DataStage技术积累的起点。1.2 参考资料本文档的参考资料主要来自：1、平时工作记录下来的经验；2、参与培训的笔记、记录；3、建行提供的相关规范和指导手册；4、DataStage自身提供的帮助文档。1.3 说明这份文档写得比较仓促，加上本人经验限制，所以还有很多地方需要大家一起来完善。知识在于不断地积累；众人拾柴火焰高。希望大家提出宝贵意见，让这份文档更加丰富多彩，成为一份全面、适用的指导性文档。如有疑问，可发至本人邮箱：。希望与大家一起进步。注：有很多知识点是从参考文档中摘取的，有些没有经过试验；有的试验的结果也可能不够全面。希望大家在发现问题后及时提出来。2 DS软件简介2.1 DataStage企业版概述2.1.1 绪论DataStage企业版（正式称为DataStage XE并行组合）是Ascential Software公司所有企业整合系列产品中关键产品。企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。基于高可扩展性的软件架购，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。DataStage企业版发布了四个核心功能来成功实施企业数据整合：advanced development and maintenance，加速开发和简单化维护；enterprise deployment and management提供了企业级别的开发、监测和管理能力；highly scalable architecture,在吞吐量和性能方面提供了没有限制的扩展能力；end-to-end enterprise meta data management提供了整个企业数据的管理和联系数据的一种方法。2.1.2 Advanced Development and MaintenanceDataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用，减少了数据整合应用的开发和维护周期。结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应用，更多的时间是不断的从中受益。DataStage企业版使用了Client-server架构，如下所示。图一、DataState企业版Client-Server架构用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。这些工具包括：Designer：用来建立和编辑DataStage作业和表的定义。Designer中的“Job Sequencer”控制作业的执行，其他作业成功完成（或失败，等）的条件。Administrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗标准。Manager：用来编辑管理用户工程的DataStage资料库。Director：用来验证、时序安排、运行和监测企业版作业。如图一所示，DataSage企业版的服务器组件运行在一系列的流行服务器上，如Unix、Windows等。2.1.3 Complete Development Environment用户使用DataStage企业版的Designer组件建立企业版数据整合应用。企业版设计是基于数据流的概念。数据流使得用户非常容易建立和理解应用。用户在一个强大的图形化调色板上通过一系列的功能组件（Stage）标示数据集合的流程来构建一个数据整合应用。一个完整的数据流图（DataStage作业），从一个永久存储的数据源开始，并且执行一系列的增值转换和其他处理操作，最后加载数据到一个永久的存储。但是，企业版Designer开始使用户可以灵活从任何地方可以建立作业：从上到下、从下到上、从中间开始。一个完整的企业版数据流图如图二所示。图二、DataStage企业版数据流图示在建立一个企业版数据流图表时，通过一系列的处理步骤对庞大的数据集合构架顺序流。用户不需要担心如何在多处理器计算机上运行该应用。企业版对数据整合应用工作流的顺序描述和在生产环境中应用的并行执行做了一个清晰的区分。企业版处理数据集合。数据集合就是对通过数据流程的记录的收集。一个数据集合可以是屋里放置在磁盘上，也可以是虚拟放置在内存中。数据在数据流中的Stage中移动使用的是虚拟的数据集合，这样可以大大提高性能；分区（在后面介绍）是在Stage的属性中设置的。企业版提供了12个内嵌的Stage来执行通用的数据整合任务，如Sort、Merge、join、filter、Transform和Aggregate。更完整的内嵌Stage列表参考本文档的Appendix A。每个企业版Stage是一个完整的功能组件，已经在多处理器系统中高吞吐量和高性能并行执行过。这些Stage摒弃了对通用数据处理用于的传统编写代码方式。用户可以在企业版Designer GUI中找到这些内嵌的Stage。用户可以使用Stage的下拉菜单来这只Stage的参数。企业版Aggregator Stage的编辑器如下所示。图三、企业版编辑Aggregator Stage图标和Stage编辑器例子企业版Transformer Stage是一个强大和灵活的组件，允许用户对input link输入的数据进行转换。并且将数据传到另一个活动的Stage或者将数据写到目标数据或文件。Transformer编辑器（如下所示）使得用户可以在input liks和output link间简单建立mapping，并且可以使用BASIC等语言建立任意转换。这些转换可以并行执行来提高吞吐量和性能。企业版提供了超过100个内嵌的功能，另外可以用C或C+编写的route在转换中使用和进行互操作。图四、企业版Transformer Stage图标和Stage编辑器例子DataStage企业版内嵌的Stage包括高性能访问（加载和读）关系型数据库的强大组件，包括并行的关系型数据库。例如，企业版的Oracle Stage提供了一个访问Oracle表的高性能并行接口。Oracle Stage支持Load和Upsert的写方法和表的查询读方法。企业版也可以利用DB2强大的数据库分区特性和Teradata的高性能、并行数据加载和导出。另外，DataStage企业版提供了一些Stage可以使得SAS用户在大容量数据上执行SAS。Parallel SAS Data Set Stage允许通过SAS Stage的连接从一个并行的SAS数据集合中读取和写入数据。通过利用并行硬件执行平台和并行关系型数据库，这些SAS Stage能够将大大增强需要进行处理和分析大数据量的SAS的吞吐量和性能。企业版的内嵌扩展Stage提供了数据整合应用中80到90的最常用的逻辑需要。另外，企业版提供了许多机制用来建立自定义的Stage：n Wrapped允许并行执行一个顺序程序。n Build允许自动并行执行自定义Stage的C语言表达式。n Custom 提供了完整的CAPI，来开发复杂和扩展的Stage。基于组件架构和扩展内嵌组件类库的DataStage企业版消除了对传统编码方式的需要，最大化了组件的重复使用。企业版开发和扩展架构使得和第三方软件和以存在的程序的整合到扩展数据整合应用变得非常容易。Stage和作业的单独分区，包括每一个Stage的联合分区、元数据（表定义）和Transformer转换定义，可以在共享容器中被其他用户重复使用。共享容器允许用户提高产品性和在用户和工程间共享。产品性比作业模板更进一步。用户比使用定义的模板更快开始。标准化提供给一个相同的开始点。智能助手可以使得建立复杂作业更简单。智能助手象Wizard一样通过一系列的问题，并且输出一个DataStage企业版作业或作业序列。但是，他们使用元数据智能预先设计问题，最终引导用户和得到最后的输出。Ascential载入一些智能助手，一个建立纬度缓慢变化的星型架构的数据库（类型1、2、3支持）。2.1.4 Enterprise Deployment and Management许多大的公司都有他们自己的在复杂生产环境下的配置、时间序列、监测和管理应用的标准。DataStage企业版提供了灵活功能来迎合这些需要。首先，DataStage提供了一个图形化的作业顺序器，允许用户定义作业执行的序列。设计一个作业序列就象设计一个作业。用户在DataStage中设计作业序列。从工具条增加一个Activities（相对于Stage），并且通过Trigger进行连接用以定义控制流。每个activity都有属性，可以在trigger表达式中测试并且传到序列前面的其他的activity中。Activity也可以有参数，可以用来支持job参数或routine参数。Job序列可以有自己的属性和参数，这些属性和参数可以顺序传到activity中。序列也可以包括控制信息，例如，序列中job的成功或失败影响活动的走向。一旦job序列被定义完成，可以在任何提供的接口（下面做详细的介绍）中建立时间顺序和执行。图五、DataStage Job序列例子其次，企业版提供了Director和Manager的图形化功能。象前面说过的，manager是用来管理工程的，包括导入和导出组件，用来将应用配置到产品。Dirctor用来建立时序，执行和监测job（或job序列）。另外，企业版提供了commandline、API和web services用来对应用进行配置、执行、监测和管理。Job能够使用所有的工具进行开始、停止和监测。可以提供所有的工具查看Job监测的详细内容包括Dirctor。XML计划已经被发布并且通过XML可以对正在运行的job进行不同角度的查看。就算job已经完成，这些信息仍然是可用的。这就是operational meta data。Command line和web service接口通过文本或XML方式返回出这些operaltional meta data。对于国际数据的需要，DataStage企业版可以处理和管理multi-byte的数据结构。客户端相应（如属性设置和表定义）可以使用用户本地的语言。用户可以根据国际校正规则建立客户化的排序规则。2.1.5 Highly Scalable Architecture建立在高扩展软件架构上的企业版提供了高级别的吞吐量和性能。象前面所描述的，用户可以使用企业版的Designer工具建立简单的顺序数据流图表。当构架出顺序的数据流图表，用户不用担心底层的硬件架构和处理器的数量。一个专门的配置文件可以定义这些底层多处理器计算环境中的资源（处理器、内存、磁盘）。这个配置可以在顺序数据流图表和应用的并行执行之间建立一个清晰的分离。这样就可以很简单开发扩展的数据整合系统并且并行执行（如图六所示）。DataStage企业版可在管道并行和分区并行的机制下执行，这样可以获得高吞吐量和性能：n 数据管道意味着应用可以从源系统拉入数据并且在数据流图表中定义的顺序处理功能间移动。记录通过管道进行流动使用上面介绍过的数据集合【虚拟】这样使得记录通过一系列的功能组件进行流动而不需要将记录加载到磁盘。n 数据分区是一种将记录集合分割到各个分区，或记录子集的并行方法。数据分区通常提供了一种好的、可以线性增长的应用性能。企业版支持记录集通过应用流的自动分区，象DB2一样使用hash、range、entire、random、round robin等方法。这个特殊的benchmark是在写数据（每条记录平均534 byte、50多个字段）之前进行了15此的不同的转换。图8以1：1的比例显示出处理器导致近乎线性的性能扩展。更近一步说，验证过的性能benchmark对ascential software是适用的。2.1.6 EndtoEnd Enterprise Meta DataMeta Data整合是数据整合基础架构的黏合剂，是维护一致性、分析解释清晰和正确的关键。DataStage企业版的端对端元数据在数据整合生命周期中所有的工具中共享，确保有关元数据可以勾画出一个清晰、明确的业务视图。DataStage企业版元数据管理通过提供一致、正确的元数据来帮助用户管理数据中有用的部分。这样就可以减少在多工具中共享元数据时候存储和更新元数据目录的负担。通过DataStage企业版的元数据分析和管理功能确保整个商务智能架构中整合和业务规则的重复使用变得简单，而不需要传统编码方式。DataStage企业版不像竞争对手，因为对ETL工具的偏执，而使得整个整合处理不能得到一个完整的元数据视图。DataStage企业版通过提供独特的元数据共享功能而不仅仅在ETL工具中具有，避免了不同方法定义间的混淆和冲突，这样就使得用户可以在建模工具、ETL工具和最终用户报表工具中获得最完整的语义层。确保没用的或冗余的元数据被排除掉，使得业务管理者通过常用的方法理解数据，作出严谨的决策。Cross-tool影响分析，使你可以方位变化是如何影响down-stream报表的。数据继承mapping确保你总是可以回答这样的问题：“这些数据是从那里来的”，这个功能贯穿整个整合生命周期处理这是ascential特有的。这样大大增强了开发者和基础原则经常改变中的业务分析的产品性。meta data integrationDataStage提供了最大化的元数据整合，并且在大多数流行的数据建模、数据整合和商业智能工具和标准中共享。细节上的共享使用户可以充分利用贯穿整个企业的“端到端”元数据整合。Cross-tool impact analysis在DataStage企业版中可以执行深层次分析快速访问变化对一个数据仓库的影响，返回到操作数据存储，返回到分段数据库，所有的路径都返回到可以被指定的原始的数据源和数据建模工具（如ALLFusion ERWin数据建模工具）。这些呈现的功能对于数据结构改变而不破坏严格的downstream报表是非常必要的。Data lineage使用元数据管理图形展示，DataStage企业版给最终用户一个完全的数据历史，这样就可以判断是如何影响数据分析的。简单说，data lineage回答的是“数据从那里来”。Query Builder这个工具使简单导航变得更简单和过滤掉以在线文档格式或内嵌在impact analysis模板中的查询。这个查询工具消除对写SQL才能产生出结果的需要。Meta Data Sharing and reuseDataStage企业版使用了“publish and subscribe”机制从一系列的数据源发布标准的元数据。用户可以一次性或recurring basis预定元数据发布。当元数据改变时，会自动通知预定者。Meta Data DelivveryDataStage企业版允许通过报表和XML或HTML格式的查询结果对元数据进行动态的、面向批处理的和XSL-T的客户化发布。使hyperlink终端用户的访问和导航变得更加容易。这些可以自动发布到任何Web Site和门户。当远端服务器明显从优势地方报告操作结果给DataStage企业版的时候，DataStage企业版元数据管理工具可以很有效率地收集到数据整合环境中发生的事件。管理者能够回顾作业并且预先识别瓶颈和处理中的错误。结果：更少的资源冲突和减少通过检查每个字段或执行状态报告来发现问题的时间。业务用户现在可以使用友好的工具去直接查询他们的业务和技术元数据。在直接的管理控制下，管理员可以示例一个新的可用的通用数据主题域视图模型，如相同数据库结构中的一组正则化的关系表作为MetaStage的字典。这样使业务用户可以构建cross impact tool分析和在目标数据仓库、源系统表、商业智能工具、Olap cube和entity/OO模型工具中直接发现业务定义、名称、描述、表定义和cube纬度。工具综述：l Cognos Impromptu, PowerPlayl Business Objectsl Hyperion Essbase Integration Serverl MicroStrategyl IBM DB2 Cube Viewsl ODBCl DataStagel ProfileStagel QualityStagel Embarcadero ER/Studiol Oracle Designerl CAAllFusion ERwin Data Modelerl Cognos Impromptu, Powerl PowerDesignerl SilverRun * via UMLl Rational Rose * via UMLl OMG UML Class Diagramsl Informatica PowerCenterl SAP BWl OMG CWMl Information Builders WebFOCUS2.1.7 附录ADataStage企业版内嵌的扩展Stage图标Stage描述Transformer对任何需要转换的输入的数据集合进行转换，并将数据传输到其他活动的Stage中或一个将数据写入数据库或文件的Stage。Sort用来并行执行更复杂的排序操作。Merge将一个或多个排序的更新数据集合合并成一个排序的主数据集合。Join在一个或多个输入数据集合上执行连接操作并输出一个结果数据集，连接操作支持：inner、left outer、right outer和full outer。External Filter允许指定一个作为处理数据过滤器的unix命令行。Aggregator对于单一的输入数据记录进行分组并且计算每一组的合计和总计。Make Vector组合输入数据记录中指定的字段到一个具有相同类型的字段矢量。Make Subrecord组合指定的输入数据集合中的矢量到子记录的矢量，它的字段具有和原始矢量相同的名字和类型。Split Vector提升固定长度矢量的参数到一系列相似的命名顶级字段。Combine Records组合那些主键字段值被指定的记录到子记录矢量。Compare对两个分拣输入数据集合中的记录进行一个字段一个字段的检查。Lookup对包含在lookup file set stage中的查找表进行查找操作。Lookup File Set允许建立一个查找文件集合或查找参考。Funnel拷贝多个输入数据集合到一个输出数据集合；对于将分开的数据集合合并成一个大的数据集合；支持持续的读、排序、顺序输入数据集合。Copy拷贝一个输入数据集合到多个输出数据集合；输入数据集合中的每一条记录拷贝到每一个输入的数据集合中，而且不需要修改。Sample使用百分比或一段模式对输入的数据集合进行取样。Peek将记录字段值显示到作业日志或分开的output link，就象copy stage将输入的数据集合拷贝到一个或多个输出数据集合。Remove Duplicates对输入的数据集合进行单一排序，删除重复的记录，并将结果写入一个输出的数据集合。Modify改变输入字段定义到输出数据集合（如类型转换或null处理/转换等）；对于重新命名和类型转换使非常有效率的。Filter基于用户指定的约束（“where子句”）将输入数据集合转换到不同的输出数据集合（link）。对于过滤记录使非常有效率的。Switch根据选择器字段的值，将一个输入记录分配到一个输出的link，支持128个output link和1个reject link。Change Capture抓取两个输入数据集合，表现为前和后，并且获取后面的数据路输出一个记录表现已经改变的数据集合到前数据集合。Change Apply抓取变化数据，包括前面或后面数据记录的变化，从change capture stage并应用编码改变操作到前面数据集合，计算一个后面数据集合。Head从一个输入数据集合分区中选择第一个N条记录并且将选择的记录拷贝的输出数据集合中。Tail从一个输入数据集合分区中选择最后一个N条记录并且将选择的记录拷贝的输出数据集合中。Write Range Map将数据写入range map；抓取排序或排序产生的数据集合，并写入到一个文件用于范围分区方法。Encode使用支持的unix编码命令对一个数据集合进行编码；将一个顺序数据集合转换到没有处理过的二进制数据流。Decode使用支持的unix解码命令对一个数据集合进行解码；将一个没有处理过的二进制数据流转换到数据集合。Compress使用unix compress或GZIP工具压缩数据集合；将一个顺序数据集合转换到没有处理过的二进制数据流。Expand使用unix uncompress或GZIP工具展开数据集合；将一个没有处理过的二进制数据流转换预先压缩的数据集合到一个数许数据集合。Difference对两个输入的数据集合进行逐条的对比，相同数据集合的不同转换产生出前面和后面的数据集合。Column Import从一个字段导入数据并且输出到一个或多个字段。Column Export从多个不同类型的字段导出数据到一个字符类型或二进制类型的字段。Column Generator增加字段到输入数据并且为处理的数据行字段产生假数据；输出新的数据集合。Row Generator产生一组适合指定表定义的假数据；对于不使用真实可用数据对作业进行测试非常有用。Data Set从一个数据集合读取数据或将数据写入一个数据集合；企业版隐藏了复杂的处理和在并行计算机上并行存储数据到磁盘。File Set从一个文件中读取数据或将数据写入文件；并行执行。Sequential File从一个flat file读取数据或将数据写入flat file；通常是并行执行和可以配置成顺序执行。External Source从一个或多个源程序读取数据。External Target将数据写入一个或多个目标程序。Parallel SAS Data Set从并行sas数据集合读取数据或将数据写入并行sas数据集合；用于同sas stage进行连接。SAS用于并行执行部分sas应用。DB2IBM DB2 UDB访问：l 从DB2数据库读取数据或将数据写入DB2数据库；l 顺序执行或并行执行；l 支持DB2的hash分区；l 支持write、upsert和load的写方法；l 支持表、自动产生SQL和用户定义SQL读方法。OracleOracle数据库访问：l 从Oracle数据库读取数据或将数据写入Oracle数据库；l 顺序执行或并行执行；l 支持load和upsert写方法；l 支持Table和Query读方法。Informix XPSInformix XPS数据库访问：l 从informix XPS数据库读取数据或将数据写入informix XPS数据库；l 顺序执行和并行执行。TeradataTeradata数据库访问：l 支持从Teradata数据库读取数据和将数据写入Teradata数据库；l FastExport：Table、Auto-generated SQL、User-generated SQL；l FastLoad：Create、Append、Replace、Truncate；l 顺序执行和并行执行；l 支持TUF6.1、TTU7.0。ODBC (coming soon)使用ODBC访问数据库。2.1.8 附录B扩展连接，所有可用到DataStage Server（通过plug-in架构）的连接对于企业版也可用，但是有限制（查看DataStage Connectivity或联系Ascential获取完整的列表）。图标Stage描述Other database interfaces其他数据库接口，包括Sybase、Unidata等。XML PACK 2.0基于XML架构定义（XSD）读取和写XML数据；在DataStage作业中，基于XML Stylesheet（XSL-T）允许XML从一中架构直接转化的另一种架构。WebSphere MQ从MQ队列读或写，包括destructive读。Web Services Client PACK在作业设计中，允许设计者使用基于web service的资源作为一个源、目标或转换。Java PACK允许使用预先编译的java类来访问源或目标；建立和编译java类到转换中。Enterprise ApplicationsJD Edwards、PeopleSoft、SAL BW、SAP/R3、Siebil。Ascential Connect其他数据源，包括IDMS、NonStopSQL等。E-business源/目标，包括EDI-EDIFACT、HL7、HIPAA等。2.2 DataStage client 介绍四大部件：Administrator、Manager、Designer、Director整体框架图：l Designer(设计者)：通过提供“拖放”界面设计平台，以此实现在创建执行数据集成任务“JOB”的同时，对数据流和转换过程创建一个可视化的演示。l Manage(管理者)：对每个工程的各个单元，包括库表定义、集中的转换程序和元数据连接等对象进行分类和组织。l Director(指挥者)：为启动、停止和监视作业提供交互式控制。l Administrator(系统管理者)：在服务器端管理datastage的工程和使用者权限的分配。l 服务器是数据集成的主要设备。在服务器上，你可以在运行时间内对几个并行的处理过程进行控制，以便在多个不同的数据源和数据目标之间发送数据。服务器可以安装在NT或UNIX、LINUX环境中，同时通过调节来有效地利用多处理器和内存的优势。通过使用Datstage中包括的许多富有效率的功能，企业可以缩短学习周期、简化管理过程、最大限度地开发资源，从而缩短数据集成应用程序的开发和维护周期。2.3 AdministratorAdministrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗标准，设置工程属性和使用者权限的分配等。2.3.1 全局设置Projects：可对工程进行添加修改。如下图：Add：添加工程；Delete：删除工程；Properties：设置工程属性；NLS：设置工程的全局语言支持。Project pathname：显示工程在服务器的目录。2.3.2 工程属性设置选中工程，然后点击“Properties”，便进入工程属性设置界面。如下图：General1、Enable job administration in Director：选上；允许在不打开Administrator的情况下在DataStage的Director中运行一些管理级别的函数；设置了可以在Director中管理Job，当有Job死锁时，可在Director中直接清除。2、Enable Runtime Column Propagation for ParallelJobs：选上；允许RCP运行。3、Auto-purge of job log：可选；选上则可以设置日志的保持时间。4、Protect Project：设置工程为保护模式。一般不设置。Permissions可以设置用户的操作权限；对各组用户进行权限分配。Tracing设置是否在DataStage服务端进行跟踪处理；默认为无效；跟踪会消耗服务器端的大量资源，一般不建议设置跟踪为有效。如果设置了，则当Job出错，Director不能解决时，可以在此设置进行跟踪。Tunable可以设置用户使用的缓存大小；ParallelGenerated OSH visible for Parallel jobs in ALL projects：选上；运行可以查看Job的OSH；2.3.3 Environment点击工程属性General中的Environment，可对工程的环境进行设置。如下图：GeneralLD_LIBRARY_PATH：要把Oracle和DS的lib路径加进去。例如：/usr/lib:.:/home/db/oracle/product/10.2.0/lib32/:/home/ap/dsadm/Ascential/DataStage/PXEngine/lib:/lib:ParallelAPT_STRING_PADCHAR：缺省值是0x0，我们需要填写一个空格，Value设置为0x20；但是如果设置为0x20，在使用Oracle进行insert/update时，会给数据补上空格，所以可以置空，则不会出现补空格的情况。APT_CONFIG_FILE：缺省情况下是指安装DataStage服务目录下的./Ascential/DataStage/Configurations/default.apt，这里需要检查一下指向的内容是否正确。也可以自己建default.apt，然后目录指向就行了。Parallel-CompilerAPT_COMPILEOPT：改为：-O -fPIC -Wno-deprecated -c -m32。APT_COMPILER：改为：gcc32。APT_LINKER：改为：gcc32。APT_LINKOPT：改为：-shared -m32 -Wl,-Bsymbolic,-allow-shlib-undefined。User Defined 可以根据需要添加自定义变量。2.4 ManagerManager：用来编辑管理用户工程的DataStage资料库。管理工程仓库，对每个工程的各个单元，包括库表定义、集中的转换程序和元数据连接等对象进行分类和组织。进入Manager后，我们可以看到Manager的显示界面，如下图：为菜单栏；为工具栏；为资源目录；为显示区。2.4.1 菜单栏介绍FileNew Category：新建文件夹。Open Project：打开新的工程，可以通过“New host”，选择不是同一台服务器的工程。Copy：拷贝。只要选择了显示区的某个对象，点击拷贝，便会生成一个对象的副本。Rename：给对象重命名。Move To：移动对象到另一个文件夹。Delete：删除对象。Project：显示对象的属性。Exit：退出Manager。ViewToolbar：显示工具栏。Status Bar：显示状态栏。Large Icons：显示区的对象以大图标显示。Smoall Icons：显示区的对象以小图标显示。List：显示区的对象以列表显示。Details：显示区的对象以列表显示，并显示详细信息。HostView：显示服务器上的所有工程。Extended Job Views：选择此项后，在属性目录选择“Jobs”，则会在显示区显示Jobs下面的目录。Up One Level：显示区的目录向上一个级别。Refresh：刷新文件夹的内容。ImportDataStage Components：导入由Manage导出的后缀名为.dsx的工程文件。DataStage Components(XML)：导入由Manage导出的后缀名为.xml的工程文件。Table Definitions：导入表定义。ExportDataStage Components：导出工程。可以导出成.dsx或者.xml文件。ToolsConfigurations：设置配置文件信息。可以通过这个功能新建新的.apt文件，或者修改默认的.apt文件。Run Designer：运行Designer程序。Run Director：运行Director程序。Run Multiple Job Compile：运行多作业编译。运行此功能可以一次编译多个作业。Options：设置Manager的显示属性。HelpHelp Topics：打开Manger的帮助文件。Ascential Developer Net：打开开发的网络连接。About DataStage Manager：显示版权信息。2.4.2 工具栏介绍从左到右，依次为：1、新建。点击此按钮，就会新建一个所属文件的对象。2、拷贝。只要选择了显示区的某个对象，点击此按钮，便会生成一个对象的副本。3、删除。4、属性。选中对象，点击此按钮，则会显示对象的属性对话框。5、目录向上一级。6、HostView：显示服务器上的所有工程。7、Extended Job Views：选择此项后，在属性目录选择“Jobs”，则会在显示区显示Jobs下面的目录。8、Large Icons：显示区的对象以大图标显示。9、Smoall Icons：显示区的对象以小图标显示。10、List：显示区的对象以列表显示。11、Details：显示区的对象以列表显示，并显示详细信息。14、打开帮助文件。2.4.3 资源目录介绍资源目录显示了工程的所有对象。包括：Data Elements：数据类型。包括基本数据类型和自定义的数据类型。Jobs：开发的所有作业。Routines：函数；可以实现复杂的分支逻辑；用BASIC语句编写。Shared Contains：共享容器，可以对经常使用的一组stage进行打包，然后共享给其他Job使用。Stage Types：Stage类型。除了系统自带的外，还可以自定义stage。Table Definitions：表定义。可以自定义表结构。Tranforms：函数；只能是简单的逻辑过程。 2.4.4 显示区介绍显示区显示的是点击左边树形目录后的内容。对Job点击右键，则弹出菜单：Edit：打开Desinger对作业进行编辑。Event Log：打开Director查看作业的日志。Properties：打开作业的属性对话框。2.5 DirectorDirector：用来验证、时序安排、运行和监测企业版作业。为