产品白皮书之一DataStage

1、1.1 先进的开发和维护. 1.2 完整的开发环境. 1.3 企业级实施和管理. 1.4 高扩展的体系架构. DataStage企业版白皮书之一 目 录 1. 绪论 1.5端对端的企业级元数据管理 2. 附录A： DataStage 企业版内嵌的扩展 Stage 3. 附录B :扩展连接 4. 1.绪论 DataStage企业版是IBM公司所有企业整合系列产品中关键产品。企业版支持大容量数据的收集、整合 和转换，数据从简单结构到很复杂的结构。基于高可扩展性的软件架购，企业版使得企业能够通过高性能来 解决大部分业务问题，并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在

2、所有工具中共享和使用工具。 DataStage企业版发布了四个核心功能来成功实施企业数据整合：先进的开发和维护；完整的开发环境； 企业级实施和管理；高扩展的体系架构；端对端的企业级元数据管理。 1.1先进的开发和维护 DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性 和效率。DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用，减少了 数据整合应用的开发和维护周期。结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应用, Desig ner :用来建立和编辑 DataStage作业和表的定义

3、Designer 中的Job Sequencer”控 更多的时间是不断的从中受益。 DataStage企业版使用了 Clie nt-server架构，如下所示。 图一、DataState 企业版 Client-Server 架构 用户通过各个客户端工具访问 DataStage企业版的开发、配置和维护功能。这些工具包括： 制作业的执行，其他作业成功完成（或失败，等）的条件 Administrator :用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗 标准。 Manager :用来编辑管理用户工程的DataStage资料库 Director :用来验证、时序安排、运行和

4、监测企业版作业 Unix、Windows 等。 如图一所示，DataSage企业版的服务器组件运行在一系列的流行服务器上，如 1.2 完整的开发环境 用户使用 DataStage 企业版的 Designer 组件建立企业版数据整合应用。 企业版设计是基于数据流的概念。 数据流使得用户非常容易建立和理解应用。 用户在一个强大的图形化调色板上通过一系列的功能组件 （Stage ） 标示数据集合的流程来构建一个数据整合应用。一个完整的数据流图（ DataStage 作业），从一个永久存储 的数据源开始，并且执行一系列的增值转换和其他处理操作，最后加载数据到一个永久的存储。但是，企业 版 Design

5、er 开始使用户可以灵活从任何地方可以建立作业：从上到下、从下到上、从中间开始。一个完整的 企业版数据流图如图二所示。 图二、 DataStage 企业版数据流图示 在建立一个企业版数据流图表时，通过一系列的处理步骤对庞大的数据集合构架顺序流。用户不需要担 心如何在多处理器计算机上运行该应用。 企业版对数据整合应用工作流的顺序描述和在生产环境中应用的并行执行做了一个清晰的区分。 企业版处理数据集 （data set） 。数据集就是对通过数据流程的记录的收集。一个数据集可以是屋里放置 在磁盘上，也可以是虚拟放置在内存中。数据在数据流中的 Stage 中移动使用的是虚拟的数据集，这样可以 大大提高

6、性能；分区（在后面介绍）是在 Stage 的属性中设置的。 企业版提供了多个内嵌的 Stage 来执行通用的数据整合任务， 如 Sort 、Merge 、join 、filter、Transform 和 Aggregate 。更完整的内嵌 Stage 列表参考本文档的 Appendix A 。每个企业版 Stage 是一个完整的功能组 件，已经在多处理器系统中高吞吐量和高性能并行执行过。这些 Stage 根除了为通常的数据处理应用进行编 码的需要。用户可以在企业版 Designer GUI 中找到这些内嵌的 Stage 。用户可以使用 Stage 的下拉菜单来这 只 Stage 的参数。企业版

7、 Aggregator Stage 的编辑器如下所示。 图三、企业版编辑 Aggregator Stage 图标和 Stage 编辑器例子 企业版 Transformer Stage 是一个强大和灵活的组件，允许用户对 input link 输入的数据进行转换。并 且将数据传到另一个活动的 Stage 或者将数据写到目标数据或文件。 Transformer 编辑器（如下所示）使得 用户可以在in put link 和output link间简单建立 mappi ng，并且可以使用 BASIC等语言建立任意转换。这 些转换可以并行执行来提高吞吐量和性能。企业版提供了超过100个内嵌的功能，另外可

8、以用C或C+编写 的 route 在转换中使用和进行互操作。 图四、企业版 Transformer Stage 图标和 Stage 编辑器例子 DataStage 企业版内嵌的 Stage 包括高性能访问（加载和读）关系型数据库的强大组件，包括并行的关 系型数据库。例如，企业版的 Oracle Stage 提供了一个访问 Oracle 表的高性能并行接口。 Oracle Stage 支 持Load和Upsert写方式和支持表和查询的读方式。企业版也可以利用DB2强大的数据库分区特性和Teradata 的高性能、并行数据加载和导出。 另外，DataStage企业版提供了一些 Stage可以使得S

9、AS用户在大容量数据上执行SAS Parallel SASData Set Stage 通过SAS Stage的连接从一个并行的SAS数据集中读取和写入数据。通过利用并行硬件执行平台 和并行关系型数据库，这些SASStage能够将大大增强需要进行处理和分析大数据量的SAS的吞吐量和性能。 企业版的内嵌扩展 Stage 提供了数据整合应用中80到 90的最常用的逻辑需要。 另外， 企业版提供了 许多机制用来建立自定义的 Stage ： Wrapped 允许并行执行一个顺序程序。 Build允许自动并行执行自定义Stage的C语言表达式。 Custom 提供了完整的 C API ，来开发复杂和扩展

10、的 Stage。 基于组件架构和扩展内嵌组件类库的 DataStage 企业版消除了对传统编码方式的需要，最大化了组件的 重复使用。对于可扩展的数据整合应用来说，企业版开放的和可扩展的架构使得整合第三方软件工具和已存 在的程序更加容易。 Stage 和作业的单独分区，包括每一个 Stage 的联合分区、元数据（表定义）和 Transformer 转换定义， 可以在共享容器 （Share Container） 中被其他用户重复使用。共享容器允许用户提高产品性和在用户和工程 间共享。 作业模板 （Job Template） 进一步提升了效率。用户能够比以前更快地启用已定义好的模板。同时，标准 化的

11、模板也提供给用户一个高效的起始点。 智能帮助提供建造从简单到复杂的作业。用户通过一系列的询问，智能帮助可以象魔术师一样输出一个 DataStage 企业版作业或作业序列。他们使用元数据智能提示用户答案和输出最后的结果。 Ascential 载入一些智能助手，一个建立纬度缓慢变化 （Slow Changing Dimension） 的星型架构 （Star Schema） 的数据库（类型 1、 2、3 支持）。 1.3 企业级实施和管理 许多大的公司都有他们自己在复杂生产环境下的配置、时间序列、监测和管理应用的标准。 DataStage 企业版提供了灵活功能来迎合这些需要。 首先， DataSta

12、ge 提供了一个图形化的作业顺序器 （Job Sequencer） ，允许用户定义作业执行的序列。 设计一个作业序列就象设计一个作业。 用户在 DataStage 中设计作业序列。 从工具条增加一个 Activities （相 对于 Stage ），并且通过 Trigger 进行连接用以定义控制流。每个 activity 都有属性，可以在 trigger 表达 式中测试并且传到序列前面的其他的activity 中。Activity也可以有参数，可以用来支持job参数或routine 参数。 Job 序列可以有自己的属性和参数，这些属性和参数可以顺序传到activity 中。序列也可以包括控制

13、信息，例如，序列中 job 的成功或失败影响活动的走向。一旦 job 序列被定义完成，可以在任何提供的接口 （下面做详细的介绍）中建立时间顺序和执行。 图五、 DataStage Job 序列例子 其次，企业版提供了 Director 和 Manager 的图形化功能。象前面说过的， manager 是用来管理工程的， 包括导入和导出组件，用来将应用配置到产品。 Director 用来建立时序，执行和监测 job （或 job 序列）。 另外，企业版提供了command line 、API 和 web services 用来对应用进行配置、执行、监测和管理。 Job 能够使用所有的工具进行开始

14、、停止和监测。可以提供所有的工具查看Job 监测的详细内容包括 Director。 企业版返回的信息包括每个并行分区的记录条数、CPU使用率、开始/结束时间等。所有的这些都是在单 独的 stage 级别。这个命令行接口是： dsjob -eport vreport type report type = BASIC,DETAIL,XML 可通过 XML schema 和 XML style sheets 对正在运行的 job 进行不同角度的查看。 就算 job 已经完成，这些信息仍然是可用的。这就是 operational meta data 。 Command line 和 web servi

15、ce 接口 通过文本或 XML 方式返回出这些 operational meta data。 对于国际数据的需要， DataStage 企业版可以处理和管理 multi-byte 的数据结构。客户端相应（如属性 设置和表定义）可以使用用户本地的语言。用户可以根据国际校正规则建立客户化的排序规则 1.4 高扩展的体系架构 建立在高扩展软件架构上的企业版提供了高级别的吞吐量和性能。 象前面所描述的， 用户可以使用企业版的 Designer 工具建立简单的顺序数据流图表。 当构架出顺序的数 据流图表，用户不用担心底层的硬件架构和处理器的数量。一个专门的配置文件可以定义这些底层多处理器 计算环境中的资

16、源(处理器、内存、磁盘)。这个配置可以在顺序数据流图表和应用的并行执行之间建立一 个清晰的分离。这样就可以很简单开发扩展的数据整合系统并且并行执行(如图六所示)。 DataStage 企业版可在管道并行和分区并行的机制下执行，这样可以获得高吞吐量和性能： 数据管道 (Data Pipelining) 意味着应用可以从源系统拉入数据并且在数据流图表中定义的顺 序处理功能间移动。记录通过管道进行流动使用上面介绍过的数据集 (DataSet) 【虚拟】 这样使得记录通过一系列的功能组件进行流动而不需要将记录加载到磁盘。 数据分区 (Data Partitioning) 是一种将记录集分割到各个分区，

17、 或记录子集的并行方法。 数据 分区通常提供了一种好的、可以线性增长的应用性能。企业版支持记录集通过应用流的自动 分区，象 DB2 一样使用 hash、 range、 entire 、 random 、 round robin 等方法。 这个 benchmark 是在写数据(每条记录平均 534 byte 、 50 多个字段)之前进行了 15 此的不同的转换。 图 8 以 1：1 的比例显示出处理器导致近乎线性的性能扩展。Ascential Software可以提供充详细及验证过 的性能 benchmark 报告。 1.5 端对端的企业级元数据管理 Meta Data 整合是数据整合基础架构的

18、黏合剂，是维护一致性、解释清晰和正确的关键。 DataStage 企业 版的端对端元数据在数据整合生命周期中可供所有的工具中共享，确保有关元数据可以勾画出一个清晰、明 确的业务视图。 DataStage 企业版元数据管理通过提供一致、正确的元数据来帮助用户管理数据中有用的部 分。这样就可以减少在多工具中共享元数据时候存储和更新元数据目录的负担。通过 DataStage 企业版的元 数据分析和管理功能确保整个商务智能架构中整合和业务规则的重复使用变得简单， 而不需要传统编码方式。 DataStage 企业版不像竞争对手，因为对 ETL 工具的偏执，而使得整个整合处理不能得到一个完整的元 数据视图

19、。 DataStage 企业版通过提供独特的元数据共享功能而不仅仅在 ETL 工具中具有，避免了不同方法 定义间的混淆和冲突，这样就使得用户可以在建模工具、 ETL 工具和最终用户报表工具中获得最完整的语义 层。确保没用的或冗余的元数据被排除掉，使得业务管理者通过常用的方法理解数据，作出严谨的决策。 Cross-tool 冲突分析，使你可以方位变化是如何影响down-stream 报表的。数据继承 mapping 确保你总是可 以回答这样的问题：“这些数据是从那里来的”，这个功能贯穿整个整合生命周期处理这是 IBM 特有的。 这样大大增强了开发者和基础原则经常改变中的业务分析的产品性。 Met

20、a Data Integration DataStage 提供了最大化的元数据整合，并且在大多数流行的数据建模、数据整合和商业智能工具和标 准中共享。细节上的共享使用户可以充分利用贯穿整个企业的“端到端”元数据整合。 Cross-tool impact analysis 在 DataStage 企业版中可以执行深层次分析快速访问变化对一个数据仓库的影响，返回到操作数据存储， 返回到分段数据库，所有的路径都返回到可以被指定的原始的数据源和数据建模工具（如 ALLFusion ERWin 数据建模工具）。这些呈现的功能对于数据结构改变而不破坏严格的 downstream 报表是非常必要的。 Dat

21、a lineage 使用元数据管理图形展示， DataStage 企业版给最终用户一个完全的数据历史，这样就可以判断是如何 影响数据分析的。简单说， data lineage 回答的是“数据从那里来”。 Query Builder 这个工具使简单导航变得更简单和过滤掉以在线文档格式或内嵌在 impact analysis 模板中的查询。这 个查询工具消除对写SQL才能产生岀结果的需要。 Meta Data Sharing and reuse DataStage 企业版使用了“ publish and subscribe ”机制从一系列的数据源发布标准的元数据。用户可 以一次性或 recurri

22、ng basis 预定元数据发布。当元数据改变时，会自动通知预定者。 Meta Data Delivery DataStage企业版允许通过报表和XML或HTML格式的查询结果对元数据进行动态的、面向批处理的和 XSL-T 的客户化发布。使 hyper link 终端用户的访问和导航变得更加容易。这些可以自动发布到任何Web Site 和门户。 当远端服务器透明地报告操作结果给 DataStage 企业版，作为一种特有的优势的时候， DataStage 企业 版元数据管理工具可以很有效率地收集到数据整合环境中发生的事件。管理者能够回顾作业并且预先识别瓶 颈和处理中的错误。结果：更少的资源冲突和

23、减少通过检查每个字段或执行状态报告来发现问题的时间。 业务用户现在可以使用熟悉的工具去直接查询他们的业务和技术元数据。在直接的管理控制菜单下，管 理员可以演示一个新的可用的通用数据主题域视图模型，以数据库结构中的一组正则化的关系表作为 MetaStage 的字典。这将使得业务用户可以构建交叉冲突工具分析和在目标数据仓库、源系统表、商业智能 工具、OLAP CUBE和Entity/OO 模型工具中直接发现业务定义、名称、描述、表定义和Cube纬度。 工具综述： Cognos Impromptu, PowerPlay Business Objects Hyperion Essbase Integr

24、ation Server MicroStrategy IBM DB2 Cube Views ODBC DataStage ProfileStage QualityStage Embarcadero ER/Studio Oracle Designer CAAllFusion ERwin Data Modeler Cognos Impromptu, Power PowerDesigner SilverRun * via UML Rational Rose * via UML OMG UML Class Diagrams Informatica PowerCenter SAP BW OMG CWM

25、Information Builders WebFOCUS 2. 附录A: DataStage 企业版内嵌的扩展 Stage Stage 描述 Tra nsformer 对任何需要转换的输入的数据集合进行转换，并将数据传 输到其他活动的Stage中或一个将数据与入数据库或文件 的 Stage Sort 用来并行执行更复杂的排序操作 Merge 将一个或多个排序的更新数据集合合并成一个排序的主 数据集合 Joi n 在一个或多个输入数据集合上执行连接操作并输出一个 结果数据集，连接操作支持：Inner、Left Outer、Right Outer 和 Full Outer Exter nal F

26、ilter 允许指定一个作为处理数据过滤器的Unix命令行: Aggregator 对于单一的输入数据记录进行分组并且计算每一组的合 计和总计 Make Vector 组合输入数据记录中指定的字段到一个具有相同类型的 字段矢量 Make Subrecord 组合指定的输入数据集合中的矢量到子记录的矢量，它的 字段具有和原始矢量相同的名字和类型 Split Vector 提升固定长度矢量的参数到一系列相似的命名顶级字段 Combi ne Records 组合那些主键字段值被指定的记录到子记录矢量 Compare 对两个分拣输入数据集合中的记录进行一个字段一个字 段的检查 Lookup 对包含在

27、Lookup File Set Stage 中的查找表进行查找操 作 Lookup File Set 允许建立一个查找文件集或查找参考 Funnel 拷贝多个输入数据集到一个输出数据集；对于将分开的数 据集合合并成一个大的数据集；支持持续的读、排序、顺 序输入数据集。 Copy 拷贝一个输入数据集到多个输出数据集； 输入数据集中的 每一条记录拷贝到每一个输入的数据集中， 而且不需要修 改 Sample 使用百分比或一段模式对输入的数据集进行取样 Peek 将记录字段值显示到作业日志或分开的output link，就象 Copy Stage将输入的数据集拷贝到一个或多个输岀数据集 Remove

28、Duplicates 对输入的数据集进行单一排序，删除重复的记录，并将结 果写入一个输出的数据集 Modify 改变输入字段定义到输出数据集（如类型转换或null处理/ 转换等）；对于重新命名和类型转换使非常有效率的 Filter 基于用户指疋的约束（where子句）将输入数据集转 换到不同的输出数据集（Link ）。对于过滤记录使非常有 效率的。 Switch 根据选择器字段的值，将一个输入记录分配到一个输出的 Link，支持 128个Output Link 和 1个 Reject Link。 Change Capture 抓取两个输入数据集，表现为前和后，并且获取后面的数 据路输出一个记录

29、表现已经改变的数据集 Change Apply 抓取变化数据，包括前面或后面数据记录变化，从Cha nge Capture Stage并应用编码改变操作到前面数据集，计算一 个后面数据集 Head 从一个输入数据集合分区中选择第一个N条记录并且将选 择的记录拷贝的输出数据集中 Tail 从一个输入数据集分区中选择最后一个N条记录并且将选 择的记录拷贝的输出数据集中 Write Range Map 将数据写入Range Map ；抓取排序或排序产生的数据集合， 并写入到一个文件用于范围分区方法 Encode 使用支持的Unix编码命令对一个数据集合进行编码；将一 个顺序数据集合转换到没有处理过的

30、二进制数据流 Decode 使用支持的Unix解码命令对一个数据集合进行解码；将一 个没有处理过的二进制数据流转换到数据集合 Compress 使用Unix Compress或GZIP工具压缩数据集合；将一个 顺序数据集合转换到没有处理过的二进制数据流 Expand 使用Unix Un compress或GZIP工具展开数据集合；将一 个没有处理过的二进制数据流转换预先压缩的数据集合 到一个数许数据集合 Differe nee 对两个输入的数据集合进行逐条的对比，相同数据集合的 不同转换产生岀前面和后面的数据集合 Colu mn Import 从一个字段导入数据并且输出到一个或多个字段 Col

31、u mn Export 从多个不同类型的字段导出数据到一个字符类型或二进 制类型的字段 Colu mn Gen erator 增加字段到输入数据并且为处理的数据行字段产生假数 据；输出新的数据集合 Row Gen erator 产生一组适合指疋表疋义的假数据；对于不使用真头可用 数据对作业进行测试非常有用 Data Set 从一个数据集读取数据或将数据写入一个数据集；企业版 隐藏了复杂的处理和在并行计算机上并行存储数据到磁 盘 File Set 从一个文件中读取数据或将数据写入文件；并行执行 Seque ntial File 从一个Flat File读取数据或将数据写入Flat File ；通常是并 行执行和可以配置成顺序执行 Exter nal Source 从一个或多个源程序读取数据 Exter nal Target 将数据写入一个或多个目标程序 Parallel SAS Data Set 从并行SAS数据集合读取数据或将数据写入并行SAS 数据集合；用于同SAS stage进行连接 SAS 用于并行执行部分 SAS应用 DB2 IBM DB2