DataStage简介.doc

DataStage简单介绍：一、DataStage的特性：DataStage是在构建数据仓库过程中进行数据清洗、数据转换的一套工具。它的工作流程如下图所示：DataStage包括设计、开发、编译、运行及管理等整套工具。通过运用DataStage能够对来自一个或多个不同数据源中的数据进行析取、转换，再将结果装载到一个或多个目的库中。通过DataStage的处理，最终用户可以得到分析和决策支持所需要的及时而准确的数据及相关信息。DataStage支持不同种类的数据源和目的库，它既可以直接从Oracle、Sybase等各种数据库中存取数据，也可以通过ODBC接口访问各种数据库，还支持Sequential file类型的数据源。这一特性使得多个数据源与目标的连接变得非常简单，可以在单个任务中对多个甚至是无限个数据源和目标进行连接。DataStage自带了超过300个的预定义库函数和转换，即便是非常复杂的数据转换也可以很轻松的完成。它的图形化设计工具可以控制任务执行而无须任何脚本。二、DataStage的架构：DataStage采用C/S模式工作，其结构如下： DatastageServerProjectManagerDesignerDirectorDataStage支持多种平台，其Server端可运行于以下平台：Windows 2000、Windows NT、COMPAQ Tru64、HP-UX、IBM AIX、Sun Solaris；Client端支持以下平台：Win95、Win98、Winme、Windows NT、Windows 2000；三、功能介绍DataStage的Server端由Repository、DataStage Server及DataStage Package Installer三部分组成，Client端则由DataStage Manager、DataStage Designer、DataStage Driect及DataStage Administrator四部分组成。其中各部分主要功能如下：Repository中央存储器，用于存放构造数据集市或数据仓库所需要的全部信息。DataStage Server运行DataStage Director控制下的可执行任务，将萃取出来的数据通过转换后加载到数据仓库当中。DataStage Package Installer一用来安装DataStage任务包和插件的用户接口。DataStage Manager用于查看和编辑中央存储器中组件的用户接口。DataStage Designer用于创建可执行任务的图形化工具。DataStage Driect用于验证、定时及监控任务运行的用户接口。DataStage Administrator用于创建DataStage的用户，控制净化标准以及安装NLS的用户接口。四、设计流程简介DataStage的可执行应用的最小单位为“任务”。创建一个任务通常需要经过三个步骤：Datastage ManageDatastage DesignerDatastage Director第一步：通过DataStag Manager将需要萃取和转换的元数据定义好，并把要用到的数据源通通引入到Repository中；第二步：运用图形化的工具DataStage Designer设计数据转换的规则和顺序，这一工具功能强大，而且操作非常简单，该工具自带了超过300个预定义的库函数和转换，可以实现一些非常复杂的转换而无须书写太多的脚本。对于多个需要遵循一定顺序进行转换的任务也可以通过它来定义执行的顺序，还可以通过它来定义对运行结果的处置（以FTP或者E_MAIL的形式发送处理结果等）。对于设计好的任务，可以进行编译和调试，在任务运行过程中跟踪任务处理，使得效验任务的设计和修正逻辑错误更简单。第三步：通过DataStag Director执行编译好的任务，可以在执行运行前效验任务，也可以在运行前定义运行结束前停止的条件。在这里还可以制定运行的时间表，定时自动运行任务。任务运行日志，详细的记录了任务运行情况，包括运行的时间及运行过程中所执行的操作，以及完成情况。对于出错任务，提供了恢复和诊断机制。DataStage Designer中设计的转换只有在经过DataStag Director运行后才能真正执行。设计器这是一个强大的，基于图形用户界面（GUI）的开发工具，它包含一个转换引擎，一个元数据存储和二种编程语言（SQL和BASIC）。使用设计器的拖拉功能，用户能在准备数据集市中建立一个数据转换过程模型，防止操作系统的中断及避免执行错误。 存储管理器在开发数据集市的过程中，使用存储管理器浏览、编辑和输入元数据。这可能包括来自操作系统的元数据或目标集市以及来自开发项目中新的元数据（例如新的数据类型定义、传输定义和商业规则）。 控制器使用控制器和运行引擎来规划运行中的解决方案，测试和调试它的组件，并监控执行版本的结果（以特别要求或预定为基础）。 管理器管理器简化数据集市的多种管理。使用管理器来分配权限给用户或用户组（控制Informix DataStage客户应用或他们看到的或执行的工作），建立全局设置（例如：用于自动清除日志文件的缺省设置），移动、重命名或删除项目和管理或发布从开发到生产的状态。 服务器Informix 在服务器方面强大的技术背景使得Informix的 Server 提供了很高的性能：高速转换引擎、临时的数据存储、支持legacy及关系数据结构、强大的预定义转换等等。另外，Informix DataStage服务器通过多个处理器平台优化来强化可伸缩性，支持多种数据输入/输出方法，容易添加新的数据源及转换方法。Informix DataStage，一个可以从多种数据来源抽取数据并将其装载到数据仓库的功能强大、性能可靠的工具AscentialSoftwareDataStage是业界优秀的数据抽取、转换和装载产品，作为系统的数据集成平台可以将企业各个业务系统面向应用的数据重新按照面向统计分析的方式进行组织，解决数据存在的不一致、不完整等影响统计分析的情况。它的优势主要在于：能够连接和集