BW 处理链 及BW经验归纳

1、BW 处理链1 目录SAP BW处理链简介11引言32SAP BW处理链介绍32.1处理链的设计原则与特点52.2进程与处理链53处理链的建立63.1主处理链和子处理链63.2建立一个处理链73.2.1业务介绍83.2.2登录处理链管理界面83.2.3建立开始处理进程113.2.4建立数据抽取进程143.2.5建立构建数据库统计进程153.2.6连接进程164参考文档195结束语191 引言在一个BI系统中，有大量的日常的管理和维护工作是需要完成的。比如，每天晚上进行的数据抽取、转换和加载，对加载完成的数据进行预计算，并把计算好的报表发送到需要的用户的电子邮箱中等。这些工作往往具有固定的工作流

2、程，而且不同的操作动作之间往往有固定的先后关系。这些工作有可能是需要定期执行的，也有可能是由特定的系统事件触发的。比如，当事务处理系统中出现新记录，或者文件接口服务器增加新的数据文件时，系统自动启动数据加载进程。SAP BI为简化这些管理工作，提供了处理链这一工具。本文主要结合陕西电网ERP项目开发实例，阐述了SAP BW处理链方面的内容。从处理链的原理介绍，到通过建立一个完整处理链的例子，来向大家描述处理链在系统管理中的应用。本文所有实例都在BI 7.0下完成，并测试通过。2 SAP BW处理链介绍处理链（Process Chain），又称进程链，是SAP BI提供的一个用于在后台完成批量工

3、作的工具。处理链使系统管理员可以容易的定义日常的管理工作，并对这些工作进行集中管理。从图2-1可以看到，处理链在数据抽取过程中，所处的地位和起到的作用。图2-1从图2-1中可以看出，数据从源系统（Source System）到数据源/持久数据加载区域（DataSource/PSA），是通过信息包（InfoPackage）进行传递的。从数据源/PSA通过转换规则（Transformation）到信息提供者（InfoProvider），数据是通过数据传输进程（Data Transfer Process，DTP）进行传递的。在处理链中，可以将信息包和数据传输进程进行设置和管理，这样系统会自动的执行它

4、们，从而使数据自动进行抽取、转换和加载。以下是一个标准处理链抽取数据时所要执行的步骤，这里可根据实际业务需求进行更改。1. 开始处理链。2. 删除信息块（InfoCube）中的索引。3. 从源系统将数据抽取到持久数据加载区域（PSA）。4. 从PSA将数据抽取到数据存储对象（DSO）。5. 激活DSO中的数据。6. 从DSO将数据抽取到InfoCube。7. 数据加载完成后，为InfoCube建立索引。8. 构建数据库统计。9. 为数据做聚集。2.1 处理链的设计原则与特点1. 处理链的设计原则：Ø 开放性。一个进程是一个具有明确的开始和结束的处理进程。Ø 安全性。基于后台

5、管理的设计理念，使用处理链提供了高度的处理安全性。基于事先的规划运行机制，使过程使用批量监控功能进行监控。不同进程之间可以定义依赖关系。系统可以识别不同节点处理结果。Ø 灵活性。后续的处理进程要正确的运行，需要从前一个节点得到它需要的所有信息。2. 处理链的特点：Ø 自动化。在SAP BI系统事件驱动机制的帮助下，实现灵活的计划工作。Ø 可视化。管理员可以通过使用网络图，使用拖放方式定义不同系统操作的先后顺序及其依存关系，完成对处理链过程的定义。Ø 集中管理和监控。处理链集成了各种操作动作的监控、日志及分析和错误修复功能，管理员在同一的管理界面中即可完成

6、所有管理及监控操作。2.2 进程与处理链各种进程是构成处理链的主要元素。处理链中的进程是一个SAP系统内或系统外的具有明确的开始和结束定义的一个进程。进程分为开始进程、应用程序进程及收集进程。1. 进程的定义：为了实现BI系统中的自动运行，将进程集成到处理链中，这些进程在系统后台进行运行。每一个进程可以触发一个或者多个事件，进而启动其他的进程运行。一个进程由以下3个部分定义。Ø 进程类型。进程类型即进程的种类。进程类型决定了进程完成是哪一种工作任务，也决定了这一进程在进行维护时具有哪些属性。Ø 进程变式。进程变式同时也是进程的名称。一个进程变式是与特定的进程类型相一致的。进

7、程变式根据不同的进程类型而具有不同的配置内容，一个进程类型可以有不同的变式。Ø 进程实例。进程实例是进程的特性值。它包含了进程，或者子进程需要交流的最重要的信息。例如，在加载进程中，进程实例就是数据请求的名称。当进程结束时，进程实例被传输到处理链管理处并进行保存。进程日志保存在进程实例中。2. 处理链的构成：处理链使用事件将多个进程互相连接，这些事件由前一个进程触发，又启动下一个进程的执行。一个处理链是由一个开始进程、多个独立的应用程序进程和多个收集进程组成的。每个处理链都有且只有一个开始进程，它定义了处理链的开始方式，所有其他的进程都是由开始进程运行后产生的后续的时间触发执行的。应

8、用程序进程是实际的处理进程，它们一般是典型的SAP BI系统操作。收集进程在处理链管理中被区别对待，它们可以将多个处理链条合并成一个处理链条，可以实现从多个可能的处理链运行途径中确定实际运行的路径。3 处理链的建立3.1 主处理链和子处理链在实际的处理链建立中，涉及到的操作和流程可能会很多，所以在设计处理链时，可分为主处理链和子处理链。主处理链是对整体流程的一个计划设置，其中可以包含很多子处理链。子处理链是对具体操作的一个实现，每一个子处理链都实现某一具体的功能，然后组合起来形成主处理链。如下图3-1-1所示。图3-1-1图3-1-1是“人员基本信息”的主处理链，可以看到，其中包含了4个子处理

9、链的内容，双击其中的一个子处理链，就可以进入该子处理链。如图3-1-2所示。图3-1-2如果某一流程较为简单，则可不用子处理链来实现其具体操作，直接在主处理链中完成即可。3.2 建立一个处理链下面建立一个“工资核算数据”处理链Demo，使大家能够明白处理链建立的流程，以及其中涉及到的一些操作。3.2.1 业务介绍“工资核算数据”处理链是为了完成从“工资发放数据”数据源向“特定员工的工资核算数据”信息块抽取数据，以满足建立在“特定员工的工资核算数据”信息块上的查询内容。数据在向上传输的过程中，直接从数据源进入信息块，中间并没有经过数据存储对象（DSO）。所以为了完成此过程的数据抽取工作，主要需要

10、进行以下几步工作：Ø 删除PSA中的数据。Ø 通过信息包将数据从源系统加载到PSA。Ø 通过数据传输进程将数据从PSA加载到信息块。以上3个步骤是手动完成数据抽取时必须要做的工作，在建立处理链时，为了能够提高操作的准确性和将来数据查询的效率，可以加入“删除索引”，“创建索引”，和“构建数据库统计”进程，手工抽取时，也可以进行这3个操作内容。手动建立索引和构建数据库统计这里不做介绍。在建立“工资核算数据”处理链时，遵循以下步骤：Ø 建立“开始处理”进程。Ø 建立“删除PSA”数据进程。Ø 建立数据抽取相关进程。Ø 建立“构建数

11、据库统计”进程。Ø 连接所有进程，设置“开始处理”进程时间和条件。3.2.2 登录处理链管理界面首先，登录SAP BW后，在命令栏中输入命令“rsa1”，进入数据仓库工作台，如下图3-2-2-1所示。图3-2-2-1进入数据仓库控制台后，点击“管理”标签栏，可进入后台管理模块内容，在这里可以选择进行管理处理链相关内容。如下图3-2-2-2和图3-2-2-3所示。图3-2-2-2图3-2-2-3从图3-2-1-3可以看到，已经建立好的各个模块的主处理链和子处理链。在“未分配的”区域建立一个处理链demo。选中“未分配的”区域，单击上面的新建按钮，如图3-2-2-4所示。图3-2-2-4

12、点击新建按钮后，弹出新建处理链对话框，在这里需要填入处理链的技术名称和描述信息。如图3-2-2-5所示。图3-2-2-5确认后，在“未分配的”区域就会出现新建的处理链test3。接下来，就要开始在新建的处理链中加入所需要的进程。这里选择“处理类型”，如图3-2-2-6所示。图3-2-2-63.2.3 建立开始处理进程每一个处理链都需要一个“开始进程”。在“开始进程”中，可以设置处理链的启动条件等内容。在“处理类型”中选择“开始处理”，并将其拖拽到设计区域即可，如图3-2-3-1所示。图3-2-3-1加入“开始处理”进程后，会弹出一个对话框，如图3-2-3-2所示。图3-2-3-2这里需要选择是

13、新建一个“开始处理”进程，还是选择已建立好的进程。系统维护人员也可以根据实际需要，新建一个“开始处理”进程。因为这里是建立一个演示处理链，所以选择已存在的“开始处理”进程。如图3-2-3-3所示。图3-2-3-3原理上每一个“开始进程”只能应用于一个处理链，所以在这里选择“工资核算数据”开始进程时，会提示“显示更多的链”，这里不需要显示更多，选择“否”，如图3-2-3-4所示。图3-2-3-4这样，就建立好了“开始处理”进程。接下来按照业务需求，需要对PSA进行数据删除，这时选用“从PSA中请求的删除”进程。建立该进程的过程和“开始处理”进程过程一样，可以新建，也可以选择已有的。建立好后，效果

14、如图3-2-3-5所示。图3-2-3-53.2.4 建立数据抽取进程数据删除后，接下来进行数据抽取工作。这里是从数据源抽取数据到InfoCube，所以先加入信息包进程，将数据抽取到PSA，如图3-2-4-1所示。图3-2-4-1加入信息包后，会出现对话框，要求选择新建还是选择已有的。这里选择已存在的信息包。在业务流程中，数据是从数据源直接抽取到InfoCube的，所以加入信息包后，会自动带出“删除索引”，“数据传输进程”，“创建索引”这3个进程。“数据传输进程”加入时，因为系统中存在技术名称类似的进程，所以这里需要选择正确的数据传输进程，如图3-2-4-2所示。图3-2-4-2添加完信息包后，

15、自动带出的3个其他进程效果如图3-2-4-3所示。图3-2-4-33.2.5 建立构建数据库统计进程最后，添加“构建数据库统计”进程。该进程是用于构建信息立方体的数据库统计信息，系统使用数据库统计信息来优化基于立方体的查询性能，因此要使用这一进程类型经常性地更新数据库统计信息，通过统计的数据库信息，可有针对性的对信息块做聚集，提高查询效率。如图3-2-5-1所示。图3-2-5-1至此，所有需要的进程都已经添加完成。从图3-2-5-1可以看出，一些进程之间是没有关联的，这里需要给每一个进程增加关联关系，这样才能够使进程形成一个完整的处理链。3.2.6 连接进程首先，链接“开始处理”进程和“删除P

16、SA”进程。右键开始进程，选择“连接”à“删除PSA请求”，如图3-2-6-1所示。图3-2-6-1“开始处理”连接其他进程时，都是以黑色线条连接。其他进程互相连接时，系统会提示连接操作的类型，是“上一步成功后连接”，还是“失败后连接”，还是“总是连接”，如图3-2-6-2所示。图3-2-6-2这里选择的都是“上一步成功后连接”。这样就完成了所有进程间的传输流程，最后，激活整个处理链并保存。整个效果如图3-2-6-3所示。图3-2-6-3至此，处理链的建立已经完成。最后可以在“开始处理”进程中，设置一下处理链所要运行的时间或者启动事件，这样就可以使处理链自动的完成所设置的所有进程操作

17、内容，达到自动化处理的功能，如图3-2-6-4所示。图3-2-6-44 SAP BW ETL 数据抽取、转化、加载数据仓库的一个重要功能就是对不同来源的数据进行归集和处理。不同类型的数据对象可以用来存储这些数据或者实现数据的联合视图。这些对象相对而言是静态的。但是，对数据的转换和处理就需要在数据的流转过程中进行定义。数据从来源系统或者一个数据对象中被读取出来，经过一定的转换和处理，再存储到另一个数据对象中。这一过程实现了对数据的加工，真正体现了数据仓库的价值，是数据仓库模型中动态的部分。企业如何通过各种技术手段，把数据转换为信息、知识已经成了提高其核心竞争力的主要瓶颈。数据抽取、转换、加载(E

18、xtract ,Transform, Load, ETL) 技术正是解决这一问题的一把利刃。数据仓库的架构大体可以分为三部分:后台是数据存储和计算引擎:前端是数据展现分析的用户界面:还有一个重要的部分就是ETL 。ETL 的作用ETL 所完成的工作主要包括3 方面:1) 在数据仓库和业务系统之间搭建起一座桥梁，确保新的业务数据源源不断地进入数据仓库:2) 用户的分析和应用也能反映出最新的业务动态，虽然ETL 在数据仓库架构的三部分中技术含量并不算高，但其涉及到大量的业务逻辑和异构环境，因此在一般的数据仓库项目中ETL 部分往往也是牵扯精力最多的:3) 如果从整体角度来看， ETL 主要作用在于

19、屏蔽了复杂的业务逻辑，从而为各种基于数据仓库的分析和应用提供了统一的数据接口，这也是构建数据仓库最重要的意义所在。作为BI/DW 的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。数据转化为信息绝不是没有价值的任务。由于不能很好地提供数据，让用户可以容易地使用数据进行分析，数据仓库经常被放弃。实际上，如果不对数据进行转换，这些提供的数据是无用的。因为它既不能被管理，也不能被利用。这样项目是个极大的风险，因此，明确数据仓库项目的实际目的特别重要:提供决策支持或支持管理的决策。数据仓库必须以可用信息的形式向目标群提供存储

20、的数据。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL 就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL 规则设计和实施则是工作量最大的，约占整个项目的60% -80% ，这是从国内外众多实践中得到的普遍共识。ETL 的体系结构一个成熟的ETL 体系结构，一般包含以下组件，它也体现了主流ETL 产品框架的主要组成部分。1) ETL 设计:提供一个图形化的映射环境，让开发者定义从源到目标的映射关系、转换、处理流程。设计过程的各对象的逻辑定义存储在一个元数据资源库中。2) 元数据管理:提供一个关于ETL 设计和运行处理等相关定义、管理信息的元数据

21、资料库。ETL 引擎在运行时和其他应用都可参考此资料库中的元数据。3) 数据抽取:通过接口提取源数据，例如ODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。4) 数据转换:允许用户将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。5) 数据加载:加载经转换和汇总的数据到目标数据仓库中，可实现批量加载。6) 数据传输进程:利用网络协议或文件协议，在源和目标系统之间移动数据，利用内存在ETL 处理的各组件中移动数据。7) 管理和操作平台:可让管理员基于事件和时间进行调度、运行、监测ETL 作业、管理错误信息、从失败中恢复和调节从源系统的输出。ETL 过程在

22、很大程度上受企业对源数据的理解程度的影响，也就是说从业务的角度看数据集成非常重要。基于这样的体系结构， ETL 工具的不同组件各自实现着不同的作用，实现不同的功能。当系统功能改变时，应用程序只需要进行很少修改就可适应变化，可扩展性强。ETL 工具的质量控制一个好的ETL 工具，应该能够从技术方面保证对数据质量的自动检验，屏蔽掉烦琐的技术细节，使用户可以把更多的精力花在业务逻辑的设计上面。在ETL 转换过程中，对数据质量的控制可以从以下6 个方面着手。1) 空值处理:系统可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。2) 规范化数据格式:可实现字段格式约

23、束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。3) 拆分数据:可以依据业务需求对字段可进行分解。例如，对电话号码可进行区域码和市话号码的分解。4) 验证数据正确性:系统在数据加载时可以自动利用查询相关的主数据表或字典表，对新数据进行数据验证口5) 数据替换:对于因业务因素，可实现无效数据、缺失数据的替换。能缺失数据通过子查询，并返回用其他手段获取的缺失字段，保证字段完整性。6) 建立ETL 过程的主外键约束:对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键惟一记录的加载。为了能更好地实现ETL ，建议用户在实施ETL 过程中应注意以下几点:如果项目时间允许，可建立专

24、门的数据中转层对运营数据进行转换处理，保证集成与加载的高效性:要保证按统一的数据标准对不同的源系统的数据做转换。ETL 面临的最大挑战是当接收数据时，其各源数据的异构性和低质量。而ETL 在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。SAP中的ETLSAP BI 集成了对各种源系统进行数据抽取、数据转换及加载到数据仓库中的各种功能。SAP 提供简单的图形化界面操作，可以通过简单的拖动实现数据源的建立、数据的抽取，可以定义数据转换规则的规则，可以定义数据加载的方式、时间等。系统在后台自动生成基于ABAP 语言的程序。同时， SAP BI 在转换规则定义时也提供了面向专

25、家应用的功能，用户可以直接使用编程来定义数据处理的规则。在企业数据仓库的建模流程中"数据获取"流程正是数据仓库建设中的数据抽取部分，也就是E 的部分"数据转换"流程是数据仓库建设中的数据转换部分，也就是T 的部分，这两个部分都属于数据仓库建模的工作，一般都是只需要一次性完成的工作。在企业数据仓库的运行流程中"数据流控制"流程正是数据仓库的数据加载流程，也就是L 的部分。下面我们来根据上面这张图详细分析一下SAP中的ETL过程。1. 源系统图形的最底部是SAP BI 之外的系统， SAP BI 会从这些系统中抽取数据，并对不同来源的数据

26、进行整合。这些为SAPBI 提供数据的系统，称为源系统。它们是SAPBI 数据的来源。在SAPBI 系统中，我们会建立与这些源系统的连接，并通过信息包将数据传送到BI 系统中。如果源系统是SAP 系统， SAP 提供了SAP NetWeaver 插件。SAP NetWeaver 插件是一个基于ABAP 编程语言的应用组件，它提供了不同SAP 系统的集成功能，使在不同的SAP 系统之间进行主数据和交易数据的交换成为可能。要将这一插件安装到SAP 源系统中，它封装了众多针对于SAP 系统的数据源、数据抽取器及其他与SAP BI 相关的一系列功能。由于SAP插件提供的数据源及数据抽取器包含了相应的取

27、数逻辑。因此，用户不必关心SAP 源系统的数据结构，只要在应用层面选择相应的数据源即可完整地获取SAP 源系统的数据。2. 数据源与PSA图形的中上部分是SAP BI。数据源、转换、信息提供者和开放集成器都是SAP BI 内部的对象。来自源系统的数据在进行SAP BI 时，是存储在数据源中的，更准确地说，是存储在数据源对应的PSA 表中。数据源定义了从源系统上传上来的数据的结构。同时，系统为每一个数据源自动生成结构相同的PSA 表。PSA 是持续数据加载区(Persistent Staging Area)的缩写。PSA 表是二维表，由系统自动生成与管理，用于临时存储从源系统传过来的数据，用户可以查看和编辑这些数据。数据源只是定义