SAPBI学习手册

1、SAP BW 参谋靠手 一ETL数据抽取、转化、加载数据仓库的一个重要功能就是对不同来源的数据进行归集和处理.不同类型的数据对象可以用来存储这些数据或者实现数据的联合视图.这些对象相对而言是静态的.但是,对数据的转换和处理就需要在数据的流转过程中进行定义.数据从来源系统或者一个数据对象中被读取出来,经过一定的转换和处理,再存储到另一个数据对象中.这一过程实现了对数据的加工,真正表达了数据仓库的价值,是数据仓库模型中动态的局部.企业如何通过各种技术手段,把数据转换为信息、知识已经成了提升其核心竞争力的主要瓶颈.数据抽取、转换、加载Extract ,Transform, Load, ETL技术正是

2、解决这一问题的一把利刃.数据仓库的架构大体可以分为三局部：后台是数据存储和计算引擎：前端是数据展现分析的用户界面：还有一个重要的局部就是 ETL oETL的作用ETL所完成的工作主要包括3方面：1在数据仓库和业务系统之间搭建起一座桥梁,保证新的业务数据源源不断地进入数据仓库：2用户的分析和应用也能反映出最新的业务动态,虽然 ETL在数据仓库架构的三局部中技术含量并不算高,但其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库工程中ETL局部往往也是牵扯精力最多的：3如果从整体角度来看,ETL主要作用在于屏蔽了复杂的业务逻辑,从而为各种基于数据仓库的分析和应用提供了统一的数据接口,这也是构建数

3、据仓库最重要的意义所在.作为BI/DW 的核心和灵魂,能够根据统一的规那么集成并提升数据的价值,是负责完成数据从数据源向目 标数据仓库转化的过程,是实施数据仓库的重要步骤.数据转化为信息绝不是没有价值的任务.由于不能很好地提供数据,让用户可以容易地使用数据进行分析,数据仓库经常被放弃.实际上,如果不对数据进行转换,这些提供的数据是无用的.由于它既不能被治理,也不能被利用.这样工程是个极大的风险,因此,明确数据仓库工程的实际目的特别重要：提供决策支持或支持治理的决策.数据仓库必须以可用信息的形式向目标群提供存储的数据.如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建

4、设大厦的过程.在整个工程中最难局部是用户需求分析和模型设计,而ETL规那么设计和实施那么是工作量最大的,约占整个工程的60% -80% ,这是从国内外众多实践中得到的普遍共识.ETL的体系结构一个成熟的ETL体系结构,一般包含以下组彳它也表达了主流ETL产品框架的主要组成局部.1 ETL设计:提供一个图形化的映射环境,让开发者定义从源到目标的映射关系、转换、处理流程.设计 过程的各对象的逻辑定义存储在一个元数据资源库中.2元数据治理：提供一个关于 ETL设计和运行处理等相关定义、治理信息的元数据资料库.ETL引擎在运行时和其他应用都可参考此资料库中的元数据.3数据抽取：通过接口提取源数据,例如

5、 ODBC、专用数据库接口和平面文件提取器,并参照元数据来决 定数据的提取及其提取方式.4数据转换：允许用户将提取的数据,根据业务需要转换为目标数据结构,并实现汇总.5数据加载：加载经转换和汇总的数据到目标数据仓库中,可实现批量加载6数据传输进程：利用网络协议或文件协议,在源和目标系统之间移动数据,利用内存在ETL处理的各组件中移动数据.7治理和操作平台：可让治理员基于事件和时间进行调度、运行、监测 ETL作业、治理错误信息、从失败 中恢复和调节从源系统的输出.ETL过程在很大程度上受企业对源数据的理解程度的影响,也就是说从业务的角度看数据集成非常重要.基于这样的体系结构,ETL工具的不同组件

6、各自实现着不同的作用,实现不同的功能.当系统功能改变时,应用程序只需要进行很少修改就可适应变化,可扩展性强.ETL工具的质量限制一个攵?的ETL工具,应该能够从技术方面保证对数据质量的自动检验,屏蔽掉烦琐的技术细节,使用户可以把更多的精力花在业务逻辑的设计上面.在ETL转换过程中,对数据质量的限制可以从以下6个方面着手.1空值处理：系统可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空值实现分流加载到 不同目标库.2标准化数据格式：可实现字段格式约束定义,对于数据源中时间、数值、字符等数据,可自定义加载格 式.3拆分数据：可以依据业务需求对字段可进行分解.例如,对 号可进行区域码和市

7、话号的分解.4验证数据正确性：系统在数据加载时可以自动利用查询相关的主数据表或字典表,对新数据进行数据验证口5数据替换：对于因业务因素,可实现无效数据、缺失数据的替换.能缺失数据通过子查询,并返回用其 他手段获取的缺失字段,保证字段完整性.6建立ETL过程的主外键约束：对无依赖性的非法数据,可替换或导出到错误数据文件中,保证主键惟一 记录的加载.为了能更好地实现 ETL ,建议用户在实施 ETL过程中应注意以下几点：如果工程时间允许,可建立专门的数据中转层对运营数据进行转换处理,保证集成与加载的高效性 ：要保证按统一的数据标准对不同的源系统的数据做转换.ETL面临的最大挑战是当接收数据时,其各

8、源数据的异构性和低质量.而ETL在处理过程中会定义一个关键数据标准,并在此基础上,制定相应的数据接口标准.SAP中的ETLSAP BI集成了对各种源系统进行数据抽取、数据转换及加载到数据仓库中的各种功能.SAP提供简单的图形化界面操作,可以通过简单的拖动实现数据源的建立、数据的抽取,可以定义数据转换规那么的规那么,可以定义数据加载的方式、时间等.系统在后台自动生成基于ABAP语言的程序.同时, SAP BI在转换规那么定义时也提供了面向专家应用的功能,用户可以直接使用编程来定义数据处理的规那么.T的局部,这两个局部都属于数据仓库建模的工在企业数据仓库的建模流程中"数据获取"

9、流程正是数据仓库建设中的数据抽取局部,也就是 E的局部"数据转换"流程是数据仓库建设中的数据转换局部,也就是作,一般都是只需要一次性完成的工作.在企业数据仓库的运行流程中"数据流限制"流程正是数据仓库的数据加载流程,也就是 L的局部.下面我们来根据上面这弓K图详细分析一下SAP中的ETL过程.1 .源系统图形的最底部是 SAP BI之外的系统,SAP BI会从这些系统中抽取数据,并对不同来源的数据进行整合.这些为SAPBI提供数据的系统,称为源系统.它们是 SAPBI数据的来源.在 SAPBI系统中,我们会建立与这些源系统的连接,并通过信息包将数据传送到

10、BI系统中.如果源系统是 SAP系统,SAP提供了 SAP NetWeaver 插件.SAP NetWeaver插件是一个基于 ABAP编程语言的应用组件,它提供了不同SAP系统的集成功能,使在不同的SAP系统之间进行主数据和交易数据的交换成为可能.要将这一插件安装到SAP源系统中,它封装了众多针对于 SAP系统的数据源、数据抽取器及其他与 SAP BI相关的一系列功能.由于SAP插件提供的数据源及数据抽取器包含了相应的取数逻辑.因此,用户不必关心 SAP源系统的数据结构,只要在应用层面选择相应的数据源即可完整地获取SAP源系统的数据.2 .数据源与PSA图形的中上局部是 SAP BI o数据

11、源、转换、信息提供者和开放集成器都是SAP BI内部的对象.来自源系统的数据在进行 SAP BI时,是存储在数据源中的,更准确地说,是存储在数据源对应的PSA表中.数据源定义了从源系统上传上来的数据的结构.同时,系统为每一个数据源自动生成结构相同的PSA表.PSA是持续数据加载区(Persistent Staging Area) 的缩写.PSA表是二维表,由系统自动生成与治理, 用于临时存储从源系统传过来的数据,用户可以查看和编辑这些数据.数据源只是定义了数据的结构,一般而言,数据源的结构大多与源系统的数据结构有简单的一一对应关系.数据抽取的动作那么是由信息包(Info Package)定义和

12、触发的.3 .转换与数据传输进程数据源IPSA表中的数据经过转换到达信息提供者.转换定义了数据源字段与信息提供者字段之间的对应关系及转换规那么,本身并不存储数据.数据经过转换后存入信息提供者.同样的,转换本身只是对数据转化规那么的定义,数据的批量转换的动作是由数据传输进程(DTP)定义的,数据传输进程与信息包类似,定义和触发数据传输.所不同的是,信息包触发的是从源系统到数据源的数据传输,数据传输进程触发的是从数据源到信息提供者的数据传输.转换和数据传输进程不仅可以实现数据源到提供者的数据传输与转换,还可以实现不同信息提供者之间的数据传输,以及信息提供者到开放集成器的数据传输.SAP BI系统中

13、的数据通过开放集成器转换成指定的文件或数据库表,为其他任何类型的系统提供数据.4 .信息源数据转换是ETL的核心.SAP还提供为复杂的数据转换提供另一个选项一一信息源,一般情况下,转换直接连接数据源(或作为源的信息提供者和目标信息提供者, 没有必要使用信息源.如果存在多个不同的数据源,首先要对不同的数据源进行数据转化,然后以统一的数据格式去更新多种信息提供者.比方,要对不同的数据源进行货币或单位的换算.此时,可以定义一个信息源作为中间结构,针对不同数据源的数据处理与转化在从数据源到信息源的转换中定义；针对不同的信息提供者的数据转化在从信息源到信息提供者的转换中进行维护,可以减少分别维护转换的工作量,同时使单个转换变得简单,