数据仓库概述.ppt

1、第1章 数据仓库概述,DW 2002/1/1：9：01：LiMing SELECT * FROM WHERE user_id100; 2001/1/1：9：02 ： sa UPDATE = 林胜之 WHERE user_id=100; 2001/1/1：9：03 ： sa CREATE TABLE userinfo,查询性质的操作可以不做处理,对user表的两种操作，只需执行第二次删除操作,图1-41 分析日志文件,六、清理数据仓库中的数据, 数据从操作型环境进入分析型环境； 数据从细节数据逐渐转换为综合数据； 数据从高速磁盘上转移到低速磁带机上； 数据失

2、去使用价值，最终被清除。, 数据在数据仓库中的生命周期,数据仓库中清理的过程如下：,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,一、 ODS 的概念 问题：企业经常会遇到介于 OLTP 和 OLAP 之间的业务问题 例： 超市采购 采购部经理 确定 进货清单 了解 商品存货是否充足 商品近期的销售情况 近期的仓储情况 超市的现有资金情况 分析 进货清单 数据仓库数据量太大 信息检索时间太长 无法完成 问题类型： 既要方便分析，又要快速进行数据检索， 同时

3、，数据应该是全局一致的信息 用于支持企业日常的全局应用的数据集合。,1.7 操作数据存贮 ODS（Operational Data Store）,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,ODS定义,ODS,DW&DM,二、 ODS的特性 类似于传统的数据库 引入数据是可变的； 数据是当前或者近期的（ ODS市面向全局应用的，因此ODS中的数据需要面向 主题来组织，并且应当是实时集成的） 有别于分散的操作型系统 数据按照主体来组织在企业级上要求保持一致，因此进入O

4、DS的数据必须经过 清洗和整理到达集成和一致的目的 区别于DW的特性 存放当前和近期的数据， ODS中的数据可以进行联机修改，包括增加、删除、 更新等操作，而DW的数据只增不删。,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,三、 ODS 应用, 企业级的OLTP应用 由于ODS提供的是集成的、企业级一致的数据，因此，企业级的OLTP成为可能。 企业级OLTP：是指在实际事物的处理中，常常涉及多个部门的数据，需要通过多个部门的数据协同才能更好的完成任务。,

5、2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,实例：,在一个大型国有企业中存在多个部门：人事处、财务处、企业医院、幼儿园 等。当一个职工工作调动时，需要办理企业规定的一系列调动手续。如图2-40所 示。,DW&DM,人事处,财务处,医院,幼儿园,调离证明,调离证明+财务证明,调离证明+财务证明 +医院证明,图1-42 某企业分散的数据库系统造成手续繁琐,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,

6、2.5 操作数据存储ODS,2.6 外部数据和非结构数据,建立ODS实际上是建立了一个全局数据库，它通过在 ODS中的纪录系 统定义和参考表来建立一系列DB和ODS纪录间的双向联系，以实现数据在 企业级上的同步。 ODS的纪录系统就是说明如何从DB中向ODS进行数据抽取。有了ODS 纪录系统后， DB 中对应的数据项发生变化，都将反映到相应的 ODS 记录 中。反过来，参考表建立的是从 ODS 数据项到 DB 数据项的反向映射。当 ODS中的记录发生变化时，将通过参考表去修改与之相关的DB中的所有数 据项，其过程如下图2-41，数据库A、B、C都存在相同含义的数据，数据库 A中的数据项发生变化

7、后，通过ODS记录系统定义，反映到ODS中对应的 数据项，再通过参考表去更新数据库B和C。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,（2）,ODS记录系统 的定义,参考表,定义在各 DB上的记录 系统,数据更新需要反 映到所有相关的 DB上,（1）,（3）,数据库(A),数据库(C),数据库(B),ODS全局数据库,图1-43 利用记录系统定义和参考表进行数据同步的示例,各业务数据库,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2

8、.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,通过记录系统定义和参考表，使得原先分散的数据库系统被紧密地 结合起来，一点动，全局变。建立ODS后，当人事处完成了人员调动的 手续后，这些变更信息通过ODS反映到企业的各个数据库中，调动的人 员可直接到新单位报道，这样可以大大的缩短办理手续的时间其过程。 如图1-44所示。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,人事处

9、,财务处,企业医院,幼儿园,ODS,应用系统A,应用系统B,应用系统C,应用系统D,调动信息,调动信息更新,图1-44 ODS系统简化了办理手续,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,( 2 ) 近期的OLTP DW主要用于解决企业长期战略问题，因此在DW上进行的OLAP分析主要是较 长时间段的。但是许多中间层次的管理人员通常不需要大量历史数据，而主要参考 近期内的数据,即短时间的OLAP分析。如果使用DW进行 OLAP分析，由于数据仓库 中的数据量级很大，将

10、很大程度影响决策的延时，因此在ODS中进行近期的 OLAP 是非常适合的选择。基于ODS既有数据仓库面向主体、集成的特点，又有操作型系 统可联机修改、主要保存近期数据的特点，引入一种“动态切换”的思想，即在系统 中设置一个状态切换开关（是 ODS 系统在操作型环境和分析型环境间进行动态切 换）。这样，在进行全局 OLTP 处理时， ODS主要进行事务处理、加锁解锁管理、 死锁检查、数据恢复备份、日志管理等类似于数据库系统的工作。当进行分析处理 时， ODS则关闭事务管理、加锁解锁管理、死锁检查等模块，从而大大提高了系统 的效率，图1-45示意了这个过程。由于ODS中的数据量远远小于数据仓库中的

11、数据 量，因此使用ODS进行近期的OLTP将非常有效。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,数据仓库,完整的OLAP展现,ODS,近期 的 OLAP,事务管 理,死锁检 查,加锁解 锁,时间,图1-45 ODS上的动态切换和近期OLAP,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,（3）DB-ODS-DW的

12、3层体系结构 ODS的引入，使DB-DW两层体系结构逐渐转化成了DB-ODS-DW的3层体系结构， 如图1-46所示。 原先在DW和业务系统间保证数据一致性的工作从DW/DB接口转移到了ODS/DB接 口上，原先全部由数据仓库来实现的诸多复杂功能得到了更好的划分，这有利于产品 的可实现性和维护性。ODS主要面向全局的联机事务处理和近期的OLAP，而数据仓 库主要面向长期的决策分析，这样使数据的层次性得到了更进一步的划分。 ODS的数据建模通常需要在了解全局数据库系统的基础上，从面向主题的角度重 新分析原有数据库系统。 ODS的数据模型不是要取代原先数据库系统的数据模式，而 是从新的角度对数据进

13、行重新组织。 比如电信公司的计费系统主要是对客户的消费行为进行记录，账务系统主要是对 客户的缴费行为进行记录，客户服务系统主要是对客户的咨询和投诉进行记录。如果 选择了“客户”这个主题，我们在关心的不是消费行为、交费行为、咨询投诉行为在各 个系统中的单据表格，而是从“客户”这个角度重新开代计费系统、账务系统、客户服 务系统中的相关信息，去除具体动作，而保留“客户”本身的内在属性和特征。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,在ODS/D

14、W接口处完成简单 的数据定期抽取工作,在ODS/DB接口处完成数据 一致性的工作,历史数据 不可联机更新,当前和近期的细节数据 可联机更新,ODS全局数据库,全局数据库仓库,各业务数据库,图1-46 DB-ODS-DW三层结构,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DB-ODS-DW三层结构中数据的流动 在三层结构中，数据的传输控制是通过两级记录系统的定义来实现的。ODS系统 和DW系统都有各自的记录系统和记录系统定义。ODS的记录系统定义在原有的数据 库系统

15、中，DW的记录系统定义在ODS一致性数据环境中。 ODS记录系统的定义作为ODS元数据的一部分保存在ODS区中，它指明需要如何 从数据库系统中提取数据。DW记录系统的定义作为元数据的一部分存放在DW中，它 指明需要如何从ODS环境中提取数据，如图1-47所示。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,ODS记录系统 的定义,DW记录 系统,DW记录系统 的定义,ODS记录系统,全局数据库仓库,ODS全局数据库,各业务数据库,图1-47 D

16、W记录系统和ODS记录系统,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,数据库系统的原数据包含了数据库系统的整体存储信息、各个数据 库和数据表中的字段信息、数据表之间的关联信息、数据索引约束等。 ODS的元数据包含ODS数据的描述、 ODS记录间的关系、 ODS记录系 统的定义（如何从数据库系统向ODS提取数据）、参考表等。另外，系 统还需要定义体系元数据，用于描述ODS元数据， ODS元数据、DW元 数据之间的关系，它们之间的联系如图1-48所示。,DW&DM,2

17、.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,数据仓库元数据,ODS 元数据,DB DB元数据,体系元数据,图1-48 三层结构元数据间的关系,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,（4）ODS/DW、ODS/DB间的比较 数据量级 相差较大 数据存放时间 DW中包含的时大量的历史数据，其数据量远远超过了在ODS 中存放的当

18、前和近期 数据。 数据的内容 DW中几乎无所不包，从细节数据到轻度综合、高度综合的数据都在其中，甚至为了决策的需要，还需要从外部数据源中补充数据。 ODS只存放当前和近期的数据，DW保留长期数据。 ODS中为了进行近期OLAP，也保留有少量的综合数据。 ODS和DW的应用需求不同。 DW面向长期的决策分析， ODS主要有全局OLAP 、近期OLAP这两类应用。,DW&DM,2.1 数据仓库的体系结构,2.2 数据仓库的特点,2.3 数据仓库的数据组织,2.4 数据仓库建设的两条技术路线,2.5 操作数据存储ODS,2.6 外部数据和非结构数据,DW&DM,2.1,2.2,的数据组织,处理数据的技术 ODS既要进行全局OLAP ，又要进行短期OLAP 。这使得ODS既要有数据库系统中的事务管理、加锁解锁管理、死锁检查、数据恢复备份、日志管理等功能，又要有比较简单OLAP的功能，并通过“动态切换”工作于全局OLAP和近期OLAP两种状态。 保持数据一致性的要求 ODS保持数据一致性的要求比DW严格。 DW对数据一致性的要求是在数据导入时对不正确的数据进行更正，对于无法更正的数