1了解数据库及其管理系统的相关概念

学习目标

◦

了解数据库及其管理系统的相关概念

◦

熟悉数据仓库的定义和特征

◦

熟悉数据仓库和数据库、OLTP的主要区别

◦

熟悉数据仓库的开发流程及开发过程中应该注意

◦

学会分析思考如何构建基于数据仓库的DSS

淘宝网数据仓库项目投资的

决策

◦

假如说你现在就是淘宝网的财务总监，当时该项目方案的

申请

和投资工作由你来负责。结合淘宝网的案例资料

和你对数据库、数据仓库的理解，

该项目前的决策思考重点。

你在

决定投资

解读亚马逊成功三法则改

户数据

◦

结合亚马逊公司业务特点和给定的案例资料，

亚

马逊公司对数据库、数据仓库的要求，以及在构建数据库

和数据仓库时的决策思考重点。

Sybase数据仓库解决方案招商

应用案例

为什么要应用Sybase数据仓库？

◦

招商

Sybase数据仓库主要应用于招商

◦

业务的哪些方面？

◦

◦

招商

对数据仓库应用系统的需求主要集中哪些方面？

Sybase数据仓库应用设计方案

简单介绍招商

◦

招商

数据仓库系统实现了哪些功能？

数据库术语

1．

2．表

◦

◦

◦

◦

◦

◦

数据库

列和数据类型

行

主键

查询和索引

查询是人们用各种SQL指令构造出来的，SQL指令负责具体完成筛选和提取结果数据的工作。

索引（index）是一种辅助性的数据表，它们只包含一种信

息：原始数据

的排序情况。

数据库系统

◦

数据库系统是一个实际可运行的

、

和应用系

统提供数据的

理系统的集合体。

系统，是

介质、处理对象和管

◦

它通常由

、数据库和数据管理员组成。

主要包括操作系统、各种宿主语言、实用程序以及数据

库管理系统。

数据库由数据库管理系统

管理，数据的

、修改和检

索均要通过数据库管理系统进行。

数据管理员负责创建、

和

整个数据库，使数据能被

任何

使用的人有效使用。

数据库管理系统

数据库管理系统(DatabaseManagementSystem)是一

◦

种

和管理数据库的大型

数据库，简称DBMS。

，是用于建立、使用和

◦

对数据库进行

的管理和控制，以保证数据库的安全

性和完整性。用户通过DBMS

数据库中的数据，数

据库管理员也通过DBMS进行数据库的

工作。

◦

提供多种功能，可使多个应用程序和用户用不同的方法

在同时或不同时刻去建立，修改和询问数据库。

数据仓库的产生

◦

随着数据库和信息系统的应用，企业的日常经营运转越来

越依赖于信息系统中收集的数据和信息，大多数公司目前

的系统都收集了海量的业务数据，在一定时间后，这些历

史数据也被从业务数据库中转移到了备份系统中，但是，

这些数据并不便于用户进行深入的数据分析，难以支持用

户做出有效的决策。

一些新的需求也随之产生。从大量数据中提取(检索、查询

◦

等)制定市场策略的信息就显得越来越重要了。

数据仓库的产生

这种需求既要求联机服务，又涉及大量用于决策的数据，

◦

传统的数据库系统已

这种需求。

1历史数据量很大。

2辅助决策信息涉及许多部门的数据,而不同系统的数据难以集成。

3由于

降。

数据的能力

，它对大量数据的

性能明显下

◦

为了更好的管理数据，保持数据的一致性，从企业整体的

角度分析使用数据，数据仓库的概念被提了出来。

为什么要构建数据仓库

数据仓库的目的是为了收集尽可能多的信息，用作公司的决策支持。

数据仓库是一种把收集的数据转变成有意义信息的技术，

◦

◦

采用特定工具进行

放在数据仓库中。

后的数据往往以一种特定的格式存

◦

数据仓库通过使用多部进程来执行，这些进程包括收集数

据、过滤数据和

告应用程序中。

数据，以便把这些数据用在分析和报

◦

数据仓库中的数据可以来源于不同的数据源，如不同的数

据库、不同的操作系统。

数据仓库的概念

W.H.

on的定义为：数据仓

◦

数据仓库领域的

库是支持管理决策过程的、面向

的、集成的、时

变的、非易失的数据集合。

（1）面向

（2）集成(

(SubjectOriented)的数据集合

egrated)的数据集合

时变(TimeVariant)的数据集合

非易失(Nonvolatile)的数据集合

数据仓库的特性

◦

1.面向

：以用户需要的方式组织

不同于面向功能的各种应用程序，数据仓库面向与决策支持

只需要考虑数据建模以及数据库的设计，无需顾及过程的设计

数据之间相互联系

数据仓库的特性

◦

2.数据集成：所有的名称和

都进行了

数据仓库中所有的数据都是整合的，是通过管理命名、度量属性、

精确度和一般集合体的一致性

来的

涉及应用程序的时候，对变量

名是

的，但是，一旦那些

与应用程序相联系的数据库装载入数据仓库时，采用什么命名方

式就必须进行确定了，需要使用

名方式进行转换

数据整合的另一个结果是对于不同数据库中相似的数据建立

的

，不仅仅要对装入的数据进行

，而且还要对最终

数据

数据仓库的特性

◦

3.时变——时间变量：不是当前的数据，而是时间序列

数据

数据的时间变量有不同的表示方法

数据的时间跨度比较长（5-10年），应用系统中的时间跨度是当前的或80-90天内

另一个显示时间变量的地方是

显式或隐式的包含时间变量

的主键，每个主键或

数据一旦被

，将不可更改和变化

数据仓库的特性

◦

4.非易失——即稳定、不可变性：只以只读的方式存

储，不随时间变化

在数据仓库中只有两种数据操作方法：数据装载和数据

，以保证数据不可更改和更新

应用设计，第三范式要求，无需

所有可能的数据

数据仓库，

着很多操作数据中没有的计算结果和概括

信息，非常有用

数据仓库的特性

◦

5.综合的：操作型数据

为制定决策可以使用的格式

◦

6.海量的：时间序列数据集一般数据量很大

◦

7.元数据：关于数据

的数据

◦

8.数据源：数据来自

和外部的

过整合的操作

型系统

数据仓库的类型

◦

企业数据仓库为通用数据仓库，它既

详细的数

据，也

累赘的或

的数据，这些数据具有不

易改变性和面向历史性。

◦

操作型数据库

与企业数据仓库EDW相比较，ODS有下列特点：ODS是

向

和面向综合的；ODS是易变的；ODS仅仅含有目前的、

详细的数据，不含有累计的、历史性的数据。

◦

数据集市是数据仓库的一种具体化，它可以包含轻度累

计、历史的部门数据，适合特定企业中某个部门的需要。

几组数据集市可以组成一个企业数据仓库。

面

数据仓库环境

组织的遗留系统和系统外部相关数据的主要数据来源。

◦

是数据仓库和数据集市

◦

数据在不同数据

中传输的时候，进行一个

和转化的过

程，从而

整合到数据仓库中。

◦

系统还收集元数据，并与数据仓库的数据相关联，使潜在的用户

能够知道数据仓库中数据的来源和特性。

◦

从数据仓库或数据集市中产生一个或多个个人数据仓库，应用于

独立分析。

◦

元数据：数据的数据，描述数据仓库中

了什么样的数据、存

储的位置，如何获得数据等灯方面的内容。

◦

元数据是数据仓库的

，它用于

数据模型和定义数据结构、

转换规划、仓库结构、控制信息等。

数据仓库环境

操作型数据

◦

(ODS)

数据仓库环境中最基本的组成部分

每天

各种应用程序的数据

为数据仓库提供必需的原始数据

数据组织形式是面

象的（顾客、产品、订单、政策

等）、易变的、近期的

ODS通常来源于一个或多个遗留系统

遗留系统在企业中广泛存在，主要是指那些过时或存在问题的计算机系统

为了能够用于分析，都必须进一步整合到数据仓库中

数据集市

◦

以数据仓库为基础的决策支持环境，要求数据仓库能够满足所有最终用户的

需求。然而，

不同最终用户的需求侧重点是不同的，这就要求数据仓库

的数据要具有充

分的灵活性，以能够适应各类用户的查询和分析；

最终用户对信息检索要求是高性能—越快越好。但是，对数据仓库而言，灵活

体—要保障灵活性以满足尽可能多用户的查询需

性和性能（速度）是一对

求会影响整个数据仓库的性能

◦

为了解决灵活性和性能之间的

，数据仓库体系结构中增加了数据集市一

种小型的部门或工作组级别的数据仓库。

◦

数据集市

为特定用户预先计算好的数据，从而满足用户对性能的需求。

数据集市

适用于各个公司的、小型的、低成本的数据仓库

◦

◦

常被视为开发数据仓库的

法，直接向一个独立

的数据使用者提供数据更为容易

◦

不能够从企业的范

个信息孤岛

内进行规划，数据集市成为一个

◦

如果在整个企业的层次上构筑，可以提供低成本的数

据

并不断扩大发展成为整个的数据仓库环境

围

元数据——数据的数据

元数据是关于数据的简单数据，也就是说，是关于数据

◦

仓库的信息，而不是数据仓库内

的信息

◦

元数据是

明的抽象

次的数据，为

提供对低层次数据的简

◦

数据仓库中的数据不论是不是元数据都是不可更新的。

数据仓库中数据的每一次增加，元数据都会进行扩展

为了描述数据仓库中大量的元素，元数据必须组织为精确的、前后对照的方式

◦

元数据——数据的数据

数据仓库中存了什么表、属性和键

◦

◦

◦

◦

◦

◦

◦

◦

每一个数据集合的来源是什么

在数据装载入库时使用的什么转换逻辑

元数据如何随时间变化

数据的别名是什么以及数据之间的关系如何

技术和业务过程的关联是什么

数据重载的频率是多少

数据仓库

有多少数据元素

数据仓库的其他重要概念

◦

数据仓库的逻辑结构和物理结构

逻辑结构数据由3层到4层数据组成，它们均由元数据

(MetaData)组织而成。

数据库组织形式(空间超立方体形式)

物理

形式有

和基于关系数据库组织形式(由关系型事实表和维表组成)。

数据仓库的其他重要概念

数据仓库系统(DWS)由数据仓库、仓库管理和分析工具三部分组成。

（1）数据仓库：数据仓库的数据来源于多个数据源,包括企业

◦

◦

数据、市场

及各种文档之类的外部数据。

（2）仓库管理：在确定数据仓库信息需求后，首先进行数据建模，

◦

然后确定从数据源到数据仓库的数据抽取、

和转换过程，最后

划分维数及确定数据仓库的物理

结构。仓库管理包括对数据的

、恢复等工作,这些工作需要利

安全、归档、备份、

用数据库管理系统(DBMS)的功能。

（3）分析工具：用于完成实际决策问题所需的各种查询检索工具、数据的OLAP分析工具、数据开采DM工具等，以实现决策支持

系统的各种要求。

◦

数据仓库的其他重要概念

数据仓库应用的C/S结构形式

◦

两层结构：客户端的工作包括客户交互、格式化查询及

结果和报表生成等，服务器端完成各种辅助决策的SQL查

询、复杂的计算和各类综合功能等。

三层结构：在客户与服务器之间增加一个

数据分析服

务器。该服务器能加强和规范决策支持的服务工作，集中

和简化原客户端和DW服务器的部分工作，降低系统数据传输量，因此工作效率更高。

数据仓库体系的组成

数据仓库体系的组成

◦

操作和外部数据库层：数据仓库的数据源，用户不必考虑

数

据库的操作

应用的执行过程

◦

信息

层：直接与最终用户打交道的一层，最终用户用来提取

和分析数据仓库中数据的工具

◦

数据

层：连接操作型信息

层与数据仓库本身的一个接

，包括数据仓库所涉及的不同的数据库，为数据仓库用户

数据提供方便

◦

元数据层：为实现通用的数据

服务

口

型

数据仓库体系的组成

过程管理层：主要着重于调度数据仓库的建立以及元数据的所必需的各种任务

◦

◦

应用消息发送层：

用于在计算机网络中传递信息

不仅包括网络协议和请求路由的功能，还可以使得操作和信息的

应用于数据的格式相

可视作数据仓库底层的传输系统

◦

物理数据仓库层：数据实际

据

的地方，包括虚拟的和本地的数

◦

数据分段

层：包括选择、编辑、小结、合并以及从操作性和

/或外部数据库中装载数据仓库和信息

数据的所有过程

数据库、OLTP和数据仓库

◦

数据库与数据仓库的内在

别

以

业务为例。数据库是事务系统的数据

，客户在

做的每笔交易都会写入数据库，被

下来，这里，可以简单

地理解为用数据库记账。数据仓库是分析系统的数据

，它

从事务系统获取数据，并做汇总、加工，为决策者提供决策的

依据。比如，分析某

当前存款余额是多少。

OLTP与数据仓库

某分行一个月发生多少交易，该分行

◦

程序大部分都属于不是很复杂的数据库，但是完全可以

将其看作一个在单用户环境下的OLTP（

事务处理系统）

数据的操作CRUD（创建、

简单示例。它使用了所有的所谓

、更新、删除）。当数据会几乎保持不变，因为可以从

达到一定量的时候，规模就

中删除过期数据。

区

数据仓库的开发

数据仓库的开发流程

◦

启动工程

建立技术环境

确定

进行数据建模

设计数据仓库中的数据库

数据转换程序管理元数据

开发用户决策的数据分析工具

管理数据仓库环境

数据仓库的开发

数据仓库开发工具

◦

1．数据

一般的数据库系统中有可能存在着大量的噪声数据,引起的主要原

因有

缩写词、惯用语、数据输入错误、重复

、丢失值、拼

写变化等等。

为了清除噪声数据，必须对数据库系统中的相关数据进行

。

2．ETL工具

ETL是指数据抽取（Extract）、转换（Transform）、装载

（Load）的过程，它是构建数据仓库的重要环节。

整个ETL过程基本是通过控制用SQL语句编写的

过程和函数的

方式来实现对数据的直接操作，SQL语句的效率将直接影响到数据

仓库

的性能。

数据仓库的开发

在实施数据仓库过程中应避免的11个错误

◦

1．错误的项目发起

2、制订了不可能完成的目标

3、犯政治幼稚病

4、把所有能找到的数据全都放到数据仓库中

5、认为设计数据仓库就是设计事务数据库

6、选择一个面向技术的而不是面向用户的人做数据仓库项目经理

7、只专注传统的

关系型数据，而忽略外部数据、文本、图像、甚

至声音、

数据

8、用交叠的或

的数据定义交付数据

9、相信软硬件供应商对性能、能力和可扩展性的承诺

10、相信一旦数据仓库建立起来并开始运行，你的任务就完成了

11、专注于动态生成查询、数据挖掘和定期生成报表

构建基于数据仓库的决策支持系统

DSS的

◦

（1）DDS使用的数据库（DB）只能对原始数据进行一般的

，难以满足DDS的需要。

加工和汇总，致使决策所需信息

（2）由于决策本身的动态性和复杂性，针对不同的情况应有不同的处理方法，而模型库提供的分析能力有限，它所提供的模型独立于环境之外，决策者和模型交互很少，模型参数固定不变，不符合决策要求，DDS作出的决策常被有经验

的决策者一口否定，使决策者对DDS产生不信任感。

（3）在实际开发DDS过程中，人机接口

占整个DDS开

发工作量的一半，人的任何意图及系统对人的任何支持都要

通过人机接口才能最终实现。现在人机接口开发得不理想，可以说是DDS实施中的一个瓶颈。

构建基于数据仓库的决策支持系统

DSS因数据仓库而实现了突破

◦

一般决策所需的数据总是与一些维数（每一维代表对数据的

一个特定的观察视角，如地区、时间等）和不同级别（如部

门、

的

、地区和国家）的统计和计算有关，以

数据分析是决策的主要内容。

数据为

特征满足DDS对数据的分析要求，并且克服

数据仓库的

数据库的数据组织性差、利用率低的缺点。

构建基于数据仓库的决策支持系统

如何建立数据仓库

◦

建立一个数据仓库需要经过以下几个处理过程：数据仓库设计、

数据抽取、数据管理。

1．数据仓库设计

（1）根据决策

设计数据仓库结构，一般采用星型模型和雪花

模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。主要有以下3个步骤：

（1）定义该

所需各数据源的详细情况，包括所在计算机

、

拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。

（2）定义数据抽取原则，以便从每个数据源中抽取所需数据；定

义数据如何转换、装载到

的哪个数据表中。

（3）将一个

细化为多个业务

，形成

表，据此从数据

仓库中选出多个数据子集，即数据集市。数据集市通常针对部门级的决策或某个特定业务需求，它开发