第1章 数据仓库概述.ppt

1、Slide 1,数据仓库与数据挖掘,第一部分 基本原理篇,Slide 2,第一部分 基本原理篇,第1章 数据仓库概述 第2章 数据仓库的基本原理 第3章 OLAP的基本原理,Slide 3,第 1章 数据仓库概述,20世纪80年代，企业的数据库中积累了大量的数据。 人们已不再满足于简单的数据操作，产生了进一步使用现有数据的要求。也就是利用现有的数据进行分析和推理，从而为决策提供依据。 谁是最有价值的客户？什么产品可以交叉销售或提升销售？公司明年的收入前景如何？ 这种需求既要求联机服务，又涉及大量的数据。,Slide 4,第 1章 数据仓库概述,传统的数据库技术已无法满足这种需求，具体体现在以下

2、三方面： （1） 决策所需的历史数据量很大，而传统的数据库一般只存储短期数据。 （2） 辅助决策的信息涉及许多部门的数据，而不同系统的数据难以集成。 （3） 由于访问数据库的能力不足，它对大量数据的访问性能明显下降。,Slide 5,第 1章 数据仓库概述,随着C/S技术的成熟和并行数据库的发展，信息处理技术的发展趋势是： 从大量的事务数据库抽取数据，并将其清理、转换为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中。 这种90年代初出现的支持决策的、特殊的数据存储被称为数据仓库。,Slide 6,第 1章 数据仓库概述,数据仓库（Data Warehouse, DW）的概念形成是以Pr

3、ism Solution 公司的副总裁W. H. Inmon在1992年出版的Building the Data Warehouse一书为标志的。 从目前的形式看，DW技术已紧跟Internet 而上，成为信息社会中获得企业竞争优势的又一关键。,Slide 7,第 1章 数据仓库概述,1.1 数据库到数据仓库的演变 1.2 OLTP与OLAP 1.3 商业智能系统的功能和构成 1.4 数据仓库在企业领域的应用,Slide 8,1.1 数据库到数据仓库的演变,1.1.1 蜘蛛网 1.1.2 操作型系统和分析型系统的分离 1.1.3 数据库与数据仓库的比较,Slide 9,1.1.1 蜘蛛网现象,

4、以数据库为中心的运营环境，企业对数据库的需求是多方面的。 企业级的数据库； 部门级的数据库，可以提高数据的访问效率； 个人级的数据库。 随着数据的逐层抽取，很可能会形成“蜘蛛网”现象，使数据的抽取和访问显得错综复杂。,Slide 10,抽取程序,Slide 11,图1-3,Slide 12,4,Slide 13,错综复杂的抽取将产生很多问题,（1）数据分析的结果缺乏可靠性,例：某电信公司的市场部和计划部对“业务A是否具有市场前景？”的分析过程和结果。,图1-5,Slide 14,错综复杂的抽取将产生很多问题,（2）数据处理的效率很低 不同级别的数据库可能使用不同类别的数据库系统，难以集成。,例

5、：某大型企业的决策领导需要一份关于公司整体运营情况的报表，通常需要多种技术编写程序，程序的重用性差。,图1-6,Slide 15,错综复杂的抽取将产生很多问题,（3）难以将数据转化成信息,例：某电信公司想分析“某个大客户今年的情况和过去3年有什么不同？”,图1-7,每个数据库的数据量和业务处理的需求不同，对历史数据的存储时间也不同，因此现有的数据库难以提供完整的历史数据。用户根本不可能从这些数据中提取出完整的信息。,Slide 16,1.1.2 操作型系统和分析型系统的分离,要解决“蜘蛛网”问题，必须将用于事务处理的数据环境和用于数据分析的环境进行分离。 数据处理被分为两大类： 操作型处理 分

6、析型处理,Slide 17,1.1.2 操作型系统和分析型系统的分离,操作型处理以传统的数据库为中心进行企业的日常业务处理。 如电信部门的计费数据库用于记录客户的通信消费情况； 银行的数据库用于记录客户的帐号、密码、存入和支出等一系列业务行为。 分析型处理以数据仓库为中心分析数据背后的关联和规律，为企业决策提供可靠有效的依据。 如对超市近期数据进行分析可以发现近期畅销的产品，从而为公司采购部门提供指导信息。,Slide 18,操作型处理&分析型处理的比较,（1）使用的人员和处理的数据 操作型系统的使用人员通常是企业的具体操作人员，处理的数据通常是企业业务的细节信息，其目标是实现企业的业务运营。

7、 分析型系统的使用人员通常是企业的中高层管理者，或者是从事数据分析的工程师，分析型系统包含的信息往往是企业的宏观信息而非具体细节，其目的是为企业的决策者提供支持信息。 如图1-8所示。,Slide 19,图1-8,Slide 20,操作型处理&分析型处理的比较,（2）环境 操作型处理和分析型处理的分离，划清了数据处理的分析型环境与操作型环境之间的界限，从而由原来以单一数据库为中心的数据环境发展为以数据库为中心的业务处理系统和以数据仓库为基础的分析系统。 如图1-9所示。,Slide 21,图1-9,Slide 22,1.1.3 数据库与数据仓库的比较,Slide 23,1.2 OLTP与 OL

8、AP,1.2.1 联机事务处理 (OnLine Transaction Processing，OLTP) ，也称在线事务处理。 以快速的事务响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 事务：如修改帐户余额。 基于联机事务处理的应用系统，如手机交费、银行交易、火车站售票、医院的收费系统、民航定票系统和银行ATM机等等。,Slide 24,联机事务处理的特点,OLTP事务处理量大，但事务处理内容比较简单且重复率高。 OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。,Slide 2

9、5,1.2 OLTP与 OLAP,1.2.2 联机分析处理 (OnLine Analytical Processing，OLAP) OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。,Slide 26,1.3 商业智能系统的功能和构成,1.3.1 商业智能系统的数据处理循环 在以数据库为中心的业务处理系统和以数据仓库为基础的分析系统的基础上，IBM公司首先提出了商业智能（Business Intelligence, BI）系统的概念。 商业智能系统由业务数据库系统、决策支持系统等部分构成，如图 1-10 所示。 决策支持系统（DSS）由3个层次的内容组成： 数据仓库 联机分析处理（OLAP） 数据挖掘,Slide 27,1.3.1 商业智能系统的数据处理循环,Slide 28,1.3.2 决策支持系统的总体功能,（1）企业级的多维信息查询 （2）联机分析处理 （3）数据挖掘 （4）预测,Slide 29,1.4 数据仓库在企业领域的应用,（1）证券企业的应用 客户分析、账户分析、证券汇总分析、资金交易分析、非资金交易分析 提供快速有效的报表和分析方式，提高公司的市场反应速度和竞争力水平 （2）银行企业的应用 分析贷款客户过去的历史数据，预测其未来行为，了解还贷可能性，以及早采取相应措施,Slide 30,1