第17章 数据仓库与数据挖掘

1、数据库原理与应用教程,国家“十一五”规划教材,第17章 数据仓库与数据挖掘,17.1 数据仓库技术 17.2 联机分析处理（OLAP） 17.3 数据挖掘,17.1 数据仓库技术,17.1.1 数据仓库的概念及特点 17.1.2 数据仓库体系结构 17.1.3 数据仓库的分类 17.1.4 数据仓库的开发 17.1.5 数据仓库的数据模式,数据仓库的概念及特点,面向主题 集成的数据 数据不可更新 数据随时间不断变化 更好的支持决策的制定,数据仓库体系结构,操作型数据与分析型数据的区别,数据仓库的分类,标准数据仓库 数据集市 多层数据仓库 联合式数据仓库,标准数据仓库,是企业最常使用的数据仓库，

2、 是依管理决策的需求而将数据加以整理分析，再将其转换到数据仓库之中。 这一类的数据仓库是以整个企业为着眼点而建构出来的，所以其数据都是有关整个企业的数据，用户可以从中得到整个组织运作的统计分析信息。,数据集市,是针对某一主题或是某个部门而建构的数据仓库 一般而言，它的规模会比标准数据仓库小， 只存贮与部门或是主题相关的数据。 数据体系结构中的部门级数据仓库。 数据集市通常用于为单位的职能部门提供信息。 典型示例是销售部门、库存和发货部门、财务部门、高级管理部门等的数据集市。,多层数据仓库,是标准数据仓库与数据集市的一种组合应用方式， 在整个架构之中，有一个最上层的数据仓库提供者，它将数据提供给

3、下层的数据集市。 多层数据仓库使一个数据仓库系统走向分散之路，其好处是拥有统一的全企业性数据源，创建部门使用的数据集市就比较省时省事，而且各数据集市的工作人员可以分散整体性的工作开销。,多层数据仓库的架构,联合式数据仓库,是在整体系统中包含了多重的数据仓库或是数据集市系统，也可以包括多层的数据仓库，但是在整个系统中只有一个数据仓库数据的提供者，这种数据仓库系统适合大型企业使用。,数据仓库的开发,自顶向下 从全面设计整个企业的数据仓库模型开始，这是一种系统的解决方法，并能最大限定的减少集成问题，但是费用高，开发时间长，缺乏灵活性。 自底向上 从设计和实现各个独立的数据集市开始。这种方法费用低，灵

4、活性高，并能快速的回报投资。但将分散的数据集市集成起来，形成一个一致的企业仓库可能会比较困难。,推荐的数据仓库开发方法,数据仓库的数据模式,典型的数据仓库具有为数据分析而设计的模式，因此，数据通常是多维的，包括维属性和度量属性. 维属性是分析数据的角度，度量属性是要分析的数据，一般是数值型的。 包含统计分析数据的表称为事实数据表，通常比较大。例如“销售情况表” 。 “销售情况表”的维可以包括销售的商品、销售日期、销售地点，购买商品的顾客等信息；度量属性可以包括销售商品的数量和销售金额。,星型架构,雪化型架构,17.2 联机分析处理（OLAP）,是专门为支持复杂的分析操作而设计的， 侧重于决策人

5、员和高层管理人员的决策支持 以一种直观易懂的形式将查询结果提供给决策人员，以便他们制定正确方案，增加效益。 OLAP以数据库或数据仓库为基础，其最终的数据来源与OLTP一样均来自底层的数据库系统，但二者面向的用户不同，数据的特点与处理也明显不同。,OLAP与OLTP的比较,是两类不同的应用， OLTP面向的是操作人员和底层管理人员， OLAP面向的是决策人员和高层管理人员； OLTP是对基本数据的查询和增、删、改操作处理，它以数据库为基础， OLAP更适合以数据仓库为基础的数据分析处理。 OLAP所依赖的历史的、导出的及经综合提炼的数据均来自OLTP所依赖的底层数据库。 OLAP数据较之OLT

6、P数据要多一步数据多维化或综合处理的操作。,OLAP的基本概念,度量属性 度量属性是决策者所关心的具有实际意义的数量。例如，销售量、库存量等。 维度（或简称为维） 是人们观察数据的角度。 维的层次 人们观察数据的角度（即某个维）存在的细节程度不同的描述方面。,OLAP的基本概念（续）,维度成员 维度的一个取值称为该维的一个维度成员。 如果一个维是多层次的，那么该维的维度成员是在不同维层次的取值的组合。 例如，我们考虑时间维具有日期、月份、年这3个层次，分别在日期、月份、年上各取一个值组合起来，就得到了时间维的一个维度成员。,OLAP的基本概念（续）,多维数组 一个多维数组可以表示为：（维1，维

7、2，维n，变量）。 数据单元（单元格） 多维数组的取值称为数据单元。,示例,联机分析处理包括的分析功能,上卷（roll-up） 在数据立方体中执行聚集操作，通过在维层次中上升或通过消除某个或某些维来观察更概况的数据。,上卷,联机分析处理包括的分析功能,下钻（drill-down） 通过在维层次中下降或通过引入某个或某些维来更细致的观察数据。,下钻,联机分析处理包括的分析功能,切片（slice） 在给定的数据立方体的一个维上进行的选择操作就是切片，切片的结果是得到了一个二维的平面数据。,切片,联机分析处理包括的分析功能,切块（dice） 在给定的数据立方体的两个或多个维上进行的选择操作就是切块，

8、切块的结果是得到了一个子立方体。,切块,联机分析处理包括的分析功能,转轴（pivot or rotate） 改变维的方向，将一个三维立方体转变为一系列二维平面。,转轴,17.3 数据挖掘,17.3.1 关联规则挖掘 17.3.2 特征描述 17.3.3 分类分析 17.3.4 聚类分析,17.3.1 关联规则挖掘,关联规则挖掘的典型问题是，给定一个销售交易的数据库，要求发现数据项之间的重要关联性，即在一个交易中出现某些数据项蕴含着其他一些数据项也可能会在同一个交易中出现。 关联规则分析是一个从现象到本质的揣测推理过程。 例如：啤酒和尿布,特征描述,是对目标类数据的一般特征或特性进行汇总，并以直观易理解的方式显示给用户。 通常，用户通过数据查询来对目标类数据进行收集。 例如为研究上一年某超市消费超过1000以上的顾客的特征，可以通过执行一个SQL查询收集关于这些产品的数据。 特征描述通常采用的方法是进行数据概化，将庞大的任务相关的数据集从较低的概念层抽象到较高的概念层。,分类分析,是找出数据集中各组对象的共同特征，并建立分类模型，从而能够将数据集中的其他对象分到不同的组中。 分类也称作制导的学习。 为了建立分类模型，需要有一个用作训练集的示例数据库。 分类过程是首先分析训练集中数据，根据每个类中数据的特征为每个类生