数据挖掘-datawarehouse数据仓库与

数据仓库与数据挖掘

第2章OLAP:联机分析处理2第4章

联机分析处理OLAP概念与特性OLAP的数据模型数据的显示数据分析OLAP的结构与分析工具数据仓库的概念结构数据仓库在创建中和创建后:首先要从数据源中抽取所需要的数据到数据准备区，在数据准备区中经过数据的净化处理再加载到数据仓库数据库中最后根据用户的需求将数据发布到数据集市/知识挖掘库中。当用户使用数据仓库时，可以通过OLAP等数据仓库应用工具向数据集市／知识挖掘库或数据仓库进行决策查询分析或知识挖掘。4联机分析处理（On

Line ytical

Processing，OLAP）在数据仓库系统中，是重要的数据分析工具。OLAP的基本思想是从多方面和多角度以

的形式来观察企业的状态和了解企业的变化。4.1

OLAP概念与特性OLAP是在OLTP的基础上发展起来的。

OLTP是以数据库为基础的，面对的是操作和低层管理，对基本数据的查询和增、删、改等进行处理。OLAP是以数据仓库为基础的数据分析处理。它有两个特点：一是

性（OnLine），由客户机/服务器这种体系结构来完成的；表现为对用户请求的快速响应和交互式操作。二是

分析，这也是OLAP的

所在。64.1.1

OLAP的定义OLAP理事会给出的定义联机分析处理（OLAP）是一种技术，它使分析

能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。这些信息是从原始数据转换过来的，按照用户的理解，它反映了企业真实的方方面面。72.OLAP的简单定义联机分析处理是共享

信息的快速分析。它体现了四个特征：1快速性：用户对OLAP的快速反应能力有很高的要求。2

可分析性：OLAP系统应能处理任何逻辑分析和统计分析。3性：系统必须提供对数据分析的视图和分析。获得信息，并且管理大容量的信息4

信息性：OLAP系统应。1993年，E.F.Codd提出OLAP的12条准则，其主要的准则有：数据分析；

客户/服务器结构；多用户支持；一致的报表性能等。4.1.2

OLAP准则91.必须提供

概念视图企业的数据空间本身就是

的。因此OLAP的概念模型也应是

的。用户可以对数据模型进行切片、切块、旋转坐标或进行的联合（概括和）分析。10112.一致稳定的报表性能报表操作不应随维数增加而削弱，即当数据维数和数据的综合层次增加时，提供的报表能力和响应速度不应该有明显的降低。3．客户/服务器体系结构OLAP是建立在客户/服务器体系结构上的。具所数据库服务器能够被不同的应用和工。客户端负责应用逻辑及用户界面。124.多用户支持能力当多个用户要在同一分析模式上并行工作，OLAP工具应能够提供并发

等功能。特5.灵活的报表生成报表必须充分反映数据分析模型的征，并可按用户需要的方式来显示它。OLAP是针对特定问题的联机数据

和分析。1

变量：变量是数据的实际意义，即描述数据“是什么”。2是人们观察数据的特定角度。如产品维、顾客维、时间维等。维的层次：数据的细节不同程度为维的层次。如日、月、季、年是时间维的层次。维成员：维的一个取值称为该维的一个维成员。如“某年某月某日”是时间维的一个成员。4.1.3

OLAP的基本术语5数组：一个

数组可以表示为：，销售（维1，维2，……，维n，变量）

一个4维的结构，即（产品，地区，时间，销售额）。6数据单元（单元格）：数组的取值称为数据单元。如：4维数据单元（牙膏，

，1998年12月，批发，销售额为100000）。OLAP的基本术语（续）4.2

OLAP的数据有效计算和模型数据立方体的有效计算模型ROLAP数据模型MOLAP数据模型MOLAP与ROLAP的比较HOLAP数据模型174.2.1

数据立方体的有效计算模型方体计算的有效方法234.2.2ROLAP数据模型ROLAP是基于关系数据库的OLAP。它是一个平面结构，用关系数据库表示数据时，采用星型模型。24方体的操作4.2.3MOLAP的数据模型MOLAP是基于数据库方式建立的OLAP；表现为“超立方”结构，采用类似于数组的结构。例如，二维MDDB（数组，即矩阵）的数据组织见表4.1所示。31表4.1

MDDB（二维）数据组织广州衣服600700500鞋800900700帽子1002008032MOLAP的方法MOLAP中的数据立方体计算MOLAP中的数据立方体计算多路数组使用（MultiWay)方法：数组作为基本数据结构，计算完全数据立方体。它是一种使用数组直接寻址的典型的MOLAP方法，其中，维值通过位置或对应数组维值的下标。40（1）将数组分块块是一个子立方体，其大小能够放入立方体计算时可用的内存。采用分块（chunking）将n维数组划分成小的n维块的方法。对于稀疏数组，采用压缩稀疏数组结构；（2）通过

立方体单元（即立方体单元的值）计算

。保证每个单元必须重复从而减少内存

和的次数最小化，开销。，避免不必要同时计算一些可能同时的的单元再次

。总结：”某些

计算，（Multiway由于分块技术设计“称该技术为多路数组

array

aggregation）它同时

——即同时对多个维计算

。444.2.4

MOLAP与ROLAP的比较数据存取速度数据

的容量3.计算的能力维度变化的适应性数据变化的适应性软硬件平台的适应性元数据管理451.数据存取速度ROLAP服务器需要将SQL语句转化为存储语句，临时“拼合”出数据立方体。因此，ROLAP的响应时间较长。

MOLAP在数据

速度上性能好，响应速度快。462.数据

的容量方法，在存ROLAP使用的传统关系数据库的储容量上基本没有限制。的方式存放数MOLAP通常采用多平面叠加成据。当数据量超过操作系统最大文件长度时，需要进行数据分割。数据库的数据量级难以达到太大的字节级。473.

计算的能力MOLAP能够支持高性能的决策支持计算。ROLAP无法完成多行的计算和维之间的计算。484.维度变化的适应性数据库通常MOLAP增加新的维度，则需要重新建立。ROLAP对于维表的变更有很好的适应性。495.数据变化的适应性当数据频繁的变化时，MOLAP需要进行大量的重新计算，甚至重新建立索引乃至重构

数据库。在ROLAP中灵活性较好，对于数据变化的适应性高。50软硬件平台的适应性ROLAP对软硬件平台的适应性很好，而MOLAP相对较差。元数据管理目前在元数据的管理，MOLAP和ROLAP都没有成形的标准。MOLAP和ROLAP的对比简表MOLAPROLAP固定维可变维维交叉计算视图行级计算超大型数据库读-写应用维数据变化速度快数据集市数据仓库534.2.5

HOLAP数据模型HOLAP（Hybrid

OLAP），即混和OLAP介于MOLAP和ROLAP之间。在HOLAP中，对最常用的维度和维层次，使用

数据表来

，对于用户不常用的维度和数据，采用ROLAP星型结构来。在HOLAP的

数据表中的数据维度少于MOLAP中的维度表，数据

容量也少于MOLAP方式。HOLAP在数据存取速度上又低于MOLAP。4.3数据的显示数据显示方法1.2.类型结构(MTS)3.数据的分析视图554.3.1

数据显示方法数据的显示只能在平面上展现出来。三维数据无法在平面上展现出来。三维数据显示见表4.6所示。56产品名地区时间销售量衣服1月100衣服2月200衣服3月300衣服1月200衣服2月300衣服3月400衣服广州1月150衣服广州2月250衣服广州3月300鞋1月150鞋2月300鞋3月350鞋1月200鞋2月300鞋3月400鞋广州1月150鞋广州2月250鞋广州3月300…………4.3.2

类型结构(MTS)表示方法是：每一个维度用一条线段来表示。维度中的每一个成员都用线段上的一个单位区间来表示。例如，用三个线段分别表示时间、产品和指标三个维的 类型结构如图3.3所示。58图4.3三维MTS例59在图4.3

类型结构(MTS)中，指定时间维成员是3月，产品维成员是鞋，指标维成员是销售量，这样它代表了三维数据总得一个空间数据点如图4.4所示。图4.4类型结构中的空间数据点4.3.3

数据的分析视图在平面的屏幕上显示数据，是利用行、列和页面三个显示组来表示的。例如，对上例的

MTS实例，在页面上选定商店维度店3”，在行中选定时间维的“1月、2月、3月”共3个成员，在列中选定产品维中的“上衣、裤、帽子”三个成员，以及指标维中的“固定成本、直接销售”二个成员。该数据的显示如图4.6所示。61商店3（页面）上衣裤帽子直接销售固定成本直接销售固定成本直接销售固定成本1月4503505504505004002月3802804603604003203月400310480410450400图4.

维数据的显示62对于维度的数据显示，需要选择维度及其成员分布在行或者列中。在页面上可以选定多个维度，但每个维度只能显示一个成员。在行或者列中一般只选择二个维，每个维可以多个成员。例如，对6个维度数据，它的MTS如图4.7所示。图4.7

六MTS例对以上6维数据中，设定页面维度为商店的成员是“商店3”，客户维度成员是“老年”。行维度含时间维和产品维共2个维度，其中时间维中成员为“1月、2月、3月”。产品维中成员为“桌子、台灯”。列维度含指标维和场景维共2个维度，其中指标维中成员为“直接销售、间接销售、总销售”。场景维中成员为“实际、计划”。具体的显示数据如图3.8所示。商店3，老年（页面）直接销售间接销售总销售实际计划实际计划实际计划1月桌子250300125150375450台灯2653201331604004802月桌子333400167200500600台灯2833401421704255103月桌子350420175210525630台灯250300125150375450图4.8六维数据的显示4.4OALP的

数据分析数据分析的基本操作广义OLAP功能数据分析实例67例如，以“产品、城市、时间”三维数据，如图时间城市产品电视机广州电冰箱9596684.4.1

数据分析的基本操作1.切片对三维数据，通过“切片”，分别从城市和产品等不同的角度观察销售情况：电视机电冰箱广州692.切块1在

数组的某一个维上选定某一区间的维成员的操作切块可以看成是在切片的基础上，确定某一个维成员的区间得到的片段，也即由多个切片叠合起来。2选定

数组的一个三维子集的操作在

数组（维1，维2，……，维n，变量）中选定3个维，

维i、维j、维k，在这3个维上分别取一个区间，或任意维成员，而其它维都取定一个维成员。70图4.11

三维数据切块713.钻取钻取有向下钻取（drill

down

）和向上钻取（drill

up

）操作。向下钻取是使用户在多层数据中能通过导航信息而获得

的细节性数据。向上钻取获取概括性的数据。72钻取：例如，2005年销售收入表如下：7374对时间维进行下钻操作，获得新表如下：2005年部门1季度2季度3季度4季度部门1200200350150部门225050150150部门3200150180270754.旋转通过旋转可以得到不同视角的数据。旋转操作相当于平面数据将坐标轴旋转。例如，旋转可能包含了交换行和列，或是把某一个行维移到列维中去。或是把页面显示中的一个维和页面外的维进行交换（令其成为新的行或列中的一个）76旋

转时间维产品维产品维时间维（a）行列交换旋转以改变显示布局时间维地区维产品维时间维产品维地区维772005年2006年部门1季度2季度3季度4季度1季度2季度3季度4季度部门1200200350150120200250140部门225050150150200180230120部门

3200150180270180200170250旋转前的数据实例781季度2季度3季度4季度部门05年06年05年06年05年06年05年06年部门

1200120200200350250150140部门

225020050180150230150120部门

3200180150200180170270250旋转后的数据2005年2006年部门1季度2季度3季度4季度1季度2季度3季度4季度部门1200200350150120200250140部门225050150150200180230120部门

3200150180270180200170250旋转前的数据1季度2季度3季度4季度05年06年05年06年05年06年05年06年>2010060805010050504050>x>20300230110250270330200220>50250210210280310270320250旋转后再切片2005年2006年部门1季度2季度3季度4季度1季度2季度3季度4季度部门

1200200350150120200250140部门225050150150200180230120部门

3200150180270180200170250旋转前的数据794.4.2广义OLAP功能1、基本

操作当系统处于某种特殊状态时“

”提醒分析员。1示警报告定义一些条件，一但条件满足，系统会提醒分析员去做分析。如报告完成或月定货完成等通知分析员作分析。时间报告2按日历和时钟提醒分析员。3异常报告当超出边界条件时提醒分析员。如销售情况已超出预定义阈值的上限或下限时提醒分析员。80812．数据分析模型（1）绝对模型通过比较历史数据值或行为来描述过去发生的事实。绝对模型只能对历史数据进行比较，并且利用回归分析等一些分析方法得出趋势信息。（2）解释模型利用系统已有的多层次的综合路径层层细化，找出事实发生的原因。假设今年销售量下降，那么解释模型应当能找出原因，即下滑与时间、地区、商品及销售四者中的何种因素有关。82（3）思考模型说明在一维或

上引入一组具体变量或参数后将会发生什么。例如该公司决策者为了了解某商品的销售量有关，引入了行变量－年视图上增加了顾客的年是否与顾客的龄，即在当前的龄维。8384（4）公式模型该模型表示在多个维上，需要引入哪些变量或参数，以及引入后所产生的结果。公式模型自动完成上述变量引入工作，从而最终找出与销量有关的全部因素，并给出了引入后的结果。3.商业分析模型1分销

的分析模型客户利润贡献度模型23客户关系（信用）优化模型4风险评估模型85（1）分销的分析模型、产品或服务三者之间的关通过客户、系，了解客户的行为、客户和

对业务收入的贡献、哪些客户比较喜好由什么渠道在何时和银行打交道。为此，银行需要建立

倾向模型和渠道喜好模型等。8687（2）客户利润贡献度模型通过该模型能了解每一位客户对银行的总利润贡献度。知道哪些利润高的客户需要留住，采用什么方法留住客户，交叉销售改善客户的利润贡献度，哪些客户应该争取，完成个性化服务。（3）客户关系（信用）优化模型银行对客户的每一笔交易中，知道客户需要什么产品或服务，例如，定期存款是希望退休养老使用，申请需要现金消费，询问放贷利息需要住房等。通过模型计算，主动地对客户沟通并进行交叉销售，达到留住客户和增加利润的目标。8889（4）风险评估模型模拟风险和利润间的关系，建立风险评估的数学模型，在满足高利润、低风险客户需求的前提下，达到银行收益的极大化。假设有一个5维数据模型，5个维分别为：商店，方案，部门，时间，销售。1．

数据在指定“商店=ALL，方案=现有”情况的三维表（行为部门，列为时间和销售量）4.4.3

数据分析实例9020042005%增长率销售量利润增长%销售量利润增长%销售量利润增长服装234,67027.2381,10221.562.4(20.0)家具62,54833.866,00531.15.6(8.0)汽车375,09822.4325,40227.2(13.2)21.4所有其它202,38821.3306,67721.750.71.9指定商店、方案后的三维表20042005%增长率销售利润增长%销售利润增长%销售利润增长汽车375,09822.4325,40227.2(13.2)21.4维修195,05114.2180,78615.0(7.3)5.6附件116,28043.9122,54547.55.38.2音乐63,7678.222,07114.2(63.4)7.32、向下钻取对汽车部门向下钻