第三章-联机分析处理OLAPPPT课件

.,1,第3章联机分析处理-OLAP,本章学习目标：通过OLAP技术概念介绍了解OLAP的发展和特点。通过多维分析学习掌握多维的基本概念。通过OLAP的实施掌握OLAP实施方法。通过MOLAP与ROLAP的学习掌握MOLAP与ROLAP的概念。通过OLAP技术评价学习掌握对OLAP技术的评价。,.,2,3.1概述3.2OLAP定义和基本概念3.3OLAP的数据模型3.4多维数据分析3.5OLAP的结构与分析工具,第3章联机分析处理-OLAP,.,3,3.1概述,60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。,.,4,OLTPVS.OLAP,.,5,OLAP基本思想,联机分析处理（OnLineAnalysisProcessing，OLAP）在数据仓库系统中，联机分析处理是重要的数据分析工具。OLAP的基本思想是从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。OLAP是独立于数据仓库的一种技术概念当OLAP与数据仓库结合时，OLAP的数据源为数据仓库，数据仓库的大量数据是根据多维方式组织的。,.,6,OLAP特点,OLAP在以数据仓库为数据源时，它有两个特点：在线性（OnLine）：由客户机/服务器这种体系结构来完成的；多维分析：这也是OLAP的核心所在。,.,7,3.2OLAP定义,联机分析处理（OLAP）是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。这些信息是从原始数据转换过来的，按照用户的理解，它反映了企业真实的方方面面。（OLAP理事会）,.,8,OLAP的简单定义,联机分析处理是共享多维信息的快速分析。体现了四个特征：（1）快速性：用户对OLAP的快速反应能力有很高的要求。（2）可分析性：OLAP系统应能处理任何逻辑分析和统计分析。（3）多维性：系统必须提供对数据分析的多维视图和分析。（4）信息性：OLAP系统应能及时获得信息，并且管理大容量的信息。,.,9,OLAP目标,是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。,.,10,OLAP准则,1993年，E.F.Codd提出OLAP的12条准则，其主要的准则有：多维数据分析；客户/服务器结构；多用户支持；一致的报表性能等。,.,11,多维数据分析,企业的数据空间本身就是多维的。因此OLAP的概念模型也应是多维的。用户可以对多维数据模型进行切片、切块、旋转坐标或进行多维的联合（概括和聚集）分析。,.,12,客户/服务器体系结构,OLAP是建立在客户/服务器体系结构上的。多维数据库服务器能够被不同的应用和工具所访问。客户端负责应用逻辑及用户界面。,.,13,多用户支持,当多个用户要在同一分析模式上并行工作，OLAP工具应能够提供并发访问等功能。,.,14,一致的报表性能,报表必须充分反映数据分析模型的多维特征，并可按用户需要的方式来显示它报表操作不应随维数增加而削弱，即当数据维数和数据的综合层次增加时，提供的报表能力和响应速度不应该有明显的降低。,.,15,OLAP基本概念,变量：从现实系统抽象出来的，用于描述数据的实际含义，即描述数据“是什么”维：是与某一事件相关的因素在关系模型的抽象，是人们观察数据的特定角度。如产品维、顾客维、时间维等。维的层次性：是由观察数据细致程度不同造成的。如日、月、季、年是时间维的层次。维的取值：即维的成员。如“某年某月某日”是时间维的一个成员。,.,16,OLAP基本概念,维的分类：按照一定的划分标准对维的所有取值集合的一个分类划分，用于数据钻取和聚合。如上半年、下半年是对时间维的划分。事实：不同维度在某个取值下的交叉点，是对事件的度量。如（牙膏，上海，1998年12月，批发，销售额为100000）多维数据立方体,.,17,维的例子,一个电子公司的销售一般从三个方面分析销售额：时间：在某一段时间内的销售情况，其度量为（年、季度、月、旬、天）地区：在某个地区的销售情况，度量可分为（地区、国家、省、市）产品：某类或某型号产品的销售情况，度量可分为（类别、型号等）此处，（时间，地区，产品）就构成了三个维。维有层次结构，可以在某个层上察看数据。,.,18,维的例子,地区的层次,全国,江苏,北京,上海,苏州市,扬州市,宝应县,.,19,维的例子,正好构成一个数据立方体，可以有更高阶的维，但仍然称为数据立方体。,时间,地区,产品,原点,.,20,OLAP数据立方体的计算（物化）,数据立方体的个数有产品(type)、城市(city)、日期(date)三个维，则：,0-D（顶点）方体,1-D方体,2-D方体,3-D（基本）方体,.,21,OLAP数据立方体的计算（物化）,一般，若有n个维，则立方体个数是,(city,item,date),(city,item),(city,date),(item,date),(city),(item),(date),all,all表示不对任何维分组，这组形成了该数据立方体的方体格,.,22,OLAP数据立方体的计算（物化）,实际维上有分层，如（年、季度、月、星期、日），所以实际的立方体个数是极大的。所以，实时计算的工作量极大，但全部事先计算，则存储量又极大。方体的选择计算：不物化：即不预先计算任何“非基本”方体全物化：预先计算所有的方体部分物化：在整个可能的方体集中，有选择地物化一个适当的子集在OLAP中一般采用部分物化，应考虑三个因素:(1)确定要物化的方体子集；(2)利用查询处理时物化的方体；(3)在装入和刷新时，有效地更新物化的方体。,.,23,3.3OLAP的数据模型,3.3.1MOLAP数据模型3.3.2ROLAP数据模型3.3.3MOLAP与ROLAP的比较3.3.4HOLAP数据模型,.,24,3.3.1MOLAP的数据模型,MOLAP是基于多维数据库存储方式建立的OLAP；表现为“超立方”结构，采用类似于多维数组的结构。例如，二维MDDB（数组，即矩阵）的数据组织见下表,.,25,3.3.2ROLAP数据模型,ROLAP是基于关系数据库的OLAP。它是一个平面结构，用关系数据库表示多维数据时，采用星型模型。,.,26,3.3.3MOLAP与ROLAP的比较,1.数据存取速度2.数据存储的容量3.多维计算的能力4.维度变化的适应性5.数据变化的适应性6.软硬件平台的适应性7.元数据管理,.,27,1.数据存取速度,ROLAP服务器需要将SQL语句转化为多维存储语句，临时“拼合”出多维数据立方体。因此，ROLAP的响应时间较长。MOLAP在数据存储速度上性能好，响应速度快。,.,28,2.数据存储的容量,ROLAP使用的传统关系数据库的存储方法，在存储容量上基本没有限制。MOLAP通常采用多平面叠加成立体的方式存放数据。MOLAP受操作系统平台中文件大小的限制，当数据量超过操作系统最大文件长度时，需要进行数据分割。多维数据库的数据量级难以达到TB级(只能1020G）,.,29,3.多维计算的能力,MOLAP能够支持高性能的决策支持计算。ROLAP无法完成多行的计算和维之间的计算。,.,30,4.维度变化的适应性,MOLAP增加新的维度，则多维数据库通常需要重新建立。ROLAP对于维表的变更有很好的适应性。,.,31,5.数据变化的适应性,当数据频繁的变化时，MOLAP需要进行大量的重新计算，甚至重新建立索引乃至重构多维数据库。在ROLAP中灵活性较好，对于数据变化的适应性高。,.,32,6.软硬件平台的适应性,ROLAP对软硬件平台的适应性很好MOLAP相对较差。,.,33,7.元数据管理,目前在元数据的管理，MOLAP和ROLAP都没有成形的标准。,.,34,MOLAPVSROLAP,.,35,3.3.4HOLAP数据模型,HOLAP（HybridOLAP），即混和型OLAP介于MOLAP和ROLAP之间。在HOLAP中，对最常用的维度和维层次，使用多维数据表来存储，对于用户不常用的维度和数据，采用ROLAP星型结构来存储。HOLAP得宜于ROLAP的可伸缩性,和MOLAP的快速计算。（如MSSQLSERVER)在HOLAP的多维数据表中的数据维度少于MOLAP中的维度表，数据存储容量也少于MOLAP方式。HOLAP在数据存取速度上又低于MOLAP。,.,36,3.4OALP的多维数据分析,3.4.1OLAP的基本操作3.4.2广义OLAP功能3.4.3多维数据分析实例,.,37,3.4.1OLAP的基本操作,数据切片：多维数据是由多个维度组成的，如果在某个维度上选定一个取值，则多维数据从n维下降成n-1维数据切块：将完整的数据立方体切取一部分数据而得到的新的数据立方体。数据钻取(下钻)：从较高的维度层次下降到较低的维度层次上来观察多维数据数据聚合(上卷)：对数据进行高层次综合的操作数据旋转：改变维度的位置关系，使最终用户可从其他视角来观察多维数据。,.,38,基本操作示例,以“城市、产品、时间”三维数据为例，如下图,.,39,20,29,40,35,时间,产品,地区,一季度,二季度,三季度,四季度,北京,上海,南京,广州,VCD,手机,电脑,空调,69,（北京，二季度，电脑的销售额）,.,40,1.切片,对三维数据，通过“切片”，分别从产品和城市等不同的角度观察销售情况：,.,41,切片示例1,切片(slice)：地区=“北京”意义：北京地区四个季度空调、电脑、手机、VCD的销售金额,.,42,切片示例2,切片：产品=“空调”意义：空调产品在四个季度中各地区的销售金额,.,43,2.切块,（1）在多维数组的某一个维上选定某一区间的维成员的操作切块可以看成是在切片的基础上，确定某一个维成员的区间得到的片段，也即由多个切片叠合起来。（2）选定多维数组的一个三维子集的操作在多维数组（维1，维2，维n，变量）中选定3个维，维i、维j、维k，在这3个维上分别取一个区间，或任意维成员，而其它维都取定一个维成员。,.,44,切块示例,分块(dice)：地区=“南京”AND“广州”产品“空调”AND“手机”,.,45,3.钻取,钻取有向下钻取（drilldown）和向上钻取（drillup）操作。向下钻取是使用户在多层数据中能通过导航信息而获得更多的细节性数据。向上钻取获取概括性的数据。,.,46,下钻（drill_down)：按时间分到月、甚至天为单位,下钻,.,47,上卷（roll_up)：按时间上卷到半年为单位,20,29,40,35,时间,产品,地区,一季度,二季度,三季度,四季度,南京,广州,手机,空调,上卷,.,48,4.旋转,通过旋转可以得到不同视角的数据。旋转操作相当于平面数据将坐标轴旋转。例如，旋转可能包含了交换行和列，或是把某一个行维移到列维中去。或是把页面显示中的一个维和页面外的维进行交换（令其成为新的行或列中的一个）,.,49,旋转示意图,行列交换,旋转以改变显示布局,.,50,旋转示例,旋转前的数据旋转后的数据,.,51,3.4.2广义OLAP功能,基本代理操作数据分析模型商业分析模型,.,52,基本代理操作,当系统处于某种特殊状态时“代理”提醒分析员。（1）示警报告定义一些条件，一但条件满足，系统会提醒分析员去做分析。如每日报告完成或月定货完成等通知分析员作分析。（2）时间报告按日历和时钟提醒分析员。（3）异常报告当超出边界条件时提醒分析员。如销售情况已超出预定义阈值的上限或下限时提醒分析员。,.,53,数据分析模型,（1）绝对模型通过比较历史数据值或行为来描述过去发生的事实。绝对模型只能对历史数据进行比较，并且利用回归分析等一些分析方法得出趋势信息。,.,54,数据分析模型,（2）解释模型利用系统已有的多层次的综合路径层层细化，找出事实发生的原因。假设今年销售量下降，那么解释模型应当能找出原因，即下滑与时间、地区、商品及销售渠道四者中的何种因素有关。,.,55,数据分析模型,（3）思考模型说明在一维或多维上引入一组具体变量或参数后将会发生什么。例如该公司决策者为了了解某商品的销售量是否与顾客的年龄有关，引入了行变量年龄，即在当前的多维视图上增加了顾客的年龄维。,.,56,数据分析模型,（4）公式模型该模型表示在多个维上，需要引入哪些变量或参数，以及引入后所产生的结果。公式模型自动完成上述变量引入工作，从而最终找出与销量有关的全部因素，并给出了引入后的结果。,.,57,商业分析模型,（1）分销渠道的分析模型（2）客户利润贡献度模型（3）客户关系（信用）优化模型（4）风险评估模型,.,58,（1）分销渠道的分析模型,通过客户、渠道、产品或服务三者之间的关系，了解客户的购买行为、客户和渠道对业务收入的贡献、哪些客户比较喜好由什么渠道在何时和银行打交道。为此，银行需要建立客户购买倾向模型和渠道喜好模型等。,.,59,（2）客户利润贡献度模型,通过该模型能了解每一位客户对银行的总利润贡献度。知道哪些利润高的客户需要留住，采用什么方法留住客户，交叉销售改善客户的利润贡献度，哪些客户应该争取，完成个性化服务。,.,60,（3）客户关系（信用）优化模型,银行对客户的每一笔交易中，知道客户需要什么产品或服务，例如，定期存款是希望退休养老使用，申请信用卡需要现金消费，询问放贷利息需要住房贷款等。通过模型计算，主动地对客户沟通并进行交叉销售，达到留住客户和增加利润的目标。,.,61,（4）风险评估模型,模拟风险和利润间的关系，建立风险评估的数学模型，在满足高利润、低风险客户需求的前提下，达到银行收益的极大化。,.,62,3.5OLAP结构与分析工具,3.5.1OLAP结构3.5.2OLAP的Web结构,.,63,3.5.1OLAP结构,1OLAP逻辑结构,.,64,2OLAP物理结构,OLAP的C/S物理结构OLAP的三层C/S物理结构,.,65,3.5.2OLAP的Web结构,.,66,3.5.3OLAP工具,目前许多公司已经推出了相应的OLAP支持工具ORACLEIBMBusinessObjectSASNCR,.,67,应具备的功能,支持多维和维中的层次；聚集、概括、预计算和导出数据；提供计算逻辑、公式和分析过程；提供比较分析能力；进行跨维计算；沿单个或多个维的轴以及交叉表等来进行细剖和浏览。,.,68,OLAP工具评价,OLAP服务器和工具可以按以下五个方面来进行评价：特征和功能访问性能OLAP服务引擎管理能力全局结构视图从这五个方面分析市场上的OLAP产品，也可以把它们作为应用系统中OLAP需求分析指标。,.,69,特征和功能,支持多维数据集中的维与层次，能够沿某个维或一组维进行数据的聚集、汇总、预计计算和派生；能够对某个维或一组维提供计算逻辑、公式和分析例程进行某种形式的操作；能够实现从一个维到另外一个维的转换；能够进行交叉维的计算，如在不同维之间进行成本分配，或在电子表格中按照不同维进行损益表的计算；,.,70,特征和功能,能够提供强大的分析模型，包括对选中维及维的元素的逻辑、公式、分析例程、聚集数据汇总数据和派生数据等。如在给定财务数据上计算内部回报率的财务模型；能够提供大量的函数，如财务、统计、代数、市场等各种函数；能够提供强大的计算和逻辑比较能力，如对数据的分级、比较、归类、百分比、极值、均值等；具有智能化的与时间相关的处理，如按照给定时间段的日历安排；能够提供强大的导航分析，可以沿单个或