第四章 联机分析处理.ppt

1、第四章 联机分析处理,第3章 联机分析处理,3.1 联机分析的概念与特性 3.1.1 联机分析的概念 3.1.2 联机分析的特性 3.1.3 联机分析准则 3.2 多维OLAP和关系OLAP 3.2.1 MOLAP和ROLAP的概念 3.2.2 OLAP选择评价 3.2.3 OLAM,3.3 OLAP服务器及其工具评价 3.3.1 OLAP服务器和工具的评价标准 3.3.2 Oracle OLAP 工具 3.3.3 MS SQL Server中的OLAP功能,3.1 联机分析的概念与特性,定义1 ：联机分析处理(On- Line Analytical Processing, OLAP) 是一类

2、软件技术，它针对特定问题的联机数据访问和分析，可使决策者通过对信息的多种观察角度进行快速、一致和交互的存取，以获得对信息的深入理解。 OLAP的特点： 在线：快速响应、交互操作（可由C/S结构实现） 多维：信息已变换，可以在不同维观察数据,3.1.1 联机分析的概念,一、. OLAP的概念与操作 1、OLAP的概念 A.变量：变量是数据的实际意义，它主要描述数据“是什么”。 B.维：维是人们观察数据的特定角度。是考虑问题时的一类属性，该类属性的集合就构成一个维(时间维、地理维等)。 C.维的层次：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，这时称这多个描述方面为

3、维的层次。(时间维：日期、月份、季度、年)。,D.维成员：维的一个取值称为该维的一个维成员、如果一个维是多层次的，那么该维的维成员是由各个不同维层次的取值组合而成。 E.多维数组：一个多维数组可以表示为：维1，维2，维n，变量。(时间，地区，产品，销售额) F.数据单元（单元格）。多维数组的取值称为数据单元。(2000年1月，上海，笔记本电脑，$100000),2、OLAP的基本操作 OLAP的基本操作是指对以多维形式组织起来的数据采取切片、切块、旋转等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据仓库中的数据，从而深入地了解包含在数据中的信息和内涵。 A.多维的切片：在

4、多维分析过程中，如果对多维数据集的某个维选定某一维成员，这种选择操作就称为切片。,在切片的概念中，有以下两个重要的概念必须掌握： 多维数据集的切片数量多少是由所选定的那个维的维成员数量的多少所决定的。 进行切片操作的目的是使人们能够更好地了解多维数据集，通过切片的操作可以降低多维数据集的维度，可使人们将注意力集中在较少的维度下进行观察。,OLAP的分析方法(一)切片、切块,OLAP的分析方法(二)钻取,按时间维向下钻取,按时间维向上卷取,OLAP的分析方法(三)旋转,二、 维关系,1、维的层次关系 在OLAP应用中，经常涉及对维的层次关系分析。 这种不同层次关系的出现完全取决于用户的分析应用需

5、要以及对数据组织的详略要求。 有关维的层次信息需要存储在元数据中。,2、维的类关系 在OLAP的应用中，常常涉及对维成员的分类与归纳，即在查询中根据用户关于类别的要求对所有维成员进行分类，在分类的基础上归纳的共同特征或区别于其他类的特征。 在OLAP应用中，有的需要按照维的层次关系进行分析，有的需要按照维成员的类进行分析。这两种分析的操作是不同的。,3.1.2 联机分析的特性,1.OLAP特性 （1）快速性。用户对OLAP的快速反应能力有很高的要求。要求系统能在几秒钟内对用户的多数分析要求做出反应。 （2）可分析性。OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。尽管系统可以事先编程，

6、但并不意味着系统定义了所有的应用。,（3）多维性。多维性是OLAP的关键属性。系统能够提供对数据分析的多维视图和分析，包括对层次维和多重层次维的支持。事实上，多维分析是分析企业数据最有效的方法，是OLAP的灵魂。,（4）信息性。不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。 （5）共享性。共享性是在大量用户间实现潜在地共享秘密数据所必须的安全需求。,2. OLAP与OLTP的比较,OLAP主要是关于如何理解聚集的大量不同的数据。它与OLTP应用程序不同，OLAP包含许多具有复杂关系的数据项。OLAP的目的就是分析这些数据，寻找模式、趋势以及例外情况。

7、 联机分析处理是决策人员和高层管理人员对数据仓库进行信息分析处理。,OLTP,OLAP,数据库原始操作,数据库导出数据或数据仓库数据,细节性数据,综合性数据,当前数据,历史性数据,经常性更新数据,不可更新，但可周期性刷新数据,一次性处理的数据量少,一次性处理的数据量多,对响应时间要求高,响应时间合理,用户量大,用户量少,面向操作人员、支持日常操作,面向决策人员、支持管理需要,面向应用、事物驱动,面向分析、分析驱动,表3-1 OLTP与OLAP对比表,3. OLAP与数据仓库,在数据仓库中，OLAP和数据仓库是密不可分的，但是两者是不同的概念。 数据仓库是一个包含企业历史数据的大规模数据库，这些

8、历史数据要用于对企业的经营决策提供分析和支持。,数据准备区,数据仓库,OLAP服务器,图3-2 数据仓库与OLAP关系,业务处理系统,第三层,第二层,第一层,数据抽取,数据加载,多维化 处理,数据清理、转换,可视化处理,客户端,从OLAP使用的效率角度考虑，在设计数据仓库是应该考虑如下因素： （1）尽可能使用星型架构，如果采用雪花结构，就要最小化事实表底层维度表以后的维度表数量。 （2）为用户设计包含事实表的维度表，这些维度表应该包含有意义的、用户希望了解的信息。 （3） 维度表中不要出现无关的数据。,（4）事实表中不要包含汇总数据，事实表中所包含的用户需要访问的数据应该具有必需的粒度，这些数

9、据应该是同一层次的数据。 （5）对事实表和维度表中的关键字必须创建索引，同一种数据尽可能使用一个事实表。 （6）保证数据的参照完整性，是事实表中的所有数据都出现在所有的维度表中，避免事实表中的某些数据行在立方体进行聚集运算时没有参加过来。,3.1.3 联机分析准则,OLAP是介于客户与数据仓库之间的数据分析处理系统，它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三层客户/服务器结构。 这种三层客户/服务器的结构通常将数据仓库、OLAP服务器与客户端严格区分。,OLAP的准则(E.F.Codd 1993),准则1 : OLAP模型必须提供多维概念视图。 准则2 : 透明

10、性准则分析工具位置对用户透明。 准则3 : 存取能力准则开放、高效、异构。 准则4 : 稳定的报表功能报表能力和响应速度不应 有明显降低。 准则5 : 客户/服务器体系结构两层或三层C/S结构， 智能化服务。 准则6 : 维的等同性准则每一维在结构和操作功能 上等同。,OLAP的准则(E.F.Codd 1993),准则7 : 动态的稀疏矩阵处理准则OLAP服务器的物理结构 适用于特定的发现模式，能提供优化的稀疏矩阵处理 （有效存储数据）。 准则8 : 多用户支持能力准则并发访问、数据完整性、安全 性。 准则9 : 非受限的跨维操作所有维的生成、处理平等，能处 理维间相关计算。 准则10: 直观

11、的数据操纵数据操作直观易懂。 准则11:灵活的报表生成操作、分析、综合、查看数据按需 要依次排列。 准则12: 不受限维与聚集层次通用分析模型至少15个维， 任意定义聚集和聚集层次。,3.2 多维OLAP和关系OLAP,多维OLAP和关系OLAP是OLAP的两种具体形式。其中多维OLAP（Multi-dimension OLAP,MOLAP)是基于多维数据库存储方式建立的OLAP；关系OLAP（Relation OLAP,ROLAP)是基于关系数据库存储方式建立的OLAP。,3.2.1 MOLAP和ROLAP的概念,1. OLAP服务器 20世纪90年代出现了专用的OLAP服务器软件，OLAP

12、服务器包含了为企业用户预定义的超级立方体，从而能为具有明确的数据分析范围和分析要求的企业提供高性能的决策支持。,DBI,DBI,OLAP 服务器,客户端 软件,客户端 软件,OLAP数据库,图3-3 OLAP服务器结构,OLTP、ROLAP与MOLAP模式,ROLAP的星型模式(Star Schema),Budget,事实表：用来存储事实的度量值和各个维的码值。 维 表：用来存放维的元数据（维的层次、成员类别等描述信息）。,MOLAP的多维立方体(Multicube),数据组织形式,RDB数据组织 - MDDB数据组织 - 关系表中综合数据的存放 多维数据库中综合数据的存放,2.MOLAP,当

13、由逻辑设计或信息模型驱动时，MOLAP设计和设置的基本步骤如下： （1）功能选择。 （2）指明数字信息。 （3）确定维以及每一维的粒度。 （4）定义逻辑模型并装载多维数据存储，这可以直接从数据源中获得，也可以过滤并匹配数据仓库数据。,MOLAP可提供的主要功能包括： （1）对内涵查询的快速响应，只有快速响应才能保证分析和思考的过程。 （2）与多维数据库进行交互，使其支持预测、预先计划、进行预算等应用。 （3）挖掘各维元素或信息间丰富的联系，以发现其中微妙的关系。 （4）强大的计算和比较分析。,（5）交叉维计算。 （6）综合统计和财务功能。 （7）灵巧时间，日期中的年、当前时刻、财务或内部的日历

14、等。 （8）具有查询数据仓库中底层细节数据的能力。 （9）沿单维或多维处理的基准点、表格、细剖和统览以及其他强有力的导航功能。,MOLAP应用多维数据存储方式的管理员和系统管理员需要具有的能力包括： （1）选择恰当的模型和粒度来初始化模型，预测数据访问的方式；选择合适的过滤器来装载源于数据仓库的数据等。 （2）在数据装载过程中的聚集、概括和预计算能力。 （3）用专用语言书写应用程序，以便扩充和增强多维数据库的标准前后端。,应用多维数据存储方式时可能遇到的问题有： （1）所支持的多维数据库的尺寸小于关系数据库的尺寸。这时可利用稀疏矩阵技术来节省空间，其副作用是增加了操作。 （2）按粒度的级别（概

15、括的、聚集的、预计算和派生的数据）来存储数据会带来副作用（如细剖无法达到细节数据级）。,（3）高层次级别的数据具有访问和安全性控制，但没有基于使用的权限和子集级的访问控制。 （4）维结构的改变需要重组多维数据库，常用的备份和恢复功能会受限。 （5）因需要特定的前后端会限制选择但在扩充多维数据库的前后端后，又会导致它不能移植至另一多维数据库。,3.ROLAP,ROLAP是基于关系数据库的OLAP技术，它具有如下特征： （1）有很强的SQL生成器。 （2）对目标数据库和SQL进行优化。 （3）通过元数据指导查询。 （4）有区分客户、服务器及中间件的能力。,ROLAP开始的设计和设置是按技术数据库设

16、计的方式来驱动的，它遵循以下基本步骤： （1）利用星型模式、雪花模式、混合模式等技术来构造维模型。 （2）添加适当的聚集和概括数据。 （3）把大的数据库分解成可管理的部分以提高效率。 （4）添加生成的索引或位模式索引来增强功能。 （5）生成并存储元数据。,从运行角度来看，执行查询的步骤如下： （1）利用数据的应用视图或维视图来构造客户工具。 （2）从客户工具查询OLAP并实时检查元数据。 （3）创建多种SELECT语句和/或相关子查询，并把它们提交给关系数据库。 （4）在数据库查询结果上完成多维功能。 （5）将结果返回给客户工具以便进一步处理和显示， 或者立即进行显示。,提供给用户和管理员的主

17、要功能有： （1）关系数据的商业视图。 （2）维层次支持。 （3）计算、统计和财会功能，它们都可由用户扩充。 （4）细列细节层次。 （5）选择前、后端工具。 （6）数据库管理员可以增强已有的备份和恢复功能，并可提供数据库的子集来进行个别地分析。 （7）利用元数据导航。 （8）具有使用权限的多级安全性控制。,ROLAP与MOLAP比较,ROLAP优势 没有大小限制 现有的关系数据库的技术可以沿用. 可以通过SQL实现详细数据与概要数据的存储 现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL 的OLAP扩展(cube,rollu

18、p)等大大提高ROALP的速度 支持维的动态变化,MOLAP优势 受操作系统平台中文件大小的限制，难以达到TB 级(只能1020G) 增加系统复杂度，增加系统培训与维护费用 专为OLAP所设计 支持高性能的决策支持计算，复杂的跨维计算。,ROLAP与MOLAP比较(续),ROLAP缺点 一般比MDD响应速度慢 不支持有关预计算的读写操作 SQL无法完成部分计算 无法完成多行的计算 无法完成维之间的计算,MOLAP缺点 性能好、响应速度快 需要进行预计算，可能导致数据爆炸 无法支持维的动态变化 缺乏数据模型和数据访问的标准,3.3 OLAP服务器及其工具评价,目前，市场上所提供的OLAP工具很多

19、，为了能在OLAP的设计应用中选择适当的产品，必须从OLAP所具有的功能、访问性能、引擎功能和管理能力等方面对OLAP工具进行评价。,3.3.1 OLAP服务器和工具的评价标准,一般地说，OLAP服务器和工具的评价标准具体包括如下方面。 （1）OLAP功能。OLAP作为一种数据分析技术，主要通过对现有的数据进行计算、转换产生新的信息，并显示给用户。这就要求OLAP能够完成这样一些功能：支持多维数据集中的维与层次，能沿某个维或一组维进行数据的聚集、汇总、预计计算和派生；能对某个维或一组维提供计算逻辑、公式和分析例程进行某种形式的操作；能够实现从一个维到另一个维的转换；能进行交叉维的计算，如在不同

20、维之间进行成本分配，,或在电子表格中按照不同维进行损益表的计算；能提供强大的分析模型，包括对选中维及维的元素的逻辑、公式、分析例程、聚集数据汇总数据和派生数据等，如在给定财务数据上计算内部回报率的财务模型；能够提供大量的函数，如财务、统计、代数、市场等各种函数；能够提供强大的计算和逻辑比较能力，如对数据的分级、比较、归类、百分比、极值、均值等；具有智能化的与时间相关的处理，如按照给定时间段的日历安排；能够提供强大的导航分析，可以沿单个或多个维的轴、交叉表进行浏览或钻取。,（2）访问性能 作为由广大管理人员组成的OLAP用户，在使用OLAP时希望得到多种访问数据工具的选择，能够将广大用户所熟悉的

21、访问工具融合进OLAP。这些选择可能包含： A.电子表格，作为常用的电子表格Excel已经被相当多的用户所认可，因此，在OLAP中至少应该提供将数据加载电子表格的功能，以满足用户将从OLAP所获取的数据移作他用。,B.在OLAP中有一些经常性用户，他们往往需要进行一些特定的应用，如果能够向这些用户提供功能丰富的、满足他们特定要求的、私有客户工具，无疑将增强OLAP的功能。 C.能否与第三方工具结合，主要是指能否通过API将用户比较熟悉或功能更加强大的第三方工具加入OLAP，以完成用户的需求。 D.能否提供一些接口，如，VB, Pb, VC等应用环境，或OLE，DDE，CORBA等接口，也是衡量OLAP工具访问性能的一个评价标准。,（3）管理能力 OLAP并不像一般的业务操作系统，用户对其提出了强大的处理功能与便捷的使用要求，这必然要求OLAP能够提供有力的管理工具。这些管理工具应该具有