第4章_联机分析处理(OLAP)new

徐俊刚（xujg),数据仓库,2009年9月2009年11月,OLAP定义和特性OLAP多维数据结构OLAP主要分析方法OLAP分类OLAP体系结构OLAP评价准则OLAP前端展现OLAP主要工具OLAP发展及展望,联机分析处理,第4章,OLAP定义和特性,发展背景上世纪60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，他认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询已不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而OLTP查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。,OLAP定义和特性,支持管理需求,支持日常操作,一次操作数据量大,一次操作数据量小,面向分析,面向应用,分析驱动,事务驱动,一个时刻操作一组数据,一个时刻操作一个单元,对性能要求宽松,对性能要求高,完全不同的生命周期,生命周期符合SDLC,操作需求事先不知,操作需求事先可知道,不可更新，只读的,可更新,代表过去的数据,在存取瞬间是准确的,综合的，或提炼的,细节的,分析型处理数据,事务型处理数据,OLAP定义和特性,定义1OLAP(OnlineAnalyticalProcessing)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。定义2OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。,OLAP定义和特性,相关概念维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维(时间维、地理维等)。维的级别（层次）：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。维的成员：维的一个取值。是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述)多维数组：维和变量的组合表示。一个多维数组可以表示为：(维1，维2，维n，变量)。(时间，地区，产品，销售额)数据单元(单元格)：多维数组的取值。(2000年1月，上海，笔记本电脑，$100000),4月份我在北京卖掉了价值十万美元的可乐,一个例子,OLAP定义和特性,OLAP定义和特性,快速性用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。可分析性OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。共享性共享性是指多个用户可以共享同一OLAP数据。多维性多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。信息性不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得指导性的信息，并且管理大容量信息。,OLAP多维数据结构,超立方结构(Hypercube)超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。这种结构可应用在多维数据库和面向关系数据库的OLAP系统中，其主要特点是简化终端用户的操作。收缩超立方结构。超立方结构的一种变形这种结构的数据密度更大,数据的维数更少,并可加入额外的分析维)。多立方结构(Multicube)即将超立方结构变为子立方结构。面向某一特定应用对维进行分割,它具有很强的灵活性,提高了数据(特别是稀疏数据)的分析效率。,OLAP多维数据结构,两者的实际使用情况一般来说，多立方结构灵活性较大，但超立方结构更易于理解。终端用户更容易接近超立方结构，它可以提供高水平的报告和多维视图。但具有多维分析经验的MIS专家更喜欢多立方结构，因为它具有良好的视图翻转性和灵活性。多立方结构是存储稀疏矩阵的一个更有效方法，并能减少计算量。因此，复杂的系统及预先建立的通用应用倾向于使用多立方结构，以使数据结构能更好地得到调整，满足常用的应用需求。许多OLAP工具结合了上述两种结构，它们的数据物理结构是多立方结构，但却利用超立方结构来进行计算，结合了超立方结构的简化性和多立方结构的旋转存储特性。,OLAP主要分析方法,切片(Slice)定义1：在多维数组的某一维上选定一个取值，则多维数组就从n维降为n-1维，我们称多维数组的子集（维度1，维度2，维成员Vi，维度n，度量）为多维数组在维度i上的切片（Vi表示维度i的维成员）定义1中，一次切片一定使原来维数减1，因此所得切片结果并不一定是二维的“平面”，切片结果维数取决于原来的多维数组的维数。这个定义不够通俗，还有另外一个定义定义2：选定多维数组中两个维：维i和维j，在这两个维上取一区间或者任意的维成员，而将其他维都分别取定一个维成员的动作，称为多维数组在维i和维j上的一个切片。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市（如上海、广州）、各产品（如电视机、电冰箱）的销售情况。,OLAP主要分析方法,切块(Dice)定义1：将多维数组的某一维上的取值设定为一个区间（如时间维的1999-2004年）的维成员的动作，称为切块。显然，当这一区间只取一个维成员时，即得到一个切片。定义2：选定多维数组中三个维：维i、维j和维k，在这三个维上取一区间或者任意的维成员，而将其他维都分别取定一个维成员的动作，称为多维数组在维i、维j和维k上的一个切块。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市（如上海、广州）、各产品（如电视机、电冰箱）的销售情况。,OLAP主要分析方法,OLAP主要分析方法,钻取(Drill)维度是有级别（层次）的，如时间维可能由年、月、日构成。维度的层次反映了数据的综合程度。层次高，代表数据综合程度高，细节数据少，数据量也少；层次低，代表数据综合度低，细节数据多，数据量大。钻取包括向下钻取（Drill-down）/下卷（Roll-down）、向上探取（Drill-up）/上卷（Roll-up）向下钻取是从汇总数据深入到细节数据进行观察向上探取是在某一维上降低层次的数据概括到高层次的汇总数据。钻取的深度与维所划分的层次相对应。,OLAP主要分析方法,OLAP主要分析方法,按时间维向下钻取,按时间维向上钻取,60,OLAP主要分析方法,OLAP主要分析方法,旋转(Rotate)旋转是改变维度的位置关系，通过转转可以得到不同视角的数据。旋转可能交换行和列，也可能是在维度层次之间进行交换。,时间维,产品维,行列交换,产品维,时间维,（a）,时间维,产品维,地区维,时间维,地区维,产品维,旋转以改变页面显示,（b）,OLAP主要分析方法,OLAP主要分析方法,OLAP分类,按存储方式（数据组织方式）分类ROLAP:RationalOLAP,关系OLAPMOLAP:MultidimensionalOLAP,多维OLAPHOLAP:HybridOLAP,混合OLAP按分析动作处理地点分类ServerOLAP:服务器OLAPClientOLAP:客户机OLAP,OLAP分类,OLAP分类,定义ROLAP表示基于关系数据库的OLAP实现（RelationalOLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字。另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模式”。星座模型和雪暴模型：有多个事实表的星型模型和雪花模型,OLAP分类,星型模型是是关系数据库和数据立方体之间的桥梁,OLAP分类,OLAP分类,又称星座模型,OLAP分类,OLAP分类,OLAP分类,定义MOLAP表示基于多维数据组织的OLAP实现（MultidimensionalOLAP）。以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。多维数据在存储中将形成“立方块（Cube）”的结构,在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。,OLAP分类,OLAP分类,OLAP分类,RDB数据组织MDDB数据组织关系表中综合数据的存放,多维数据库中综合数据的存放,OLAP分类,定义HOLAP是以上两种OLAP的混合实现（HybirdOLAP）。HOLAP的数据组织采用混合数据组织，如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。,ROLAP优势没有大小限制现有的关系数据库的技术可以沿用.可以通过SQL实现详细数据与概要数据的存储现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等，大大提高了ROALP的速度,MOLAP优势性能好、响应速度快专为OLAP所设计支持高性能的决策支持计算复杂的跨维计算多用户的读写操作行级的计算,OLAP分类,ROLAP缺点一般比MDD响应速度慢不支持有关预计算的读写操作SQL无法完成部分计算无法完成多行的计算无法完成维之间的计算,MOLAP缺点增加系统复杂度，增加系统培训与维护费用受操作系统平台中文件大小的限制，难以达到TB级(只能1020G)需要进行预计算，可能导致数据爆炸无法支持维的动态变化缺乏数据模型和数据访问的标准,OLAP分类,OLAP体系结构,三层结构数据仓库，实现与基层业务系统数据库系统的连接，完成企业级数据一致和共享工作。OLAP服务器，根据最终用户的请求实现分解成OLAP分析的各种分析动作，并使用数据仓库中的数据完成者先动作。前端展现工具，将OLAP服务器处理得到的结果用直观的方式，如多维报表、饼图、柱状图、三维图形等展现给最终用户,OLAP体系结构,DBMS,OLAP体系结构,DBMS,OLAP体系结构,DBMS,准则1OLAP模型必须提供多维概念模型准则2透明性准则准则3存取能力准则准则4稳定的报表性能准则5客户/服务器体系结构准则6维的等同性准则准则7动态稀疏矩阵处理准则准则8多用户支持能力准则准则9非受限的跨维操作准则10直观的数据处理准则11灵活的报表生成准则12非受限的维与维的层次,OLAP评价准则,OLAP评价准则,OLAP评价准则,OLAP评价准则,客户机/服务器结构C/S结构。客户机上用Window界面的应用程序。基于OLAP工具开发客户端，如Brio。浏览器/服务器结构B/S结构。客户端采用Web浏览器作为展现的平台。浏览器有很好的跨平台特性。大多数展现工具都支持这种结构，都有Web发布机制。瘦客户机方式瘦客户机系统中的多维数据库不存储在客户端，而是存储在OLAP服务器中，网络传输的只是经过分析处理后的结果。减轻了客户端的负担。被普遍采用。,OLAP前端展现,多维报表饼图直方图柱状图曲线图切片和切块旋转地图,OLAP前端展现,OLAP主要工具HyperionBI（Essbase&Brio）OracleExpressIBMDB2OLAPServerSybasePowerdimensionMicrosoftPlatoCognosBusinessObjectMicroStrategy,OLAP产品涉及的业务操作由外部或内部数据源批量装入数据由业务系统增量装入数据沿数据层次汇总数据对基于业务模型的新数据进行计算时间序列分析高复杂的查询沿数据层次细化分析随机查询多个联机会话(多用户同时访问),OLAP主要工具,HyperionEssbase以服务器为中心的分布式体系结构有超过100个的应用程序有300多个用Essbase作为平台的开发商具有几百个计算公式，支持多种计算用户可以自己构建复杂的查询。快速的响应时间，支持多用户同时读写有30多个前端工具可供选择支持多种财务标准能与ERP或其他数据源集成全球用户超过1500家,OracleExpressOracleDW支持GBTB数量级采用类似数组的结构，避免了连接操作，提高分析性能提供一组存储过程语言来支持对数据的抽取用户可通过Web和电子表格使用灵活的数据组织方式，数据可以存放在ExpressServer内，也可直接在RDB上使用有内建的分析函数和4GL用户自己定制查询全球超过3000家,OLAP主要工具,OLAP应用领域市场和销售分析(MarketingandSalesanalysis)电子商务分析(e-commerceanalysis)基于历史数据的营销(HistoricalDatabasedmarketing)预算(Budgeting)财务报告与整合(Financialreportingandconsolidation)管理报告(Managementrepor