数据仓库OLA技术

1/15/2023大数据培训-数据仓库olap技术模型讲师：杨勇2015年7月电话：1/15/2023议题OLAP技术简介OLAP技术简介OLAP分析方法小结1/15/2023OLAP技术简介OLAP发展背景及定义OLAP相关基本概念OLAP基本特征OLAP多维数据结构OLAP多维数据分析方法OLAP分类OLAP评价准则OLAP新的发展特征OLAP工具在移动业务分析中是否能发挥作用，为什么？1/15/2023发展背景（一）60年代，关系型数据库之父E.F.Codd提出了关系模型，促进了OLTP（OnLineTransactionProcessing，联机事务处理）模型的发展。1993年，E.F.Codd提出了OLAP（OnLineAnalyticalProcessing联机分析处理）概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。OLAP技术简介1/15/2023发展背景（二）OLAP技术简介OLTP数据OLAP数据原始数据导出数据细节性数据 综合性和提炼性数据当前值数据历史数据可更新不可更新，但周期性刷新一次处理的数据量小一次处理的数据量大面向应用，事务驱动面向分析，分析驱动面向操作人员，支持日常操作面向决策人员，支持管理需要从数据角度看，OLTP系统与OLAP系统的主要差异如下：1/15/2023OLAP定义OLAP技术简介定义1：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。定义2：OLAP(联机分析处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)。OLAP的目标：满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合1/15/2023OLAP的相关基本概念OLAP技术简介维（Dimension）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维（时间维、地理维等）

。维的层次（Generation，Level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。维的成员（Member）：维的一个取值。是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）多维数组：维和变量的组合表示。一个多维数组可以表示为：（维1，维2，……，维n，变量）。（时间，地区，漫游类型，通话费）数据单元（Cell）：多维数组的取值。（2000年1月1日，上海，国际漫游，通话费XXXX元）1/15/2023OLAP的基本特征OLAP技术简介快速性：用户对OLAP的快速反应能力有很高的要求。系统对用户的大部分分析要求的响应速度应该为秒级。

可分析性：OLAP系统能处理与应用有关的任何逻辑分析和统计分析。多维性：多维性是OLAP的关键属性。系统提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且具有管理大容量信息的能力1/15/2023OLAP的多维数据结构OLAP技术简介超立方体结构：超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。多立方体结构：即将超立方结构变为子立方结构。面向某一特定应用对维进行分割,它具有很强的灵活性,提高了数据（特别是稀疏数据）的分析效率。1/15/2023OLAP分类（一）OLAP技术简介MOLAP（MultidimensionalOnLineAnalyticalProcessing）

：数据以多维方式存储，每一个数据单元（Cell）都可以通过维度的定位直接访问。db2ROLAP（RelationalOnLineAnalyticalProcessing）：数据存放于关系型数据库中，用户的多维查询请求由ROLAP引擎处理为SQL查询，结果以多维方式呈现。oracleHOLAP（Hybridonlineanalyticalprocessing）：MOLAP与ROLAP的结合形式，兼具MOLAP的查询效率高和ROLAP的存储效率高的优点，预存储按照存储类型，OLAP可以分为以下三种类型：12/31/2022OLAP分类（（三））OLAP技技术简简介以多维维立方方体和和预计计算来来存储储，实实际数数据的的稀疏疏分布布以及及预计计算是是导致致MOLAP空空间急急剧膨膨胀的的主要要因素素。MOLAP的逻逻辑存存储模模型：：XXXXX12/31/2022OLAP分类（（二））OLAP技技术简简介ROLAP存储储模式式：ROLAP数据以以星型型模式式（StarSchema）或或雪花花型模模式存存储：：事实表：用用来存储事事实的度量量值和各个个维的码值值。。维表：用来来存放维的的元数据（（维的层次次、成员类类别等描述述信息）。Time_idSalesTableDiscount%DollarsUnits"FactTable"Market_idProduct_idScenarioProduct_idProductTableSizeBrandProduct_Desc"DimensionTable"Time_idYearQuarterPeriod_DescPeriodTable"DimensionTable"ScenarioTableActualProfitScenario"DimensionTable"Market_idMarketTableRegionDistrictMarket_Desc"DimensionTable"12/31/2022OLAP分类（四））OLAP技技术简介没有大小限限制。（因因为StarSchema本身不需需要额外的的存储空间间）。现有的关系系数据库的的技术可以以沿用。可以通过SQL实现现详细数据据与概要数数据的存储储。现有关系型型数据库已已经对OLAP做了了很多优化化，包括并并行存储、、并行查询询、并行数数据管理、、基于成本本的查询优优化、位图图索引、SQL的的OLAP扩展（cube，，rollup）等等大大提高高ROALP的速度度ROLAP的优势：性能好、响响应速度快快。专为OLAP所设计计。支持高性能能的决策支支持计算。。MOLAP的优势：：12/31/2022OLAP分类（五））OLAP技技术简介比MOLAP响应速速度相差极极远。不支持有关关预计算的的读写操作作。SQL无法法完成部分分计算。ROLAP的缺点：：增加系统复复杂度，增增加系统培培训与维护护费用。需要进行预预计算，可可能导致数数据急剧膨膨胀。支持维的动动态变化比比较困难。MOLAP的缺点：：12/31/2022OLAP分类（六））OLAP技技术简介ROLAPArchitecture：SQLResultSetInfo.RequestResultSetDatabaseServer

RDBMSFront-endToolROALPArchitectureROLAPServerMetadataRequestProcessing12/31/2022OLAP分类类（（七七））OLAP技技术术简简介介MOLAPArchitecture：：Info.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolMOALPArchitectureMOLAPServerMetadataRequestProcessing12/31/2022OLAP分类类（（八八））OLAP技技术术简简介介MOLAPArchitecture：：SQLResultSetInfo.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolHybridArchitectureMOLAPServerIntegrationServerInfo.Request12/31/2022OLAP的多多维维数数据据分分析析方方法法简简介介（（一一））OLAP技术术简介切片和切块(SliceandDice)：在确定某些维维数据的确定定情况下对其其他维进行观观察，在多维数据结结构中,按二维进行行切片,按三三维进行切块块,可得到所所需要的数据据。如在“城城市、时间、、漫游”三维维立方体中进进行切块和切切片,可得到到各城市、各各漫游类型的的费用情况。钻取(Drill)：在一个维内沿沿着从高到低低或者从低到到高的方向考考察数据，钻取包含向下下钻取（Drill-down））和向上钻取取（Drill-up））/上卷卷（Roll-up）操操作，钻取取的深度与维维所划分的层层次相对应。。旋转(Rotate)/转转轴(Pivot):通过旋转可以以得到不同视视角的数据，，按不同的顺顺序组织维，，对结果进行行考察穿透：是指从多维数数据库向关系系型数据库读读取明细数据据OLAP的三种基本分分析手段：多维视图12/31/2022时间地区漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一个特定定的维时间维，包括括每一个地区区漫游业务量量钻取到下面的的层次来考察察详细情况OLAP的多多维数据分析析方法简介（（二）：钻取取OLAP技术术简介12/31/2022时间地区漫游按照不同的顺顺序组合维，，对数据进行行考察OLAP的多多维数据分析析方法简介（（二）：旋转转OLAP技术术简介地区漫游时间12/31/2022OLAP的的多维维数据据分析析方法法简介介（三三）：：切片片、切切块OLAP技技术简简介AdHocViewRegionalMgr.ViewProductMgr.ViewTImeMgr.ViewPRODUCTregionTIMESALES12/31/2022OLAP的的多维维数据据分析析方法法简介介（四四）：：穿透透OLAP技技术简简介关系型型数据据库12/31/2022OLAP分类的的评价价标准准OLAP技技术简简介OLAP模模型必必须提提供多多维概概念模模型。。透明性性准则则，存存储无无法清清除。。存取能能力准准则。。稳定的的报表表性能能客户/服务务器体体系结结构维的等等同性性准则则，按按照维维度存存储动态稀稀疏矩矩阵处处理准准则：：dense,sparse多用户户支持持能力力准则则,并并行非受限限的跨跨维操操作，，多cube,多数数据库库的关关联查查询灵活的的报表表生成成非受限限的维维与维维的层层次12/31/2022OLAP技技术术发展展新新特特征征OLAP技技术术简简介介聚集集存存储储数数据据库库(AggregateStorageDatabase)：：支持持聚聚集集存存储储数数据据库库（（由由新新的的聚聚集集存存储储核核心心提提供供））实实现现了了在在数数据据库库聚聚集集时时间间和和维维度度可可量量测测性性两两方方面面的的动动态态可可量量测测性性的的提提高高。。聚聚集集存存储储数数据据库库典典型型只只满满足足只只读读，，“机架架堆堆叠叠”具有有大大量量维维度度的的应应用用聚聚集集数数据据可可以以同同时时满满足足读读取取和和计计算算存储储高高效效性性能能，，存存储储量量很很小小存储储高高效效性性和和读读取取效效率率可可以以取取得得平平衡衡点点预计计算算可可以以在在数数据据读读取取是是进进行行，，也也可可以以预预处处理理计计算算节节点点12/31/2022OLAP在日常常分析中中随处可可见KPI展示EIS多维分析数据挖掘OLAP使用分分析思路路（二））12/31/2022OLAP分析方方法的应应用主题分析析数据挖掘掘应用报表KPI专题分析析经营分析析、决策策支持系系统平台台工具APIOLAP…挖掘技术OLAP分析…SQLOLAP分析…SQLOLAP分析…SQL、挖掘OLAP分析…OLAP分析方方法12/31/2022OLAP分析独立个人分析基础应用分析专题分析应用OLAP分析案案例讲解解思路（（一）12/31/2022时间基础使用案例验证问题发现问题寻找答案综合使用分析之独立分析主题独立完成分析需求组织数据数据分析分析报告OLAP分析使使用使用现有有系统独立完成成集成商的辅助之下分析需求组织数据形成方案，形成分析方法综合使用之专题分析OLAP分析使使用思路路（二））在集成商商参与下下合作完完成12/31/2022OLAP分析析案例讲解思思路（一）。。。。。PPT、EXECEL工具数据挖掘技术报表，前端工具使用数据库sql专题分析独立业务分析析AnalysisProjectExecutingOlap分析方法12/31/2022议题OLAP技术简介OLAP分析析方法小结OLAP分析析方法小结12/31/2022OLAP分析析课程要点1.OLAP技术的简单单介绍2.OLAP的基础分析析案例3.OLAP的综合分析析案例，包括括套餐专题和和世界风分析析4.OLAP分析的重要要性5.不要孤立立的使用OLAP分析6.OLAP分析是经营营分析系统或或者是数据仓仓库系统中众众多分析方法法中的一种7.作为一个个好的分析员员，应该可以以综合使用各各类分析方法法完成相应的的分析12/31/2022OLAP分分析独立个人分析基础应用分析专题分析应用OLAP分分析方法简简介12/31/2022发现现问问题题验证证问问题题解决决问问题题OLAP基基础础使使用用案案例例分分析析旋转转切片片、、切切块块下钻钻、、上上卷卷OLAP分分析析技技术术穿透透寻找找答答案案OLAP