OLAP联机分析处理入门培训

联机分析处理(OLAP)培训

讲师：楚东哲系统技术处一、OLAP的概念与提出二、OLAP多维数据模型三、OLAP的分类四、OLAP的简单实现五、OLAP的十二准那么什么是OLAP? On-LineAnalyticalProcessing，联机分析处理，是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是"维"这个概念。2.OLAP的提出1993年，提出了OLAP概念，认为OLTP〔On-LineTransactionProcessing，联机事务处理〕已不能满足终端用户对数据库查询分析的需要。决策的分析需要对关系数据库进行大量计算才能得到结果，而简单的查询的结果并不能满足决策者提出的需求。因此，提出了多维数据库和多维分析的概念，即OLAP。OLAP概念与提出关系数据库满足了联机事务处理〔OLTP〕的要求存在着大量的分析型应用——RDB无法适应应用角度：要求对大量的数据从各个角度进行综合分析〔多维分析〕

技术角度：SQL已经不能很好的适应分析应用需求查询效率〔响应时间〕SQL本身的限制，尤其对时间的限制例如:用SQL查询来按地区求出产品的总销量，或按品名求出产品在各地区的销量总和，就需要涉及对销量数据库中大局部数据记录的检索和处理，需要花数小时才能完成。而一个OLAP数据库效劳器能够在几秒钟内完成这种查询。典型分析应用：对一些统计指标〔销售金额〕从不同角度〔维〕〔时间、地区、商品类型〕从不同级别〔层次〕〔地区：县、地市、省、大区〕OLAP概念与提出存取工作单位DB大小RDB读/写数十条记录简单的事务100MB-GBOLAP读上百万条记录复杂的查询100GB-TBOLAP与OLTP区别OLAP所用数据来源于OLTP数据库

进行了预综合和多维化处理OLAP更强调界面的可视化和灵活性

可视化：多维报表、饼图、柱状图、折线图OLAP应用举例1.不同时间段的比较〔同期比〕各种商品本周〔本月、本年〕的销售状况与以往相比，有何变化？今后趋势？2.排序和统计分类〔TopN和BottomN〕统计每天销售量、销售额和利润最高的10个商场3.客户特定的即席分析〔市场分割、即席分组的情况〕按照季度统计一下东北地区前四个季度的收入情况OLAP概念与提出一、OLAP的概念与提出二、OLAP多维数据模型三、OLAP的分类四、OLAP的简单实现五、OLAP的十二准那么多维数据模型定义举例组成 a.维 b.事实〔度量〕c.数据立方体

多维数据模型多维数据模型1.又称多维概念视图，通常用Cube表示。2.可以更加直观的表示现实中的复杂关系。3.根本组成：维、度量〔变量、指标〕举例：计算每一个商场、每种产品的销售额Product关系表与多维Cube维度〔Dimension〕维层次路径、维层次、维成员〔维实例〕、维层次属性事实〔Fact〕度量〔measure〕数据立方体〔Cube〕数据单元〔cell〕多维数据模型的组成维：对数据进行分类的一种结构，以用于从特定的角度观察数据。 〔例如：地区、时间、产品〕维的两个用途选择针对期望详细程度的层次的数据分组对细节数据综合〔聚集〕到相应的详细程度的数据层次。维的组织方式：维层次路径〔Hierarchy〕维层次路径由代表不同详细程度的维层次〔Level〕组成。维的层次：特定角度的不同细节程度。维度维层次中包含维成员〔DimensionValues〕，维成员树1.维的一个取值〔称为该维的一个成员)，每一个维成员属于某一个特定的维层次。 例如：时间维：三个层次，日、月、年，维成员：1999年5月20日、1999年5月、1999年。维成员是数据在该维上的位置描述 例如：1999年5月20日销售额表示销售额数据在时间维上的位置 〔相当于时间轴上的某一点或某一区间〕 2.不同维层次的取值的组合〔对多层次情况〕，例如：5月20日维层次属性〔Attributes〕：维层次上的属性描述，例如产品的“规格”、“颜色”、“销地”、“产地”…

维度维层次关系

定义维层次的聚集和钻取关系为什么需要维层次关系？

如果不支持层次关系，将会增加维的数目，变成非常“稀疏”的状况。维成员属性维成员属性：维成员的描述属性，维成员的“类”按一定的划分标准对维成员全集的一个分类〔划分〕划分：即把全集分成了假设干子集各子集的和〔并〕集等于全集子集间的交集为空划分标准一般是实体〔维成员〕的属性〔特征〕，称为类属性。例如产品的“规格”、“颜色”、“产地”、“销地”…一个类属性对应一个划分；不同类属性，得到不同类划分类划分一类划分二事实〔度量〕度量〔指标〕：数据的实际意义，一般是一个数值度量指标，例如：销售额，销 售量等，而具体数据〔如“10000”〕那么是变量的一个值。事实：存储一个多维数据。表达期望分析的主题〔目的、感兴趣的事情、事件或者指标等〕具有一定的粒度，粒度的大小与维层次无关一个事实中通常包含一个或多个度量一个度量的两个组件数字型指标聚集函数

Cube按照一定维层次结构和度量〔事实〕的逻辑上的组织其逻辑上相当于一个多维数组Cube数据单元多维数组：一个多维数组表示为：〔维1，维2，...，维n，变量〕例如：〔时间、地区、销售渠道、销售额〕可扩展维数：如〔时间、地区、销售渠道、商品类型、销售额〕数据单元〔单元格〕：多维数组的取值可表示为：〔维1维成员，维2维成员，...，维n维成员，变量的值〕例如：〔1997年1月，北京，批发，10000〕多维分析的根本分析动作切片〔Slice〕从多维数组选定一个二维子集，切出一个“平面”切块〔Dice〕从多维数组选定一个三维子集，切出一个“立方体”旋转〔Pivot〕改变一个报告〔或页面〕显示的维方向钻取〔Roll-up&Drill-down〕根据维层次，改变维的粒度

切片的定义定义1：在多维数组的某一维上选定一个维成员，即从n维数组选取n-1维子集，设多维数组〔维1，维2，…，维n，变量〕，在维i上，选定维成员Vi。那么：多维数组的n-1维子集〔维1，…维i-1,维成员Vi，维i+1，…，维n，变量〕为在维i上的一个切片。切块的定义定义1：在多维数组的某一维上选定某一区间的维成员，即限制某一维的取值空间。切片是切块的特例，即限制的取值区间只取一个维成员。切块可看做由多个邻接的切片迭合而成例如：多维数组〔地区、时间、产品、销售额〕在时间维上选定一个区间：“1997年1月到1997年10月”得：〔地区，“1997年1月到1997年10月”，产品，销售额〕为一个切块。旋转的定义旋转：改变一个报告或页面显示的内容。a.把一个横向为时间，纵向为产品的报表旋转成为横向为产品纵向为时间的报表。b.把一个纵向为时间、产品横向为地区的报表旋转为纵向为产品横向为时间、地区的报表。钻取操作2009-1112345678…Sale891357798286355170105…2009/Quarter4OctoberNovemberDecemberSale3000285032502009Quarter1Quarter2Quarter3Quarter4Sale50007000800010000Year20092010Sale3000040000钻取操作向上钻取向下钻取OLAP的其他操作DrillThrough〔穿透〕钻取操作的进一步衍生，尤其对于ROLAP模式，直接得到最底层的详细数据，数据通常以关系表的形式存在。Ranking〔排序〕

对数据单元的度量取值进行排序，获得top/bottom的假设干数据取值。一、OLAP的概念与提出二、OLAP多维数据模型三、OLAP的分类四、OLAP的简单实现五、OLAP的十二准那么OLAP分类OLAP有多种实现方法，根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP按照存储方式OLAPMOLAPHOLAPROLAP按照处理地点ClientOLAPServerOLAPROLAPROLAP〔RelationalOLAP〕表示基于关系数据库的OLAP实现。以关系数据库为核心,以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表:事实表:用来存储数据和维关键字;维表:对每个维至少使用一个表来存放维的层次、成员类别等信息。事实表和维表通过主键和外键联系在一起，形成了“星型模式”。对于层次复杂的维，可以使用多个表来描述，将“星型模式”扩展为“雪花模式”。ROLAP星形模式Time_idSalesTableDiscount%DollarsUnits"FactTable"Market_idProduct_idCustomer_idProduct_idProductTableSizeBrandProduct_Desc"DimensionTable"Time_idYearQuarterPeriod_DescPeriodTable"DimensionTable"Customer

TableNameProfitCustomer_id"DimensionTable"Market_idMarketTableRegionDistrictMarket_Desc"DimensionTable"ROLAP体系结构SQLResultSetInfo.RequestResultSetDatabaseServer

RDBMSFront-endToolROALPArchitectureROLAPServerMetadataRequestProcessingGraphicshowMOLAPMOLAP〔MultidimensionalOLAP〕表示基于多维数据组织的OLAP实现，使用多维数组存储数据。多维数据在存储中将形成“立方块〔Cube〕”的结构。在MOLAP中对"立方块"的"旋转"、"切块"、"切片"是产生多维数据报表的主要技术。MOLAP体系结构SQLResultSetInfo.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolMOALPArchitectureMOLAPServerMetadataRequestProcessingGraphicshowHOLAPHOLAP表示基于混合数据组织的OLAP实现〔HybridOLAP〕。底层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。HOLAP体系结构

ResultSetSQLQuerySQLResultSetInfo.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolHybridArchitectureMOLAPServerGraphicshow一、OLAP的概念与提出二、OLAP多维数据模型三、OLAP的分类四、OLAP的简单实现五、OLAP的十二准那么承德建龙2010年毛利与销量统计写入数据库idmonthproductcompanysalespricecostprofit001142CrMo承德建龙2965397235484240021GCr15承德建龙273836873270416003155#承德建龙122434453054391004140Mn2承德建龙97535173260257005127SiMn承德建龙92633633117246006120CrTiMn承德建龙1506035853453132007145#承德建龙2047133473225122008140Cr承德建龙1548334273306120009120#承德建龙211931943206-12010242CrMo承德建龙181140013820182011237Mn2承德建龙99036413522119012335CrMo承德建龙71743383953385013342CrMo承德建龙408943323908423ROLAP实现方法IDTimeIDProductIDCompanyIDSalesPriceCostProductIDProduct_DesctypeTimeIDTime_DescyearquartermonthdayCompanyIDConpany_DescnameFacttableDimensiontableDimensiontableDimensiontable1.事实表为核心，把所有分析维度写成外键。2.事实表中还要包括各个具体数据作为度量，但能计算推导出的数据不应包括在内。3.每个维表除了主键以外，还包含了描述和分类信息。维表假设很复杂应继续扩展成“雪花模式”。4.业务人员据此提出任何问题，都可以用SQL语句进行表连接或汇总(tablejoinandgroupby)实现数据查询和解答。TimeCompanyIDProductIDSalesh01jlcdst012965h01jlcdst022738h01jlcdst031224h01jlcdst04975h01jlcdst05926h01jlcdst0615060h01jlcdst0720471h01jlcdst0815483h01jlcdst092119h02jlcdst011811h02jlcdst10990h03jlcdst014089h03jlcdst11717ROLAP实现方法CompanyIDNamejlcd承德建龙jljl吉林钢铁jlts唐山建龙ProductIDtypest0142CrMost02GCr15st0355#st0440Mn2st0527SiMnst0620CrTiMnst0745#st0840Crst0920#st1037Mn2st1135CrMoTimeIDTimeh012010-01h022010-02h032010-03MOLAP实现方法MOLAP首先对事实表中的所有外键进行排序，并将排序后的具体指标数值一一写进虚拟的多维立方体中。当然，虚拟的多维立方体只是为了便于理解而设想的，MOLAP实际的数据存储放在数据文件(DataFile)中，其数据放置的顺序与虚拟的多维立方体按x,y,z坐标展开的顺序是一致的。为了数据查找的方便，MOLAP需要预先建立维度的索引，这个索引被放置在MOLAP的概要文件(Outline)中。

概要文件是MOLAP的核心，相当于ROLAP的数据模型设计。概要文件包括所有维的定义〔包括复杂的维度结构〕以及各个层次的数据汇总关系(例如在时间维，日汇总至月，月汇总至季，季汇总至年)，这些定义往往从关系型维表中直接引入即可。概要文件也包括分析指标的定义，因此可以在概要文件中包含丰富的衍生指标，这些衍生指标由根底指标计算推导出来〔例如利润〕。MOLAP实现方法42CrMoGCr1555#40Mn227SiMn20CrTiMn45#40Cr20#37Mn235CrMo296529651811181140894089273812249759261506020471154832119990717承德建龙唐山建龙吉林钢铁一月二月三月7174089TimeProductCompanyMOLAP实现方法296518114089273812249759261506020471154832119990717Product42CrMoGCr1555#Time一月二月三月一月二月三月一月二月三月Companyjlcdjltsjljljlcdjltsjljljlcdjltsjljl概要文件数据文件ROLAP&MOLAP的比较

一、OLAP的概念与提出二、OLAP多维数据模型三、OLAP的分类四、OLAP的简单实现五、OLAP的十二准那么9234567181011OLAP模型的12条准那么准那么一：OLAP模型必须提供多维概念视图从用户分析员的角度来看，整个企业的视图本质上是多维的，因此OLAP的概念模型也是多维的。企业决策分析的目的不同，决定了分析和衡量企业的数据总是从不同的角度来进行的，所以企业数据空间本身就是多维的。OLAP模型的12条准那么准那么二：透明性准那么透明性准那么包括两层含义：1.OLAP在体系结构中的位置对用户是透明的。OLAP应处于一个真正的开放的系统中，允许分析工具嵌入到分析人员制定的任何位置而不影响嵌入工具的性能。同时，必须保证OLAP的嵌入不会引入和增加任何复杂性。2.OLAP的数据源对用户也是透明的。用户只需要使用熟悉的查询工具查询，而不必担忧OLAP工具的数据来自同构还是异构的数据源。OLAP模型的12条准那么准那么三：存取能力准那么OLAP系统不仅能进行开放的存取，而且还提供高效的存取策略。分析员能同时对关系数据库、非关系数据库中的企业数据进行分析。这就要求OLAP能将自己的概念视图映射到异构的数据存储上，能访问数据并执行转换，从而提供单一、完整、连续的用户视图。OLAP模型的12条准那么准那么四：稳定的报表性能当数据维数和数据的层次增加时，提供给最终分析员的报表能力和响应速度不应该有明显的降低和减慢，这对维护OLAP产品的易用性和低复杂性至关重要。