数据仓库原理设计与应用

数据仓库原理设计与应用第1页，共29页，2023年，2月20日，星期六第4章OLAP技术4.1OLAP技术概念4.2OLAP与多维分析4.3OLAP的实施4.4多维OLAP与关系OLAP4.5OLAP技术评价练习第2页，共29页，2023年，2月20日，星期六4.1OLAP技术概念在线分析处理或联机分析处理(线分析的处理上的OLAP，)是一个应用广泛的数据仓库使用技术。两个特点，在线性(On_Line)，多维分析(Multi_Analysis)，4.1.1OLAP的发展针对特定问题的联机数据查询和分析对原始数据按照用户的观点进行转换处理反映用户眼中问题某一真实方面（“维”）快速、稳定、一致和交互式的存取允许用户对这些数据按照需要进行深入的观察第3页，共29页，2023年，2月20日，星期六4.1.2OLAP的特性1.快速性系统能在数秒内对用户的多数分析要求做出反应2.可分析性用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告3.多维性提供对数据分析的多维视图和分析4.信息性能及时获得信息，并且管理大容量信息第4页，共29页，2023年，2月20日，星期六4.2OLAP与多维分析4.2.1多维基本概念维、维的层次、维成员、多维数据集、数据单元、多维数据集的度量值和聚集1.维“上卷”“下钻”销售地区西南华中华东四川云南河南湖北江苏上海第5页，共29页，2023年，2月20日，星期六4.2OLAP与多维分析2.多维数据集产品北京上海化妆品江苏玩具服装电器1234时间（月）销售数量：10000服装切片第6页，共29页，2023年，2月20日，星期六3.维成员维的一个取值、不同维层次取值的组合、维成员描述所关心的主题在维中的位置数据单元可以表示为：（维1维成员，维2维成员，维3维成员，维4维成员，观察变量值）4.多维数据集的度量值多维数据集的核心值

5.聚集立方体中包括很多层次，这些层次可以向用户提供某一层次的概括数据通过聚集，形成基于维的有决策分析意义的一些数据交集第7页，共29页，2023年，2月20日，星期六4.2.2多维分析1.多维的切片（维1，维2，……，维i成员，……，维n，观察变量）是多维数据集（维1，维2，……，维i，……，维n，观察变量）在维i上的一个切片

2.多维的切块在（维1，维2，……，维i，……，维k，……，维n，观察变量）多维数据集上，对维i，……，维k，选定了维成员，那（维1，维2，……，维i成员，……，维k成员，……，维n，观察变量）就是多维数据集（维1，维2，……，维i，……，维k，……，维n，观察变量）在维i，……，维k上的一个切块第8页，共29页，2023年，2月20日，星期六4.2.2多维分析3.旋转2002年2003年1季度2季度3季度4季度1季度2季度3季度4季度北京市123564566134562355上海市13410398871021399782天津市6773599673696294第9页，共29页，2023年，2月20日，星期六4.2.2多维分析3.旋转

北京市上海市天津市

2002年1季度12313467

2季度5610373

3季度459859

4季度6687962003年1季度13410273

2季度5613969

3季度239762

4季度558294第10页，共29页，2023年，2月20日，星期六4.2.2多维分析4.其它OLAP操作“上卷”（roll_up）、“下钻”（drill_down）、“钻过”（drill_across）和“钻透”（drill_through）等钻取操作。“上卷”是指沿某一个维的概念分层向上归约；“下钻”是上卷的逆向操作，它是沿某一个维的概念分层向下或引入新的维来实现；“钻过”是指对多个事实表进行查询；“钻透”是指对立方体操作时，利用数据库关系，钻透立方体的底层，进入后端的关系表。OLAP的其它操作还有统计表中最高值和最低值的项数，计算平均值、增长率、利润、投资回报率等统计计算。第11页，共29页，2023年，2月20日，星期六4.2.3维的层次关系简单层次复杂层次全国江苏北京上海苏州市扬州市宝应县第12页，共29页，2023年，2月20日，星期六4.2.4维的类关系类的划分，只能依据同一层次的维成员集合来划分

维的层次与类组合图产品维产品大类产品用途类产品销地类产品产地类产品小类第13页，共29页，2023年，2月20日，星期六4.2.5OLAP与数据仓库关系从OLAP使用的效率角度考虑，设计数据仓库时考虑因素。●尽可能使用星型架构，如果采用雪花结构，就要最小化事实表底层维度表以后的维度表数量。●为用户设计包含事实表的维度表。●维度表的设计应该符合通常意义上的范式约束，维度表中不要出现无关的数据。●事实表中不要包含汇总数据，事实表中所包含的用户需要访问的数据应该具有必需的粒度。●对事实表和维度表中的关键字必须创建索引；同一种数据尽可能使用一个事实表。●保证数据的参考完整性，避免事实表中的某些数据行在立方体进行聚集运算时没有参加进来。第14页，共29页，2023年，2月20日，星期六4.3OLAP的实施

业务处理系统第三层第二层第一层客户端数据抽取数据清理、转换

数据加载多维化处理可视化处理

图4.7 数据仓库与OLAP关系图数据仓库OLAP服务器数据准备区第15页，共29页，2023年，2月20日，星期六4.4多维OLAP与关系OLAP产品名称销售地区销售数量电器电器电器服装服装服装江苏上海北京江苏上海北京9404503408303502704.4.1多维数据库江苏上海北京电器服装940830450350340270第16页，共29页，2023年，2月20日，星期六4.4.1多维数据库产品名称销售地区销售数量电器电器电器电器服装服装服装服装汇总汇总汇总汇总江苏上海北京汇总江苏上海北京汇总江苏上海北京汇总9404503401730830350270145017708006103180江苏上海北京汇总电器服装汇总9408301770450350800340270610173014503180第17页，共29页，2023年，2月20日，星期六4.4.2多维数据库的数据存储维数扩展到三维或更高的维度时，多维数据库MDDB就成了一种“超立方”体的结构在MDDB中，其数据的存储是由许多类似于数组的对象来完成对象中包含了经过高度压缩的索引和指针，利用这些索引和指针将许多存储数据的单元块联结在一起实际组合中往往由于各种原因会导致某些组合没有具体的值，或值是空的或者为零。产生了多维数据库的稀疏矩阵问题第18页，共29页，2023年，2月20日，星期六4.4.3多维数据库与数据仓库直接从业务处理系统中抽取数据

问题：1.增加数据抽取部分的工作量2.缺乏统一的数据源和结论3.加大系统的维护工作量4.缺乏对元数据的有效管理5.加大OLAP系统的开发投入第19页，共29页，2023年，2月20日，星期六4.4.4MOLAP的创建与功能1.MOLAP的创建阶段：选择功能确定分析数值构造分析维定义逻辑模型2.MOLAP功能快速响应能力与多维数据库进行交互的能力挖掘信息间的内在联系各种模型数据导航能力

第20页，共29页，2023年，2月20日，星期六4.4.5ROLAP实现的三个规则1.支持OLAP原则2.数据存储在某一个关系型数据库中3.支持某种形式的聚集导航第21页，共29页，2023年，2月20日，星期六4.4.6ROLAP的多维表示方法1.星型模式在关系数据库中的表示

产品ID时间ID销售商ID地址ID图4.8 星型模式的关系数据库表示产品ID销售商ID地址ID时间ID销售数量销售成本总收入销售商维度表地理位置维表时间维表产品维表第22页，共29页，2023年，2月20日，星期六2.雪花模式在关系数据库中的表示产品维表产品ID时间ID销售商ID地址ID图4.9 雪花模式的关系数据库表示地理位置维表时间维表产品ID产品名称公司ID公司名称产品颜色ID产品颜色产品商标ID商标名称产品类型ID产品类型名销售商维度表产品ID销售商ID地址ID时间ID销售数量销售成本总收入产品ID公司ID产品颜色ID产品商标ID产品类型ID第23页，共29页，2023年，2月20日，星期六4.4.7ROLAP的创建与功能1.ROLAP的创建选择功能、确定分析数值、构造分析维、定义逻辑模型数据添加、数据管理、元数据存储、应用工具构造2.ROLAP的功能提供基于关系数据的商业视图维层次支持模型的自定义细剖细节层次数据的备分恢复和安全功能元数据导航OLAP服务器性能的协调等功能第24页，共29页，2023年，2月20日，星期六

4.5OLAP技术评价4.5.1MOLAP与ROLAP的比较1.查询性能2.数据加载性能3.分析能力4.数据集市的大小5.维的管理6.维护能力第25页，共29页，2023年，2月20日，星期六