3(1)联机分析处理

第3章联机分析处理 1 2 第3章联机分析处理 3 1OLAP概念3 2OLAP的数据模型3 3多维数据的显示3 4OLAP多维数据分析 上 3 4 13 4 2 3 联机分析处理 OnLineAnalyticalProcessing OLAP 在数据仓库系统中 联机分析处理是重要的数据分析工具 OLAP的基本思想是从多方面和多角度 以多维的形式来观察企业的状态和了解企业的变化 4 3 1OLAP概念 OLAP是以数据仓库为基础的数据分析处理 它有两个特点 一是在线性 OnLine 由网络上的客户机 服务器这种体系结构来完成的 二是多维分析 这也是OLAP的核心所在 5 3 1 1OLAP定义 1 OLAP理事会给出的定义联机分析处理 OLAP 是一种软件技术 它使分析人员能够迅速 一致 交互地从各个方面 多维 观察信息 以达到深入理解数据的目的 这些信息是从原始数据转换过来的 按照用户的理解 它反映了企业真实的方方面面 6 2 OLAP的简单定义 联机分析处理是共享多维信息的快速分析 它体现了四个特征 1 快速性 用户对OLAP的快速反应能力有很高的要求 2 可分析性 OLAP系统应能处理任何逻辑分析和统计分析 3 多维性 系统必须提供对数据分析的多维视图和分析 4 信息性 OLAP系统应能及时获得信息 并且管理大容量的信息 7 1993年 E F Codd提出OLAP的12条准则 其主要的准则有以下四条 1 多维数据分析 2 客户 服务器结构 3 多用户支持 4 一致的报表性能等 在12条准则中 挑选如下几条说明 3 1 2OLAP准则 8 1 多维概念视图 企业的数据空间本身就是多维的 因此OLAP的概念模型也应是多维的 用户可以对多维数据模型进行切片 切块 旋转坐标或进行多维的综合 概括和聚集 分析 9 4 一致稳定的报表性能 报表操作不应随维数增加而削弱 即当数据维数和数据的综合层次增加时 提供的报表能力和响应速度不应该有明显的降低 10 5 客户 服务器体系结构 OLAP是建立在网络上的客户 服务器体系结构 多维数据库服务器能够被不同的应用和工具所访问 客户端负责用户的应用逻辑及界面 11 8 多用户支持能力当多个用户要在同一分析模式上并行工作 OLAP工具应能够提供并发访问等功能 客户 服务器结构能满足这个要求 11 灵活的报表生成报表必须充分反映数据分析模型的多维特征 并可按用户需要的方式来显示它 12 1 变量 变量是数据的实际意义 即描述数据 是什么 2 维 维是人们观察数据的特定角度 如产品维 顾客维 时间维 即座标系中的座标 等 3 维的层次 数据的细节不同程度为维的层次如日 月 季 年是时间维的层次 4 维成员 维的一个取值称为该维的一个维成员 如 某年某月某日 是时间维的一个成员 3 1 3OLAP的基本概念 13 5 多维数组 一个多维数组可以表示为 维1 维2 维n 变量 一个4维的结构 即 产品 地区 时间 销售渠道 销售额 6 数据单元 单元格 多维数组的取值称为数据单元 如 4维数据单元 牙膏 上海 1998年12月 批发 销售额为100000 OLAP的基本概念 续 14 3 2OLAP的数据模型 3 2 1MOLAP数据模型3 2 2ROLAP数据模型3 2 3MOLAP与ROLAP的比较3 2 4HOLAP数据模型 15 3 2 1MOLAP的数据模型 MOLAP是基于多维数据库存储方式建立的OLAP 表现为 超立方 结构 采用类似于多维数组的结构 例如 二维MDDB 数组 即矩阵 的数据组织见表3 1所示 16 表3 1MDDB 二维 数据组织 17 3 2 2ROLAP数据模型 ROLAP是基于关系数据库的OLAP 它是一个平面结构 用关系数据库表示多维数据时 采用星型模型 18 表3 3关系数据库RDBMS数据组织 19 3 2 3MOLAP与ROLAP的比较 1 数据存取速度 MOLAP的响应速度快 2 数据存储的容量 ROLAP存储容量上没有限制 3 多维计算的能力 MOLAP能够支持高性能计算 4 维度变化的适应性 ROLAP对于维表的变更有很好的适应性 5 数据变化的适应性 ROLAP对于数据变化的适应性高 6 软硬件平台的适应性 ROLAP适应性很好 20 1 数据存取速度 ROLAP服务器需要将SQL语句转化为多维存储语句 临时 拼合 出多维数据立方体 因此 ROLAP的响应时间较长 MOLAP在数据存储速度上性能好 响应速度快 21 2 数据存储的容量 ROLAP使用的传统关系数据库的存储方法 在存储容量上基本没有限制 MOLAP通常采用多平面叠加成立体的方式存放数据 当数据量超过操作系统最大文件长度时 需要进行数据分割 多维数据库的数据量级难以达到太大的字节级 22 3 多维计算的能力 MOLAP能够支持高性能的决策支持计算 ROLAP无法完成多行的计算和维之间的计算 23 4 维度变化的适应性 MOLAP增加新的维度 则多维数据库通常需要重新建立 ROLAP对于维表的变更有很好的适应性 24 5 数据变化的适应性 当数据频繁的变化时 MOLAP需要进行大量的重新计算 甚至重新建立索引乃至重构多维数据库 在ROLAP中灵活性较好 对于数据变化的适应性高 25 6 软硬件平台的适应性ROLAP对软硬件平台的适应性很好 而MOLAP相对较差 7 元数据管理目前在元数据的管理 MOLAP和ROLAP都没有成形的标准 MOLAP和ROLAP的对比简表 27 3 2 4HOLAP数据模型 HOLAP HybridOLAP 即混和OLAP介于MOLAP和ROLAP之间 在HOLAP中 对最常用的维度和维层次 使用多维数据表来存储 对于用户不常用的维度和数据 采用ROLAP星型结构来存储 在HOLAP的多维数据表中的数据维度少于MOLAP中的维度表 数据存储容量也少于MOLAP方式 HOLAP在数据存取速度上又低于MOLAP 28 3 3多维数据的显示 3 3 1多维数据显示方法3 3 2多维类型结构 MTS 3 3 3多维数据的分析视图 29 3 3 1多维数据显示方法 多维数据的显示只能在平面上展现出来 三维数据无法在平面上展现出来 三维数据显示见表3 6所示 31 3 3 2多维类型结构 MTS 表示方法是 每一个维度用一条线段来表示 维度中的每一个成员都用线段上的一个单位区间来表示 例如 用三个线段分别表示时间 产品和指标三个维的多维类型结构如图3 3所示 32 图3 3三维MTS例 33 在图3 3多维类型结构 MTS 中 指定 时间维成员是3月 产品维成员是鞋 指标维成员是销售量 这样它代表了三维数据的一个空间数据点 如图3 4所示 34 图3 4多维类型结构中的空间数据点 35 3 3 3多维数据的分析视图 在平面的屏幕上显示多维数据 是利用行 列和页面三个显示组来表示的 例如 对上例的四维MTS实例 在页面上选定商店维度中 商店3 在行中选定时间维的 1月 2月 3月 共3个成员 在列中选定产品维中的 上衣 裤 帽子 三个成员 在指标维中的 固定成本 直接销售 二个成员 该四维数据的显示如图3 6所示 36 图3 6四维数据的显示 37 对于更多维度的数据显示 需要选择维度及其成员分布在行或者列中 在页面上可以选定多个维度 但每个维度只能显示一个成员 在行或者列中一般只选择二个维 每个维可以多个成员 例如 对6个维度数据 它的MTS如图3 7所示 38 图3 7六维维MTS例 39 对以上六维数据中 设定页面维度为商店的成员是 商店3 客户维度成员是 老年 行维度含时间维和产品维共2个维度 其中时间维中成员为 1月 2月 3月 产品维中成员为 桌子 台灯 列维度含指标维和场景维共2个维度 其中指标维中成员为 直接销售 间接销售 总销售 场景维中成员为 实际 计划 具体的显示数据如图3 8所示 40 图3 8六维数据的显示 41 3 4OALP的多维数据分析 3 4 1多维数据分析的基本操作3 4 2多维数据分析实例3 4 3广义OLAP功能3 4 4数据立方体3 4 5多维数据分析的MDX语言及其应用 42 OLAP的目的是为管理决策人员通过一种灵活的多维数据分析手段 提供辅助决策信息 基本的多维数据分析操作包括切片 切块 旋转 钻取等 我们把在多维数据分析中加入数据分析模型和商业分析模型称为广义OLAP 随着OLAP的深入发展 出现了多维数据聚集计算的数据立方体和多维数据分析的MDX语言 43 例如 以 产品 城市 时间 三维数据 如图 44 3 4 1多维数据分析的基本操作 1 切片对三维数据 通过 切片 分别从城市和产品等不同的角度观察销售情况 45 2 切块 1 在多维数组的某一个维上选定某一区间的维成员的操作切块可以看成是在切片的基础上 确定某一个维成员的区间得到的片段 也即由多个切片叠合起来 2 选定多维数组的一个三维子集的操作在多维数组 维1 维2 维n 变量 中选定3个维 维i 维j 维k 在这3个维上分别取一个区间 或任意维成员 而其它维都取定一个维成员 46 图3 11三维数据切块 47 3 钻取 钻取有向下钻取 drilldown 和向上钻取 drillup 操作 向下钻取是使用户在多层数据中能通过导航信息而获得更多的细节性数据 向上钻取获取概括性的数据 48 钻取 例如 2005年各部门销售收入表如下 49 对时间维进行下钻操作 获得新表如下 50 4 旋转 通过旋转可以得到不同视角的数据 旋转操作相当于平面数据将坐标轴旋转 例如 旋转可能包含了交换行和列 或是把某一个行维移到列维中去 或是把页面显示中的一个维和页面外的维进行交换 令其成为新的行或列中的一个 51 旋转 52 3 4 2多维数据分析实例 1 切片为了对广东省全省营业税和个人所得税在2006 2007两年的纳税情况进行全面了解 需要对全省税收数据按城市进行切片显示 部分城市数据如表3 10所示 53 表3 10广东省各市营业税和个人所得税表 亿元 54 由表中数据可知 广州营业税增加 32 8亿元 增长率为16 5 广州个人所得税增加 25 6亿元 增长率为26 7 东莞营业税增加 16 9亿元 增长率为31 68 东莞个人所得税增加 6 2亿元 增长率为24 6 对营业税而言 增长量最大的城市是广州 增加速度较快的城市是东莞 31 68 55 2 向下钻取为了更深入分析东莞市的各行业的营业税情况 需要对东莞营业税数据下钻分析 2006 2007两年部分行业的纳税情况见表3 11所示 56 表3 11东莞市各行业的营业税表 百万元 57 由表中数据可知 东莞市 农 林 牧 渔业下降了5 5百万元 下降率为35 2 采矿业下降0 02百万元 下降率为10 5 房地产业增加306 5百万元 增加率为21 金融业增加222 4百万