ORACLE_联机分析处理.ppt

ORACLE联机分析处理 在数据库中分析数据 ORACLE数据仓库和商业智能技术咨询顾问 Agenda 议程 OLAP概要介绍OracleOLAP体系结构技术特点 什么是联机分析处理OLAP 技术背景1993年 E F Codd提出了OLAP概念 认为OLTP已不能满足终端用户对数据库查询分析的需要 提出了多维数据库和多维分析的概念 即OLAP OLAP定义On LineAnalyticalProcessing简称OLAP 在线分析处理 让分析人员 管理员和执行者快速地 一致地 交互地访问数据 洞察企业的现状 预测企业的未来 多维数据结构多维数据结构是一种按照维度模型成员的交叉点存放并访问数据的结构 专门优化了快速提供Ad Hoc查询信息 给最终用户提供一致的 快速的 任何方位的查询 OLAP引擎一个OLAP引擎是一个高容量的 多用户的多维引擎 引擎支持和操作多维数据结构 为什么需要OLAP技术 1 提供一个多维的环境探索企业数据 为什么需要OLAP技术 2 完成传统RDBMS技术难于实现的计算 除了简单的汇总 Sum Avg Max Min LastValue WeightedSum HierarchicalWeightedLast OLAP还能做比较复杂的计算 比如 分配 预测 模型计算等 为什么需要OLAP技术 3 高效的存储和检索引擎查询和分析时间传统关系型数据库技术 以行为单位存放数据 所以它的检索也按照行的方式 或者全表扫描或者通过索引检索对应的行数据 这种方式在数据量特别庞大 无法有效索引的情况下 检索时间随数据量增长而增长 当访问一个有上亿记录的表的时候 速度非常慢 做整个表的某项统计要等几个小时 多维引擎以多维数组的方式存放和检索数据 数组的下标就是维度的组合 当我们告诉多维引擎 我们需要某几个维度交叉组合的那个单元的数据时候 多维引擎直接定位到该数据 而不需要扫描整个空间 层次和汇总在关系型数据库中 为了加快汇总数据的访问 使用预汇总表 或者物化视图技术 需要创建和维护 多维引擎提供了预汇总功能 这些只需在设计的时候简单的定义 用户无需关心汇总数据的创建 维护 这些都交由多维引擎完成 为什么需要OLAP技术 3 查询性能 使用OLAP 不使用OLAP 查询缓慢 查询高速 动态查询少定义好的查询简单计算 动态查询多没有定义好的查询组合高复杂性的查询分析 查询性能 为什么需要OLAP技术 4 不断发展的商务智能的需求 仓库中产品的保存情况 历史上这个月销售情况 根据往年情况 预测明年某项经费开销 贷款偿还方案 客户生命周期分析 为什么需要OLAP技术 5 数据 OLAP模型 BI展现 数据 星型模型 BI模型 BI展现 存储优化 索引策略 连接优化 异常处理 加快从数据到展现的过程传统的星型模型优化工作量很大 OLAP不用关心数据如何存储模型设计变的简单和直接 不一致 OLAP技术基本功能有哪些 多维操作 切片 切块 下钻 上翻和旋转汇总和分配 支持多种汇总计算 灵活方便统计分析 时间序列 成本分配 货币兑换 非过程化建模报表能力 不同维度 不同级别组合 给出度量信息What if分析 如果 将如何分析 或者说情景模拟分析能力预测 提供数值预测 线性回归的能力其他分析 Agenda 议程 OLAP概要介绍OracleOLAP体系结构技术特点 ORACLE数据仓库和商业智能解决方案 ORACLE数据仓库 ORACLE商业智能 完整集成 EVERYTHINGITTAKES OracleRDBMS最快 最稳定的关系型平台OracleOLAP唯一集成的多维分析引擎OracleDataMining唯一集成的数据挖掘引擎OraclePartition唯一集成而且最多的分区算法OracleETLEngineOWB唯一集成的ETL引擎 ORACLE数据仓库 OLAP是Oracle数据仓库方案的一个选件 OracleOLAP产品历史 OracleOLAP超过30年的创新成为一个完整的 引人注目的OLAP平台Express 业界第一个多维数据库 1995年被Oracle收购Oracle9iR2 第一个 唯一一个 整合关系型和多维的数据引擎Oracle10g第一个 唯一一个 拥有网格计算能力的OLAP平台新的管理建模工具新的数据访问工具新的应用Oracle10gR2OLAP引擎性能大大改进对压缩立方体支持更好多语言支持 OracleDatabase Tables Views Dimensions AnalyticWorkspace OLAPOption QueryProcessor SQLGenerator MultiDimensionalEngine OracleOLAP体系结构 支持ROLAP MOLAP OracleOLAP元数据结构 标准的CWM2 Agenda 议程 OLAP概要介绍OracleOLAP体系结构技术特点 OracleOLAP数据存放在那里 OLAP数据存放在数据库BLOB中 10gOLAP中不同对象放在不同的BLOB中 2020 3 16 19 可编辑 如何设计OLAP模型 AnalyticWorkspaceManager10g 如何操控OracleOLAP OracleDML语言是专门可以操控OracleOLAP的语言 OracleOLAP特点有哪些 2 海量数据 3 分析展现能力 1 加载汇总性能 4 开放性 OracleOLAP 加载性能10g新功能 数据加载能够并行当逻辑模型分区之后 加载数据能够并行 分区的变量能够分区到不同的数据文件和磁盘上 以便最小化I O瓶颈 并行更新更新操作在分区变量上运行的时候是自动并行的 在多个处理器的服务器上这个命令性能得到了改善 明显的提高大量数据的更新操作增量加载对于新进来的数据 能够增量加载和汇总 汇总不需要重算 OracleOLAP 加载性能 Minutes 10gOLAP在加载性能上有很大改进 OracleOLAP主要特点 2 海量数据 3 分析展现能力 1 加载汇总性能 4 开放性 OracleOLAP 管理海量数据10g新功能 多维引擎提供分区变量支持 范围分区列表分区CONCAT分区分区对于应用来说完全是透明的分区带来对超大的多维数据的支持 数据分区可以在时间上作 因此能够提供存储更多的历史数据到分析工作区 而不影响性能和可管理性 可以控制的存储管理管理员有完整的控制权 控制数据怎忙分布到不同的数据文件上 也能优化数据的I O和数据访问模式 OracleOLAP 管理海量数据 立方体压缩对稀疏的OLAP进行优化显著降低数据集的汇总时间以及立方体的大小可以通过多维引擎进行分区可以使用分区模板简化分区压缩立方体的写过程支持分区的增量聚合 真实案例2 4M行记录 OracleOLAP主要特点 2 海量数据 3 分析展现能力 1 加载汇总性能 4 开放性 OracleOLAP 分析能力 汇总 分配 数据筛选 统计分析 时间序列 排名 模型计算 汇总 多维分析 预测 模拟分析 举例 OracleOLAP金融应用 汇总 分配 预测用定率递减法计算折旧费用直线逼近法计算折旧费计算净现值计算增长率计算贷款的利息支付计划 OracleOLAP主要特点 2 海量数据 3 分析展现能力 1 加载汇总性能 4 开放性 Oracle或者第三方查询工具 RELATIONALENGINE OLAP TABLE MULTIDIMENSIONALENGINE OracleOLAP开放性 可以通过SQL访问 OracleOLAP开放性 支持的第三方展现工具BusinessObjectCognosReportNetMicroStrategy 什么才是一个完整数据仓库解决方案 能通过ODS继承和保持对业务系统数据的同步 完成业务系统的静态报表能通过关系