中文les08_选择数据仓库的计算架构_ 数据仓库教学课件 中文oracle99版

Copyright Oracle Corporation, 1999. All rights reserved. 8 8 选择数据仓库的计算架构 8-8-2 2Copyright Oracle Corporation, 1999. All rights reserved. 总述 项目管理 (方法论, 维持元数据) 定义数据仓库的 概念及术语 规划一个成功 的数据仓库 分析用户 查询需求 选择数据仓库 的计算架构 建模数据仓库 规划仓库存储 ETT (构建数据仓库) 满足业务需求 支持最终 用户存取 管理数据仓库 8-8-3 3Copyright Oracle Corporation, 1999. All rights reserved. 目标 在完成这一课后,你应该能够做到以下几点: 讨论数据仓库的计算架构的需求 考虑每个硬件架构的优点 描述仓库环境需要的数据库服务器的特点 回顾用于数据仓库环境的并行结构的重要性 8-8-4 4Copyright Oracle Corporation, 1999. All rights reserved. 可测量性易管理性可用性可拓展性 灵活性完整性 架构的要求 用户用户 预算预算 业务业务 技术技术 8-8-5 5Copyright Oracle Corporation, 1999. All rights reserved. 架构定义策略 获取现有的架构的设计 获取现有的能力方案 验证现有的界面 准备能力方案 准备技术的架构 验证操作系统的需求 开发恢复方案 开发安全和控制方案 创建架构 创建技术风险评估 8-8-6 6Copyright Oracle Corporation, 1999. All rights reserved. 硬件架构 包括以下方面 新技术 旧技术 网络 8-8-7 7Copyright Oracle Corporation, 1999. All rights reserved. 硬件体系结构 健壮的 可用的 可靠的 可扩展的 可升级的 可支持的 可恢复的 并行的 VLMVLM（虚拟可加载模块）虚拟可加载模块） 6464位位 连接的连接的 开放的开放的 8-8-8 8Copyright Oracle Corporation, 1999. All rights reserved. 硬件架构 SMP（对称多处理） Cluster（集群） MPP（大规模并行处理） NUMA（非一致内存访问） 混合网络使用 SMP 和 MPP 8-8-9 9Copyright Oracle Corporation, 1999. All rights reserved. 评估标准 决定你所需要的平台 SMP Clusters NUMA MPP 可扩展性可扩展性 成熟度成熟度 低低 高高 低低 高高 8-8-1010Copyright Oracle Corporation, 1999. All rights reserved. 并行处理 并行日常操作 共享资源 内存 磁盘 无，（什么都没有） 松耦合还是紧耦合 应用软件应用软件 数据库数据库 操作系统操作系统 硬件硬件 8-8-1111Copyright Oracle Corporation, 1999. All rights reserved. 做出正确的选择 不同操作系统的需求 基准 从供应商处可以买得到的 开发自己的 使用基于事实的查询 重要的可扩展性 8-8-1212Copyright Oracle Corporation, 1999. All rights reserved. 通过共享存储器通信 磁盘控制器可访问所有中央处理器 已成熟的技术 SMP（对称多处理） 共享磁盘共享磁盘 公共路径公共路径 CPU （中央处理器） CPUCPUCPU 共享存储器 8-8-1313Copyright Oracle Corporation, 1999. All rights reserved. SMP（对称多处理） 优点: 高并发 负荷均衡 中度的可扩展性 易于管理 局限: 内存(聚族技术有所改进) 带宽 CPU CPU CPUCPU Shared memory （共用存储器） 8-8-1414Copyright Oracle Corporation, 1999. All rights reserved. NUMA（非一致的内存访问） 不一致的内存访问不一致的内存访问 Disk(Disk(磁盘磁盘) ) 共享总线共享总线 DiskDisk Shared Memory （共享内存） CPUCPUCPUCPUCPUCPU 松耦合的共享存储器 Shared Memory （共享内存） 8-8-1515Copyright Oracle Corporation, 1999. All rights reserved. NUMA （非一致内存访问） 优点: 可充分地升级,增量地加磁盘、加CPU和带宽 有比MPP更好性能 与Oracle 服务器匹配 局限: 技术较新，验证不充足 对于简单的系统管理也需要新的工具 NUMA比SMP价格更高 8-8-1616Copyright Oracle Corporation, 1999. All rights reserved. Clusters(集群) 节点节点 1 1节点节点2 2节点节点 3 3 公共的高速总线公共的高速总线 共享磁盘共享磁盘 公共的高速总线公共的高速总线 共享内存 CPUCPUCPU 共享内存 CPUCPUCPU 共享内存 CPUCPUCPU 8-8-1717Copyright Oracle Corporation, 1999. All rights reserved. Clusters(集群) 共享磁盘，松耦合 专用内存 高速总线 共享资源 SMP 节点 优点: 高可用性 单一的数据库概念, 逐步地增长 局限: 可扩展性, 需要节点间同步 操作此系统的费用 Shared memory CPU CPU CPU Shared memory CPU CPU CPU Shared memory CPU CPU CPU 8-8-1818Copyright Oracle Corporation, 1999. All rights reserved. MPP(大规模并行处理系统) CPU Memory CPU Memory CPU Memory Memory （内存） CPU （中央处理器） DiskDisk （磁盘）磁盘） DiskDiskDiskDiskDiskDisk 8-8-1919Copyright Oracle Corporation, 1999. All rights reserved. MPP（大规模并行处理系统） 无架构共享 多节点 快速访问 各节点独占内存 各节点低成本 可升级的 n-立方体的构造 8-8-2020Copyright Oracle Corporation, 1999. All rights reserved. MPP 的优点 无限制的增量式增长 优越的可升级性 快速访问 各节点低成本 有益于 DSS CPU Memory CPU Memory CPU MemoryMemory CPU DiskDiskDiskDiskDiskDiskDiskDisk 8-8-2121Copyright Oracle Corporation, 1999. All rights reserved. MPP 的局限 严格的分割 高速缓存的一致性 受限制的磁盘访问 各节点的高内存成本 高管理负担 谨慎的数据安置 CPU Memory CPU Memory CPU MemoryMemory CPU DiskDiskDiskDiskDiskDiskDiskDisk 8-8-2222Copyright Oracle Corporation, 1999. All rights reserved. Windows NT 基于客户-服务器模型的体系架构 优点: 包括内在的网络服务 可扩展性 易于管理和控制 局限: 不十分安全 不能执行远程的程序 在四个处理器之外缺乏线性可扩展性 用于应用的地址空间限制于2G字节 8-8-2323Copyright Oracle Corporation, 1999. All rights reserved. 多层的体系架构 层次的结构: 基于模块 逻辑分离 分布式结构: 两层 三层 四层(或更多) 8-8-2424Copyright Oracle Corporation, 1999. All rights reserved. 中间件 用于集成的技术 网关网关 8-8-2525Copyright Oracle Corporation, 1999. All rights reserved. 数据库服务器的需求 健壮的 可用的 可靠的 可扩展的 可升级的 可支持的 可恢复的 并行的 8-8-2626Copyright Oracle Corporation, 1999. All rights reserved. 并行 数据库 查询 加载 索引 排序 备份 恢复 8-8-2727Copyright Oracle Corporation, 1999. All rights reserved. 更进一步的考虑 最优化的策略 分割的策略 概要的策略 索引技术 硬件和软件的可扩展性 可用性 管理 8-8-2828Copyright Oracle Corporation, 1999. All rights reserved. 服务器环境 操作型服务器仓库服务器数据集市服务器 开放的数据库开放的数据库 管理系统管理系统 网络网络, , 关系型关系型, , 分等级的分等级的 大型机大型机 单独拥有的单独拥有的 DBMSDBMS Oracle, IMS, DB2, Oracle, IMS, DB2, VSAM, VSAM, RdbRdb, Non, Non Stop SQL, RMS Stop SQL, RMS 开放的数据库开放的数据库 管理系统管理系统 关系型关系型 普通目的和仓库特征的普通目的和仓库特征的 DBMSDBMS Oracle, Informix, Oracle, Informix, Sybase, IBM DB2, Sybase, IBM DB2, NCR/AT&T NCR/AT&T TeradataTeradata Red Brick Red Brick 开放的数据库开放的数据库 管理系统管理系统 关系型，多维关系型，多维 一般目的和仓库特征一般目的和仓库特征 的的DBMSDBMS Oracle, Oracle Oracle, Oracle Express, Arbor Express, Arbor EssbaseEssbase, MS SQL, MS SQL Server, NT Server, NT 8-8-2929Copyright Oracle Corporation, 1999. All rights reserved. 并行处理 一个大任务分解成多个小任务: 并行执行 一个或更多处理器 Processor 1Processor 1 共用时间共用时间 非并行非并行 Processor 2Processor 2 Processor 1Processor 1 Processor 4Processor 4 Processor 3Processor 3 并行并行 8-8-3030Copyright Oracle Corporation, 1999. All rights reserved. 并行数据库 提高速度 改进的可扩展性 增加的性能增加的性能 可用性可用性 适应性适应性 更多用户更多用户 处理器处理器2 2 处理器处理器1 1 处理器处理器4 4 处理器处理器3 3 并行并行 8-8-3131Copyright Oracle Corporation, 1999. All rights reserved. 并行查询 在服务器的过程之中SQL代码被分离 查询 子查询 子查询 子查询 8-8-3232Copyright Oracle Corporation, 1999. All rights reserved. 并行加载 多路SQL 处理加速载入量 Feb 98Feb 98Mar 98Mar 98 命令表命令表 Jan 98Jan 98 8-8-3333Copyright Oracle Corporation, 1999. All rights reserved. 并行处理 索引 排序 备份 恢复 概要 减少创建的时间 在高速缓冲存储器里有效地分配内存 从任意的节点同时执行 脱机 联机 从重做日志同时执行恢复 使用 CREA