Oracle Database 12C内存数据库处理

1、Oracle Database 12c 内存数据库处理内存趋势和影响现在的内存速度更快、价格更低、容量更多内存容量 增加2002256 MB/DIMM201216 GB/DIMM内存成本降低2002$0.2/MB2012$0.009/MB内存速度大增磁盘5 毫秒响应速度DRAM100 纳秒响应速度容量增加 64 倍价格便宜 25 倍速度提高 50,000 倍更快的 OLTP 和分析、更多用户、更多数据DRAM：2012$0.0005/MB2012100 GB/DOM闪存0.25 毫秒响应速度容量增加 400 倍价格便宜 400 倍速度提高 20 倍闪存：Oracle 内存 SQL 关系数据库O

2、racle TimesTen 和 Oracle DatabaseOracle TimesTenIMDB 领域的技术领导者纯 IMDB 所有数据必须装入内存IMDB 领域的市场领导者数千个客户Oracle Database数据库和 IMDB 领域的技术领导者30 年数据库创新经验10 年 IMDB 创新经验磁盘与内存混合数据库数据库领域的市场领导者300,000 多个客户应用程序应用程序应用程序内存数据库（中间层）内存数据库 （数据库层）Oracle TimesTen 内存数据库适用于 OLTP 和商务智能的内存数据库针对 Exalytics 商务智能进行设计内存列式压缩复杂查询针对 OLTP

3、进行优化微秒级的响应时间完整的事务处理和高可用InfiniBand内存数据库创新在内存中缓存活动数据保存在内存中带宽/socket：30GB/s纵向扩展和横向扩展跨内核、cpu 和集群扩展压缩更多数据装入内存更加高效的 内存带宽列存储高效列式处理生产环境下的内存功能在内存中缓存和处理数据运行 OLTP 数据库时，活动数据几乎都保持在内存中内存列存储用与数据仓库内存并行查询可以把数据分布到集群每个节点的内存中在内存中缓存活动数据保持在内存中带宽/socket：30GB/s20092010用作数据仓库的内存列存储(Oracle 11g 第 2 版)内存并行查询 (Oracle 11g 第 1 版)

4、2007OLTP 内存横向扩展：RAC，缓存融合2007客户端和服务器上的内存结果集缓存 (Oracle 11g 第 1 版)2007 年前智能内存扫描 （11g 第 2 版）Exadata 内存数据库云服务器Oracle Exadata 优化 I 内存、闪存和磁盘磁盘的成本，DRAM 的速度 所有数据均存储在磁盘暖数据缓存在闪存热数据缓存在 DRAM最佳性价比技术大小容量，10 倍压缩成本/TB速度磁盘504TB5 PB1 倍18 GB/s闪存22 TB220 TB10 倍75 GB/sDRAM4 TB40 TB100 倍200 GB/s磁盘闪存D-RAM生产环境下的内存功能纵向扩展和横向扩

5、展利用多核和多处理器并行性进行并行查询超过 20 年的数据库优化经验2011 年，利用并行内存关联将速度提高 2 倍利用 RAC 进行横向扩展超过 10 年的数据库优化经验2007 年，内存并行查询提供跨集群内存并行处理2011超过 10 年的 RAC 纵向扩展优化经验内存并行查询 （11g 第 1 版）纵向扩展和横向扩展多核并行跨集群的资源池超过 20 年的纵向扩展优化经验2007 年前20072009内存 PQ 增强 （11g 第 2 版）缓存融合增强并行内存关联 （11g 第 2 版）利用内存 PQ 进行高性能分析Oracle Database 11g 第 1 版集群范围并行处理大大受益

6、于内存处理前，数据从磁盘读取到内存每个节点拥有一个已处理的数据子集集群范围内存可用于单个并行操作数据存入内存后无需输入/输出表缓存 2缓存 3缓存 1内存列式压缩内存中处理Exadata 上的并行内存关联X2-8 并行查询的带宽更高粒度分配和分发并行执行消息缓冲分配 NUMA 感知自动 DOP 计算Exadata 上智能内存扫描若内存访问受 CPU 限制，将部分处理动态分流到 Exadata使用 HCC 压缩时，优化系统资源的利用通过使用 Exadata 筛选和预处理，大幅减少内存中的数据Oracle Database 11g 第 2 版生产环境下的内存功能内存中压缩数据1997 年开始使用索

7、引压缩索引大小缩减 2 倍1999 年开始使用表压缩表大小缩减 2 倍2002 年至 2007 年使用基本压缩、OLTP 压缩更新后大小缩减 2-4 倍2009 年开始使用混合列式压缩数据仓库扩大 10 倍，归档量增加 15-50 倍19992002200720091997基本表压缩（Oracle 9i 第 2 版）表 (IOT) 压缩 (Oracle 8i)位图索引压缩 (Oracle 8)OLTP 表压缩（Oracle 11g 第 1 版）非结构化数据压缩 （Oracle 11g 第 1 版）混合列式压缩 （Oracle 11g 第 2 版）2010压缩更多数据装入内存更加高效地使用 内存

8、带宽前缀索引压缩 (Oracle 8i)生产环境下的内存功能用作数据仓库的内存列存储2009 年开始使用内存列存储用与数据仓库混合列压缩将内存占用空间减少 10 倍高度优化内存列式数据处理2009 年在闪存缓存和磁盘上实现了列式存储20102011用于数据仓库的磁盘列式存储用于归档的磁盘列式存储（11g 第 2 版）针对列式处理的内存优化（11g 第 2 版）2009用作数据仓库的内存列存储列式闪存缓存 （11g 第 2 版）列存储高效的列式处理12c 内存数据库规划缓存Exadata 写回闪存缓存改进用于数据仓库内存缓存的替换算法内存全局临时表针对非结构化数据的内存缓存和处理压缩压缩优化查询

9、使用自动数据优化的自动压缩宽表压缩列存储行集 内存优化的，set-at-a-time查询处理方式扩展到文本、空间、XML 和 12针对 OLTP 的列式存储自动列化EHCC 行级锁纵向扩展和横向扩展内存 PQ 优化缓存融合协议增强Exadata Exafusion12 内存全局临时表全局临时表 (GTT) 频繁用于 OLTP 和 DW例如：暂存报表中的中间结果从 12 开始，GTT 完全在内存中运行它们不会因redo和undo数据产生 I/O允许在 Active Data Guard 上使用全局临时表GTT 用于 Oracle 应用程序和其他 OLTP 应用程序减小远程备用数据库的 WAN 带

10、宽提高数据库恢复速度 减少要恢复和应用的日志数据用例在 11g 中重做在 12c 中重做GTT 上 的 OLTP 10,000 个事务447MB零通过消除 I/O 提升分析和报表应用程序的速度 HCC 支持空间数据和文本数据Spatial的用户通常拥有大量数据HCC 为空间数据提供了高压缩比例如：Santos Oil & Gas，生产效率提高了 52 倍HCC 表支持 LOB 上的文本索引 Exadata 智能扫描支持的非结构化数据小 CLOB ( 4KB) 上的筛选下推至 Exadata 存储单元处理Like 表达式，如 like(html, Exadata)模式匹配，如 regexp_li

11、ke(html, .*Exadata V0-9*.*)12 针对非结构化数据处理的内存改进非机构化数据的列式和 Exadata 智能扫描12 针对非结构化数据处理的内存改进LOB 上的快速字符串操作 concat、substr 等，平均增速 2.6 倍更快的临时 LOB，追加等常规操作速度加快 10 倍以上无分区表 LOB 上的并行 DML 支持基于统计和成本的优化加快空间数据和图表查询的速度更快的 XML 操作，针对 XML 生成运算符的并行查询更快的队列，更快的 R 统计分析提升内存处理并行性12 基于内存队列的快速审计使用的内存队列避免审计带来的用户事务上的开销，使审计能适用于所有应用程

12、序使用 SecureFile 存储保存审计队列高效管理和清理审计跟踪文件对审计跟踪文件分区，加快清理速度用基于大小的分区存储审计跟踪数据对选择性审计提供条件审计支持统一审计跟踪和统一审计配置可拔插数据库的内存优化资源节省 6 倍，扩展性增加 5 倍 OLTP 基准对比 50 个可拔插数据库仅占用 3GB 内存，而 50 个独立数据库需占用 20GB 内存 可拔插数据库可扩展到 100 多个，而独立数据库实例最多为 50 个数据库实例数 已占用内存12 高级行压缩压缩数据查询内存扫描数据在内存中不解压缩在 12 中，对非重复值数量较少的列进行复杂谓词内存扫描，速度最多提高 3 倍select f

13、rom Customers where name like %C%Bank12 自动数据优化随着数据逐渐变旧：活动降低数据量增加旧数据主要 用于编制报告本季度本年度前几年OLTP编制报告合规性和编制报告行存储 以实现快速 OLTP压缩的 列存储以实现快速分析10 倍压缩15 倍压缩随着数据归于沉寂，高级数据优化会自动将数据联机 转换成压缩列归档采用压缩 列存储以实现最大压缩alter table 添加策略无修改长达 3 个月后，压缩以备查询 1 年后，压缩以备归档针对 OLTP 的列式存储Exadata 12c，自动列化自动列化当分区变旧时，会自动转换成 HCC 压缩格式使 HCC 适用于 O

14、LTP 数据ALTER TABLE sales ILM ADD CompressionPolicy 针对查询的列存储压缩创建 120 天后；当数据变旧时更新本季度本年度针对 OLTP 的列式存储行存储是 OLTP 的传统选择列存储提供更高的压缩比和更好的分析性能HCC 的创新在于使用混合方法实现 行访问的单一 I/O操作HCC 行级锁的创新允许并发的单条记录的更新操作随用户数量的增加呈线性扩展行存储仍是 OLTP 数据的最佳存储方式Exadata 12c，针对列存储的行级锁12 内存中并行执行Database 12 版引入了对内存缓存数据的高性能并行查询处理从数据库缓冲区中的表运行查询利用整个

15、数据库集群的内存容量进行查询关联性算法把内存中某个对象的各段（分区）存放在不同的 RAC 节点数据在内存中保持压缩状态内存是磁盘带宽的 100 倍 针对 OLTP 的 Exafusion InfiniBand 协议 12c Exafusion 侧重延迟和 CPU 使用率提升 OLTP 上 RAC 横向扩展性能优化锁定和远程块 RAC 缓存融合请求用户模式 InfiniBand 和 直接访问 InfiniBand 硬件 的性能对比（英文原文可能有错 verbs应为verse） 延迟缩短 2 倍Exadata 12cOracle 内存数据库企业的最佳内存数据库12c 第 1 版大内存集群和 Exa

16、data 上超过 2 倍的索引压缩行集处理针对非结构化数据的内存列存储OLTP 宽表压缩HCC 行级锁定Oracle 在内存中运行任何 OLTP 应用程序，不加改动组合使用 DRAM、闪存和磁盘内存速度和磁盘成本数据库大小不受限200720122007 年前20092008超过 20 年的纵向扩展优化经验超过 10 年的横向扩展优化经验前缀索引压缩位图索引压缩基本和 IOT 表压缩等等内存并行查询OLTP 压缩非结构化数据压缩客户端 SQL/PL/SQL 结果缓存服务器 SQL/PL/SQL 结果缓存用作数据仓库的内存列存储列式压缩列式压缩缓存融合优化内存并行查询优化Exadata 存储上的内

17、存存储索引针对 OLTP 的重要 HA 特性远远超出企业数据库的内存需求快速启动恢复无需等待undo操作完成就可启动数据库并行和后台恢复所有数据可立即查询，无需等待加载完成数据保护零数据丢失快速故障切换到备用数据库压缩redo文件的传输自动检测和修复主数据库上损坏的数据块增量备份文件内并行备份和恢复块级介质恢复人为错误恢复细粒度的行和表级闪回DB 级闪回从回收站恢复删除数据事务回滚联机表重新定义和重建无读取锁、无写入锁，甚至行级亦无可在表、索引或分区级完成联机安装补丁和联机升级 DB用版本控制进行联机应用程序升级分布式事务和分布式恢复无需在添加/删除节点时重新分配数据还可列出 100 多项企业 HA 特性针对 OLTP 的其他主要功能领域特性全面的 Oracle Database 功能性能可管理性安全性高级队列分布式事务复制优化程序SQL 特性SQL 预编译共享游标存储过程语言触发器限制 Oracle 的内存愿景业界领先的 OLTP 和内存 DB分布式和集群：分布式事务与 XA 合规性、分布式查询、分布式多版本读取一致性、集群范围并行事务与读取一致性（带全球时钟)高可用性： 恢复时间与未恢复事务的大小无关，联机 DDL：添加列、分区移动、索引重建事务大小或回滚不受限双向临时数据库、起源