海量数据环境下的Oracle数据库系统架构设计和优化思路

1、海量数据环境下的分布式 oracle数据库系统架构设数据库系统架构设 计和优化思路 谭怀远 alantany 2012.4 dtcc2012 3 1 2 3 3 4 内容大纲 大数据时代的到来 分布式数据库系统的架构设计 分布式数据库的优化思路 其他替代产品和技术展望 dtcc2012 大数据时代-无法回避的趋势 1 社会信息化进程 的继续深入 2 数据对企业业务 决策日渐增加的 3 移动及互联网业务 的高速发展 影响 dtcc2012 大数据时代-企业面临新的课题 数据的存储 系统的性能 海量数据 数据的分析 数据的冗余 系统的扩展 dtcc2012 3 1 2 3 3 4 内容大纲 大数据

2、时代的到来 分布式数据库的架构设计 分布式数据库的优化思路 其他替代产品和技术展望 dtcc2012 3 3 我的案例 1 2 3 4 5 5 olap系统系统 海量的数据-300t 多层的分布式数据库 关系型数据库-oracle linux操作系统操作系统 dtcc2012 分布式数据库架构设计。 分布式数据库架构 中间件分布式数据库 dtcc2012 分布式数据库架构-优势 数据的并行计算和访问灵活的扩展性 i/o通道的扩展 主机资源的整合 d-db 对应用透明 数据的冗余 dtcc2012 分布式数据库架构设计 3 d-db 主机数量数据冗余 系统监控水平扩展备份及恢复 容灾 6dtcc

3、2012 分布式数据库架构设计 -影响分布数据库数量的因素 系统容量 加载性能 查询性能 恢复时间 dtcc2012 分布式数据库架构设计-监控 oracle oem grid control dtcc2012 数据备份 分布式数据库架构设计-备份与恢复 业务数据 数据恢复 待加载数据 待加载数据 sql*lloader 数据库 数据库 介质 dtcc2012 分布式数据库架构设计-扩展性 容量 性能 当业务的数据接近系统设计 的上限值时 当数据处理的速度无法满足 业务的需求时 突发 事件 为了防止突发的事件使数据 库崩溃 dtcc2012 分布式数据库架构设计-容灾 应用 调度服务 异地灾备

4、 中心数据库 dtcc2012 分布式系统中间件架构设计-优势 统一对外的api 负载均衡 高效的查询 和加载性能 灵活的扩展性 dtcc2012 分布式系统中间件架构设计 服务容错和扩展 分布式系统中间件架构服务监控 统一api负载均衡 数据查询数据加载服务监控 容错和扩展 6dtcc2012 查询 服务 取 负载获 分布式系统中间件架构设计-负载均衡 图 负载均衡 请求 请求 请求 对象定位器 对象状态 负载分析器 查询 服务 请求 轻载对象 选取 负载获取器 查询 服务 dtcc2012 分布式系统中间件架构设计-数据查询 用户 用户 用户 查询 并行查询服务 子查询1 子查询n 数据访

5、问引擎 数据访问引擎 结果合并 分组 排序 聚集操 作 db1dbn dtcc2012 查询 服务失效 请求 分布式系统中间件架构设计-服务容错和扩展 查询 服务 请求 负 载 均 衡 请求重定位 sql 服务 查询 服务 dtcc2012 分布式系统中间件架构设计-服务容错和扩展 查询 服务 请求主 负 载 均 衡 注 册 查询 服务 请求 从 负 查询 服务 载 均 衡 dtcc2012 3 1 2 3 3 4 内容大纲 大数据时代的到来 分布式数据库的架构设计 分布式数据库的优化思路 其他替代产品和技术展望 dtcc2012 oracle数据库的设计及优化 分区 索引 只读表空间 数据压

6、缩 并行 dblink rac dtcc2012 oracle数据库的设计及优化-分区 数据管理 1.数据导入导出 2.备份和恢复 3.数据的加载 性能改善 1.分区索引 2.数据压缩 3.只读表空间 4.分区交换 dtcc2012 oracle数据库的设计及优化-索引 b树索引 全文索引 位图索引 dtcc2012 oracle数据库的设计及优化-只读表空间 避免数据块头的更新 只读表空间 减少数据库的启动和关闭时间 有效的减少数据文件的故障 dtcc2012 oracle数据库的设计及优化-数据压缩 提高数据查询速度 数据压缩 减少数据的i/o次数 提高备份和恢复速度 dtcc2012 s

7、ql sqlsqlsql oracle数据库的设计及优化-dblink 查询 服务 汇总数据库 dblink dblinkdblinkdblink 数据库1数据库2数据库3数据库n dtcc2012 result 访 数 result oracle数据库的设计及优化-dblink 查询服务 局部数据库 执 行 器 数 据 库 result 问 引 擎 临 时 result 据 库 局部数据库 局部数据库 result dtcc2012 oracle数据库的设计及优化-并行 使用并行查询 并行 配置并行在rac上的分布 不要过度打开并行度 dtcc2012 oracle数据库的设计及优化-rac

8、 适当减少rac的节点 rac 避免cache fusion dtcc2012 3 1 2 3 3 4 内容大纲 大数据时代的到来 分布式数据库的架构设计 分布式数据库的优化思路 其他替代产品和技术展望 dtcc2012 其它的选择-列式数据库 索引即数据 更多的索引选择 数据压缩比更高 列式数据库 更快的查询速度 ad hoc 更快的加载速度 dtcc2012 oracle vs sybase iq 1000万条记录万条记录 带有三个索引 数据库/时长 sybase iq oracle 数据加载 937s 1380s max/min 0.937s 44s count 0.094s 43s group by 33s 67s where 3.4s 43s 没有采用tpc-h测试方法。 不具有普遍性。 只是从我们自己的业务角度出发，它会提高业务的性能。 目的是让用户多一种选择。 dtcc2012 未来数据库展望-rdbms v.s. nosql rdbms 1 水平扩展受到限制 2 不会消失，不再辉煌 3