海量数据环境下的Oracle数据库系统架构设计和优化思路.docVIP

海量数据环境下的分布式Oracle数据库系统架构设计和优化思路谭怀远 alantany2012.4DTCC2012内容大纲312334大数据时代的到来分布式数据库系统的架构设计分布式数据库的优化思路其他替代产品和技术展望DTCC2012大数据时代-无法回避的趋势1社会信息化进程的继续深入2数据对企业业务决策日渐增加的3移动及互联网业务的高速发展影响DTCC2012大数据时代-企业面临新的课题数据的存储系统的性能海量数据数据的分析数据的冗余系统的扩展DTCC2012内容大纲312334大数据时代的到来分布式数据库的架构设计分布式数据库的优化思路其他替代产品和技术展望DTCC2012我的案例123455OLAP系统海量的数据-300T多层的分布式数据库关系型数据库-OracleLinux操作系统DTCC201233分布式数据库架构设计。分布式数据库架构中间件分布式数据库DTCC2012分布式数据库架构-优势数据的并行计算和访问灵活的扩展性I/O通道的扩展主机资源的整合D-DB对应用透明数据的冗余DTCC2012分布式数据库架构设计3D-DB主机数量数据冗余系统监控水平扩展备份及恢复容灾6DTCC2012分布式数据库架构设计-影响分布数据库数量的因素系统容量加载性能查询性能恢复时间DTCC2012分布式数据库架构设计-监控 Oracle OEM grid controlDTCC2012分布式数据库架构设计-备份与恢复业务数据数据备份待加载数据待加载数据SQL*Lloader数据库数据库介质DTCC2012恢复分布式数据库架构设计-扩展性容量性能当业务的数据接近系统设计的上限值时当数据处理的速度无法满足业务的需求时突发事件为了防止突发的事件使数据库崩溃DTCC2012分布式数据库架构设计-容灾应用调度服务异地灾备中心数据库DTCC2012分布式系统中间件架构设计-优势统一对外的API负载均衡高效的查询和加载性能灵活的扩展性DTCC2012分布式系统中间件架构设计服务容错和扩展分布式系统中间件架构服务监控统一API负载均衡数据查询数据加载服务监控容错和扩展6DTCC2012分布式系统中间件架构设计-负载均衡 图负载均衡查询服请求请求对象定位器对象状态负载分析器查询服务请求轻载载获选取取负载获取器查询服务DTCC2012请务求负 对象分布式系统中间件架构设计-数据查询用户用户用户查询并行查询服务子查询1 子查询n数据访问引擎 数据访问引擎结果合并 分组 排序 聚集操作 DB1DBnDTCC2012分布式系统中间件架构设计-服务容错和扩展查询服务请求负载均衡请求重失效查询服务查询服务DTCC2012请求SQL服务 定位分布式系统中间件架构设计-服务容错和扩展查询服务请求主负载均衡注册查询服务请求从负查询服务载均衡DTCC2012内容大纲312334大数据时代的到来分布式数据库的架构设计分布式数据库的优化思路其他替代产品和技术展望DTCC2012Oracle数据库的设计及优化分区索引只读表空间数据压缩并行dblinkRACDTCC2012Oracle数据库的设计及优化-分区数据管理1.数据导入导出2.备份和恢复3.数据的加载性能改善1.分区索引2.数据压缩3.只读表空间4.分区交换DTCC2012Oracle数据库的设计及优化-索引B树索引全文索引位图索引DTCC2012Oracle数据库的设计及优化-只读表空间避免数据块头的更新只读表空间减少数据库的启动和关闭时间有效的减少数据文件的故障DTCC2012Oracle数据库的设计及优化-数据压缩提高数据查询速度数据压缩减少数据的I/O次数提高备份和恢复速度DTCC2012Oracle数据库的设计及优化-dblink查询服务汇总数据库dblinkdblinkdblinkdblink数据库1数据库2据库数据库nDTCC2012数SQL 3SQLSQLSQLOracle数据库的设计及优化-dblink查询服务局部数据库执行器数据库RESULT问引擎临时RESULT据库局部数据库局部数据库RESUL TDTCC2012RESULT访数RESULTOracle数据库的设计及优化-并行使用并行查询并行配置并行在RAC上的分布不要过度打开并行度DTCC2012Oracle数据库的设计及优化-RAC适当减少RAC的节点RAC避免cache fusionDTCC2012内容大纲312334大数据时代的到来分布式数据库的架构设计分布式数据库的优化思路其他替代产品和技术展望DTCC2012其它的选择-列式数据库索引即数据更多的索引选择数据压缩比更高列式数据库更快的查询速度AD HOC更快的加载速度DTCC2012Oracle vs Sybase IQ 1000万条记录 带有三个索引数据库/时长sybase iqoracle数据加载937s1380smax/min0.937s44scount0.094s43sgroup by33s67swhere3.4s43s没有采用TPC-H测试方法。不具有普遍性。只是从我们自己的业务角度出发，它会提高业务的性能。目的是让用户多一种选择。DTCC2012未来数据库展望-RDBMS V.S. NOSQLRDBMS1 水平扩展受到限制2 不会消失，不再辉煌3 OLTP领域无