Exadata技术架构和主要特点

1、EXADMA技术架构和主要特点ORACLGORACLE*THE INFORMATION COMPANY Share Disk和Share Nothi叩是两种主要的数据库架构Exadata提供一种混合式的数据库架构，能够有效解决两者的冲突，吸取 两种架构长处;既可以满足OLTP的高并发.高可用特点；又可以满足 OLAP的大数据量处理要求；Share Disk把数据传输到应用代码端Share Nothing把应用代码移到数据端运行当应用代码量很大（高并发）.相关 数据量比较小时，Share Disk更加适 合这种典型的OLTP应用；主要特点：高并发、高可用性（由于数 据共享，当节点故障可以透明切换

2、到其他 数据库节点运行作业）当相关数据量很大.而应用代码并发 量很小时，Share Nothing更加适合这 种典型的OLAP应用；主要特点：大数据量处理、低并发、 低可用性（由于数据非共享，当节点故障 ,其他节点要接管故障节点数据）ExadlaMt檎概述邕F主要指标T智能存储高可靠高扩展数据库处理层(Share Disk)超高速并发网络层单节点数据库RAC多节点数据库Exadata Cell Exadata Cell Exadata Cell智能存储层(Share Nothing)rrmr i rrmr i rrnrr下于笛下冷 OLTP 丫高可靠高扩展主要指标丫智能存储Infiniband

3、 高速互计算密集型处理数据库服务池数据密集型处理智能存储池联的数据交换 Exadata 智能存储服务器(Share Nothing Architecture)在存储部件中实现数据密集型处理进行表及索引扫描，过滤查询无关数据数据库服务器承担计算密集型处理(Share Disk Architecture) 求和，统计，数据转换，等.EXADATA 概述适用于数据仓库应用的最好的数据库服务器(Bestfor Data Warehousing)基于40x压缩表的Smart scan基于内存数据的并行查询整体上比们版本快5倍适用于OLTP系统的最好的数据库服务器(Best for OLTP)唯一基于网格

4、技术扩展的数据库 Smart flash eache 可达到20x (1MIOPS)快的IOPS,或者节省20x对于归档数据可达到50x的压缩率安全，容错适用于混合负载的最好的数据库服务器(Best forConsolidation)唯一的支持所有负载类型的database machine多个数据库，多个应用，多个用户环境都能提供可预测的响应时 间Exadata数据库_体机网格技术之大成高性能，低成本，冗余，线性扩展超级性能&开箱即用RACDB数据库服务器网格 8 x高性能低成本DB服务器每个服务器包括2x4核Xeons/72GBRAMInfiniBand 网络每路40 Gb/sec的

5、高可用网络智能存叽 OLTP 丫看乐高扩展Exadata智能存储服务器网格=14x高性能低成本存储服务器。100 TB rawSAS 盘or336 TB raw SATA 盘 5TB+ 闪存(flash storage)!Extreme Performance超级性能数据库服务器网格几百万级事务处理能力/每分钟几千万级查询能力/每分钟几十亿级记录扫描能力/每分钟InfiniBand 网络 880 Gb/sec累计10带宽Exadata智能存储服务器网格 21 GB/sec磁盘数据扫描 50GB/sec内存数据扫描巾百万+随机I/Os/sec, 8KDB块諭側产品能力Single ServerQ

6、uarter RackHalf RackFull RackSAS7.2 TB21 TB50 TB100 TBRaw Disk1SATA24 TB72 TB168 TB336 TBRaw Flash1384 GB1.1 TB2.6 TB5.3 TBUser Data2SAS2 TB6 TB14TB28 TB(assuming nocompression)SATA7 TB21 TB50 TB100 TB1 - Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1

7、000 bytes.2 User Data: Actual space for end-user data, computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp, logs, undo, and indexes. Actual user data capacity varies by application. User Data capacity calculated using 1 TB = 1024 * 10

8、24 * 1024 * 1024 bytes.Ref: 1/ROOTCORNER/PRACTICESORGANIZATIONS/BUEMEA/DIEMEACT/UK/Sales/Technology%20Solutions%20 and%20Channels/Exadata/References/V1salesspininternalSun_Oracle_Exadata_Technical_Overview.ppt做为MPP网格的单元部件，每个2U单元提供 高达化5 GB/sec原始数据带宽(with Disk) 高达75,000IOPS (with Flash) 高达3.6 GB/sec原始

9、数据带宽(with Flash)智能存储服务器构成 2x 4核Xeon®E5540 处理器(Nehalem架构) 24GB RAM 双口 4xQDR （40Gbls） InfiniBand接 口 卡 磁盘选项 12x600 GB SAS盘（合计7.2 TB） 12 x2TB SATA盘（合计24 TB）4 x 96 GB Sun Flash PCIe Cards （合计384 GB）软件预装3 year, 24 x 7, 4 Hr On-site responseExadata Smart Storage智能存储服务2 突破数揺处理甫贸瓶颈及随臧。囁切I贏區丹人 Exadata以三种

10、途径解决数据处理带宽瓶颈大规模智能存储网格并发计算MPP数据处理带宽与数据量成正比存储层负责数据密集型处理SmartScan数据库SQL负荷被分布到存储层实现，利用大量存在 的存储层CPU处理本存储节点内的数据-混合型列压缩HCC,数据量降低40倍以上 HCC在降低存储成本的同时，增加了查询性能通过Exadata Smart Flash Cache解决随机10瓶颈随机I/Os速度提升20倍以上架构优势丁主要指标智能存储OLTP 高可靠高扩展關豳的祷備端数擴糜处理逻输架构优势1主要指标架构优势丁主要指标智能存储OLTP 高可靠高扩展 Exadata Storage Server在存储端进行数据密

11、 集型处理 智能扫描SmartScanROW使用“where”谓词筛选行COLUMN列筛选JOIN联接筛选增量备份筛选混合型列压缩技术自动透明的存储索引扫描加密数据架构优势丁主要指标智能存储OLTP 高可靠高扩展架构优势丁主要指标智能存储OLTP 高可靠高扩展架构优势丁主要指标智能存储OLTP 高可靠高扩展传虢嫩輾摩拥摘处霆披术SELECT customer_name FROM calls WHERE amount >200;基于传统存储技术，全部的 数据库智能存在于数据库主DB主机确定表 的存储分区发起"Os请求I/Os执行： 返回彳TB数据g參0爰回数据行eDB主机筛选彳T

12、B数据， 勺得到1000行客户要求的数据，计算并返回给客户端机。来源于存储的数据大部分被 数据库主机所丢弃。大量的废弃数据占用了宝贵 的数据库主机资源（10、内 存和CPU）,严重影响其它 任务执行，处理缓慢。架构优势丁主要指标智能存储OLTP 高可靠高扩展问题：昨天 的销售业绩 如何？Oracle数据库 网格Exadata 智能 存储层Select sum(sales) whereDate-24-Sepf.构建并发Smart Scan请求 .Smart Scan 在TB级数据 中扫描匹配 请求的数据SUM仅仅返回满足厂架构优势丁主要指标丁智能存储OLTP 高可靠高扩展数据按列存储，然后压缩E

13、xadata混合列压缩针对教据仓库的查询模式 -为提高速度进行了优化 -通常压缩比可达10倍 -扫描成比例增长针对不常访问教据的归档模式 -为减小空间进行了优化 -通常可达15倍压缩 -对某些数据可达50倍压缩行压缩vs列数据库vs混合列压缩厂架构优势丁主要指标丁智能存储OLTP 高可靠高扩展厂架构优势丁主要指标丁智能存储OLTP 高可靠高扩展压缩的行列数据库Database BlockSymbol TableRow 2Row 3混合列Compression Unit 1oX22Compression Unit 2很好的随机行访问特性非常好的Table Scan5x - 40x 压缩很好的随机

14、行访问特性0K表访问2x5x压缩很差的随机行访问特性非常好的Table Scan 5x40x压缩52-qel AqUOTQnpaH Ns压缩比率： Query = 14.6X Archive = 22.6XVary by application and tableExadata存储索引无需任何开销即可透明地消除鉴架构优势J主要指标“智能存储j OLTP 丫高可靠丫高扩展TableIndexMin B = 1Max B =5Min B = 3Max B =8 Exadata存储索引在内存中保存表数据的 汇总信息存储列的MIN和MAX值通常每MB磁盘空间建立一个索引项如果MIN和MAX值不匹配查询

15、的“where” 子句，则不访问磁盘I/O完全地_自动化和透明Select * from Table where B<2 仅第一组记录匹配Exadata存储索引示例表SALES -'架构优势J主要指标智能存储4 OLTP 丫高可靠丫高扩展Order_dateShip_dateCustJDProdJDAmount03-SEP-200919-SEP-2009100753293210,000.00l03-SEP-200905-SEP-2009200982009820,000.0003-SEP-200907-OCT-2009100892001015,000.0003-SEP-200901

16、-OCT-2009201001000035,000.0003-SEP-200919-OCT-2009803003000010,000.0003-SEP-200903-NOV-200910000203040,000.00对常用列自动收集的摘要存储在Exadata Storage Serve啲内存MINMAXData Chunk #1Order_date03-SEP-200903.SEP-2009Ship_date05-SEP-200907-OCT-2009CustlD1007520098ProdJD2001032932Amount10,00020,000Data Chunk #2Order_da

17、te03-SEP-200903-SEP-2009Ship_date01-OCT-200903-NOV-2009Cust.lD1000080300ProdJD203030000Amount10,00040,000ORACL&Exadata存储索引示例表SALES -架构优势J主要指标“智能存储j OLTP 丫高可靠丫高扩展WHERE ship_date between ,01-SEP-2009, and ,31-SEP-2009,Onkr_dateShip .dateCu»t_IDProd.DAmountO3GP-2DO9ig-SEP-2009100753283210,000.

18、0003EP-2D0905-SE P-20092D09B2009820,000.0003E P-2009070CT-2D09100892D01015,000.0003E P-200901-OCT-2D09201001000035,000.0003E P-2009igOCT-20098D3003000010,000.0003EP-2D0903-NOV-2D0910000203040,000.00存储索引将无关data chunk忽略掉提供类似分区修剪的功能 Netezza relies upon Zone MapsORACL&对犬型拥摘酌铳他1 TB（压缩）III100 GB（分区修剪）

19、10 TB的用户数据需要10TB的IO20 GB5 GB（存储索引）（智能扫描）在Database Machine上实现亚秒级数据减少40倍，扫描加快2000倍©L» OLTP注重数据的计算.记录的插入.删除与修改，以及简单的查 询和统计。它的主要任务是进行事务处理，所关注的是事务处理的 及时性、完整性和正确性。衡量OLTP性能主要看TPS和响应时间影响OLTP性能的主要是存储系统的IOPS性能 传统高端存储架构的特点导致IOPS性能的不足，典型高端阵列只能达到 100k+ IOPS。数据库与存储之间互不了解，无法进行智能优化处理解决磁盘随机I/O瓶颈aaui高可靠丫高扩展

20、?能存储300 I/O per Sec磁盘可存储大量数据Tens ofThousands of I/O s per Second但每秒的随机I/O <200- 300 I/Os （8K块） Flash闪存技术可存储少量数据(但远大于DRAM) 但却能提供每秒几万级的I/O理想解决方案-两者结合保存大容量数据于磁盘保存大比例常用数据于闪存(5%/0%)在磁盘和佃sh间透明传递数据-采用flash cards,而非闪存Disk避免控制器瓶颈在智能存储服务器中部署Flash cards高带宽，低延时数据库逻辑感知Exadata Flash 闪存提供随机i/o的超级性能?能存储数据库一体机提供总

21、计5TB的闪存每智能存储服务器配置4块高速闪存卡Smart Flash Cache缓存热数据，但不是采用简单的LRU算法，库逻辑感知基于数据库数据使用逻辑，知道那些数 据应该缓存，那些不应该缓存允许基于应用表进行指定优化，如提示高优先 级驻留于缓存Oracle is the First Flash Optimized Database兰三Database Machine可实现:随机I/Os速度比1000块rAT- hri的企业级阵列(200KIOPS）快5倍 20+倍随机IIOs (75K vs. 3.6K per cell)超过1百万I/Os per Sec 2+倍大数据量顺序I/O (50

22、GB/S vs. 21 GB/s) 50 GB/sec 40倍更快的响应时间 <1 ms极大地降低成本 10倍更少的磁盘I/O需求更低的功耗内存中并行执行确定所查询表的大小如果表非常适用于将表的各部分读到内存中并行执行每个节点的缓冲区缓SQL语句表非常大表非常小读到任意节点的缓冲区缓存中只有同一RAC节点上的并行服务器可以访问每个部分肉壽中并舒轨行QphH:1TBTPCH1,166,976数据库馅.2版引入了对内存缓存(D RAM cached)数 据的并行查询处理 -利用整个数据库集群的内存容量进行查询 -1TB TPC-H世界纪录的基础 一个 Sun Oracle Database

23、Machine 机架可用DRAM 400GB进行缓存 Exadata混合列存储可使4TB data in DRAMDRAM比磁盘有400x带宽比专用内存数据仓库更快2架冗余Exadata V2相似的DB服务器性能$2.3M1xP595 （IBM最快的单机SMP）相似的I/O能力-Both with Flash相似的存储容量8xlBM DS8300 Turbo避兔磁盘或删的单点故摩mm鮒 涮 闯碗©w曜翊etui鬆ASMFailure GroupIExadata CellASMFailure GroupEx a data CellDiskGro upASM mirroring is used protect against disk failures ASM fai