Vertica 41架构概述

1、Vertica 4.1,架构概述,Vertica,培训,2011,年,8,月,17,日,2,Vertica,是什么,?,?,标准分布式关系数据库,MPP,?,标准界面,（,SQL -,结构化查询语言、,JDBC -,Java,数据库,连接、,ODBC -,开放式数据库连接、,ADO.NET,）,?,完全事务型（,ACID,：,原子性,-,Atomicity,、一致性,-,Consistency,、隔离性,-,Isolation,、持久性,-,Durability,）,?,多用户、多链接,3,MPP,具有独特创新设计的纵列式数据库管,理系统,标准,SQL,界面,本地高可用,性,自动数据库,设计,

2、高级压缩,纵列导向,MPP,海量并行处,理,提高,BI,、,ETL,、,Hadoop/MapReduce,和,OLTP,的投资效益,自动设置、优化,、数据库管理,内置式冗余可提高查,询速度,基于低成本,X86 Linux,节点的本地数据库感知,集群,通过,12+,算法获得高达,90%,的空间节余,无磁盘输入输出瓶,颈，可同时进行加,载和查询,性能优于传统,RDBMS,的,10-100,倍,从,TBs,至,PBs,的高扩展,性,与现有,ETL,和,BI,解决方,案可轻松整合,在现有硬件平台上具有,超高性能,极高的配置灵活性,4,纵列导向,Vertica,可在各,纵,列的磁,盘,上,对数据进行智能

3、化组织,?,从磁,盘,上,仅仅读,取,查询,涉及到的,纵,列，而不是在,传统,数据,库,管理系,统,中,读,取所有的行与,列,?,以,大号黑体字,进行读和写,?,在引擎中,纵,列,层,面上迭代操作,员,适用于高强度的加载与读取工作，可大幅减少内存与磁盘输入输出,AAPL,NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE,NYSE NYSE NYSE,143.74,NYSE NYSE NYSE,5/05/09,5/05/09,5/06/09,5/05/09,5/06/09,143.74,143.75,37.03,37.13,AAPL,NYASE NYAASE NYSE

4、 NYASE NGG,YSE NYGGGSE,NYSE NYSE NYSE,143.74,NYSE NYSE NYSE,5/06/09,BBY,NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE,NYSE NYSE NYSE,37.03,NYSE NYSE NYSE,5/05/09,BBY,NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE,NYSE NYSE NYSE,37.13,NYSE NYSE NYSE,5/06/09,选择,均价,自,划勾存储,位置,符号,= AAPL”,日期,= 5/06/09,纵列存储,-,读取,3,列,原始存储

5、,-,读取全部纵列,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,

6、NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,

7、NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,NYSE,NYSE,NYSE,NQDS,AAPL,AAPL,BBY,BBY,5,标准,SQL,界面,与现有,BI,（商务智能）以及,ETL,（数据抽取转换及加载）工具轻松无缝地整合并提升配置速度,?,Vertica,数据库支持,SQL,（结构化查询语言）、,ODBC,（开放数据库连接）、,

8、JDBC,（,JAVA,数据库连接）和多数,ETL,（数据抽取转换及加载）以及,BI,（商务智能）报告等产,品,提升现有投资价值同时降低,TCO,（总体拥有成本）,SQL, ODBC,JDBC, ADO.net,海量与微量加载,ETL,、复制与数据质量,分析、报告,6,本地高可用性,数据库内类似独立磁盘冗余阵列（,RAID,）的功能,?,对推算进行组织，当一个节点发生错误时，则立即在存活节点上生成一个副本,?,在不同种类查询命令中自动存储冗余数据，同时提高性能,?,无需手动进行基于日志的恢复,无间断查询与加载,?,当节点发生故障时系统持续进行加载与查询,?,通过询问其它节点对缺失数据进行恢复,

9、A,B,A,2,B,2,C,2,B,A,C,B,2,A,2,C,2,1,1,1,3,3,C,3,A,1,B,1,C,1,B,3,A,3,C,3,7,Vertica,数据库设计者推荐使用一种物理数据库设计，为用户的查询需求提供最佳性能,?,最大限度减少数据库管理员花费在物理数据库调试上的时间,具有重新设计增值型数据库的功能，根据因时间而改变的工作量进行优化,?,在,Vertica,数据库配置之前或之后运行,?,对于工作量变化反应快速,?,后台程序任何时候均可即时运行,自动数据设计,A,B,A,(A B C | A),(B A C | B A),B,C,C,物理模型，并且进行压缩,?,令样本集中查

10、询命令快速运行,?,令其符合微量加载的要求,?,确保所有,SQL,查询能得到解答,数据库设计者生成,数据库管理员提供,逻辑模型,?,生成表格,以下样本集,?,典型查询,?,样本数据,K,级安全水平,8,编码机制,准时解码,高级压缩,Vertica,通过积极压缩用高速,CPU,周期代替慢速的磁盘输入输出,?,利用数据诸如排序与基数之类的属性,?,无需提前解码即可进行操作,?,可大范围跨排运行,?,实施后期实体化,?,最迟原则下的智能解码,引擎：,编码块,网络：编码,块,+,可选,LZO,交易日期,客户注册号,交易,5/05/2009,5/05/2009,5/05/2009,5/05/2009,5

11、/05/2009,5/05/2009,5/05/2009,5/05/2009,5/05/2009,5/05/2009,5/05/2009,0000001,0000001,0000003,0000003,0000005,0000011,0000011,0000020,0000026,0000050,0000051,0000052,Few values,sorted,5/05/2009, 16,RLE,0000001,0,2,2,4,10,10,19,25,49,DeltaVal,Many values,integer,原始数据,压缩数据,磁盘：编码,+,压缩,Many Others,结果,100

12、.25,302.43,991.23,73.45,134.09,843.11,208.13,114.29,83.07,43.98,229.76,Many distinct,values,LZO,T,?p:,?,+?,H,创建推算,DDL,（数据定义语言）,基础查询（可增加）,排序次序,分割,纵列表格与编码,17,Vertica,数据库设计者建议使用一种物理式数据库设计，可为终端客户的查询需求提供最佳的性能,?,最大限度减少数据库管理员花费在物理数据库调试上的时间,具有重新设计增值型数据库的能力，根据因时间而变化的工作量进行优化,?,在,Vertica,数据库配置之前或之后运行,?,对于工作量变化

13、反应快速,?,后台程序任何时候均可即时运行,自动设计与管理,数据库管理员提供,逻辑模型,?,生成表格,以下样本集,?,典型查询,?,S,样本数据,K,级安全水平,A,B,A,(A B C | A),(B A C | B A),B,C,C,物理模型，并且进行压缩,?,令样本集中查询命令快速运行,?,令其符合微量加载要求,?,确保所有,SQL,查询能得到解答,数据库设计者生成,18,推算,总结,?,推算,?,是经过编码和压缩并按照某种次序进行排序和分割的纵列集,合,?,在数据加载过程中自动进行维护,?,可存储多种推算，针对不同查询进行调整,?,多种推算的高可用性（,k,级安全性）,?,当节点缺失，

14、优化器可动态进行查询规划,?,通过查询其它节点进行自动节点恢复,?,自动数据库设计,?,数据库被存储于经过排序、编码和压缩的推算中,?,无需繁复的表格空间调试、分隔、索引、设计和更新、,MVs,就在基础表格的顶端,Vertica,内部组织,分布式查询执行,20,Vertica,查询执行的基础,?,SQL,查询的写入是针对表格的,?,从,fact,中选择,count(*),?,Vertica,将查询转化为针对推算的执行,?,从,fact_p1,中选择,count(*),;,?,查询优化器选择最优的查询规划,?,为查询选择最佳推算,?,选择一项可执行“加入”、“查询推算”等任务的命,令,?,成本最

15、低的查询规划将被选定进行查询,21,查询规划样本,查询规划：,访问路径：,+-GROUPBY HASH Cost: 34, Rows: 2,| Aggregates: sum_float(customer.age), count(customer.age), count(*),?潲灵?挠獵潴敭?瑳瑡?挠獵潴敭?湜浡履,| +- STORAGE ACCESS for customer Cost: 33, Rows: 2,| | Projection: public.customer_p1,?瑡牥慩楬敺?畣瑳浯牥献慴整?畣瑳浯牥愮敧?畣瑳浯牥尮慮敭,| | Filter: (customer.ge

16、nder = M),| | Filter: (customer.state = ANY (ARRAYMA, NH),查询：,select name, state, avg(age), count(*),from customer,where state in (MA, NH),and gender = M,group by state, name;,22,查询执行工作流程,?,客户连接节点并发出查询指令,?,客户连接的节点成为起始节点,?,集群中其它节点成为执行节点,?,起始节点对查询进行分析并选择一项执行规划,?,起始节点将查询规划分配至执行节点,select count(*) from f

17、act;,起始节点,执行节点,执行节点,23,查询执行工作流程,?,所有节点均在当地执行查询规划,?,执行节点将部分查询结果发回到起始节点,?,起始节点将所有节点的结果进行汇总,?,起始节点将最终结果返回给用户,执行节点,执行节点,起始节点,select count(*) from fact;,3,10,3,4,10,Vertica,内部组织,事,务处理,与锁定,25,Vertica,事务处理,?,事务处理,?,运算的顺序、以,COMMIT,（确认提交）或者,ROLLBACK,（回,滚）结束,?,提供数据库运算的原子性和隔离性,?,事务起源,?,用户事务,隐秘的或明显的（事务起始）,?,内部,

18、Vertica,事务处理,初始化,/,停机,恢复,数组移动：合并与移出,26,Vertica,事务处理模式,?,所有改变均是为了生成新的文件,?,所有文件均无法原地更新,WO,S,完结阶段,插入、删除、更新,与最近查询,I,历史查询,（无,锁）,目前阶段,在数据操作语言（,DML,）提交上目前阶段即高级阶段,最近阶段,（无锁）,久远的历,史标记,27,Vertica,事务处理模式的优点,?,读与写之间不存在争议,?,一旦文件被写入磁盘，就不可能再次写入,?,被删除的数据将被标记为已删除，不会被立即移除,?,更新与删除的模式相同，此外还有插入,?,如需回滚，只要将未完成的文件丢弃即可,?,优点：

19、不需要撤销日志,?,由,K,级安全性带来的持久性,?,所有数据被冗余存储在多个节点上,?,通过查询其它节点进行数据恢复,?,优点：不再需要重建日志,?,简单,/,轻量级确认提交及协议书,28,事务处理的隔离层面,?,读操作提交（默认）,?,其它事务一旦发生变化便可发现,?,轻量级锁定,数据选择不需锁定,?,序列化,?,你的事务成为系统中的唯一事务，你无法看到其他,人的事务变化,?,从锁定的角度看代价很高，经常导致阻碍其他人的,事务或者他们的事务阻碍你,?,行为方式与其它数据库是一致的,29,事务的隔离层面与锁定,?,表格层面锁定,?,锁定类型（用户事务）,?,共享,不可在读操作提交模式中使用,

20、序列模式中读（选择）时必需,?,插入,写入时必需（插入、复制）,?,专用,删除,/,更新时必需,?,同时进行加载与查询，无锁定争议,?,在读操作提交模式中,S,I,X,冲突图表,Vertica,内部组织,混合型数据存储：,ROS,与,WOS,31,混合型数据存储：,ROS,与,WOS,?,ROS,磁盘式优化数据存储,?,WOS,面向低延时数据载入的内存式数据存储,异步数据迁移,数组移动,?,磁盘式,?,已排序,/,已压缩,?,已分割,?,大量数据直接载入,(A B C | A),A,B,C,写优化存储,(WOS),?,内存式,?,未排序,/,未压缩,?,已分割,?,低延时,/,少量快速插入,读

21、优化存储,(ROS),排序数据,32,数组移动,-,移出,?,频繁载入,WOS,，几秒钟内数据即可查询,?,移出过程与数据移动到,ROS,的过程是异步的,IBM 60.25 10,000 1/15/2006,MSFT 60.53 12,500 1/15/2006,IBM 60.19 7,100 1/15/2006,NFLX 28.29 25,000 1/16/2006,IBM,1 60.25 10,000 1/15/2006, 2,0.53 13,500 1/16/2006,1,MSFT,2 62.29 11,000,NFLX,1 28.29 25,000 1/16/2006,1,写优化原始存

22、储,(WOS),异步数据迁移,数组移动,读优化纵列式存储,(ROS),IBM ,2 60.25 10,000 1/15/2006, 2,MSFT,1 60.53 12,500 1/15/2006, 1,60.19 7,100,NFLX ,1 28.29 25,000 1/16/2006, 1,Sorted Data,33,数组移动,合并,?,合并就是将,ROS,的多个存储容器结合起来以减少存储残片,IBM,1 60.25 10,000 1/15/2006, 2,60.53 13,500 1/16/2006,1,MSFT,2 62.29 11,000,NFLX,1 28.29 25,000 1/16/2006,1,写优化原始存储,(WOS),异步数据迁移,数组移动,读