Greenplum架构介绍

Greenplum产品介绍,Greenplum数据库,海量并行处理(MassivelyParallelProcessing)DBMS基于PostgreSQL8.2相同的客户端功能增加支持并行处理的技术增加支持数据仓库和BI的特性外部表(externaltables)/并行加载(parallelloading)资源管理查询优化器增强(queryoptimizerenhancements),Greenplum基本体系架构,客户端接口和程序,psqlpgAdminIIIODBCJDBCPerlDBIPythonlibpq,MasterHost,访问系统的入口数据库侦听进程(postgres)处理所有用户连接建立查询计划协调工作处理过程管理工具系统目录表和元数据（数据字典）不存放任何用户数据,Segments,每段（Segment）存放一部分用户数据一个系统可以有多段用户不能直接存取访问所有对段的访问都经过Master数据库监听进程(postgres)监听来自Master的连接,Interconnect,Greenplum数据库之间的连接层进程间协调和管理基于千兆以太网架构属于系统内部私网配置支持两种协议：TCPorUDP,Greenplum高可用性体系架构,数据冗余段间镜像,Hash分布CREATETABLEDISTRIBUTEDBY(column,)同样数值的内容被分配到同一个Segment上循环分布CREATETABLEDISTRIBUTEDRANDOMLY具有同样数值的行内容并不一定在同一个Segment上,表分布的策略,分布存储,均衡的数据分布,数据源2,区段1,区段2,区段3,区段4,区段5,区段6,区段7,区段8,数据源1,数据源3,并行加载并进行能够Hash分布,表分区的概念,将一张大表逻辑性地分成多个部分提高对于特定类型数据的查询速度和性能也可以更方便数据库的维护和更新两种类型:Range分区(日期范围或数字范围)List分区Greenplum中的表分区在使用中具有总表的继承性，并通过Check参数指定相应的子表分区的子表依然根据分布策略分布在各segment上,表分区示意图,查询命令的执行,SELECTcustomer,amountFROMsalesJOINcustomerUSING(cust_id)WHEREdate=04302008;,并行查询计划,外部表加载,外部表的特征read-only数据存放在数据库外可执行SELECT,JOIN,SORT等命令，类似正规表的操作外部表的优点并行方式加载ETL的灵活性格式错误行的容错处理支持多种数据源两种方式:ExternalTables:基于文件WebTables:基于URL或指令,并行文件的分布方式(gpfdist),外部表加载的特征,并行数据加载提供最好的性能能够处理远程存储的文件采用HTTP协议200MB/sdatadistributionratepergpfdistExampleStartCommands:gpfdist-d/var/load_files/expenses-p8080-l/home/gpadmin/log,限制查询队列的激活数防止系统过载(CPU,diskI/O,memory),资源负载管理（WorkloadManagement）,资源队列的两种典型管理方式,ResourceQueueLimitsACTIVETHRESHOLDEXAMPLE:CREATERESOURCEQUEUEadhocACTIVETHRESHOLD10IGNORETHRESHOLD1000.0;COSTTHRESHOLDEXAMPLES:CREATERESOURCEQUEUEbatch1COSTTHRESHOLD1000000.0NOOVERCOMMI