并行数据库技术分析及未来展望

并行数据库技术分析及未来展望Agenda并行数据库技术要点分析未来展望Paralleldatabasesystemseekstoimproveperformancethroughparallelizationofvariousoperationssuchasloadingdata,buildingindexes,andevaluatingqueriesbyusingmultipleCPUsandDisksinParallel.[1]MotivationParallelmachinesarebecomingquitecommonandaffordablePricesofmicroprocessors,memoryanddiskshavedroppedsharplyDatabasesaregrowingincreasinglylargelargevolumesoftransactiondataarecollectedandstoredforlateranalysis.multimediaobjectslikeimagesareincreasinglystoredindatabases并行数据库

ImprovesResponseTime.

INTERQUERYPARALLELISM

Itispossibletoprocessanumberoftransactionsinparallelwitheachother.

ImprovesThroughput.

INTRAQUERYPARALLELISMItispossibletoprocess‘sub-tasks’ofatransaction

inparallelwitheachother.并行数据库–目标(1)

Speed-UpAddingmoreresourcesresultsinproportionallylessrunningtimeforafixedamountofdata.10secondstoscanaDBof10,000recordsusing1CPU1secondtoscanaDBof10,000recordsusing10CPUs

Scale-Up(transaction/data)Ifresourcesareincreasedinproportiontoanincreaseindata/problemsize,theoveralltimeshouldremainconstant1secondtoscanaDBof1,000recordsusing1CPU

1secondtoscanaDBof10,000recordsusing10CPUs并行数据库–目标(2)Shared-MemoryandShared-DiskArchitecturesShared-Memory:allprocessorsshareacommonmainmemoryandsecondarymemoryLoadbalancingisrelativelyeasytoachieve,butsufferfrommemoryandbuscontentionShared-Disk:allprocessors,eachofwhichhasitsownlocalmainmemory,sharethedisks并行数据库-体系结构(1)Shared-NothingArchitectureEachprocessorhasitsownlocalmainmemoryanddisksLoadbalancingbecomesdifficult并行数据库-体系结构(2)Shared-SomethingArchitectureAmixtureofshared-memoryandshared-nothingarchitecturesEachnodeisashared-memoryarchitectureconnectedtoaninterconnectionnetworkalashared-nothingarchitecture并行数据库-体系结构(3)元数据管理查询分析和执行器分布式事务分布式锁并发控制副本数据同步并行数据库–功能模块Agenda架构特点技术要点分析未来展望2/5/2023111.ParallelDB/D.S.Jagli111.ParallelDB/D.S.Jagli技术要点–层次结构MasterServer:外部App访问入口集群元数据管理SQLParser生成执行计划和任务调度2/5/2023121.ParallelDB/D.S.Jagli12Range

HashRoundRobinA...EF...JK...NO...ST...ZA...EF...JK...NO...ST...ZA...EF...JK...NO...ST...ZGoodforequijoins,exact-matchqueries,andrangequeriesGoodforequijoins,exactmatchqueriesGoodtospreadload1.ParallelDB/D.S.Jagli技术要点–数据分区2/5/2023131.ParallelDB/D.S.Jagli131.ParallelDB/D.S.Jagli技术要点–存储和索引(1)列存储(columnstore)数据按列存储，每一列单独存放只访问查询涉及的列，大量降低I/O数据类型一致，方便压缩数据包建索引，数据即索引行存储(rowstore)数据是按行存储的 没有索引的查询使用大量I/O建立索引和物化视图需要花费大量时间和资源面对查询的需求，数据库必须被大量膨胀才能满足性能要求。技术要点–存储和索引(2)混合存储(hybridstore)在大尺度上数据是按行存储，在小尺度上数据是按列存储在大尺度上以行作为任务切分，在小尺度上以列进行I/O优化技术要点–存储和索引(3)模糊索引精确索引

B+树

LSM

COLA3.列存索引(Projection）

技术要点–查询引擎技术要点–分布式事务(1)技术要点–分布式事务(2)技术要点–任务调度与资源管理技术要点–高可用技术要点–集群扩展数据库对一致性的天然要求数据库元数据管理数据分布的再平衡技术要点–备份和灾难恢复在线增量备份。支持HDFS作为备份存储介质，HDFS上的备份数据可通过Hadoop平台直接进行分析。以异地灾备替代常规备份操作。异地数据中心之间实现同步/异步操作。备份和恢复两个过程，以及异地灾备中的主从集群可实现异构恢复。技术要点–SSD应用场景数据量大，热点数据无法全部在缓存中。用户访问I/O量大，造成系统响应慢系统整体压力低，QPS值无法提高系统切换后，预热时间长等于故障Agenda并行数据库技术要点分析未来展望未来展望–并行数据库在大数据基础设置中的定位(1)适应已有的数据库生态，平滑替代无法跟上快速增长的数据量的传统EDW，连接BI工具。EDW工具的复杂性和对复杂SQL的支持程度，超过了目前Hadoop的能力。IngestLandingandAnalyticsSandboxZoneIndexes,facetsHive/HBaseColStoresDocumentsInVarietyofFormatsAnalyticsMapReduceIngestionandReal-timeAnalyticZoneDataSinksFilter,TransformIngestCorrelate,ClassifyExtract,AnnotateWarehousingZoneEnterpriseWarehouseDataMartsQueryEnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearchAnalyticsandReportingZoneMetadataandGovernanceZoneConnectors未来展望–并行数据库与Hadoop未来展望–并行数据库与Hadoop集成(SQL-on-HadoopGoogle,Mega，Spanner和F1向我们展现了跨数据中心数据库的可能。Cloudera开源了大数据查询分析引擎。ImpalaHortonworks开源了StingerFackbook开源了Presto类似Pregel，UCBerkeleyAMPLAB实验室开发了Spark图计算框架，并以Spark为核心开源了大数据查询分析引擎Shark。EMC的PivotalHAWQHadapt的HybridStorageEngine未来展望–并行数据库与Hadoop集成(Connector)未来展望–并行数据库与Hadoop集成(Hybrid)未来展望–IT基础设施的变化新的IT基础设置，如企业云环境，一体机，存储平台SDS(SoftwareDefineStorage)都解决了传统MPP数据库中的存储高可用问题。新一代的MPP数据库，将不再需要在MPP内部进行存储层副本的管理和高可用机制，这将极大简化MPP实现的复杂度。MPP数据库将更倾向于具有事务能力的SQLSuperComputer，以及通过对存储层的适配，达到最高性能。

Figure5.Tenant-relatedfactorsandhowtheyaffect“

isolatedversusshared"dataarchitecturedecisions未来展望–IT基础设施的变化（多租户）未来展望–并行数据库技术的发展实现跨不同地理位置数据中心数据库。例如,Google的Mega加强数据库内部的资源管理机制和任务的优先级调用实现完整的事务和并发控制能力。扩展支持应用类型的范围，逐渐模糊NOSQL与SQL的不同。例如，Vertica中的FlexEngine支持类似MongoDB可动态调整的基于非循环有向图的具有容错