大数据方案简介

1、1 Copyright 2010 EMC Corporation. All rights reserved.Data Computing Division大数据解决方案简介2013-3-142 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionAttributes of Big DataVolumeVolumeVelocityVelocityVarietyVarietyBatchNear TimeReal TimeStreamsStructuredUnstructuredSemi-structu

2、redTerabytesTransactionsTablesRecordsFiles3 Copyright 2010 EMC Corporation. All rights reserved.Data Computing Division大数据对数据平台的技术要求分析 需求1：高性价比，完全并行化的高效数据处理能力，处理能力易于线性扩展的开放系统架构 需求2：支持灵活的数据存储方式 需求3：高压缩比，节省存储开支，提升IO效率 需求4：超大磁盘IO吞吐能力 需求5：高可用，无单点故障，最小化非计划性停机时间 需求6： 支持在线扩展，最小化计划性停机时间 需求7：支持强大灵活的分析语言 需求8：

3、完整的数据接口支持4 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGreeplum 可以做提供什么：开放式设备数据服务层第三方集成工具(如SAS,Infa) & 软件集成商Greenplum Chorus 一体化分析管理平台GP 分布式Hadoop文件系统数据科学家ETL工程师数据分析师BI分析师高管GP 分布式关系型数据库管理员数据服务团队云基础设施EMC DCA一体机5 Copyright 2010 EMC Corporation. All rights reserved.Data C

4、omputing DivisionGreenplum DataBase特点Share nothing 的 MPP 架构支持行、列混合存储支持在线、线性扩展架构在x86开放平台上高可用的高速并行关系型数据仓库6 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGreenplum DB特点1：完全无数据共享MPP架构NetworkInterconnect.MasterServersQuery planning & dispatch SegmentServersQuery processing &

5、data storageSQLMapReduceExternalSourcesLoading, streaming, etc.7 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionSG (Scatter/Gather) 流技术1) Scatter 阶段不需要专门的加载服务器加载性能与节点数成正比支持大批量及实时数据加载对源系统的影响（资源消耗）非常小2) Gather 阶段在数据收集中，可以用SQL对数据进行转换数据分布在每个并行节点上完全并行的数据引擎保证数据吞吐的最大化支持对数据进行压缩存储

6、Parallel everything8 Copyright 2010 EMC Corporation. All rights reserved.Data Computing Division数据高速并行加载和卸载业界最快并行加载速度16TB/小时 (16个节点配置下)并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk的I/O资源并行加载相比比串行加载，速度提高40-50倍以上，极大减少ETL窗口时间增加Segment和ETL Server，并行加载速度呈线性增长9 Copyright 2010 EMC Corporation. All rights reserved.

7、Data Computing Division Greenplum DB特点2：高度灵活的行列混合存储同时支持行模式，列模式存存储的数据库支持分区表的不同分区使用不同的存储模式灵活支持不同业务场景10 Copyright 2010 EMC Corporation. All rights reserved.Data Computing Division=海量数据由于压缩比低，需要大量的存储大量的存储需要大量的机房、供电、制冷、维护极大的投资和运维成本Greenplum支持Quicklz和zlib多种压缩算法经实测，采用列压缩模式，话单信息压缩比在15倍以上，采用行压缩模式，压缩比在4倍左右Gre

8、enplum DB特点3：高压缩比11 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGreenplum DB特点4：高可用架构(确保 没有单点故障) ClientInterconnectMPP Segment Host MPP Master Host Synch Process Standby MasterMPP Segment Host MPP Segment Host Primary Segment CMirror Segment B Primary Segment BMirror S

9、egment A Primary Segment AMirror Segment C12 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGreenplum DB特点5：动态在线扩容 Masterseg1seg2seg3seg4seg5seg6p数据自动在所有节点上重新分布p容量和性能在扩展后线性增长步骤1:新节点初始化加入MPP集群步骤2:数据在所有节点上重分布内联网13 Copyright 2010 EMC Corporation. All rights reserved.Data Com

10、puting DivisionGreenplum DB特点6：支持多种可编程分析语言Parallel Greenplum DatabaseGreenplum. SQL PL/R PL/PerlMapReduce PL/Python14 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGreenplum DB特点7：开放的数据接口易于集成SUNHPIBMORACLEDB2EMCHitachi 支持各种数据源抽取、转换、加载 (ETL) InformaticaDataStage分析型应用JavaE

11、E.NetSAP BOActuateCognosSASMicrostrategyCisco支持众多硬件平台支持ODBC/JDBC等多种接口 支持各种ETL工具支持SQL直接并行访问外部数据文件支持外部编程直接使用SQL并行访问数据库MySQL消息接口SQLServerIBMDB2Oracle数据文件15 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionGP DB特有的：对外部数据的In-flight数据访问 可以在Greenplum数据库中直接对外部存放的压缩/非压缩数据进行SQL查询和统计分

12、析，而无需将数据预先导入数据库，这样极大的方便了历史数据的在线访问和低陈本存储。Example:Select count(*) from HDFS_data h, GPDB_data g where h.key = g.key;Insert into HDFS_data select * from GPDB_data;访问远程存储的文件和数据流16 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionAnalytic Productivity Applications, Tools, Chorus

13、Greenplum DatabaseHadoopComputeStorageSQL DBEngineComputeStorageMapReduceEngineData Computing InterfacesSQL, MapReduce, In-Database Analytics, Parallel Data Loading (batch or real-time)All Data Typesunstructured datastructured datatemporal datageospatial datasensor dataspatial data paralleldata exch

14、angeparalleldata exchangeNetworkGreenplum DB：内置支持Hadoop并行交互17 Copyright 2010 EMC Corporation. All rights reserved.Data Computing DivisionData InputIntegrationData Stores and AccessData AnalysisPresentation & DeliveryMultimediaWeb/SocialERPCRMPOSData SourcesMobileDocumentsMachineDataQualityMDMETLEnte

15、rprise DataWarehouseBU 1BU 2BU 3Data MartsMap-ReduceKey ValuesDocumentsOther NoSqlEcosystem*HDFSHadoopNoSQL StoresFederatedData WarehouseMap-ReduceBI as a ServiceStatisticsData MiningOperations ResearchNeural NetsGenetic AlgorithmsOLAPAlertsReportsDashboardsSpreadsheets*Hadoop Ecosystem includes: Hive, Pig, Mahout, HBase, ZooKeeper, Oozie, Sqoop, AvroStructuredda