大数据技术交流37

大数据平台技术交流吴敏达–资深技术顾问2从各种各样类型的宏大数据中，快速获得有价值信息的才干，就是大数据技术什么是大数据Variety:管理复杂的多角度关系和非关系类型的数据〔他能否忽略利用的非构造化数据进展决策吗〕Velocity:流数据或者大量数据的挪动〔他能否希望经过实时操作提供更好的结果〕Volume:数据量从TB级到ZB级〔他能否搜集了一切数据，并在运用它吗〕Veracity：1/3的指点在做业务决策时候不置信获得的信息大数据参考架构超越传统的数据仓库概念流计算Internet级别传统数据仓库In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResultsInfoSphereBigInsights传统/关系型数据源非传统/非关系型数据源传统/关系型数据源非传统/非关系型数据源Cloud|Mobile|SecurityIBM大数据平台和运用框架经过可视化的方法采集、抽取、以及探查数据运用加速器，加速运用开发，快速实现分析价值BI/Reporting BI/ReportingExploration/VisualizationFunctional

AppIndustry

AppPredictiveAnalyticsContentAnalyticsAnalyticApplications〔分析运用〕IBMBigDataPlatform〔大数据平台〕SystemsManagementApplications&DevelopmentVisualization

&Discovery分析流数据，以及在大数据的是谁数据洞察数据管控〔数据质量、生命周期、……〕低本钱地分析PB级构造化和非构造化数据操作型数据或者历史数据的，基于数据仓库内嵌分析Accelerators〔加速器〕InformationIntegration&Governance信息整合和管控Hadoop

SystemStreamComputingDataWarehouseContextualDiscovery索引和联邦的上下文相关分析议程IBMhadoop平台－BigInsightsIBM流计算－StreamsIBM数据仓库平台－pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总6ForresterWave关于大数据的报告BigInsights企业版衔接和集成StreamsNetezzaTextprocessingengineandlibraryJDBCFlume根底架构JaqlHivePigHBaseMapReduceHDFSZooKeeperIndexingLuceneAdaptiveMapReduceOozieTextcompressionEnhancedsecurityFlexiblescheduler可选IBM产品分析和探查运用DB2BigSheetsWebCrawlerDistribfilecopyDBexportBoardreaderDBimportAdhocqueryMachinelearningDataprocessing...管理和开发工具管理控制台Monitorclusterhealth,jobs,etc.Add/removenodesStart/stopservicesInspectjobstatusInspectworkflowstatusDeployapplicationsLaunchapps/jobsWorkwithdistribfilesystemWorkwithspreadsheetinterfaceSupportREST-basedAPI...REclipse开发工具TextanalyticsMapReduceprogrammingJaql,Hive,PigdevelopmentBigSheetsplug-indevelopmentOozieworkflowgenerationIntegratedinstallerOpenSourceIBMIBMCognosBIBigSQLAcceleratorformachinedataanalysisAcceleratorforsocialdataanalysisGuardiumDataStageDataExplorerSqoopHCatalogGPFS–FPOBigInsights优势列表HighPerformance&AvailabilityGPFS-FPOAtleast2XfasterthanopensourceHadoop17xthroughputspeedupfordocumentindexlookupsFaultresistanceforRealTimeDataPOSIXAdaptiveMapReduceSQLInterface(BigSQL)IntegratedInstall&MgtConsolesSecurityLDAP+HighspeedLZOCompressionDevelopmentToolingenvironment,testing,andoptimizationWarehouseRDBMS&StreamsIntegrationSystemT–TextAnalyticsBlazingFast,UsesUnstructureddata–doesnotrequirestructuring,(MapReduce)CustomizedAnnotatorsBigSheetsInsightEngineforanalyticsonMassiveamountsofdatainBigInsights.PowerofMap/ReducewithinreachoftheBusinessprofessionalwithafamiliarSpreadsheet-likeenvironment.BuiltinVisualizationsSystemML–MachineLeaning(Watson)DirectlyimplementedMLalgorithmsonMapReduceDeepStatistical/MiningembeddedintoBigInsightsPlatformBigIndexDistributedindexingandsearchParallelindexingandsearch企业级别根底设备企业级别分析才干GPFS-FPO与HDFS各项目的对比BigInsightsGPFS-FPO开源HDFS或其他方案健壮性无单点故障

99.99%NameNode存在单点故障数据一致性高数据可能会丢失可扩展性数千节点，实测4000+数千节点POSIX兼容完全兼容有限数据管理能力安全、备份、快照、缓存、复制有限传统应用性能好,兼顾读写性能随机读写性能差安全性支持ACL,

容量限制，安全认证不支持IBMAdaptiveMapReduce提供强大的企业级管理，用于在可扩展的共享网格上运转分布式运用程序和大数据分析。它可加速数十个并行运用程序，以加快实现成果并更好地利用一切可用资源。TeraSortThroughputSWIM10timesfewerCPUcores6timesfaster60timesfasterBerkleySWIMisaworkloadbenchmarkdevelopedatUniversityofCaliforniaatBerkley.MeasurecoreschedulingefficiencyofMapReduceworkloadsatHadoopWorld2021Multi-tenantresourcemanagement10xLesshardwareforthefastestTeraSortscore.BigSQL:让Hadoop原生支持SQL原生SQL支持BigInsightsANSISQL92+Standardsyntaxsupport(joins,datatypes,…)

真正的JDBC/ODBCPreparedstatementsCancelsupportDatabasemetadataAPIsupportSecuresocketconnections(SSL)优化LeveragingMapReduceparallelism

or…Directaccessforlow-latencyqueries多种数据源HBase(includingsecondaryindexes)CSV,Delimitedfiles,SequencefilesJSONHivetablesBigSQLEngineBigInsightsDataSourcesSQLHiveTablesHBasetablesCSVFilesApplicationJDBC/ODBCServerJDBC/ODBCDriver运用报表工具CognosBIserver可以下推计算到BigInsights更快呼应时间没有Hive的限制Application

(Map-Reduce)Storage

(HBase,HDFS)InfoSphereBigInsightsCognosBIServerExplore&AnalyzeReport&ActSQLInterface

viaJDBC可以运用已有的工具:SQuirreLSQLUsingexistingSQLtoolingagainstBigDataSupportfor“standard〞authentication!!

(notsupportedforHive,butsupportedbyBigSQL!)13可以运用已有的工具:EclipseUsingexistingSQLtoolingagainstBigDataSamesetupasforexistingSQLsources!!Supportfor“standard〞authentication!!14集成的基于Web的安装无缝的单节点或者集群方式安装开源组件和IBM组件的安装验证检查，确保系统正常运转基于Web的管理控制平台义务和任务流管理系统安康监控集群以及文件系统管理基于表单的分析仪表盘议程IBMhadoop平台－BigInsightsIBM流计算－StreamsIBM数据仓库平台－pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总计算方式的变革动态数据的实时分析流数据构造或非构造化动态数据流流计算实时对流数据进展分析计算静态数据的历史分析

批处置方式查询驱动：静态数据提交查询依托数据库，数据仓库传统计算方式流计算方式QueriesMemoryDiskUpdatesMemoryDiskEventDataQueriesAlertsActions20IBMInfoSphereStreamsAplatformforreal-timeanalyticsonBIGdata一个处置流数据的低延迟平台毫秒级，甚至微妙级端到端的延迟一个可高度扩展的，用于实时分析的高性能平台经过横向添加硬件获得近线性的处置才干扩展高达125个节点扩展一个灵敏的、动态的平台Streams运用灵敏部署支持动态部署新的分析运用

MillionsofeventspersecondMicrosecondLatencyTraditional/Non-traditionaldatasourcesRealtimedecisionsPowerfulAnalyticsAlgoTradingTelcochurnpredictSmartGridCyberSecurityGovernment/LawenforcementICUMonitoringEnvironmentMonitoring21延续注入延续分析实现可扩展：将运用分布到多个计算节点在流衔接的硬件节点之间分发Streams流计算平台根底设备提供效力： 在跨硬件/软件节点中调度分析 建立流媒体衔接 …变换过滤/采样分类关联注释在适当的地方， 处置单元可以是“交融〞在一同 从而消除通讯的延迟StreamsToolkit(常用)JoinFunctorAggregatePunctorSortFilterDirectory-ScanFileSourceFileSinkUDPSourceUDPSinkTCPSourceTCPSinkExportImportODBCSourceODBCEnrichsolidDBEnrichInetSourceODBCAppend高度可并行扩展才干同时利用几十台、上百台进展实时数据流处置X86BoxX86BladeCellBladeBlueGeneFPGABladeX86BladeX86BladeX86BladeX86BladeX86BladeTransportStreamsDataFabric高可用、集群部署才干ProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainerProcessingElementContainer优化调度器把操作符分配到不同的节点运转，并继续监控资源的运用情况自顺应资源、任务负载、数据速率的变化在低本钱硬件上运转－从单节点PC到刀片效力器到多阵列集群26参考性能数据－吞吐性能和延迟1,975streams2,133streams163streams24channels163DecisionEngines356BlueGeneNodes356ProcessingElements4,274streamsDataFeed每秒500万条记录平均延迟150微秒最小延迟50微秒65K中49条延迟>2毫秒大数据的实时分析平台分析不同的数据源，每秒分析上百万个事件．易用性能图形化运用开发方式，容易管理和监控．集成才干集成XML,MQ,DataStage,HDFS等．高级工具包和加速器事件序列和地理信息数据库工具箱和CEP处置可定制化的电信和媒体分析加速器协助快速部署运用.InfoSphereStreamsInfoSphereStreams

议程IBMhadoop平台－BigInsightsIBM流计算－StreamsIBM数据仓库平台－pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总－专家集成数据系统forTransactions为满足买卖型数据效力而优化的系统forOperationalAnalytics为满足操作型分析数据效力而优化的系统forAnalytics为满足分析型数据效力而优化的系统DataPlatformDeliveringDataServices议程IBMhadoop平台－BigInsightsIBM流计算－StreamsIBM数据仓库平台－pureData基于大数据平台的数据分析-DataExplorerIBM大数据优势汇总NamechangeandnewreleaseIBMInfoSphereDataExplorerApplication/Users结合企业各类数据，包括大数据的分析结果FileSystemsRelationalDataContentManagementCRMSupplyChainERPRSSFeedsExternalSourcesCloudCustomSourcesVelocityPlatformIBMBigDataPlatformSystemsManagementApplicationDevelopmentVisualization

&DiscoveryAcceleratorsInformationIntegration&GovernanceHadoop

SystemStreamComputingDataWarehouseCommentingRatingSharedFoldersTaggingIDE给最终用户提供整合的企业级的信息探查ApplicationFrameworkRealTimeAnalyticsInternetScaleAnalyticsIn-DatabaseAnalyticsFederatedDiscoveryNavigationandVisualization33EnterpriseDataConnecto