大数据分析存储解决方案-to-BD

从企业数据向大数据的扩展,TraditionalApproachStructured,analytical,logicalSystemsofRecord,NewApproachCreative,holisticthought,intuitionSystemsOfEngagement,Multimedia,SystemsofInsightEnterpriseIntegrationandContextAccumulation,StructuredRepeatableLinear,UnstructuredExploratoryDynamic,DataWarehouse,WebLogs,SocialData,TextData:emails,Sensordata:images,RFID,InternalAppData,TransactionData,MainframeData,OLTPSystemData,HadoopandStreams,TraditionalSources,NewSources,ERPdata,对新式基础架构的需求,在可靠和安全的环境中处理关键业务应用存取和处理海量数据包括结构化和非结构化数据速度及时响应随时可能出现的商业机会，这就需要灵活、实时性的基础架构ThedynamicsofSoRandSoE:通过负载及资源部署的优化，来增强灵活性和效益通过采用包括基于开放标准的技术等新技术来改善ITeconomics,SystemofRecord（SoR）,SystemsofEngagement（SoE）,对的决策对的地方对的时间点,BigData&Analytics,大数据分析的新型架构解决方案,IBMBigData&AnalyticsInfrastructure,DataZone,ApplicationZone,4,SmartMetering,GridOperations电网管理,FieldService外勤现场服务,ResourcePlanning资源规划,CustomerService/CustomerOperations,实现真正的有效的法规遵从,及时发现能源损耗问题、以及偷电和欺诈行为,提高客户满意度,电量使用预测更为精确,电网运维优化,减少停电次数和时间,案例:SmartMetering智慧电力计费大数据分析应用可以带来真正的业务价值,法规遵从,案例:用大数据分析来加强SmartMetering,数据分析的高可用性，以确保随时了解用户喜好,跨应用的TB级的数据需求通用虚拟化存储平台,实时收集、存储并分析数据，最快可达50,000datapoints/sec,历史用电状态数据的复杂查询处理,数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统,关系掌控构建和维护电网的唯一试图,对整个企业的结构化和非结构化数据t做全局导览Navigation，从中发现Discover价值,分析用户用电情况，侦测偷电、改表等行为,预测哪些用户适合于哪些分时时段电价或需求/响应服务,分时时段电价的实时定价或提供及时的需求/响应服务,IBMBigData&AnalyticsReferenceArchitecture,BigDataPlatformCapabilities,InformationIngestReal-timeAnalyticsWarehouse&DataMartsAnalyticAppliances,AllDataSources,AdvancedAnalytics/NewInsights,New/EnhancedApplications,NewInfrastructureLeveragesDataTypes,DatainMotion,DataatRest,DatainManyForms,InformationIngestionandOperationalInformation,DecisionManagement,BIandPredictiveAnalytics,NavigationandDiscovery,IntelligenceAnalysis,Video/AudioNetwork/SensorEntityAnalyticsPredictive,Real-timeAnalytics,Exploration,IntegratedWarehouse,andMartZones,DiscoveryDeepReflectionOperationalPredictive,StreamProcessingDataIntegrationMasterData,Streams,InformationGovernance,SecurityandBusinessContinuity,Streams,Warehouse,InfoSphereBigInsightsHadoop-based低延迟分析，针对多样化的、海量静态数据Data-At-Rest,NetezzaHighCapacityAppliance基于结构化数据的可查询归档,Netezza1000基于结构化数据的BI+定制化分析Data,SmartAnalyticsSystem基于结构化数据的运营分析,InformixTimeseriesTime-structuredanalytics,InfoSphereWarehouse基于结构化数据的大容量数据分析,InfoSphereStreams低延迟流数据分析Velocity,Variety&VolumeData-In-Motion,MPPDataWarehouse,StreamComputing,InformationIntegration,Hadoop,InfoSphereInformationServer海量数据集成和转化,IBMBigDataPlatform大数据平台,What:一种开源软件，将数据计算分布到整个集群的常见商用服务器和存储上Why:传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大容量内存和多级缓存将数据加载到CPU上，成本比较高。What:Hadoop把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式。Why:Scalable,Flexible,CostEffective,FaultTolerentComponents:MapReduce,HDFS,WhatisHadoop?,IBMValueforHadoop!,HDFS把数据分散存储在多个存储节点Node上HDFS设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有block协议支持网络化block数据HDFSNameNode有发生单点故障的危险IBM在改善文件系统的性能同时消除了单点故障ElasticStorage-SNC(availableasbetacode),Hadoop说明,MapReduce,HDFS,HadoopStack,Whatdoesitlooklike?,典型Hadoop存储的PainPoints,在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对在从测试环境迁移到生产环境时，需要做的调优和调整工作太繁复了长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘），这使得保证期望的SLA非常难,CPU和存储去耦本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存Storageoptionsavailablehavecleargaps本地存储的利用率低(25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差,IBMStorageforHadoop,传统的Hadoop集群使用的是服务器内置硬盘存储。如果用作测试或科学研究还好，可作为业务运行的存储就要采用企业存储Hadoop集群要负责数据保护和复制重建（就是copy）失效的数据集到不同节点上严重影响CPU性能，无法实现企业级的RASReplicatedata问题同上扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（nowaytoseparatethese3evenifexcesscapacityexistinginone(e.g.NeededmorestoragebuthadtoaddComputeandNetwork)）使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处。SellthevalueofXIV,V7000,SVC,etc.用户一般会随HadoopFileSystem部署；采用ElasticStorage可以有很多好处,数据加速ExperiencetheinstantresultsthatcomefromIBMFlashSystemDriveasmuchas45Xfasteranalyticsresultsoncertainworkloads数据负载的多样性和灵活性XIVdeliverspredictableperformancethatscaleslinearlywithouthotspotsdeliveringinsightsfromanalyticsfasterwithtuning-freedatadistributionScale-out,parallelprocessingofElasticStoragesoftwareandintegrationwithFlashSystemdramaticallyacceleratesperformanceofAnalyticsclustersVirtualStorageCenterwithSVCautomaticallyoptimizesdatawarehouseperformanceandcostacrossFlashandDiskMainframeDataEnvironmentsIntegrationwithDB2&specialtyanalytics“engines”leveragingDS8870delivers4xreductioninbatchtimeswithnewHighPerformanceFlashEnclosuresHighspeedencryptiononeverydrivetypesecuresdata数据保护和保留LTFSEEw/tapeprovidesreducedTCObyupto90%overdiskforlongtermretentionofdataatrestwithalargeopenformattaperepositoryReducetheamountofdatatobestoredbyupto25timeswithProtecTIERde-duplication,12x更快IBMFlashSystemincreasedSPLUNK&SASapplicationefficiencytoperformbusinessanalytics,20 x改善inactionablesupplychainanalytics,4xreductioninbatchtimes,virtualizationforplug&play,6x时间节省“GPFSallowsustomovethemetadatafromthedisktotheFlashSystemonline.Oncewedidthat,thebackupswerereduceddowntoaboutanhour.”,2hrsbecomes2minutes失效切换时间大幅缩短,MappingCharacteristicstoIBMStorageProducts,StorageInfrastructure需求,适用于所有的5种应用场景,OptimizedMulti-TemperatureWarehouse优化的多级存储库AllFlashFlashSystemHybridDS8000EasyTierXIV+SSDCachingStorwizeEasyTierFlashSystemSolution(VSC+FlashSystem)PureSystemsPureFlex(XIVorStorwizew/EasyTier)PureDataforTransactions(Storwize)PureDataforAnalytics(Netezza),Midrange&EntryTier0Acceleration,SmarterStorage,IntegratedSystems,EnterpriseOfferings,XIV,zEnterpriseSolutionsforAnalyticswithDS8000,PureDataSystemforOperationalAnalyticswithStorwize,PureFlexSystemwithStorwize,DS8000,SmartAnalyticsSystemswithDS3xxx,Open&Extensible,StorwizefamilyFlashSystemfamily,IBMSmarterStorage的设计就是支持大数据分析高效和优化数据基础架构,IBMFlashSystem：为大数据分析应用设计的，让应用和数据实现极速,IBMFlashSystem的极速性能让实时业务决策成为可能适合于模块化数据存储结构的Hadoop系统。某些或所有数据可以保存到Flash闪存上，其他可以保存到XIV,IBMXIV:OptimizeddataworkloaddiversityforBigData&Analytics,IBMXIV的高性能无须人工干预配置，且适用于各种各样的存储负载IBMXIV的效率高的异乎寻常，而且简单性业内最高，内置友好界面IBMXIV的弹性是企业级的，完全保证了数据的可用性和业务连续性,XIV:为Analytics而生,无与伦比的性能,可扩展的网格存储架构任意时间支持任意读写负载板上的闪存Flash,无与伦比的可靠性,精致的数据分布无双的磁盘重建时间企业级的可用性,无与伦比的简易性,简单的规划、供给和灵活性上线后零维护零调优,“XIV最吸引我们的地方就是其超强的性能we正是由于XIV为我们的精细复杂的分析应用提供了一致的高性能，使得我们能够为我们的用户带来更多的价值。”,SAS和XIV网格架构完美的结合,大规模并行计算保持持续地最佳性能BalancedPerformance性能均衡常年零调整UnprecedentedScalability史无前例的扩展性配合添加SAS节点和XIV模块即可,IBMSVC:OptimizeddataworkloadflexibilityforBigData&Analytics,IBMSVC通过如下功能在IBM大数据产品线上增加了灵活性：完整和数据虚拟化和数据移动性高级集群和复制多路镜像，readpreferredoptionRealTimeCompression实时压缩EasyTierHotExtentcaching,StorwizeV7000/U,IBMSVC,设计原则,Real-TimeCompression实时压缩是设计来做：作用于ActivePrimaryData专用的压缩平台PlatformhandlesALLheavyliftingassociatedwithcompression不会影响性能Wemodifyacompressedfilein-placeefficiently不会改变用户应用Usersnoradminsneedtochangeanything处理流程不变压缩是在线完成，不是事后压缩业界标准压缩算法所采用的压缩算法已经使用了几十年,StorwizeV7000/U,IBMSVC,流处理计算&IBMFlashSystems,Data:是拥有还是保存?或是是分析和开始行动!,Datain,Dataat,InfoSphereStreams:大数据流分析,为分析动态数据而建多并发输入数据流大规模可扩展Massivescalability分析和处理的数据多样化Structured,unstructured,video,audioAdvancedanalyticoperators自适应实时分析WithDataWarehousesWithHadoopSystems,Currentfactfinding当前数据查询分许流动中的数据在数据落盘前低延迟模式,pushmodel数据驱动真正的数据分析,Historicalfactfinding历史数据查询查找和分析存储在磁盘上的数据信息批处理模式,pullmodel查询驱动:submitsqueriestostaticdata,TraditionalComputing,StreamComputing,流数据计算代表着计算模式的变迁,Real-timeAnalytics,RealTimeAnalytics实时分析想象一下你如何用防火栓喝水,来自多个多样输入源的大量数据直接处理和过滤数据，而不必存储仅保存有价值的数据仅关联对数据最感兴趣的用户随着数据信息的产生采取行动,AdaptiveAnalytics自适应分析DatainMotionandDataatRest的集成,1.DataIngest,数据集成，数据挖掘，机器学习，统计建模,实时和历史数据洞察力的可视化,3.AdaptiveAnalyticsModel,数据收取，在线分析准备，模式校验,Data,2.Bootstrap/Enrich,Controlflow,InfoSphereBigInsights,Database&Warehouse,InfoSphereStreams,AdaptiveReal-TimeAnalytics自适应实时分析,来自多个多样输入源的大量数据过去、现在和未来全方位综合性视图实时分析，低延时结果Fullcontextfordeepanalysis深度分析的完整的上下文跨datainmotionanddataatrest的常用数据分析自适应-随机而变当发现非预期行为时，自适应当识别出新数据意义时深度分析之开始没有意识到的数据意义，随后才可能意识到自适应在开始没有意识到的，随后可以找出数据模式,StockmarketImpactofweatheronsecuritiespricesAnalyzemarketdataatultra-lowlatenciesMomentumCalculator,FraudpreventionDetectingmulti-partyfraudRealtimefraudprevention,e-ScienceSpaceweatherpredictionDetectionoftransienteventsSynchrotronatomicresearchGenomicResearch,TransportationIntelligenttrafficmanagementAutomotiveTelematics,Energy&UtilitiesTransactivecontrolPhasorMonitoringUnitDownholesensormonitoring,NaturalSystemsWildfiremanagementWatermanagement,OtherManufacturingTextAnalysisERPforCommodities,TelephonyCDRprocessingSocialanalysisChurnpredictionGeomapping,如何使用InfoSphereStreams?,加快数据流入分析系统的速度,向交易方向加速。,一个高效和灵活的基础架构显然可以加快流速，并平衡不同数据分析的需求,大数据分析的新式基础架构解决方案,IBMBigData&AnalyticsInfrastructure,DataZone,ApplicationZone,Experiencereal-timeanalyticalinsightswithupto50 xbetterperformancethanenterprisedisksystemsusingIBMFlashCoretechnologyPreserveandprotectinfrastructurecontinuitywhilescalingtoover2petabyteofeffectiveall-flashcapacityunderasingleintegrateinterfaceDeliveragilityanddataeconomicswith4xgreatercapacityinlessrackspacethancompetitiveall-flashproducts,SynchronizedandComplimentarytoOverarchingStorageMessaging-Acceleratetimetoinsightsthroughdatawithoutborders.IBMinnovationfreesdatawithagileandsimpletousestoragesolutionsdeliveringsuperiordataeconomics,IBMFlashSystemCoreLaunchMessaging,DriveacompleteparadigmshiftinEnterpriseStoragewiththeallnewIBMFlashSystemFamily,IBMFlashSystemFamily2015Theme,Timetoinsight.Timetovalue.Timetomarket.,IBMFlashSystem,itsabouttime.,FlashRealized!,IBMFlashSystemV9000FoundationalPillars,IBMFlashCoreTechnologyistheDNAoftheFlashSystemFamily,IntroducingtheNewIBMFlashSystemFamilyOfferings,IBMFlashSystem900ExtremePerformance:Delivers100microsecondresponsetimesMacroEfficiency:Lowestlatencyofferingwith40%greatercapacityatalowercostpercapacityEnterpriseReliability:IBMenhancedMicronMLCflashtechnologywithFlashWearGuarantee,PoweredbyIBMFlashCoreTechnology,IBMFlashSystemV9000ScalablePerformance:Growcapacityandperformancewithupto2.2PBscalingcapabilityEnduringEconomics:NextgenerationflashmediawithlowercostpercapacityAgileIntegratio