大数据分析存储解决方案toBD39.ppt

1、从企业数据向大数据的扩展,Traditional Approach Structured, analytical, logical Systems of Record,New ApproachCreative, holistic thought, intuition Systems Of Engagement,Multimedia,Systems of Insight Enterprise Integrationand Context Accumulation,StructuredRepeatableLinear,UnstructuredExploratoryDynamic,Data Ware

2、house,Web Logs,Social Data,Text Data:emails,Sensor data:images,RFID,Internal App Data,Transaction Data,Mainframe Data,OLTP System Data,Hadoop andStreams,Traditional Sources,New Sources,ERP data,对新式基础架构的需求,在可靠和安全的环境中处理关键业务应用 存取和处理海量数据包括结构化和非结构化数据 速度及时响应随时可能出现的商业机会，这就需要灵活、实时性的基础架构 The dynamics of SoR

3、and SoE: 通过负载及资源部署的优化，来增强灵活性和效益 通过采用包括基于开放标准的技术等新技术来改善IT economics,System of Record （SoR）,Systems of Engagement（SoE）,对的决策 对的地方 对的时间点,Big Data & Analytics,大数据分析的新型架构解决方案,IBM Big Data & Analytics Infrastructure,Data Zone,Application Zone,4,Smart Metering,Grid Operations 电网管理,Field Service 外勤现场服务,Resou

4、rce Planning 资源规划,Customer Service / Customer Operations,实现真正的有效的法规遵从,及时发现能源损耗问题、以及偷电和欺诈行为,提高客户满意度,电量使用预测更为精确,电网运维优化,减少停电次数和时间,案例: Smart Metering智慧电力计费 大数据分析应用可以带来真正的业务价值,法规遵从,案例: 用大数据分析来加强 Smart Metering,数据分析的高可用性，以确保随时了解用户喜好,跨应用的TB级的数据需求 通用虚拟化存储平台,实时收集、存储并分析数据，最快可达 50,000 data points/sec,历史用电状态数据的

5、复杂查询处理,数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统,关系掌控构建和维护电网的唯一试图,对整个企业的结构化和非结构化数据t做全局导览Navigation，从中发现Discover价值,分析用户用电情况，侦测偷电、改表等行为,预测哪些用户适合于哪些分时时段电价或需求/响应服务,分时时段电价的实时定价 或 提供及时的需求/响应服务,IBM Big Data & Analytics Reference Architecture,Big Data Platform Capabilities,Information Ingest Real-time Ana

6、lytics Warehouse & Data Marts Analytic Appliances,All Data Sources,Advanced Analytics/New Insights,New/Enhanced Applications,New Infrastructure Leverages Data Types,Data inMotion,Data atRest,Data inMany Forms,Information Ingestion and Operational Information,Decision Management,BI and Predictive Ana

7、lytics,Navigation and Discovery,IntelligenceAnalysis,Video/Audio Network/Sensor Entity Analytics Predictive,Real-time Analytics,Exploration, Integrated Warehouse, and Mart Zones,Discovery Deep Reflection Operational Predictive,Stream Processing Data Integration Master Data,Streams,Information Govern

8、ance, Security and Business Continuity,Streams,Warehouse,InfoSphere BigInsights Hadoop-based 低延迟分析，针对多样化的、海量静态数据Data-At-Rest,Netezza High Capacity Appliance 基于结构化数据的可查询归档,Netezza 1000 基于结构化数据的BI+定制化分析 Data,Smart Analytics System 基于结构化数据的运营分析,Informix Timeseries Time-structured analytics,InfoSphere W

9、arehouse 基于结构化数据的大容量数据分析,InfoSphere Streams 低延迟流数据分析 Velocity, Variety & Volume Data-In-Motion,MPP Data Warehouse,Stream Computing,Information Integration,Hadoop,InfoSphere Information Server 海量数据集成和转化,IBM Big Data Platform大数据平台,What: 一种开源软件，将数据计算分布到整个集群的常见商用服务器和存储上 Why: 传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大

10、容量内存和多级缓存将数据加载到CPU上，成本比较高。 What: Hadoop 把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式。 Why: Scalable, Flexible, Cost Effective, Fault Tolerent Components: Map Reduce, HDFS,What is Hadoop?,IBM Value for Hadoop!,HDFS 把数据分散存储在多个存储节点Node上 HDFS 设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性

11、 HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有block协议支持网络化block 数据 HDFS Name Node 有发生单点故障的危险 IBM 在改善文件系统的性能同时消除了单点故障 Elastic Storage -SNC (available as beta code),Hadoop 说明, Map Reduce, HDFS,Hadoop Stack,What does it look like?,典型Hadoop存储的Pain Points,在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对 在从测试环境迁移到生产环境时，需要做的调优和调整工作太

12、繁复了 长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘），这使得保证期望的SLA非常难,CPU 和存储去耦 本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存 Storage options available have clear gaps 本地存储的利用率低 (25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差,IBM Storage for Hadoop,传统的 Hadoop 集群使用的是服务器内置硬盘存储。如果用作测试或科学研究还好，可作为业务运

13、行的存储就要采用企业存储 Hadoop 集群要负责数据保护和复制 重建（就是copy）失效的数据集到不同节点上 严重影响CPU性能，无法实现企业级的RAS Replicate data 问题同上 扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（ no way to separate these 3 even if excess capacity existing in one (e.g. Needed more storage but had to add Compute and Network)） 使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处。 S

14、ell the value of XIV, V7000, SVC, etc. 用户一般会随Hadoop File System部署；采用Elastic Storage 可以有很多好处,数据加速 Experience the instant results that come from IBM FlashSystem Drive as much as 45X faster analytics results on certain workloads 数据负载的多样性和灵活性 XIV delivers predictable performance that scales linearly wit

15、hout hotspots delivering insights from analytics faster with tuning-free data distribution Scale-out, parallel processing of Elastic Storage software and integration with FlashSystem dramatically accelerates performance of Analytics clusters Virtual Storage Center with SVC automatically optimizes da

16、ta warehouse performance and cost across Flash and Disk Mainframe Data Environments Integration with DB2 & specialty analytics “engines” leveraging DS8870 delivers 4x reduction in batch times with new High Performance Flash Enclosures High speed encryption on every drive type secures data 数据保护和保留 LT

17、FS EE w/ tape provides reduced TCO by up to 90% over disk for long term retention of data at rest with a large open format tape repository Reduce the amount of data to be stored by up to 25 times with ProtecTIER de-duplication,12x 更快 IBM FlashSystem increased SPLUNK & SAS application efficiency to p

18、erform business analytics,20 x 改善 in actionable supply chain analytics, 4x reduction in batch times, virtualization for plug & play,6x 时间节省 “GPFS allows us to move the metadata from the disk to the FlashSystem online. Once we did that, the backups were reduced down to about an hour.”,2 hrs becomes 2

19、 minutes 失效切换时间大幅缩短,Mapping Characteristics to IBM Storage Products,Storage Infrastructure 需求,适用于所有的5种应用场景,Optimized Multi-Temperature Warehouse优化的多级存储库 All Flash FlashSystem Hybrid DS8000 EasyTier XIV + SSD Caching Storwize EasyTier FlashSystem Solution (VSC + FlashSystem) PureSystems PureFlex (XIV

20、 or Storwize w/EasyTier) PureData for Transactions (Storwize) PureData for Analytics (Netezza),Midrange & Entry Tier 0 Acceleration,Smarter Storage,Integrated Systems,Enterprise Offerings,XIV,zEnterprise Solutions for Analytics with DS8000,PureData System for Operational Analytics with Storwize,Pure

21、Flex System with Storwize,DS8000,Smart Analytics Systems with DS3xxx,Open & Extensible,Storwize family FlashSystem family,IBM Smarter Storage 的设计就是支持大数据分析高效和优化数据基础架构,IBM FlashSystem：为大数据分析应用设计的，让应用和数据实现极速,IBM FlashSystem的 极速性能 让实时业务决策成为可能 适合于模块化数据存储结构的Hadoop系统。某些或所有数据可以保存到Flash闪存上，其他可以保存到XIV,IBM XIV

22、: Optimized data workload diversity for Big Data & Analytics,IBM XIV 的高性能无须人工干预配置，且适用于各种各样的存储负载 IBM XIV 的效率 高的异乎寻常，而且简单性业内最高，内置友好界面 IBM XIV 的弹性是企业级的，完全保证了数据的可用性和业务连续性,XIV: 为 Analytics 而生,无与伦比的性能,可扩展的网格存储架构 任意时间支持任意读写负载 板上的闪存Flash,无与伦比的可靠性,精致的数据分布 无双的磁盘重建时间 企业级的可用性,无与伦比的简易性,简单的规划、供给和灵活性 上线后零维护 零调优,“X

23、IV最吸引我们的地方就是其超强的性能 we正是由于XIV为我们的精细复杂的分析应用提供了一致的高性能， 使得我们能够为我们的用户带来更多的价值。”,SAS 和 XIV 网格架构 完美的结合,大规模并行计算 保持持续地最佳性能 Balanced Performance性能均衡 常年零调整 Unprecedented Scalability史无前例的扩展性 配合添加SAS节点和XIV模块即可,IBM SVC: Optimized data workload flexibility for Big Data & Analytics,IBM SVC 通过如下功能在IBM 大数据产品线上增加了灵活性：

24、完整和数据虚拟化和数据移动性 高级集群和复制 多路镜像，read preferred option Real Time Compression实时压缩 Easy Tier Hot Extent caching,Storwize V7000/U,IBM SVC,设计原则,Real-Time Compression实时压缩是设计来做： 作用于 Active Primary Data 专用的压缩平台 Platform handles ALL heavy lifting associated with compression 不会影响性能 We modify a compressed file in-

25、place efficiently 不会改变用户应用 Users nor admins need to change anything 处理流程不变 压缩是在线完成，不是事后压缩 业界标准压缩算法 所采用的压缩算法已经使用了几十年,Storwize V7000/U,IBM SVC,流处理计算 & IBM Flash Systems,Data: 是拥有还是保存? 或是是分析和开始行动!,Data in,Data at,InfoSphere Streams: 大数据流分析,为分析动态数据而建 多并发输入数据流 大规模可扩展Massive scalability 分析和处理的数据多样化 Struct

26、ured, unstructured, video, audio Advanced analytic operators 自适应实时分析 With Data Warehouses With Hadoop Systems,Current fact finding当前数据查询 分许流动中的数据在数据落盘前 低延迟模式, push model 数据驱动真正的数据分析,Historical fact finding历史数据查询 查找和分析存储在磁盘上的数据信息 批处理模式, pull model 查询驱动: submits queries to static data,Traditional Comp

27、uting,Stream Computing,流数据计算代表着计算模式的变迁,Real-time Analytics,Real Time Analytics实时分析想象一下你如何用防火栓喝水,来自多个多样输入源的大量数据 直接处理和过滤数据，而不必存储 仅保存有价值的数据 仅关联对数据最感兴趣的用户 随着数据信息的产生采取行动,Adaptive Analytics自适应分析Data in Motion and Data at Rest的集成,1. Data Ingest,数据集成， 数据挖掘， 机器学习， 统计建模,实时和历史数据洞察力的可视化,3. Adaptive Analytics Mo

28、del,数据收取，在线分析准备，模式校验,Data,2. Bootstrap/Enrich,Control flow,InfoSphere BigInsights, Database & Warehouse,InfoSphere Streams,Adaptive Real-Time Analytics自适应实时分析,来自多个多样输入源的大量数据 过去、现在和未来全方位综合性视图 实时分析，低延时结果 Full context for deep analysis深度分析的完整的上下文 跨data in motion and data at rest的常用数据分析 自适应-随机而变 当发现非预期行

29、为时，自适应 当识别出新数据意义时深度分析之 开始没有意识到的数据意义，随后才可能意识到 自适应在开始没有意识到的，随后可以找出数据模式,Stock market Impact of weather on securities prices Analyze market data at ultra-low latencies Momentum Calculator,Fraud prevention Detecting multi-party fraud Real time fraud prevention,e-Science Space weather prediction Detection

30、 of transient events Synchrotron atomic research Genomic Research,Transportation Intelligent traffic management Automotive Telematics,Energy & Utilities Transactive control Phasor Monitoring Unit Down hole sensor monitoring,Natural Systems Wildfire management Water management,Other Manufacturing Tex

31、t Analysis ERP for Commodities,Telephony CDR processing Social analysis Churn prediction Geomapping,如何使用InfoSphere Streams?,加快数据流入分析系统的速度,向交易方向加速。,一个高效和灵活的基础架构显然可以加快流速，并平衡不同数据分析的需求,大数据分析的新式基础架构解决方案,IBM Big Data & Analytics Infrastructure,Data Zone,Application Zone,Experience real-time analytical ins

32、ights with up to 50 x better performance than enterprise disk systems using IBM FlashCore technology Preserve and protect infrastructure continuity while scaling to over 2 petabyte of effective all-flash capacity under a single integrate interface Deliver agility and data economics with 4x greater c

33、apacity in less rack space than competitive all-flash products,Synchronized and Complimentary to Overarching Storage Messaging - Accelerate time to insights through data without borders. IBM innovation frees data with agile and simple to use storage solutions delivering superior data economics,IBM F

34、lashSystem Core Launch Messaging,Drive a complete paradigm shift in Enterprise Storage with the all new IBM FlashSystem Family,IBM FlashSystem Family2015 Theme,Time to insight. Time to value. Time to market.,IBM FlashSystem, its about time.,Flash Realized!,IBM FlashSystem V9000Foundational Pillars,I

35、BM FlashCore Technology is the DNA of the FlashSystem Family,Introducing the New IBM FlashSystem Family Offerings,IBM FlashSystem 900 Extreme Performance: Delivers 100 microsecond response times Macro Efficiency: Lowest latency offering with 40% greater capacity at a lower cost per capacity Enterpri

36、se Reliability: IBM enhanced Micron MLC flash technology with Flash Wear Guarantee,Powered by IBM FlashCore Technology,IBM FlashSystem V9000 Scalable Performance: Grow capacity and performance with up to 2.2PB scaling capability Enduring Economics: Next generation flash media with lower cost per capacity Agile Integration: Fully integrated system management to simplify m