LSI Nytro Hadoop

1、快速、智能、简捷 Nytro PCIe闪存加速方案2Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. LSI 艾萨华公司简介艾萨华公司简介艾艾萨萨华是华是一一家半家半导体和软件领先供应商，其主要产品包括：导体和软件领先供应商，其主要产品包括：RAID控制器、控制器、SSD控制器控制器、Axxia网络处理器和定制网络处理器和定制ASIC等，为加速数据存储中心与移动等，为加速数据存储中心与移动网络性能提供了许多领先的解决方案网络性能提供了许多领先的解决方案公司基本

2、信息公司基本信息创立创立1981年，年， 1989年上市年上市2012 销售额：销售额：25亿美元亿美元2012 现金流：现金流：6.8亿美元亿美元全球全球5000名员工名员工1998 在华建立分公司，主要从事研在华建立分公司，主要从事研发。发。 目前共有目前共有500员工员工企业成就企业成就 100% 服务服务器厂商集成器厂商集成LSI芯片芯片 100% IBM, Dell, Lenovo, 浪潮，曙光浪潮，曙光 集集成成LSI MegaRAID卡卡 100% 甲骨甲骨文文Exadata一体机集成一体机集成LSI Nytro IO加速卡加速卡 100% 移动网络基站集成移动网络基站集成LSI

3、网络芯片网络芯片 #1 RAID 控制芯控制芯片市场占有率片市场占有率 #1 HBA 控制芯片市场占有率控制芯片市场占有率 #1 SSD 控制芯片市场占有率控制芯片市场占有率3Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 大数据浪潮VIRTUALIZATIONMOBILITYCLOUDANALYTICSBYODBPMBIG DATAPREDICTIVEBPMBIG DATAVIRTUALIZATIONBYODCEPCLOUDSOCIALSOCIAL1990

4、19922000199819961994200220062004200920124Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 闪存技术填补处理器和磁盘的延迟差距闪存技术填补处理器和磁盘的延迟差距企企业级业级系系统统的的设计设计效率低效率低服务器的低利用率(更多的软件许可）低应用性能高性能（高功耗）的机械式硬盘闪闪存在企存在企业级业级系系统统中的中的优势优势 2x - 4x 效率提高（较少的软件许可） 5x - 10 x 减少的应用级延迟 低功耗T1 St

5、orageT2 StorageNear LineProcessorL1 CacheL2 CacheMain Memory1 ns10 ns100 ns10,000,000ns (10 ms)20,000,000ns (20 ms)20,000,000ns (20 ms)巨大的延巨大的延迟迟差距差距100,000 x内存内存/存存储储的延的延迟迟差距差距(企企业级业级)企业级闪存解决方案企业级闪存解决方案SSDsPCIe Flash Adapters and Solutions5Accelerating Innovation Summit | LSI Corporation 2013. All

6、rights reserved. LSI Proprietary. 正在到来的企业级闪存解决方案演进 目标应用MGDC、数据库、OLTP、Web 2.0、数据仓库、数据挖掘 基于SAN的企业级方案、虚拟化环境、VDIVDI、Hadoop、VSA、DAS 加速、数据库、SOHO、ROBO用于主存储的大容量PCIe闪存搭配无缝缓存/加速软件的中等容量闪存搭配无缝缓存/加速软件的小容量闪存闪存细分市场Nytro MegaRAID产品针对主流市场6Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LS

7、I Proprietary. SAN/DAS缓存: Nytro XD纯闪存DAS: Nytro WarpDriveDAS缓存: Nytro MegaRAIDLSI Nytro应用加速解决方案SAS FC iSCSI应用操作系统Nytro XD软件I/OI/O智能缓存存储热数据热数据冷数据I/O应用数据冷数据Nytro MegaRAID8Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro MegaRAID结构图结构图SAS/SATA 接口用于闪存连接4

8、个内置SAS接口SAS ROC 2208 (Thunderbolt)服务于闪存模块的电容组两个SandForce闪存模块无需 BBU电池加速rebuild完整的应用程序加速方案完整的应用程序加速方案9Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro MegaRAID型号型号SKUsHost InterfaceFlashUser data set size support (recommended)*NMR 8100-4ix8 PCIe 3.0100

9、GUp to 1TBNMR 8110-4ix8 PCIe 3.0200G1TB 2TBNMR 8120-4ix8 PCIe 3.0800G2TB 8TB* LSI estimate: Use LSI Nytro Predictor to assess your dataset size and workloadNytro 加速解决方案及应用案例11Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop 大数据分布式处理大数据分布式处理 大数据的三个维度

10、：大数据量，类型多样性，加速增长。 传统的集中式存储无法解决大数据面临的问题，开放式的分布式架构面临广阔发展前景。 Hadoop， 开源分布式软件架构支撑大数据量的应用程序。 Hadoop包括3个部分：1.HDFS文件系统2.MapReduce 执行3.Hadoop 内核（允许多台主机为同一任务工作的架构） 利用廉价的普通硬件平台Hadoop两大性能瓶颈： 网络带宽和本地存储访问12Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop大数据的应用架构

11、大数据的应用架构数据仓库 MPP数据库业务分析OLAPETL数据源2数据源1报表查询.数据接口层数据接口层数据处理层数据处理层数据应用层数据应用层13Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. LSI Nytro在Hadoop大数据下的应用Hadoop 数据流数据流1231. Map2. Shuffle, Sort & Merge3. Reduce Hadoop的Map/Reduce算法产生大量临时的本地磁盘读写 服务器本地存储来处理这些数据 高

12、磁盘I/O以及高网络带宽要求 Nytro MegaRAID卡可以有效甄别临时数据热点，并显著提高本地磁盘的I/O能力14Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Nytro 加速产品在大数据下的应用 客户：客户： 全球最大的投资银行之一全球最大的投资银行之一 应用类型：金融交易信息量巨大，采用应用类型：金融交易信息量巨大，采用Hadoop方案进行大数据分析方案进行大数据分析 面临挑战：面临挑战：目前只能购买更多的Hadoop存储服务器提升性能，整体拥有

13、成本高面临的选择面临的选择购买更多服务器购买更多服务器（本地存储）（本地存储）购买购买SSD盘盘购买购买Nytro MegaRAID性能低高高可用容量高低高机房空间占用高中低电能消耗高中低安装/维护成本高高低整体拥有成本(TCO)高高低15Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 客户Hadoop的测试环境q 12x coresq 32GB RAMq 7x 500GB SAS Disksq Mirrored boot drivesq 10 GigE n

14、etworking引导盘HDFS 7 个RAID0卷 (1 per disk)Map/reduce 本地 7 R0 Volumes (1 per disk)Nytro MegaRAID 配置配置200G Flash缓存(read/write, R0 cache)本地硬盘用于Map/Reduce目录和HDFS每个硬盘配置为RAID0卷16Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. 在Hadoop环境下的测试结果关闭缓存加速:18 分钟23秒开启缓存加速:

15、12 分钟15秒7 Disks7 Disks7 Disks33% Faster17Accelerating Innovation Summit | LSI Corporation 2013. All rights reserved. LSI Proprietary. Hadoop环境下的TCO对比分析Nytro MegaRAID 优势: 33%服务器数量减少 $858K 初始硬件投资减少 $7.3M 三年的整体拥有成本减少传统配置传统配置配置配置NytroMegaRAID卡卡服务器数量1,000667平均每节点成本$6,500$6,500服务器成本$6,500,000$4,335,500Nytro MegaRAID cards (MSRP of $1799)$0$1,206,000整体服务器成本$6,500,000$5,641,6003年的机架空间、电能、散热、安装维护和管理成本$19,610,000