EMC Isilon 大数据Hadoop解决方案 NetApp

EMCISILON

SCALE-OUTNAS大数据Hadoop解决方案徐ndy.xu@©2015NetApp,Inc.。保留所有权利。NetApp专有信息—使用受限2应用存储基础设施3EMCCONFIDENTIAL—INTERNALUSEONLY传统文件应用分析平台移动应用云存储FTPCIFSNFSSyncplicityHTTPHDFSObjectREST企业级@扩展统一的文件平台–Isilon集群

单一文件系统/适应“传统”和“下一代”企业级应用Hadoop+IsilonHDFSEthernet传统HadoopDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeNameNodeR(RHIPE)PIGMahoutHiveHBaseNameNodeJobTrackerTaskTrackerDataNode2ndNameNodeEthernet拥有IsilonHDFS的HadoopR(RHIPE)PIGMahoutHiveHBaseJobTrackerTaskTrackerDataNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodenamenodenamenodenamenodenamenodenamenodenamenodedatanodeNameNodeIsilon传统

NameNode

体系结构NameNode当

NameNode“地图”丢失或损坏时，数据位置信息将不复存在NameNode

提供所有文件的位置信息备用NameNode

自动化恢复

=

宕机Hadoop

即将推出的

NameNode

故障切换，也需要手动恢复Isilon:分布式（群集化）NameNode元数据以标准文件元数据相同的方式跨系统存储跨大量节点实现内置的群集化冗余NameNode在

Isilon

上建立

NameNode

群集可实现

Isilon

提供的保护级别群集化

NameNode传统的“无共享”Hadoop现有虚拟化数据中心无共享

Hadoop

基础架构非结构化数据1分析终于能够开始现有主存储234234234234串联的

Hadoop

(R=3)

意味着需要4份数据拷贝（资金）数据必须先拷贝到

Hadoop

群集，然后分析才能开始（收效时间）将您所有非结构化数据复制到Hadoop平台需要多长时间？当主存储上的文件发生变更时，如何保持数据一致性？“共享一切”的

Isilon

Hadoop现有虚拟化数据中心使用本地

HDFS

协议非结构化数据1仅需一份数据，无需复制（使用现有数据）只要有空闲的CPU和

RAM，可立即开始使用

Hadoop通过

NAS

和

HDFS

协议访问同一数据使用现有数据即可实现极短的收效时间，无需使用拷贝，也不会浪费资金，有效降低TCO分析可从第一个虚拟机开始新的

Hadoop

计算节点现有主存储数据中心网络收效时间数据拷贝分析就地分析现有主存储串联式

Hadoop通过

10

Gb链路将

100

TB

数据从一处拷贝到另一处需要花多长时间？>

24

小时数据中心网络现有主存储Hadoop

处理节点读取相关数据进行分析依赖式扩展传统

Hadoop

HDFSIsilon

HDFS存储/计算比率固定扩展计算意味着扩展容量难以提供

QoS计算的升级属于断代升级独立于存储扩展计算即使在工作负载增长时也可实现最佳性能平衡永远不需要迁移数据！随着硬件发展实现性能增长计算存储所需的性能/容量所需的

Hadoop

群集节点独立式扩展传统

Hadoop

HDFSIsilon

HDFS存储/计算比率固定扩展计算意味着扩展容量难以提供

QoS计算的升级属于断代升级独立于存储扩展计算即使在工作负载增长时也可实现最佳性能平衡永远不需要迁移数据！随着硬件发展实现性能增长计算存储所需的性能/容量所需的

Hadoop

群集节点协议支持服务器服务器服务器之前之后HDFS

对

Windows、Unix、Linux、Apple

或任何其他本机文件系统不可见大数据仅用于大数据Isilon

支持多协议，允许随时随地访问包括

Hadoop

在内的所有文件大数据就是实际的数据！服务器快照/版本控制之前之后传统

HDFS

没有复制功能无法拍摄数据快照缺少版本控制与

SnapshotIQ完全集成，可识别更改多线程、多节点横向扩展复制跨不同地理位置复制Hadoop！ANALYTICSMOBILE关键能力优势支持Hadoop2.0支持PivotalHD同时支持HDFS1.0&2.0分布式NameNode支持开放的Hadoop应用无单点故障无需3倍镜像改进TCOIsilon支持Hadoop2.0HDFSIsilon

HDFS

接口Isilon

支持从

NameNode

和

DataNode

到主机及元数据和数据的

HDFS

接口底层文件系统是

OneFS就像将

HDFS

客户端指向

Isilon

群集的

DNS

名称一样简单！HDFSHadoop配置文件TraditionalHadoop

IsilonHadoopSolution可靠性NameNode单点故障NameNode受到N+1到N+4的保护收效时间在分析前需大量时间用于数据迁移零数据迁移，直接开始分析企业级数据保护没有本地数据保护或远程数据保护Snapshots,SyncIQ,NDMPtotape存储利用率投入只能用于Hadoop3倍数据镜像（30%存储利用率)标准NAS，适应多种协议80%的存储利用率BenefitsSummary传统Hadoop

VS

IsilonHadoopHadoop

成本低廉，无需3倍镜像Hadoop

易于部署，仅需修改一个配置文件Hadoop

可使用现有数据，无需数据迁移Hadoop

NameNode

数据受到Isi