NetApp cDOT集群存储系统架构技术交流

NetApp

新产品和技术

介绍©2015NetApp,Inc.。保留所有权利。NetApp专有信息—使用受限2内容安排NetApp

cDOT集群存储系统介绍NetAppE系列存储系统介绍NetAppEF540全闪存阵列介绍存储架构的演进存储市场演进周期直连存储存储依附主机网络存储存储单独成系统Scale-Out存储存储云平台化今天4NetApp敏睿数据基础架构5NetAppConfidential–LimitedUseIntegratedDataProtectionNondisruptive

OperationsEmbeddedDataSecurityVirtualStorageTieringSecureMulti-TenancyUnifiedArchitectureServiceAutomationandAnalyticsIntelligent至能Immortal至久Infinite至极StorageEfficiencySeamless

Scaling敏睿数据基础架构的实现

——NetAppcDOT集群存储系统简介利用V-Series虚拟化的第三方存储系统NetAppFAS系列存储系统NetAppConfidential–LimitedUse单套cDOT集群存储系统最大支持24个控制器支持NetAppFAS系列控制器和V系列控制器，支持不同控制器的混合使用提供存储平台而非存储系统单套集群存储系统最大支持容量可达51PB提供Multi-10GB的性能支持在线的性能均衡和扩展，消除热点高容错性架构设计，保证用户业务连续性集成了一系列NetApp先进的存储功能NetAppcDOT集群存储系统架构图数据网络SAN/NAS管理网络集群存储系统控制器互连网络10GbENetAppConfidential–LimitedUse两个相同配置的控制器组成HA两个相同配置的控制器组成HAcDOT架构的特例：单节点和双节点无交换机架构NetAppConfidential–LimitedUse单节点cDOT集群存储系统在线升级为双节点无交换机cDOT集群存储系统双节点无交换机cDOT集群存储系统在线升级为多节点带交换机cDOT集群存储系统多节点带交换机cDOT集群存储系统VServer：实现存储逻辑隔离和授权式管理NetAppConfidential–LimitedUseVServer为在NetAppcDOT集群存储系统上创建的一个逻辑存储系统，由Flexvol卷、LUNs和逻辑网络接口（LIFs)组成前端所有的数据访问均通过Vserver来进行，Vserver能同时支持不同的数据访问协议一套cDOT集群存储系统至少配置一个Vserver,最多能配置1000个VserverNASNamespace和LUNs均以Vserver为边界HAVServer的在线扩展能力SANhosts/NASclientsLIF2LIF1LIF3LIF4VS1HANetAppConfidential–LimitedUseBCA2A3C1A1B1B2ARC2LUNLUNLUNABCA1A2A3B1B2C1RLUNLUN不影响数据正常访问不影响主机对数据的正常访问后台利用snapshot功能进行数据复制在集群存储系统的任何aggregate之间实现volume的在线迁移被迁移的volume原有的空间精简、镜像或复制关系、数据快照均保持不变NFS/CIFS/iSCSI/FC/FCoEHAHANetAppConfidential–LimitedUsecDOT集群存储系统在线卷迁移功能cDOT集群存储系统在线卷迁移功能可实现A1C1LUNLUNB2ABA1A3RCLUNB1C1LUNLUNAA2按需扩容和负载均衡化数据层次化存储高性能存储廉价存储C1LUNLUNB2ABA1A3RCLUNA2B1在线逻辑接口迁移：保证逻辑接口的可用性逻辑接口可以在线的迁移至集群存储系统内的任何一个相同类型的物理端口上HAHALIF2LIF3LIF4LIF1不影响前端主机的数据正常访问NetAppConfidential–LimitedUse在线逻辑接口迁移：更好实现控制器的负载均衡LIFs并不是永久和一个物理端口绑定，可以在物理端口之间进行在线迁移两种实现LIF负载均衡的选项在增加新主机时，利用DNSlookup为新主机指定负载最轻的LIF进行数据访问利用LIF在线迁移，在各个节点间进行负载重新分布，实现更均衡的负载分布AverageNetworkLoadontheNodeNetworkDemandonanIPAddressNetAppConfidential–LimitedUse在线逻辑接口迁移结合在线数据迁移可实现NetAppConfidential–LimitedUseLIFLIF在线硬件替换LIFLIFLUN在线控制器升级cDOT集群存储系统的存储访问QoS控制功能介绍NetAppConfidential–LimitedUseQoSPolicyGroupDefinesisolationboundariesbetweensetsofworkloadsContainsoneormorestorageobjectsVserver,Volumes,LUNsorFilePoliciesarebehaviorsappliedcollectivelytoapolicygroupPoliciesarethroughputlimitsThroughputisdefinedintermsofIOPSMB/sQoSPolicyGroupVolumevol3Volumevol5Name:qos_policyLimit:IOPS<2000perpolicygroupcDOT集群存储系统的FlexCache功能介绍NetAppConfidential–LimitedUse

ABNode1Node2CacheVolumesNode3Node4CDEFGHClientsClientsClientsClientsProblemNode1isoverloadedduetoreadsoffilesinvolumeAfrommanyclients

A’

A’

A’

A’SolutionCreatecachevolsonnodes1,2,3&4DistributeclientreadstovolumeAfiles

toorigin/cachevolumesacrossallnodesProtocolssupported:NFSv3/v4,

SMB1.0/2.0/3.0Examples:MovierenderingFinancialsimulationsChipdesignSeismicinterpretationWebserversNetAppcDOT集群存储系统对敏睿的体现业界第一套真正意义上的统一云存储平台：统一：同时支持FCP、FCoE、iSCSI、NFS、CIFS、pNFS主流存储协议同时支持FC、SAS、SATA、SSD磁盘并支持不同类型磁盘的混合使用云存储：前端主机可以通过任何一个节点来访问存储在集群存储系统任何位置的数据，实现GlobalNameSpace功能VServer实现逻辑隔离，从而在多租户环境下实现数据访问的安全隔离存储平台：多控制器架构提供超高性能和海量存储，不管配置了多少控制器和多少磁盘存储空间，所有的存储资源均能实现整个集群存储系统内的共享和相互调剂，因此能极大提升存储资源的利用率，消除控制器或存储空间的热点问题支持NetApp不同类型的控制器，并支持对第三方存储系统的虚拟化整合实现单一映像管理，利用图形化界面通过任何一个控制器就能对整套集群存储系统进行集中管理和监控，并能通过VServer实现授权式管理NetAppcDOT集群存储系统对敏睿的体现(续)Intelligent（至能）提供丰富的管理和监控功能，简单易用：集成的存储访问QoS控制功能集成的FlexCache功能集成的高效存储技术，提升存储资源利用率基于数据块的重复数据删除在线的数据压缩存储空间动态精简分配基于指针的克隆智能数据自动分层存储NetAppFlashCache大缓存技术NetAppFlashPool技术NetAppcDOT集群存储系统对敏睿的体现(续)Immortal（至久）在线操作能力（NDO）提供数据永久在线能力：在线卷迁移功能，可以实现：系统的按需扩容系统的在线负载均衡数据的层次化存储在线逻辑接口（LIF）迁移，可以实现：保证逻辑接口的可用性从而保证数据访问不受物理接口故障的影响在线调整各控制器的负载，避免出现热点控制器出现而影响整体性能在线卷迁移功能结合在线逻辑接口迁移功能，可以实现系统硬件的在线更换在线控制器升级双控制器HA架构Firmware在线升级能力集成了多项NetApp数据保护功能，为数据提供全方位的保护：数据快照和数据快速恢复功能IntraCluster和InterCluster的SnapMirror/SnapVault数据复制保护NetAppcDOT集群存储系统对敏睿的体现(续)Infinite（至极）具备了4D扩展能力，用户可以PayOnGrowthScaleIn：控制器本身可以通过增加FlashCache、前端通道卡、后端通道卡来提升其处理性能和通道带宽ScaleUp：控制器可以在线的升级到更高端的型号ScaleOut：可以在线增加节点（最大支持24个节点），随着节点增加整套集群存储系统的处理能力和最大能支持的存储容量也呈线性增加ScaleDeep：可以连接外部第三方存储实现存储虚拟化cDOT集群存储系统在SPEC上的性能公测数据性能随着控制器的增加呈线性增加内容安排NetApp

cDOT集群存储系统介绍NetAppE系列存储系统介绍NetAppEF540全闪存阵列介绍NetAppE系列存储硬件系统DE6600DE5600DE16004U/60x3.5”磁盘高I/O吞吐能力大容量、高密度2TB/3TBNL-SAS&SSD磁盘2U/24x2.5”磁盘高I/O吞吐能力高性能/功耗比600/900GBSAS10k,SSD磁盘2U/12x3.5”磁盘低成本2TB/3TBNL-SAS磁盘2600控制器

磁盘扩展柜系统E5560E5524E5512245500控制器

5400控制器

E5460E5424E5412E2660E2624E2612控制器支持SAN和iSCSI架构，提供8GbpsFC/GbE&10GbE/40GbpsIB/6GbpsSAS主机接口应对新市场的新产品NetAppFAS系列（包括cDOT集群）统一存储架构将继续定位在企业级IT和Cloud架构市场在保证数据访问性能的前提下，提供强大而全面的存储功能NetAppE系列定位在新兴的大带宽和大数据集的市场追求纯粹的数据读写吞吐量25E系列剑指何方大带宽，高吞吐量-顺序读写采集–卫星数据,视频监控，媒体管理DeepArchive–Backup,ReferenceDataDeepAnalytics-数据挖掘和数据仓库，内容分析模拟运算–数据可视化，气象，地震物探数据

传统高性能计算–高校，研究所26AnalyticsforextremelylargedatasetsPerformancefordata-intensiveworkloadsBoundlesssecurescalabledatastorageNNSA：LLNL实验室“红杉”超性能计算机27内容安排NetApp

cDOT集群存储系统介绍NetAppE系列存储系统介绍NetAppEF540全闪存阵列介绍NetAppFlash

Portfolio29NetApp可为用户提供跨越服务器、混合阵列和闪存阵列级别的闪存解决方案组合，为客户提供强大的存储选项来支持业务关键型工作负载。EF540产品详情30核心特性EF540基本主机连接性（每控制器端口数）4个8GbFC控制器内存/缓存12GB/控制器外形规格2U/可容纳24个驱动器的机架驱动器12个或24个800GBSSD存储操作系统SANtricity®10.84可选功能EF540扩展主机连接性

（每控制器端口数）4个8GbFC4个6