NetApp E系列存储 技术详解PPT学习课件

SE技术详细信息 NetAppE系列 1 修订 2 NetApp 存储产品组合了解产品组合E系列定位NetAppE系列产品概述硬件详细信息存储配置SANtricity 11 10应用程序集成性能估算主机操作系统支持实施和支持工具资源 3 行业领先的存储创新 4 闪存阵列可提供超高性能 E系列提高大规模扩展时的性价比 StorageGRID 实现网络级对象存储 集群模式DataONTAP 适用于共享基础架构 公司数据中心 云数据中心 E系列用数字说话 5 创新性动态磁盘池技术 30余年的行业知识和领先地位 令人惊叹的99 999 的可用性 先进技术嵌入世界上最大的数据仓库 连接到世界上最大的超级计算机 NetApp专有信息 使用受限 专为实现出色的SAN性价比与应用驱动型并提供应用驱动型数据管理 系统亮点 6 安装方便 易维护 经济实惠模块化设计 提供多种磁盘架 驱动器和I O供您选择可调性能 针对IOPS和带宽闪存集成 提供卓越的性能和效率稳定的性能和自动化管理 E2600E2700E5400E5500 适用于E系列的混合阵列 7 混合使用HDD和SSD 以满足应用驱动型性能要求采用SSD缓存功能进行智能缓存提高新系统或现有系统的性能易于安装自管理最大限度地减少HDDI O细化可扩展性实时响应 E系列客户价值 运行效率高性能和高密度可减少电耗 散热和空间需求 从而节省存储成本模块化架构和存储升级方便 能适应业务发展 最终实现投资保护基础型产品的企业级功能可提供运营灵活性并支持增长企业级可靠性或可用性99 999 的可用性 停机时间几乎为零NetAppAutoSupport轻松管理 一劳永逸 的管理通过DDP消除复杂的RAID概念企业应用程序集成 VMware Exchange SQL 8 渠道优势 利用来自一个值得信赖的供应商的一整套共享和专用存储解决方案组合 展现竞争优势 从而满足客户要求借助经验证且具有竞争优势的NetApp解决方案进军快速增长的纯SSD闪存阵列市场围绕客户当前和未来的业务需求 展开更深入且更以解决方案为导向的谈话 以此推动更大且更具战略意义的商机通过与一个供应商合作 满足纯闪存 性能密集型和应用驱动的需求 从而节省时间和精力 9 10 适用于E系列的环境和工作负载 适用于SMB的基于SAN的业务应用程序异构备份 归档目标高密度存储库业务智能 数据仓库对延迟敏感的应用程序SMB混合工作负载HPC集群 并行文件系统 简单的免人工干预管理灵活 可靠的SAN存储无缝应用驱动型管理极高的容量和密度高性能传输速率 GB 秒 或IOPS能效和空间效率混合SSD和HDD 典型工作负载 关键存储要求 11 最佳部署时机 1SANtricity 提供基本的机载次要管理功能 对性能的影响微乎其微 如何区分FAS和E系列 12 FAS E系列 NetApp专有信息 使用受限 如何区分EF系列与E系列 13 EF系列 E系列 NetApp专有信息 使用受限 14 定义E系列目标 在现有客户的基础上拓展业务范围 通过庞大的客户群和技术更新增加收入 借助更加丰富的NetApp产品组合赢得新客户 在FAS并非理想之选的增长型中型企业环境中提供简单的SAN解决方案提高大规模扩展时的性价比 拓展FAS之外的业务范围缩短销售周期 增加销售量确定应用驱动型存储环境 API感知 的新客户机会VMware Exchange SQL Oracle 超过50 的系统需要技术更新重新定义中型阵列的企业级功能基于IP的复制动态磁盘池支持加密驱动器精简配置 SANtricity11 10有哪些新功能 可对经过精简配置的卷进行异步镜像将动态磁盘池 DDP 的数量增加到20个SSD支持动态磁盘池技术 便于进行无缝管理可扩展和缩减动态磁盘池功能现在捆绑在SANtricity 软件中 只有加密需要密钥 15 16 聚焦E系列系统 性能 17 灵活的模块化设计 每个磁盘架支持多个NL SAS SAS和SSD驱动器类型每个磁盘架支持控制器或者可用于扩展混合磁盘架 可满足广泛的需求 简单且高度可配置 控制器 磁盘架 型号 18 19 存储架构 E系列存储系统支持两种存储架构 采用卷组的传统RAID和动态磁盘池 DDP 两种架构都与SANtricity 功能组合完全集成 SANtricityStorageManager中型存储中的企业级功能 20 加密的驱动器支持扩展的安全增强功能 实现遵从性和合规性 动态磁盘池重建时间缩短6倍 只需几分钟 而非数天 而且在驱动器重建期间能确保持续的高性能 SSD缓存 混合存储通过实时自动缓存到SSD加快对 热 数据的访问 混合搭配SSD和HDD 企业级复制通过FC和IP复制 对数据进行经济高效的企业级灾难恢复 精简配置将存储利用率提高达35 并避免过度配置 增强的Snapshot副本更准确的恢复点目标和更快的恢复 21 硬件 了解E系列子模型ID E系列使用称为子模型ID SMID 的概念 将特定硬件组件与各种软件功能对应起来在SANtricity 11 10中 具有关联SMID的硬件和软件组合的数量不断增加 并且将NetApp品牌产品与各种OEM产品区分开来SMID179 NetApp品牌E5400控制器SMID180 NetApp品牌E2600控制器SMID197 NetApp品牌E5500 具有除四端口10GbiSCSI 光纤 之外的所有支持的HIC功能 为16GbFC版本SMID214 NetApp品牌E2700 具有所有支持的HIC SANtricity11 10中不提供四端口10GbiSCSI 光纤 SMID230 NetApp品牌E5500 具有除四端口16GbFC 光纤 之外的所有支持的HIC功能 为10GbSCSI版本可以使用SANtricity查看阵列固件清单 以确认SMID系统中的两个控制器必须具有对应的SMID 22 E2600平台规格概述 E2600控制器集成存储 23 E2600型号 支持SAS NL SAS和SSD驱动器并非所有的驱动器都支持加密并提供数据保证 PI 保护借助扩展磁盘架支持多达192个驱动器DE6600 4U 60 DE5600 2U 24 DE1600 2U 12 24 E2600驱动器容量 GB 25 26 E2600控制器 DS5300图 26 E2600存储系统同时支持单工和双工控制器配置 E2600主机卡选项 按控制器划分 27 SAS主机卡2个6Gb通用端口SAS FC主机卡4个8GbFC iSCSI主机卡4个1GbiSCSI铜线RJ45 iSCSI主机卡2个10GbiSCSI铜线RJ45 E2600磁盘扩展布线方法 28 从磁盘托盘堆栈的两端布设A和B两条路径 提供完全冗余磁盘路径 每个控制器只具有1个SAS输出端口 通过控制器上的绿色标签进行标识 29 E2600缆线选项 E2700SAS 3控制器统一存储交付即用的部署 30 E2700平台规格概述 E2700系列型号 31 支持SAS NL SAS和SSD驱动器并非所有的驱动器都支持加密并提供数据保证 PI 保护借助扩展磁盘架支持多达192个驱动器DE6600 4U 60 DE5600 2U 24 DE1600 2U 12 E2700驱动器容量 GB 32 E2700控制器 33 33 DS5300图 双以太网管理端口 E2700存储系统同时支持单工和双工控制器配置 SAS 2至SAS 3的转换器缆线 用于ESM6GbSAS磁盘扩展端口 参见备注 34 E2700主机卡选项 按控制器划分 仅FC主机卡 四端口16GbFC 仅FC主机卡 双端口16GbFC SAS主机卡四端口12Gb通用端口SAS SAS主机卡双端口12Gb通用端口SAS iSCSI主机卡双端口10GbiSCSI铜线RJ45 采用SANtricity11 10的E2700上不支持光纤iSCSI E2700磁盘扩展布线方法 35 单堆栈配置 双堆栈配置 2个磁盘架以上 注 双堆栈配置可以有效地将用于磁盘的SAS通道带宽增加一倍 同时减少与路径或托盘丢失情况相关联的风险 36 E2700缆线选项 与E2600相比有何不同 相比E2600 E2700能提供更出色的IOPS和带宽性能 缓存读取IOPS 顺序写入带宽 CME 37 E2700与E2600性能对照一览 E2700提供更高的IOPS和近两倍的带宽性能 SANtricity v11 10 Turbo性能 RAID6 192个10KRPM驱动器 内置双端口6GSASHIC或四端口FCHIC注意 CMD 已禁用控制器缓存镜像 CME 已启用控制器缓存镜像 38 E5400控制器统一存储交付即用的部署 39 E5400平台规格概述 E5400系列型号 支持SAS NL SAS和SSD驱动器并非所有的驱动器都支持加密并提供数据保证 PI 保护借助扩展磁盘架支持多达384个驱动器DE6600 4U 60 DE5600 2U 24 DE1600 2U 12 40 E5400驱动器容量 GB 41 42 E5400控制器 42 每个E5400存储系统装有两个控制器 43 E5400主机卡选项 按控制器划分 FC主机卡四端口8Gb 秒FC SAS主机卡四端口6Gb通用端口SAS iSCSI主机卡双端口10GbiSCSI光纤SFP IB主机卡双端口40GbIB E5400磁盘扩展布线方法 44 从磁盘托盘堆栈的两端布设A和B两条路径 提供完全冗余磁盘路径 每个控制器只具有1个SAS输出端口 通过控制器上的绿色标签进行标识 45 E5400缆线选项 E5500控制器统一存储交付即用的部署 46 E5500平台规格概述 E5500系列型号 47 支持SAS NL SAS和SSD驱动器并非所有的驱动器都支持加密并提供数据保证 PI 保护借助扩展磁盘架支持多达384个驱动器DE6600 4U 60 DE5600 2U 24 DE1600 2U 12 E5500驱动器容量 GB 48 49 E5500控制器 50 E5500主机卡选项 按控制器划分 使用以下两种子模型ID SMID 之一订购E5500 如果SMID 197 双功能HIC为16Gb 秒FC如果SMID 230 双功能HIC为10Gb 秒iSCSI可以使用SANtricity 软件查看存储系统硬件清单 以确认适用于任何控制器的SMID SAS主机卡四端口6Gb通用端口SAS FC iSCSI主机卡四端口16Gb 秒FC或10Gb 秒iSCSI光纤SFP IB主机卡双端口40GbIB E5500磁盘扩展布线方法 51 从磁盘托盘堆栈的两端布设A和B两条路径 提供完全冗余磁盘路径 每个控制器具有2个SAS输出端口 通过控制器上的绿色标签标识 如图所示 使用两个路径 52 E5500缆线选项 与E5400相比有何不同 相比E5400 E5500能提供更出色的IOPS和带宽性能 53 缓存读取IOPS 顺序写入带宽 CME E5500与E5400性能对照一览 E5500提供更高的IOPS和超过两倍的带宽性能 Turbo性能 RAID6 384个10KRPM驱动器 内置双端口6GSASHIC或四端口FCHIC 54 存储配置 55 SANtricity磁盘结构 56 预先分配卷并静态映射基于RAID组和专用热备盘益处 专为高性能而构建卷组最多可以包括30个驱动器 但只有RAID10可以是纯驱动器 在实践中 大多数组不能超过12个驱动器 卷 RAID 组 SANtricityRAID级别 RAID0 条带化RAID1 10 镜像或条带化RAID5 数据磁盘和奇偶校验RAID6 P Q 数据磁盘和双奇偶校验 数据 块级条带 分布奇偶校验 数据 数据 奇偶校验 数据 数据 奇偶校验 数据 数据 数据 数据 奇偶校验 数据 奇偶校验 Q奇偶校验 Q奇偶校验 奇偶校验 数据 数据 Q奇偶校验 数据 57 传统RAID卷 磁盘驱动器划分为RAID组卷分布于RAID组中的各个驱动器性能由磁盘数量确定热备盘处于闲置状态 除非驱动器发生故障备用容量处于 孤立 状态 24驱动器系统 具有2个10驱动器组 8 2 和4个热备盘 58 传统RAID 驱动器故障 数据重建至热备盘单个驱动器负责所有写入 瓶颈 线性重建 一次创建一个条带 该组中的所有卷都会受到严重影响 24驱动器系统 具有2个10驱动器组 8 2 和4个热备盘 59 问题 大型磁盘驱动器挑战要存储 保护和访问的数据量相当惊人某些站点的大容量驱动器数目已成千上万驱动器故障频出 尤其是NL SAS驱动器重建期间会影响生产I O很多情况下 生产I O最多可降低40 驱动器容量不断增长 传统的RAID已无力提供所需保护驱动器传输速率跟不上容量的增长步伐驱动器容量越大意味着重建时间越长 从10多个小时到数天不等 60 4TB以上 动态磁盘池 在驱动器发生故障期间保持SLA保持运行良好在驱动器发生故障之后 尽可能避免性能降低与传统RAID相比 完成动态重新平衡的速度在随机环境中提高多达8倍 在顺序环境中提高多达2倍用于每个卷的大型磁盘池可减少热备盘每个卷分布在池中的所有驱动器之间动态分配 重新分配是一项无中断后台操作 61 平衡 使用算法在所有驱动器之间随机分布数据 根据需要平衡工作负载和重建 简单 无需管理RAID或空闲备盘 所有驱动器上的备用容量随时可用 协同 池中的所有驱动器共同维持工作负载 是虚拟混合工作负载的理想之选 也可以按需快速重建 灵活 可添加任意 数量的驱动器来获得更多容量 系统会自动重新平衡数据 以实现最佳性能 传统RAID技术 创新型动态磁盘池 62 借助动态磁盘池 您可以添加或移除磁盘驱动器 而不会造成影响 无需重新配置 也不会带来棘手问题 在达到最低数量11个之后 63 数据重新平衡的时间 数分钟对比数天 小时 2 5天 1 3天 改进重新平衡的典型方法是以24个磁盘的混合工作负载为基础 超过4天 业务影响 风险降低99 驱动器出现故障时能保持业务SLA 动态磁盘池 DDP 条带化 每个条带都分布于池内的10个驱动器上不管池的大小如何 始终是10个驱动器智能算法可定义要使用哪些驱动器每个条带所使用10个驱动器组合均不同 包含24个驱动器的池 64 包含24个驱动器的池 动态磁盘池 磁盘故障 对于数据位于故障磁盘的每个条带 将读取其他磁盘上的区块来重新平衡数据将选择新的磁盘来重新平衡故障磁盘中的区块重新平衡操作在所有驱动器中并行运行 65 添加单个磁盘或同时添加多个磁盘立即重新平衡数据以保持平衡状态仅移动区块 不重新构建RAID 动态磁盘池 将磁盘添加到池 66 包含23个驱动器的池 D条带为5GB 约4GB用户数据 约1GB奇偶校验数据 位于10个驱动器上不管磁盘池的大小如何 始终是10个驱动器D组件包含相当于一个驱动器的D条带数据 动态条带化 深入了解 67 D组件 动态条带化 深入了解 在使用RAID6条带的D条带中写入数据每个RAID6条带为1MB 8 2 区块大小为128K 每个D条带具有4 096个传统RAID6条带D组件包含相当于一个驱动器的D条带数据 D条带 68 DDP配置准则 69 比较DDP与RAID6 70 我应该使用DDP还是RAID6 71 NetApp机密 仅供内部使用 精简配置 告别 猜测 实际 需要多少存储应用程序根据过度配置估计来购买磁盘因紧急活动而造成空间不足 孤立存储 通过精简配置 您可以 显著提高存储利用率在创建卷时轻松地进行一次性管理可以视需要自动增加卷容量 72 SANtricity11 10 73 SANtricity技术规格 74 注释限制随主机接口 尤其是Infiniband而异 有关详细信息 请参见版本SOW 品牌EPM 仅限同步 SANtricity11 10标准功能和高级功能 标准功能Snapshot 时间点 卷副本同步镜像异步镜像SSD驱动器支持SSD读取缓存动态磁盘池精简配置存储分区AutoSupport 工具更多 高级功能驱动器安全注意 需要购买软件许可证 才能生成许可证密钥 无试用版可用 75 卷的时间点映像物理副本的逻辑等价副本特性 提供即时副本所需的磁盘空间较少映射至任何主机既可读取 也可选择性地写入内置计划程序即时回滚支持一致性组为所有成员执行一致的关键操作主要用途 用于备份映像 文件 卷恢复 应用程序测试 等等 SANtricitySnapshot 逻辑 76 从任意PiTSnapshot映像中即时恢复完整卷改进数据恢复时间目标 回滚 内容可即时读 写 SANtricitySnapshot回滚 逻辑 77 在一个磁盘系统中完成一个卷与另一个卷之间的时间点 PiT 复制 也称为克隆 主要用途 完整的PiT数据集 可用于分析 挖掘或测试不会降低生产卷的性能重新分配数据 以进行性能和 或 容量优化向更新 更快 更大的驱动器进行技术迁移将卷移至更多合适的卷组 SANtricityVolumeCopy 78 基于存储的数据复制用于提供持续的实时系统间卷复制多个镜像模式同步 仅限FC 异步 FC或iSCSI 主要用途 灾难恢复集中管理备份数据集中管理数据挖掘 分析 SANtricityRemoteMirroring 79 SANtricitySSDCache 80 提高应用程序响应能力 采用有效的读取和随机访问模式 提高应用程序的性能适用于文件服务 数据库 消息传送和虚拟基础架构应用程序效果改善立竿见影 优势共享 包含SSD缓存无SSD缓存 模式3 Web服务器 2 64K 95 读取 100 随机 模式2 数据库服务器 8K 75 读取 100 随机 模式1 Exchange2010 64K 90 读取 90 随机 525 111 125 81 性能受到HDDIOPS限制高读取率随机操作比率高示例应用程序ExchangeWeb事务处理数据库虚拟化环境 目标概况 未受益的工作负载 写入密集型工作负载顺序密集型工作负载示例应用程序视频传输备份 75 的随机读取 82 经验证的可靠性 可用性 可维护性 提供最高的可靠性和可用性30余年的行业知识系统装机量超过700 000保证99 999 的可用性提供全面的数据保护和安全 关键的可靠性 可用性 可维护性 RAS 功能自加密磁盘T10PI 数据保证介质扫描 自动奇偶校验检查功能 并且可选择进行纠正广泛的诊断数据捕获和统计信息收集主动式驱动器和I O监控和自动化修复可选的RAID奇偶校验验证嵌入式系统运行状况检查在RAID组配置期间进行冗余检查AutoSupport 工具 83 过去20年里 驱动器容量增加了1 000倍通道速率大幅提升位错误率已保持稳定通道错误率已保持稳定 为什么使用数据保证 也称为T10 PI 按照规格 商用 驱动器的BER为1x1014左右 企业级 驱动器的BER为1x1016左右相当于每60个2TB企业级磁盘会发生1个左右的错误最终导致无提示数据损坏的风险增加 84 SANtricity增强了性能监控 85 监控驱动器 卷延迟IOPS MB 秒和缓存命中率自定义卷级的视图查看表格 而非图形化结果 应用感知型集成 86 将管理集成到Microsoft Oracle和VMware环境VMwarevCenter插件VASAProvider适用于SAN的VAAI SANtricity本机使用 vSphereMicrosoftSCOM SystemCenterOperationsManager 管理软件包SSMS SQLServerManagementStudio 附加模块xOracleEnterprise插件将存储管理扩展到应用程序借助集成存储警报和监控功能 减轻存储管理负担 无缝应用驱动型集成 87 插件和API支持存储功能由异步版本支持提供程序连接各个管理接口支持与各个系统版本紧密相关实用程序和工具仅供NetApp旗下产品使用并非由官方发布 支持 也不适用于最终用户 插件 API 提供程序和实用程序设定预期差异 88 E系列VMware集成 vCenter插件从vSphere 客户端配置和监控降低管理成本SiteRecoveryManager适配器简单 自动化的灾难恢复计划和故障转移同步或异步镜像VASA 具有存储感知功能的API 支持存储报告功能存储警报机制 89 E系列Microsoft集成 SystemCenterOperationsManager SCOM 适合Microsoft 环境的集成存储管理器支持警报和监控功能 SANtricity 软件中的RecoveryGURU SCOM控制台SQLServerManagementStudio SSMS 完整集成到SSMS在与存储相关的视图中显示SQL 数据库 90 E系列Oracle集成 OracleEM插件Oracle EnterpriseManager OracleEM GridControl的插件借助OracleEM支持E系列存储的查看和监控功能 91 提供程序Microsoft 虚拟磁盘服务Microsoft虚拟卷影服务简单的管理界面CIMOM SMI S SMAPINetApp实用程序StorageArrayWebService1 0 提供程序和实用程序 在以下位置提供相关版本 NetApp支持站点 社区 页面 FieldPortal 92 93 性能调整 对于按IOPS衡量的小型随机I O负载 按照I O请求的大小对应区块大小需要知道I O大小只有在I O大小保持不变时才有效当I O大小随机或者未精确对应时 扩大区块大小系统可以顺利地从某个区块中提取少量数据最好只让一个驱动器过载 而不是占用过多的驱动器 IOPS区块大小原则 94 对于按吞吐量衡量的大型顺序I O 需要对应区块大小 以使一个条带等于一次I O对于RAID5和RAID6尤为重要看似矛盾的一点是 要想获得最佳吞吐量 最好减小区块大小并非使用的驱动器数量越多 吞吐量越高偶数数据驱动器一般对吞吐量环境有利偶数驱动器容易计算 吞吐量区块大小指导原则 95 E系列缓存详细信息 缓存按缓存 块 划分大小由用户来设置 4k 8k 16k或32k大小对于所有卷保持不变4k缓存块最多可容纳8LBA的数据采用一对多的方式对应I O每个I O必须对应至少一个完整的缓存块可以将多个缓存块分配给大型I O如果I O小于缓存块大小 则会浪费空间 96 预取缓存 预取缓存也称为 预读 缓存中将加载所请求I O附近的LBA中的数据后续I O请求可通过缓存来处理只会影响读取按卷逐个启用 禁用 内部算法可确定提取多少数据随I O模式变化不要在SSD上使用预取缓存 97 用于IOPS的缓存 旋转介质 哪些类型的I O按IOPS衡量 小型I O请求随机I O请求IOPS的缓存参数设置 读取缓存 是 缓存空间越大越好写入缓存 是预取 否缓存块大小 较小的缓存块大小可节省空间 98 用于吞吐量的缓存 旋转介质 哪些类型的I O按吞吐量衡量 大型I O请求顺序I O请求吞吐量的缓存参数设置 读取缓存 是写入缓存 可能 但是如果需要镜像 则不值得这样做预取 是缓存块大小 缓存块大小越大 效率越高 99 用于SSD卷的缓存 哪些类型的I O 小型I O请求大型I O请求IOPS的缓存参数设置 读取缓存 不适合4K随机I O 适合实际变化的I O写入缓存 不适合4K随机I O 适合实际变化的I O预取 否缓存块大小 较小的缓存块大小可节省空间 100 固态磁盘缓存 通过SSD实现应用程序加速通过较少的投入 提升IT效率零管理 自动化优化减少运营支出较少的初始投入 启动单个SSD共享应用程序加速在SSD之间可以将缓存扩展到5TB 101 SSD缓存性能建模 102 三重性能 客户关心的事情 IOPS吞吐量延迟客户可能了解的其他事情 读取 写入和混合工作负载大型或小型I O随机或顺序 103 了解客户将运行哪些应用程序了解客户将尝试从哪些方面进行优化 主机操作系统支持 104 非对称逻辑单元访问 ALUA 针对故障转移的行业标准架构支持服务器I O通过多个路径 例如 通过任一控制器 流向卷的基于标准的架构LUN仍然由某个控制器 拥有 优化路径上的I O由所属控制器进行处理非优化路径上的I O在所属和非所属控制器之间进行I O传输避免在多主机集群配置环境中因控制器所有权变更导致系统超负荷所有权自动优化加快部署新操作系统 HBA驱动程序 105 多协议支持 APG针对每个控制器型号和支持的OS类型对多种主机协议执行互操作性测试 然后在NetApp互操作性表工具中公布结果互操作性表中的信息包括具体的OS和HBA HCA信息 其中包括具体的设置和调整备注来自APG互操作性团队的指导意见也会反映在SolutionBuilderE系列主机相关内容中 106 OS互操作性 请参见IMT了解详细信息 WindowsServer 2008R2SP1 WindowsServer2012R2 WindowsServer2012Hyper V NetApp在SANtricity 软件中提供DSMRHEL5 9 5