NetApp FAS存储系统教战手册--2012年

NetApp FAS 存储系统教战手册存储系统教战手册 一 NetApp FAS 网络存储产品概览 NetApp FAS 一体化网络存储系统 其产品定位涵盖面非常广 从高端的 FAS6200 系列到入门级 的 FAS2000 系列 从大型的数据中心到企业部门及远程办公室 FAS 系列产品是市场上唯一能够 将块数据和文件数据访问 NAS FC SAN FCoE ISCSI 合而为一的虚拟化存储解决方案 可 以满足不同行业用户对多种应用数据类型如 Microsoft SQL Exchange Oracle SAP VMware 文件 图片 影像等各种应用的数据存储和管理需求 可以简单的定义 FAS 一体化网络存储系统是一款 All in One 的磁盘存储产品 它提供了各种接 口类型 IP FC SAN 万兆 FCoE 具有丰富的软件功能 覆盖了磁盘存储领域几乎所有的数 据管理能力 如快照备份恢复 D2D 备份 灾备 法规遵从存储 数据生命周期存储等等 NetApp 在业界以 NAS 和 IP SAN iSCSI 著称 同时为那些对性能和可用性要求苛刻的环境提供了 全面 成熟的光纤通道 FC SAN 解决方案 通过将高性能存储与独特的数据管理软件相结合 NetApp 可以提高关键数据的可用性 简化复杂数据管理环境 提高效率并且降低存储成本 NetApp FAS 一体化网络存储系统通过同一个硬件平台 单一操作系统 来同时满足 NAS FC SAN FCoE iSCSI 和等不同类型的存储访问需求 主要特点是提供极其丰富的软件进行数据管 理 二 背景知识介绍 SAN NAS SAN Storage Area Network 存储区域网络是指存储设备和服务器之间通过 SCSI 协议进行数据访 问 而 SCSI 协议是承载在 FC 光纤上或者其他底层网络协议上 从而可以拓展服务器到存储之间 的距离 这样构建起的集中式存储叫做 SAN 存储 用于连接服务器和存储设备的网络则叫做 SAN SAN 可以被看作是存储总线概念和 DAS Direct Attached Storage 直连存储的一个扩展 其重要概念是 前端的服务器象使用本地硬盘一样使用后端的存储 传统的 SAN 使用专门的存储 访问协议 FCP 并且要求使用 FCP 交换机 通常叫做 FC SAN 交换机 发展到今天 SAN 的 概念有了很大的扩展 像我们现在说的 iSCSI 和 FCoE 都属于 SAN 的范畴 这三种协议都是采用 串行 SCSI 协议进行对后端磁盘的读写访问 但是分别采用了不同的底层协议栈进行封装 以满足 不同性能 成本方面的需求 往未来看 FCoE 应该是大势所趋 有一个很简单的方法来帮助大家 理解什么是 SAN 就是 如果主机和存储之间是采用 SCSI 协议来进行磁盘数据访问的 那就是 SAN FC SAN 和 FCoE 的物理连接拓扑示意图 FC SAN系系统统网网络络环环境境拓拓扑扑图图 WIN2000 2003 FC SAN存存储储系系统统 企企业业局局域域网网络络 Enterprise LAN FC SAN光光纤纤交交换换机机 FC SAN 存存储储区区域域网网络络 WINDOWS FC SAN光光纤纤交交换换机机 IBM AIX HP UX SUN Solaris Red Hat SuSe UnixLinux DB cluster Mail cluster 以以太太网网 存存储储FC SAN NAS Network Attached Storage 网络存储 简单的说 NAS 是通过 TCP IP 网络连接 通过文 件访问协议 CIFS NFS 提供存储访问的存储设备 对于主机来说 NAS 存储呈现给主机的存储 单元是以网络盘 Windows 环境 或 nfs mount UNIX 环境 的方式呈现的 服务器使用的是一 个网络文件系统 NAS 使用以太网络交换机进行服务器与存储之间的连接 尤其注意 不能简单 地以 TCP IP 协议或者 Ethernet 协议连接作为是否是 NAS 的依据 比如 ISCSI 使用 TCP IP 协议 FCoE 使用 Ethernet 协议 但他们都属于 SAN NAS 和 iSCSI 的物理连接拓扑示意图 NAS iSCSI 网网络络存存储储拓拓扑扑图图 千千兆兆以以太太网网交交换换机机 NAS iSCSI 存存储储系系统统 企企业业局局域域网网络络 Enterprise LAN Gigabit Ethernet Storage Network 千千兆兆以以太太 存存储储网网络络 Windows Unix NetWare or Linux Servers With iSCSI initiators LAN Standard GbE Switch Users 存储协议比较 FCPFCoEiSCSINAS 数据访问协议SCSISCSISCSINFS CIFS 承载协议 底层通 信协议 FC ChannelEthernetEthernet TCPIP Ethernet TCPIP 使用交换机FC 交换机 FCoE 交换机 如 Cisco Nexus Ethernet 交换机 Ethernet 包括 万兆 交换机 文件共享能力无无无协议本地支持 最适合的环境通用数据库环境高性能数据库环境低成本环境 文件访问 需要共 享 通用 UNIX 数 据库等 注意 如果在文件访问的环境错误地使用了 SAN 存储 其结果是得不偿失的 有些人会说 SAN 使用的 FCP 协议的性能优于 NAS 协议 所以应该使用 SAN 但实际上 通常文件访问环境决定 性能的根本因素是文件系统的性能 而不是访问协议的吞吐 在文件系统的性能比较上 主机上的 通用文件系统的性能与功能是远远不能与专用 NAS 设备进行比较的 如果需要对这个结论的进一 步证据的话 可以去 http www spec org sfs2008 results 和 http www spec org sfs97r1 results 去自己了解并比较一下各个测试结果 合适的永远是最好的 三 什么是统一存储 统一存储的概念 这两年在市场上炒得沸沸扬扬 各个存储产品似乎都迫不及待地给自己加上统一 存储的标签 然而 需要搞清楚的是 为什么统一存储概念会得到市场的认同 什么样的存储才能被称作统一存储 才能给用户带来真正的价值 统一存储会得到市场认同的根本原因在于 用户对存储架构简化的需要 由于 IT 应用的多样化 以及数据管理功能的更高要求 存储架构也日趋复杂 而统一存储的概念恰恰满足了用户 化繁为 简 的要求 目前存储市场上号称 统一存储 的产品不止 NetApp 一家提供 但是这些产品并不都是真正的统 一存储 需要仔细鉴别 统一存储的意义在于简化存储架构 这不仅意味着存储设备数量的减少 而且更重要的是能够减轻 存储管理的负担 提升存储效率 1993 年 NetApp 就已经开始向市场提供 NAS 存储系统 用于存放用户的文件 NetApp 最初的 产品名字叫做 Filer 即起源于此 2002 年 NetApp 开始在其 FAS 存储产品上支持 FCP 协议 2003 年又首先支持 ISCSI 协议 加 上原本就支持的 NFS CIFS 等 NAS 协议 就形成了今天我们看到的 FAS 统一存储架构 这个架构 的意义在于 它可以在一套系统上同时支持多种不同的存储访问协议 从而避免了为支持不同存储 协议而需要购买多套不同存储设备 这种支持是从内核层面上支持的 是完全原生的支持 它带来 的好处如下 支持多种存储协议 统一了 SAN 和 NAS 简化存储架构 减少了存储设备的采购 单一系统管理 大大降低了管理负担 整合了 SAN 与 NAS 的存储资源 提升存储效率 市场上有一些号称 统一存储 的产品并不是真正的统一存储架构 其本质仍然是多套系统组合而 成的 即 一套 SAN 产品 NAS 网关 管理平台 这种架构实际上是一种集成架构 实际上并不能 提供真正统一存储所带来的好处 仍然需要多套系统 不能减少存储设备 内部本质上还是多套系统 需要管理多套系统 不同的管理命令与操作 即使在管 理界面上有所整合 但并不能减少管理所花的时间 因为 一个管理命令去到后台 仍然会分解成若干串行的命令执行 任务执行时间不会减少 而且 界面整合后 如果命令执行错误 排错会更加困难 SAN NAS 所使用的存储资源仍然是分开的 不能有效提升存储效率 在 2010 年 NetApp 宣布在 FAS 存储系统上支持 FCoE 随着越来越多的用户采用 FCoE 和万兆以太网 未来在存储连接上也会形成统一连接 即 在万兆以太网上同时支持 SAN 协议与 NAS 协议 这将会把统一存储的概念带到一个新的高度 四 FAS 存储系列软件简要 以下介绍的是 FAS 存储系列中部分最为常用的功能软件 并非全部 Data ONTAP 操作系统 所有 FAS 存储系统产品都配置 Data ONTAP 存储操作系统 这是一个高度优化的 可扩展的 面 向数据管理的灵活操作系统 借助先进的系统内核技术和微码设计 不仅可以提供 NAS SAN 的 混合数据访问 RAID 数据单元划分等基本存储功能 而且提供了非常丰富的数据管理功能 可 以实现高效的数据保护 并优化存储利用率 Data ONTAP 是一个很精简的操作系统 不仅管理操 作简单 而且具体到每个存储操作实现上 都可以节省大量的操作时间 降低管理负担 用户可以 通过管理客户端 System Manager 进行图形化管理 或者通过 console 协议 如 telnet SSH 等 进行命令行或脚本管理 FlexVol 精灵卷 存储设备的利用率是用户与管理员最为关心的问题之一 实际得到的可用空间通常远小于实际采购 的容量 裸磁盘与系统固有的开销或许无法改变 但更多的浪费其实来自于陈旧的空间分配方式 空间一旦分配就无法回收 应用系统越多 这种浪费就越严重 而且 想要更改 扩大或缩小 已 分配出去的空间几乎是不可能完成的任务 FAS 存储系列产品具有的 FlexVol 技术提供了真正的存储虚拟化解决方案 Thin Provisioning FlexVol 技术可以自动集中存储资源 便于您在一个大型磁盘池中创建多个灵活的卷 有了这一灵 活性 您就可以简化操作 最大限度地提高利用率和效率 并可以快速 无缝地进行修改 在线扩 大或缩小 而且无需中断业务动作 除了磁盘与系统固有的标准开销以外 Flexvol 不会造成任何 空间分配的浪费 只有实际数据写入时 空间才会被实际分配出去 从而消除空间浪费 有效提高 存储利用率 FlexClone 虚拟克隆 数据库管理员会花费大量的时间制作数据副本 以用于应用升级 程序测试 研发或其他目的 由 于通常的做法 不论是主机实现还是存储实现 都是完全拷贝的方式 其消耗的时间与空间资源都 非常巨大 有时为了节约存储成本 只能将并行的测试改为串行的方式来做 但这又会严重影响到 研发或测试的进度 另外 拷贝过程本身又会对生产应用的连续运行或者性能造成很大影响 FAS 存储系列产品提供的 FlexClone 技术实现了真正的虚拟克隆 能够即时复制数据卷和数据集 并且在生成副本时无需增加存储空间 每个克隆卷都是透明的虚拟副本 生成一个 FlexClone 只需 要几秒钟的时间 对生产系统完全没有影响 同时可以生成许多份 并以最小的开销实实在在地节 约空间 SnapShot 和 SnapRestore 快照备份和快照恢复 企业数据和业务连续性随时都面临着巨大的威胁 而且这种威胁一直存在 新的病毒随时会攻破系 统防线 简单的软件升级可能会失败 使操作完全停止 订单记录管理员可能会不小心删除了重要 的客户记录 采用传统的数据恢复技术 这类事件可能会耽误数小时时间 导致数百万美元的损失 使用 Data ONTAP 操作系统的独特 SnapShot 快照 功能 SnapRestore 快照恢复 功能可以用 存储的快照副本快速恢复丢失的文件 从一个用户主目录到庞大的生产数据库 无论文件或卷有多 大 SnapRestore 都可以在几秒钟内迅速 简单的完成恢复 从而使企业几乎可以立即从这些灾难 下恢复过来 NetApp FAS 存储系列产品提供的 SnapShot 技术是本地保留的按时间点拍摄的数据映像 由于没 有性能开销 并且对空间消耗很少 与数据更改量有关 用户可以为每份数据保留多达 255 份在 线拷贝版本 虽然 Snapshot 并不将数据备份到二级存储设备或磁带中去 但是 Snapshot 与 SnapRestore 的存在却可以将数据恢复时间提升到前所未有的水平 对于业务连续性具有极为重要 的意义 SnapVault 先进的磁盘到磁盘备份 当前 企业数据备份一直以来都是一个耗时 昂贵 而且有时还不太可靠的过程 今天 企业运营 过程中涉及的数据量普遍在快速增长 而可用于进行备份的时间却越来越短 要建立一个有效的数 据保护系统 还需要在服务器 网络 磁带技术和人力上进行大量投资 再加上磁带介质的成本 备份和恢复操作也会中断对重要信息的访问 从而导致生产效率和收益的降低 通过 NetApp FAS 存储系统提供的 SnapVault 先进的磁盘到磁盘备份软件 可以确保重要数据始终 能得到保护并且易于恢复 用户可以通过 SnapVault 软件 将 FAS 存储系列产品或其他存储平台 上所存储的数据备份到另一个 NetApp FAS 存储系统 为异构存储环境提供了一种基于磁盘的集中 式备份解决方案 通过将多个 SnapShot 副本中备份数据存储到 SnapVault 还允许用户选择备份的 数据对象 备份频率及备份副本要保留的时间 为用户提供了数据备份方案的灵活性 相比于企业现在普遍采用的传统备份架构 SnapVault 具有以下明显优势 永久增量备份 更高效的使用 CPU 和网络资源 并将所需存储空间以及备份需要的网络带宽减 至最少 而且显著缩短了备份窗口 备份数据可用 SnapVault 备份出去的数据与原始数据格式完全相同 可无需恢复过程直接使用 提高生产力 与 Snapshot 技术无缝集成 在生产端 FAS 与备份 FAS 上面分别保持不同的 Snapshot 快照 可 按需灵活恢复 提升 RTO RPO 水平 SnapMirror 数据容灾 对于任何一个企业或机构而言 容灾是一件迟早要做的事情 与其紧密相连的两个东西也是必须要 面对的 复杂性 高成本 容灾架构的复杂性与高成本投入可能超过任何其他的 IT 项目 数据可 用性 RPO RTO 网络带宽 距离 延迟 设备兼容性 计划演练 等等 对于本身并不拥有带 宽资源 而且要实现远距离容灾的企业来说 这几乎是一个无法完成的任务 SnapMirror 以其高度灵活的设计 不仅能够支持近距离的完全同步容灾 也能够直接通过低带宽的 IP 网络实现跨 IP 广域网的超远距离容灾 事实上 许多 NetApp 用户使用 Snapmirror 实现跨大洲 的全球容灾 而使用的 IP 链路不过是几百 Kbps 的线路 SnapMirror 的灵活性还允许进一步降低容灾成本 通过在容灾端使用更低型号的 FAS 存储或 V 系 列设备 使用更廉价的 SATA 磁盘 这种非对称容灾的方式也大大降低了容灾方案实施的开销 而其实施的简易性更是令人惊异 甚至只需要 1 2 条命令 几分钟就可以完成配置 当然 NetApp 也提供专门的图形管理工具 Protection Manager 可以更直观地进行大规模的 更复杂的 管理配置 MetroCluster 高可用性 容灾方案 各个组织都认识到设立适合而稳妥的业务连续性计划以应对灾难情况的重要性 丧失业务连续性就 意味着低下的生产率 失去收入和客户忠诚度 甚至可能丢掉业务 这一高昂的成本决定了必须制 订合适的计划 从而确保最少的宕机时间并迅速从灾难中恢复 而不会丢失数据 但是 这样的计 划通常是与更高的可用性要求联系在一起的 因此实施和管理的成本可能很高 难度可能很大 并 且可能由于存储基础设施在距离遥远的站点中包括数据中心而变得更为复杂 另一个难题就是确保 远程站点上的数据完全是最新的 这样它就可以在主站点出现灾难时用作主数据存储区 NetApp MetroCluster 是一套独特的集成高可用性和业务连续性解决方案 它充分利用来自 NetApp 及其合作伙伴的经过验证的技术 与传统的存储容灾方案不同 MetroCluster 将存储高可用性扩展 到较远的距离 加上底层的数据完全复制 从而使其具备了数据容灾的能力 由于存储高可用性的 设计都是以高度自动化的方式实现 由其扩展而来的 MetroCluster 方案的主要特点就是管理简单 自动化 相比之下 许多部件级别的失效甚至无需管理员介入即可自行恢复 显著提高了业务连续 性 MetroCluster 的另一个主要特点是其很低的容灾成本 只需要一套双控制器的 FAS 存储就可 以实现 而常规的数据容灾都需要两套存储来实现 成本优势是非常明显的 MetroCluster 由以下几个功能部件构成 Clustered Failover 在主 FAS 和远程 FAS 间提供高可用性失败恢复能力 故障接管 的决策是由管理员通过单一命令行决定的 SyncMirror 为远端存储提供即时的数据拷贝 当故障接管时 数据可以仅通过远端的 FAS 进行访问 ClusterRemote 提供管理机制用以判断灾难的发生并初始远端存储进行接管 另外 如果主存储与远程存储之间的距离超过 500 米 那么在节点间需要独立的 FC 交 换机用以远距离连接 距离小于 500 米时 不需要 FC 交换机 Deduplication 重复数据删除 数据的快速增长导致了企业数据存储成本的快速增加 然而 IT 预算却并没有相应的增长 这是 CIO 和 IT 经理们今天面临的共同难题 NetApp 的 Deduplication 技术为此提供了一个非常好的解决方法 通过在存储底层进行数据消重的 处理 企业的平均数据存储空间可以减少 30 50 由于该技术在 DataOntap 内核实现 因此与访 问协议 NAS 或 SAN 完全无关 而且对性能几乎毫无影响 当在虚拟化环境下使用时 其存储 节省率平均可以达到 70 大大降低了存储成本 与其他相似的技术相比 NetApp 的 Deduplication 技术具有以下优势 完全免费 无需额外的软件 硬件支持 唯一需要的就是一个免费的许可 可部署于任何环境 生产环境下可完全放心使用 对性能几乎没有影响 五 NetApp 存储特性应用场景 以下列举若干常见用户场景 结合用户痛点说明 FAS V 系列 存储特性的使用 文件类数据存储 例如 用户个人文件数据 金融影像文件 互联网网站数据 公共邮箱 软件开发 日志 生产控制数 据 CAD CAM 等 用户痛点用户痛点FAS V 系列系列 存储特性存储特性用户收益用户收益 文件服务器数量多 不容易管理高性能 NAS 控制器整合文件服务器 减轻管理负担 小文件多 备份 性能差专为随机 小文件优化的文 件访问性能 业界第一品牌 大幅提升随机小文件访问性能 NDMP 备份性能可达数十 MB s 小 的 NAS 存储 NDMP 备份文件环境 数据恢复困难 特别是恢复少量文件Snapshot SnapRestore快速恢复 Snapshot 中的数据 恢复 全部或少量数据只需几秒钟 数据量增长快 难以控制Deduplication消除冗余数据 减少存储空间消耗 提升利用率 服务器 桌面 虚拟化 用户痛点用户痛点FAS V 系列系列 存储特性存储特性用户收益用户收益 冗余数据太多Deduplication消除冗余数据 提升利 用率 平均节省 70 传统备份操作影响性能Snapshot消除备份窗口 对生产 系统无性能影响 备份恢复速度慢Snapshot SnapRestore快速恢复 Snapshot 中的 数据 恢复单个 VM 只 需要几分钟 存储管理复杂 界面分散Virtual Storage Console 集成了 RCU SMVI 可在 Virtual Center 中直 接进行存储管理 包括 备份 恢复 部署虚拟机花时间太多FlexClone虚拟克隆 同时减少时 间与空间需要 大大节 省管理员的时间 多 VM 同时启动 登录性能问题 启动风暴 桌面 虚拟化 FlashCache TSCS 缓存消重 消除启动 登录风暴 提升系统性能 通用企业存储环境 WSC 用户痛点用户痛点FAS V 系列系列 存储特性存储特性用户收益用户收益 存储未共享 DAS NAS SAN 的组合 应用复杂 数据库 文件访问 虚拟化等等 FAS V 系列统一存储存储环境完全整合 简 化 IT 基础设施 多样化存储 管理复杂FAS V 系列统一存储 单 操作系统 DataOntap 简化存储管理 降低运 维成本 存储综合利用率低FAS V 系列统一存储 存储资源完全共享 提 Deduplication Flexvol 升存储效率 节省成本 传统备份性能差 管理复杂Snapshot SnapRestor e SnapVault 多层次备份 消除备份 窗口 加速恢复 应用扩展难 受限于孤岛 silo 架构Flexvol Flexclone Fle xshare DataMotion 动态扩展容量 无中断 升级测试 迁移 数据备份 SnapVault 备份方式建立在生产数据存放在 FAS V 系列存储之上 用户痛点用户痛点FAS V 系列系列 存储特