NetApp-FAS2040-存储整合方案和配置清单.doc

i 广广东东恒恒峰峰信信息息技技术术有有限限公公司司 存存储储整整合合设设计计方方案案建建议议书书 十二月十二月 28 2019 ii 目录目录 1前言前言 3 2NETAPP公司介绍公司介绍 4 3系统需求分析系统需求分析 5 4方案设计原则方案设计原则 6 5网络存储架构的选择网络存储架构的选择 7 5 1以太网文件系统存储区域网 NAS FS SAN 7 5 2光通道数据块存储区域网 SAN FC SAN 7 5 3SAN FC SAN 与 NAS FS SAN 的比较8 5 4以太网数据块存储区域网 iSCSI IP SAN 9 5 5SAN FC SAN 与 NAS FS SAN 的融合10 6技术方案建议技术方案建议 13 6 1方案总体设计13 6 1 1iSCSI 整合方案 15 6 1 2NAS 整合方案 可选 15 6 1 3配置列表 15 6 1 4卷组容量和 RAID 划分 16 6 1 5iSCSI 的容量调整 17 6 1 6IP 网络相关设计 17 6 2存储虚拟化管理18 6 2 1Flexible Volumes 的概念 18 6 2 2性能的提高 19 6 2 3灵活的容量规划 20 6 2 4FlexVol 的技术优势 21 6 3数据保护22 6 3 1增强型 RAID 4 22 6 3 2RAID DP 23 6 4FlexShare 数据卷优先级别管理25 6 5A SIS 重复数据删除技术25 6 6系统扩展性26 6 7系统管理27 6 7 1FilerView 27 7NETAPP FAS 存储系统介绍存储系统介绍 29 7 1FAS2020 A29 7 1 1系统概述 29 7 1 2硬件特性 29 7 2FAS2000 系列产品技术规格30 3 1 前言前言 本文描述了 NetApp 公司针对揭阳榕城区政府的服务器整合存储工程的整体技术方案 文中 FAS Filer 是指 NetApp 的统一网络存储设备 4 2 NETAPP公司介绍公司介绍 NetApp NASDAQ NTAP 是全球公认的存储界的领导厂商 提供统一的 可高度扩 展的 高可用的以及可完全互操作的存储与数据管理解决方案 NetApp 的数据存储管理 解决方案 构建于业界领先的硬件 软件与服务之上 经过充分测试并经过长期使用 充 分证明能够使企业获得更好的竞争优势 改进盈利能力 所有 NetApp 产品 包括 NearStore 近线存储与 SnapLock NetApp 法规遵从解决 方案的标志 被设计用于服务于多平台 分布的计算环境并能够熟练地控制复杂的数据 存储与管理需求 正象越来越多的企业所发现的 所有 NetApp 解决方案的优势非常清晰 快速 更可靠 无缝集成 简单地安装与维护 以及比传统的存储技术更经济的成本 作为一个 1995 年上市的公司 NetApp 建立起了稳健成长的良好记录 达到了连续 10 个季度的与上年相比的收入与利润双增长 NetApp 在 FY08 年的年收入超过 30 亿美元 最近还被美国财富杂志评选为 增长最快的公司 NetApp 公司还是美国标准普尔 500 与 NASDAQ 股市 100 的指标股成员 99 00 01 连续三年被财富杂志评为全美最快成长公司前十位 被商业周刊杂志评为 99 年全美最佳业绩公司第 19 位 99 00 年连续两年名列高速增长公司前 100 位 20th 00 其数据存储设备 FILER 占 2006 年 NAS 存储市场的 57 处于绝对优势地位 占 IP SAN 市场的 30 处于市场领先位置 除此之外 NetApp 公司在存储业界中率先实现了在 同一物理设备上 IP SAN 与 SAN 结构的融合 成为一体化的存储解决方案的厂商 5 3 系统需求分析系统需求分析 揭阳榕城区政府目前有多个业务系统 企业办公 财务 邮件 网站服务 文件服 务等业务 运行在 Window2000 Windows2003 平台上 数据主要存储在服务器主机的 内置硬盘或磁盘阵列中 随着业务的不断增长和关键业务系统的性能提升 目前基于分布 式存储的存在一定的安全性 可用性及管理问题 揭阳榕城区政府希望把多台服务器系统 的存储进行整合 进一步提高数据安全性 可用性和性能 提高整个系统维护效率和降低 系统维护成本 避免数据管理的风险 目前有多个业务系统的数据存储要求 考虑未来的 数据增量 可用数据量在 1TB 考虑到存储系统投资成本和总体拥有成本的因素 揭阳 榕城区政府希望用基于统一的网络存储架构来整合本次工程中的业务系统 原有存储设备使用了服务器本地磁盘存放数据 此次工程中 可以通过整合的方式 将所有不同连接方式的存储统一整合到 1 台网络存储设备中 存储整合会带来如下的好 处 减少维护成本 减少维护复杂度 提升整个系统性能 提高系统可靠性 统一数据备份管理 考虑到揭阳榕城区政府业务系统的连续性 不应该对主机和数据库软件进行改动 而 应该只对存储部分进行更新换代来避免影响整个核心业务系统的稳定性 目前有三种主要的网络存储技术 SAN NAS iSCSI 各自有优缺点 针对揭阳榕 城区政府的业务系统的实际情况 需要针对不同平台运行环境选择合适的网络存储技术 但同时不应增加太多系统成本 同时应用 SAN 和 NAS 技术的时候 对于存储设备来讲 系统能够动态灵活的调配 SAN 和 NAS 的使用空间来适应前端业务系统的变化 6 系统性能是整个系统设计的另一个要点 考虑到已有的 windows 系统运行相对平稳 能够承载已有的业务系统 因此新购系统的性能必须远好于原存储系统 来保证新购系统 的性能可以满足业务系统要求 数据安全性是存储系统最核心的问题 这里需要详细描述整个系统的数据保护能力 7 4 方案设计原则方案设计原则 1 标准性 存储系统设计应完全基于现有计算机和网络设备业界的开放标准 适应揭阳榕城区 政府存储整合工程现有网络系统硬件环境要求 2 可扩展性 在满足当前的业务需求的同时 还考虑到今后业务发展的需求 确保在未来扩容时 能够扩展到更多的存储容量支持 同时能够充分利用现有的资源 保护投资 3 高可靠性 在确保系统可靠工作和数据的可靠性的原则基础上 尽可能的做到高起点 选用先 进的技术和设备 使构建的存储系统有较高的技术水平 以适应今后的发展 4 可管理性和可维护性 存储设备可以通过多种技术和方式实现了高可靠性 同时也增加了系统的复杂性 从而容易导致维护和管理的复杂性 因此在方案设计中在提供高可靠性的同时 也要注重 提供存储系统的可管理性和可维护性 整个系统应该有灵活的系统扩容方案 能够进行不影响系统和应用工作的在线扩容 能够采用基于 Web 的界面对存储设备进行配置管理 系统配置工作应该简单明了 流程 清晰 系统应该能够提供远程告警 5 高性能 整个存储系统应该提供较高的文件读写速率 IO 操作次数 非常短的响应时延 而不是只提供单个指标的高性能 从而在整体上提升性能 8 5 网络存储架构的选择网络存储架构的选择 数据存储是已经成为整个信息化建设的重要组成部分 需要提供多功能 多用途的存储资源整合 备份 容灾等能力 在设计一个复杂的存储系统解决方案时 用户往往会在采用何种网络结构上举棋 不定 是采用光纤通道 FCP SAN 方式 是采用 iSCSI SAN 方式 还是采用 NAS 方式 这需要根据前 端的业务类型 主机平台以及具体的应用需求 经过仔细的分析 评估之后才能够决定 概略而言 以上列举出的三种存储网络架构是互相联系又互有区别的 在不同的业务应用环境之 下 它们能够发挥不同的功用 分别提供各自独特的优势 我们有必要对 SAN FCP SAN 和 iSCSI SAN NAS 以及它们之间的比较进行简要的介绍 5 1以太网文件系统存储区域网以太网文件系统存储区域网 NAS FS SAN NAS Network Attached Storage 网络存储 简单的说 NAS 是通过 TCP IP 以太网络连接的存储 设备 NAS 存储设备通过标准的网络拓扑结构 Ethernet 连接到一群计算机或者服务器上 而不象 FC SAN 那样需要昂贵复杂的光纤交换机 NAS 使用普通的以太网络交换机 即插即用 NAS 所使用的是存储设备自己的文件系统 数据传输协议是 TCP IP over GbE 交换机是 Ethernet Switch 资料存取的协议则有 NFS CIFS HTTP DAFS Sun NT HP UNIX Apps UNIX Apps Clustered App UNIX Apps UNIX Apps Clustered App FS Block access over fibre channel File access over TCP IP IP network GbE SAN的的 NAS 图表图表 5 1 FS SAN NAS 5 2光通道数据块存储区域网光通道数据块存储区域网 SAN FC SAN FC SAN Fibre Channel Storage Are Network 光纤存储局域网络是允许存储设备和服务器之间建 立直接的 FC 光纤连接 通过这种连接实现只受光纤线路长度限制的集中式存储 SAN 可以被看作是 存储总线概念和 DAS Direct Attached Storage 直连存储的一个扩展 通过 FC 光纤通道 前端的服 务器象使用本地硬盘一样使用后端的存储 FC SAN 的存储设备使用连接主机的文件系统 常见的主机文件系统有 UFS Unix File System NTFS NT File System VxFS Veritas File System 数据传输协议是 FCP Fibre Channel Protocol 交 换机是 Fibre Channel Switch 资料存取的协议是 SCSI 9 IBM HP NT Sun FS FS FS FS FS FS FS FS Block access Block access Block access Block access Block access Block access Block access Block access IP network FC switching fabric F C S A N 图表图表 5 2 FC SAN 5 3SAN FC SAN 与 与 NAS FS SAN 的比较 的比较 以 FC SAN 的架构来看 存储媒体的集中解决了磁带集中备份恢复与资料集中管理的问题 但仍 无法解决资料共享与改善应用程序执行速度的问题 以 GbE SAN 架构的 NAS 来看 因为资料存取是 透过存储设备本身的文件系统 并且提供安全的跨平台档案锁定 因此所有不同的主机 或不同平台 的主机 皆可同时存取同一个档案 达到了实时性资料共享的目的 另外对 NAS 而言 主机在进行资料存取时 并未透过主机的文件系统 因此主机并不需要负担存 取资料时的硬盘区块 Block I O 而 SAN 所连接的主机仍必需负担硬盘区块 Block I O 的负载 在相 同的磁盘阵列系统和硬盘数量下的 SAN 和 DAS 使用 SAN 的主机其效率将和 DAS 相同 倘若 NAS 的文件系统效率够高 够稳定 主机的 CPU 就可以全速执行应用程序的运算 不必负担文件系统和底 层的硬盘子系统的负载 就可缩短应用程序执行所需的时间 由以上分析可整理成以下的比较表 FC SAN Attached Storage Network Attached Storage 与主机连接的传输协议Fibre ChannelGigabit Ethernet 使用的资料存取协议Block Protocol SCSI over FCP File Protocol NFS CIFS HTTP 文件系统由所连接的主机决定由 NAS 设备决定 集中化共享的项目存储设备存储设备及档案 兼容性需考虑 HBA HUB Switch Router Integrator software 整合的兼容性 TCP IP IEEE802 3z 1000Base SX IEEE802 3ab 1000Base T IEEE802 3ac VLAN TAG IEEE802 3ad Link Aggregation IEEE802 3ae 10Gb s Ethernet 传输速度1Gb 2Gb100Mb 1Gb 10Gb 交换机平均单端口成本倍 数 3x 5x1x 资料集中备份可以可以 10 FC SAN Attached Storage Network Attached Storage 实时性档案共享无法提供可以 移除应用程序服务器对 Disk I O 的负载 无法提供可以 无使用上的距离限制无法提供可以 表格表格 5 1 FC SAN 和和 NAS 的比较的比较 虽然看起来 NAS 的确有它的优势 但是扮演一个信息时代转变的重要角色 要能够对现有资料满 足存储 存取 备份恢复等所有数据管理的需求 一个存储设备是否能担任 NAS 的角色 至少需符合 以下的条件 支持数据库的资料 Oracle8i 9i 9iRAC MS SQL Cluster DB2 Sybase Informix 支持邮件服务器的资料 MS Exchange Cluster Lotus Notes Domino Sendmail 支持跨平台 NFS 及 CIFS 锁定的安全资料共享 以防止资料损毁和读取错误的资料 支持网络数据管理协议 NDMP 以达到网络无负载 LAN free 及服务器无负载 Server free 的备份方式 同时也能够支持具扩展性的 Tape SAN 包括 FC 及 GbE 架构的备份方 式 在大容量的文件系统 如单一 volume 为 16TB 或更高时 高负载运作下 文件系统不会损 毁 在不正常断电及关机时 文件系统不会损毁 也能快速激活并立刻提供服务 能随时扩增所需硬盘数量 一颗或多颗 至使用中的文件系统 不用等待 就立刻可使用扩 充后的新容量 同时不对系统造成停顿和效率的影响 虽有一些名为 NAS 的设备在市场上出现 但是尚不能满足 NAS 的标准 也无法支持 Microsoft Windows Cluster 和 SQL Exchange Cluster 以至于企业不能将所有类型的资料全部集中存储在 NAS 上面 于是只能使用 SAN 先暂时解决资料存储设备集中化与资料集中备份的问题 理想中 GbE SAN 的 NAS 一直无法实现 5 4以太网数据块存储区域网以太网数据块存储区域网ISCSI IP SAN iSCSI Internet Small Computer System Interface 是由 IETF Internet Engineering Task Force 国际互联网工程任务组 组织在 2003 年 2 月 11 日完成定义的一种基于 IP 网络协议的数据存储协议 标准 其根本点在于应用 IP 网络协议承载 SCSI 的命令 使数据块得以在广泛成熟部署的以太网环境 下进行传输 通过 iSCSI 协议 现有的计算平台可以从原来使用直连式存储 DAS 的环境迅速整合 到网络存储 FAS 的环境 并且无需投资昂贵的 SAN 环境 和进行复杂的 SAN 管理 我们知道 现在的存储环境 包括两大类 直连式存储 DAS 和网络存储 FAS 而网络存 储又包含两大类 NAS 和 SAN 虽然两者都是存储局域网 SAN 的概念 IP SAN 和 FC SAN 但 由于习惯上的原因 通常我们把通过以太网接入 并且拥有自己的文件系统的存储称为 NAS 而通过 光通道协议接入 承载裸数据块的存储称为 SAN 现在我们又拥有了新的一种存储设备 iSCSI 通过 以太网接入 但却承载裸数据块 为什么说 iSCSI 协议标准的完成是非常重要的呢 关键在于两点 1 FC SAN 的部署是昂贵的 管理是复杂的 2 有极少部分的软件由于种种原因 往往存在商业的原因 不支持网络文件系统 即 不能够在 NAS 上无缝使用 以上两点导致了 iSCSI 的诞生 因为 现在企业环境下都部署有完善的以 太网络 采用了 iSCSI 技术后 我们可以直接充分利用企业现有的以太网环境 使得原来的网络投资 11 得到充分的利用 并且无需对网管人员进行额外的培训 毕竟 承载的货物 数据块 是一样的 差 别仅在于交通工具而已 而在千兆以太网上承载 iSCSI 协议本来其效率就可以 未来的发展更导致了 交通工具 和 FC SAN 的相比较就像飞机和火车的区别 在 2002 年底 Intel 公司的服务器侧的 10G 的以太网卡的推出是一 个划时代的事件 从此 服务器的以太网环境可以向 10G 推进 相比较千兆以太网 在带宽上是 10 倍的提高 即使和 2G 的光通道比较 也是 5 倍的增进 更重要的是 所有的应用软件都可以使用 iSCSI 协议 因为本来他们就支持 SCSI 的命令 所以现在需要作的一件工作是完善 iSCSI 主机侧的驱动软件 而这方面 Intel 又提供了巨大的支持 他们的 Intel PRO 1000T IP Storage Adapter 把 iSCSI 协议固化到了硬件的级别 使得在实现上大大地简 化了相应的难度 而在性能上又有了一个质的飞跃 从而避免了当年 IBM 的覆辙 图表图表 5 3 iSCSI 框架图框架图 在实现的方式上 业内目前有两种方式 1 采用相应的存储交换机 如其 MDS 9000 和 5420 5428 的存储路由器充当中间的交换机 存储设备则可以采用普通的磁盘阵列 2 采用标准的 以太网 一般使用千兆以太网 交换机 但要求存储设备使用能够支持 iSCSI 协议的存储产品 如站 在这种部署方式前列的 Network Appliance 公司的产品 很显然 采用第一种方案需要新的投资和管理的知识 但第二种方案则是充分利用现有的投资 至于管理 当然是老一套 于是我们可以在同一种拓扑下 开始我们新的游戏 5 5SAN FC SAN 与 与 NAS FS SAN 的融合 的融合 光纤通道存储局域网 SAN FC SAN 的概念的确是一个先进的概念 一改原来分布式存储导致 部署和管理上带来的诸多复杂性 传统的 NAS FS SAN 概念由于使用的是公网而导致业内对其有许多的偏见 更新后引入千兆存储专网网的 NAS 充分满足了 SAN 定义对构建计算平台和存储平台之间的存储 局域网的要求 因此也称为 IP SAN 12 但根据约定俗成的习惯 SAN 偏指计算平台和存储平台间采用数据块进行传递的网络模型 而 NAS 狭义地定义计算平台和存储平台间采用文件的方式进行数据传递的网络模型 iSCSI 的诞生更加 说明了网络模型的实现究竟使用光通道协议还是以太网协议是相对次要的环节 这只是承载数据块的 工具而已 因此 SAN 和 NAS 的区别在于传递的内容是数据块还是文件 更根本上来说是文件系统所处的 位置 对于企业来说 只有极少部分的数据是仅能应用在 SAN 或 NAS 的环境下的 绝大部分的数据是 既能应用在 SAN 上 又能应用在 NAS 上 所以 人们意识到 SAN 和 NAS 融合的必要性 减少管理 复杂度 提高存储的有效利用率 图表图表 5 4 NetApp 公司的统一存储方案公司的统一存储方案 目前业内实现 NAS 和 SAN 融合的方法有两个 一种是在 SAN 前增加 NAS 网关 另一种是 NetApp 的统一网络存储 在 SAN 前增加 NAS 网关的方式是在原有的 SAN 存储前面增加一个 NAS 网关 原有的 SAN 存储 可以继续连接光通道交换机形成 SAN 网络 新增的 NAS 网关可以连接以太网交换机形成 NAS 网络 这种方式需要宿主 SAN 存储物理隔离一部分空间供 NAS 网关来使用 这种方式的缺点是 彼此之间 的空间无法进行有效利用 系统中存在两套设备 有可能 NAS 网关是另一个厂商的 如 HDS 的 NAS 方案 其实际采用的是 NetApp 的 NAS 网关 gFiler 管理复杂度增加 这种方式就像给病人换一条 胳膊 虽然可以用 但毕竟不如自身本来的胳膊好用 而且两者偶尔可能还会出点问题 业内另一实现的方式是 NetApp 的统一网络存储 这种实现方式和 SAN 前加 NAS 网关正好相反 不是 SAN 到 NAS 的支持 而是 NAS 到 SAN 的支持 即在原有的 NAS 基础上 增加对 FCP 协议的 支持就完成了 由于 NAS 具有自己的操作系统和文件系统 因此增加的 FCP 和原有的 13 NFS CIFS HTTP 一样 仅是一个协议的支持 同一网络存储可以通过不同的接口卡完成对 SAN 和 NAS 的同时支持 如通过以太网卡提供 NAS 的访问服务 而同时又可以通过 HBA 卡提供 SAN 的访 问服务 至于 NAS 和 SAN 则可以共同的有效使用所有虚拟化的空间 同时 可以看到这种实现的模 型其管理还是原有的 NetApp 的产品 因此管理复杂度没有大幅度的改动 换言之 这种统一网络存 储也给 SAN 的存储带来了一种简单化管理的实现方式 所谓存储的融合也正是 NetApp 的理念所在 当前的 NetApp 的 Filer 真正实现了存储的统一 他 的一个设备不但支持 NAS 同时也支持 SAN 而且也支持 iSCSI 这也是其他厂商所无法比拟的 用 户在此基础上可以将不同需求的应用放在同一存储设备上 并根据应用的协议需求通过不同的存储协 议进行支持 这样既节约的大量采购成本 同时也提高了管理和维护以及备份的易操作性和所有数据 的安全性 降低了总体拥有成本 14 6 技术方案建议技术方案建议 6 1方案总体设计方案总体设计 NetApp FAS 存储系统可以在同一存储平台上同时支持 FC SAN iSCSI NAS 等多 种存储架构的接入方式 便于企业用户集中管理业务系统的数据 简化管理和便于维护 考虑揭阳榕城区政府的实际情况 NetApp 认为可以采用 iSCSI 方式来整合存储 iSCSI 是基于 IP 的网络存储技术 可以在保证高性能的前提下降低系统的总体拥有成本 和投资成本 考虑揭阳榕城区政府业务系统的 window2000 Windows2003 服务器主机 的情况 将现有各个业务系统的数据集中存储整合在一台高性能的存储系统 将现有业务 系统的数据分别迁移到新的存储系统平台上 所有现有的操作系统平台 数据库类型和存 储管理模式继续保留 采用 iSCSI 后的主要优势在于为块级协议 对应用的兼容性非常 好 相比较于 FC SAN 来所 iSCSI 协议本身的兼容性非常好 没有 FC SAN 中复杂的 兼容性问题 维护成本大大降低 NAS 和 iSCSI 是基于 IP 的网络存储技术 可以在保证 高性能的前提下降低系统的总体拥有成本和投资成本 通过整合存储完全可以满足揭阳榕 城区政府业务系统的数据存储要求 IP SAN ISCSI NAS 整合方案如下图所示 15 NetApp FAS 存储系统的 SAN 存储架构可以支持主流的主机平台 包括 IBM AIX HP UX SUN Solaris Linux Windows 2000 2003 等 NetApp 存储设备这里我们选择 FAS2020A 统一网络存储设备 FAS2020A 是一款 中低端的企业级存储设备 容量及端口数量列表如下 FAS2000 系列产品概览系列产品概览FAS2020 最大原始容量最大原始容量68 TB 最大磁盘驱动器数最大磁盘驱动器数68 双控制器双控制器有 高速缓冲存储器高速缓冲存储器2GB 最大光纤通道端口数最大光纤通道端口数4 最大以太网端口数最大以太网端口数4 16 存储协议存储协议FCP iSCSI NFS CIF S 远程管理远程管理有 NetApp存储设备这里我们选择FAS2020A统一网络存储设备 FAS2020A是中低端的 企业级存储设备 最大容量为68TB 可以支持最多4个GE端口和4个FCP端口 完全可以 满足揭阳榕城区政府的要求 6 1 1iSCSI 整合方案整合方案 对揭阳榕城区政府运行在 Windows 平台上的 SQL Server 财务以及邮件系统及网 站等应用 建议用 iSCSI 方式进行整合 主要原因是 iSCSI 可以提供非常好的应用兼容 性和性能 此种方式使用 iSCSI 作为 Windows 主机和 NetApp 存储设备之间的通信协议 在 Windows 主机上需要安装 iSCSI Initiator 软件 该软件由微软免费提供 在不需要非 常高性能的前提下 可以不购买额外的 HBA 卡 在现有的千兆网络中即可实现 SAN 的 块级存储要求 成本较低 在服务器主机上看到的存储系统分区是本地的磁盘系统 LUN 而不是网络硬盘 iSCSI 位于存储的 IP 私网 使用隔离的私网 IP 地址 iSCSI 可以利用 IP 网络本 身的智能来实现网络路由的自动切换 从而实现没有单点故障 这一部分可以参见 IP 网 络设计一节 6 1 2NAS 整合方案整合方案 可选 可选 在此种环境下 直接把 NAS 的网络端口接入网络 用于普通的用户文件共享服务 此时使用公网 IP 地址或者 OA 网的私网地址 提供文件共享服务时只需要在 NAS 侧设置 NFS Unix 平台文件访问 和 CIFS windows 平台文件访问 网络共享就可以提供服务 了 同时可以连接 Windows 2003 2000 NT4 的域控制器对用户进行基于域的认证 也 可以连接 UNIX NIS 服务器作基于 NIS 服务的认证 对运行在 NT 平台 UNIX LINUX 上的文件级应用 建议使用 CIFS 或 NFS 方式来整 合 对于运行在 Windows 2000 上的应用 可以使用 CIFS 或 iSCSI 二种协议根据需要来 进行整合 17 图中采用了 4 个 GE 端口来连接前端主机 为了安全考虑 构建存储私网提供数据库 和高性能服务的端口和普通的文件共享服务端口应该区分使用 如果端口数量不足则可以 采取划分 VLAN 的方式进行安全隔离 FAS2020A 的 2 个控制器采用交叉连接的方式连 接到不同的 GE 交换机 主机可以采用同样的方式 这样整个系统没有单点故障 6 1 3配置列表配置列表 本方案推荐存储系统本方案推荐存储系统 FAS2020AFAS2020A 配置如下 配置如下 1 1 FAS2020AFAS2020A 配置双控制器 配置双控制器 2GB2GB CacheCache 4 4 个个 4Gb4Gb GbGb 光纤端口和光纤端口和 4 4 个个 1Gb1Gb 以太网口 以太网口 2 2 FCPFCP iSCSIiSCSI CIFSCIFS 可选 等协议 同时支持 可选 等协议 同时支持 FCFC SANSAN IPIP SANSAN NASNAS windowswindows 平平 台文件共享 等多种存储方式 台文件共享 等多种存储方式 3 3 存储容量按目前需求 先配置存储容量按目前需求 先配置 8 8 块块 300GB300GB 1500015000 转转 SASSAS 磁盘 以后可根据数据增长磁盘 以后可根据数据增长 情况可在线扩展容量 情况可在线扩展容量 4 4 配置存储集群配置存储集群 ClusterCluster SnapshotSnapshot 快照软件 快照软件 Dedup A SiS Dedup A SiS 重复数据删除软件 实重复数据删除软件 实 现存储访问高可用性及数据快照备份 现存储访问高可用性及数据快照备份 详细配置清单请看附件 详细配置清单请看附件 这里需要说明的是整个 FAS 存储系统配置冗余的系统结构 本方案采用的 NetApp FAS2020A 存储系统的控制器 电源 风扇 硬盘 网络接口卡 光纤环路 等部件具有冗余功能 6 1 4卷组容量和卷组容量和 RAID 划分划分 建议为了性能考虑 本次工程全部配置 15000 转 300GB SAS 硬盘 考虑到未来容 量扩充的需要可以先配置 12 块磁盘 由于本次工程磁盘数量较少 RAID 方式推荐使用 两个 RAID4 5D 1P 1S 以后随着容量扩展 磁盘数目增多可以采用 RAID DP 可以用较低的成本实现非常高的数据可靠性 NetApp 的存储设备热备盘是全局的 不限 槽位 所以只需要按照比例留出相应的热备盘即可 通常推荐 2 3 比例的热备盘 但由 于此次工程的数据量较小 处于安全考虑 建议留出至少 2 块磁盘作为热备盘 每个 控制器至少 1 块热备盘 18 因为本次工程整合的数据库多数为小容量的数据库 为了避免小容量数据库在整合 时的性能问题 建议采用 NetApp DataOnTap 7G 中的 FlexVol 功能 首先创建 Aggregate 每个控制器各有 1 个 每个 Aggregate 分配 6 块磁盘 减去 1 块热备盘 然后在 Aggregate 磁盘中分配 FlexVol 每个 FlexVol 上只放置 1 个业务系统的 Data File 或 Log File 所有业务系统数据库的 Control File 和 Binary File 可以统一放置在 1 个 FlexVol 上 这样做的好处是所有的数据库共享 Aggregate 磁盘的性能 避免热点盘的性 能瓶颈 6 1 5iSCSI 的容量调整的容量调整 NetApp 存储设备具有非常完整的统一网络存储功能 可以在同一台设备上同时支 持 FC SAN NFS iSCSI CIFS 等多种协议 并且同一台设备中的 NAS 和 SAN 的容量 分配比例可以灵活调整 具体的调整方式如下 1 释放不用的存储空间 通过 FlexVol 的减少卷空间设定 或者将不用的 系统卷数据摧毁 2 将新分配的空间配制成一个新的卷 3 在新的卷中可以创建 FC iSCSI LUN 或 NFS export 所有上述操作都可以由系统管理员独立完成 无需购买额外的 NetApp 服务 并 且对于在 FCP 环境下创建的 LUN 可以输出到 iSCSI 的主机中 此时 iSCSI 主机 不需要更改任何设置就可以访问其中的数据 反之也是同样 所有前述的配置都可 以在半小时之内完成 如果只是对 NAS 的数据共享卷进行扩容 则只需要简单的增加卷容量就可以完成 1 分钟内可以在线完成配置 如果只是对 NAS 的数据共享卷进行容量缩减 也可 以在 1 分钟内在线完成 如果只是针对 LUN 进行扩容 则可以通过运行 SnapDrive for Windows 4 0 软件 完成 LUN 的动态扩展 针对 LUN 的容量缩减在技术原理上来说不能在网络存储 设备侧实现 19 6 1 6 IP 网络相关设计网络相关设计 由于本方案采用了支持 NAS IP SAN 的网络存储系统 所以在客户端和 FAS 存 储系统之间需要采用高性能的千兆以太网连接 为了可靠性考虑 需要采用冗余的网络连 接设计 建议使用二台千兆交换机专门用于客户端和 NetApp FAS 存储系统之间的连接 FAS2020A 设备中每一个存储控制器的 2 个 GE 千兆接口使用 VIF 虚拟端口 中继 Ethernet Channel Trunking 以太网通道聚集 中的 Single Mode 以太网通道技术作为 1 主 1 备方式 分别连接到二台千兆交换机中 当然 也可以采用以下的网络连接方式 FAS2020A 设备中每一个存储控制器的 2 个 GE 千兆接口使用 VIF 虚拟端口 中继 Ethernet Channel Trunking 以太网通道聚集 中的 Multi Mode 以太网通道技术作为冗余 负载均衡方式 连接到同一台的高性能核心千兆交换机中 如果 FAS 存储系统的主用 GE 千兆端口发生故障 则可以自动切换到备用端口 这 里需要注意的是在一些复杂网络环境下 交换机为了避免形成环路而需要启用生成树 STP 协议 在此时发生端口切换时 由于交换机需要重新计算 Spanning Tree 收敛 如果采用普通的 STP 协议则需要较长的时间 缺省约 50 秒 才能完成收敛 这里建议 在和 FAS 存储系统及前端交换机相连的端口上使用千兆交换机的 PortFast 配置 此时交 换机端口可以在用户端口状态变化时立即完成切换 直接进入 Forwording 状态 而不需 要经由 STP 协议完成切换 6 2存储虚拟化管理存储虚拟化管理 FlexVol 技术不仅通过增加底层 IO 的分散度大大提升了数据访问的性能 同时其独 有的存储共享池的技术 支持不同应用在存储空间上的真正共享和调剂 极大的提高了存 储空间的利用率 简化了存储空间管理的复杂度 而一般的预分配存储空间的管理方法 是在业务管理人员所提出的空间需求的基础上给每个应用系统分配一定的空间 这个空间 分配是固定 分配给每个应用的空间都是一个给定大小的实际空间 不管此应用实际使用 空间的大小 它都占用分配给它的物理空间 而再次调节这些空间是一件非常耗时的操作 且在这段时间内会影响应用的正常运行 因此这种传统的方式往往会导致用户的某些应用 由于预先分配的空间过小需要扩容而同时还有大量的应用手里还有许多空闲的空间没被使 用 但是又无法调剂给那些需要扩容的应用 用户唯一能解决此问题的办法就是继续购买 容量 这样就会进入一个系统越扩容导致的空间浪费越大 而空间浪费越大越需要频繁扩 20 容的恶性循环 最终造成用户存储空间利用率低下和存储空间管理复杂的后果 而 Netapp 的 FlexVol 所提供的先进的存储空间的管理和使用策略完全避免的这些问题 6 2 1Flexible Volumes 的概念的概念 Flexible Volumes 是一个划时代的新技术 所有的卷被视为逻辑的数据容器 同时 可以在不破坏底层物理存储结构的前提下被独立的设置 调整大小 管理和移动 NetApp FlexVol 技术提供了真正的存储虚拟化解决方案 能够缩减开销和资本费用 减少业务中断并降低风险 同时还具有很高的灵活性 可以快速方便地适应企业不断变化 的需求 FlexVol 技术可以自动集中存储资源 便于您在一个大型磁盘池中创建多个灵活 的卷 有了这一灵活性 您就可以简化操作 最大限度地提高利用率和效率 并可以快速 无缝地进行修改 利用 NetApp 存储解决方案 您可以随时随地根据需要以最低成本增加 存储容量 并且无需中断业务运作 如下图 1 所示 一个 Aggregate 被定义为给卷 Volumes 分配空间的许多磁盘的池 pool 从管理者的角度来看 卷仍保持着对主要项的数据管理 但由于是对管理者透 明 Flexible Volumes 现在面向的是逻辑项而不是传统的物理存储了 Flexible Volumes 因此不再受限于它们存在的磁盘的限制了 你可以在一个存储的 池 中 定义一个你需要多大的空间的 FlexVol 而不是由你创建卷所在的磁盘个数硬性规定 一 个 FlexVol 也可以不需要停机任意收缩或者扩展 同时 Flexible Volumes 可以在 Aggregate 所拥有的所有物理磁盘上实现条带化 对于那些对性能敏感的应用来说 Flexible Volumes 比那些由磁盘个数限定大小的卷拥有更好的性能 21 7G 以后的 FlexVol 存在于 Aggregate 中 6 2 2性能的提高性能的提高 在 Data ONTAP 7G 中 RAID 组仍由磁盘组成 其中包含一个校验盘 如果是 RAID DP 则需要两块校验盘 和一定数量的数据盘 以前 Data ONTAP 将一个或多个 RAID 组组成一个卷 Volume 这种方式现在还可以在 7G 中实现 在 7G 中称之为传 统的 traditional 卷 但是从 7G 以后 RAID 组将通常组成一个 aggregates 假设在数据库系统中有一个存放数据文件的卷是一个最繁忙卷 在 Data ONTAP 7G 之前 该卷只能存在于给定的 RAID 组上 通常 根据卷的容量需求 RAID 组将由少量 磁盘组成 结果就是由于 RAID 是由很少的硬盘组成 此卷的性能将会受到磁盘数量的限 制 22 FlexVol比传统卷拥有更好的性能 在 Data ONTAP 7G 中 RAID 组被整合起来创建出一个 aggregates 由于卷仍然 是存储管理的基本单位 它将跨越存在于一个 NetApp 每个控制器中组成 aggregates 的 所有磁盘 同时在这个大的 aggregates 上也可以上可以存在多个卷 这将使该卷充分利 用所有磁盘的并行性能 满足在系统中某些比较繁忙的卷对于性能的需求 FlexVol 是灵 活的 因为底层的存储的物理结构不需被预分区 6 2 3灵活的容量规划灵活的容量规划 对于一个 FlexVol 的大小本质上是没有约束的 同时 flexible volumes 可以动态的调 整大小 管理员可以将 flexible volumes 作为一个强大的工具为不同的用户 组和项目分 配和提供存储资源 举例来说 假设一个数据库比原先预计增长快很多时 管理员可以在 系统运行时随时重新配置相关的 flexible volumes 重新分配存储资源的过程不需要任何 宕机过程 而且它是对用户透明的 23 当需要额外的物理空间时 管理员可以通过添加指定磁盘给 aggregate 以提高其容 量 新的磁盘将成为 aggregate 的一部分 同时其容量和 I O 带宽将对存在于该 aggregate 中的所有的 flexible volumes 生效 所有存在于同一个 aggregate 上的 flexible volumes 的总容量也可以超过 aggregate 的实际物理总容量 增加某一个 FlexVol 容量时也不需要改变存在相同 aggregate 其它的 FlexVol 的容量或者 aggregate 本身的容量 6 2 4FlexVol 的技术优势的技术优势 灵活的尺寸 NetApp 的灵活卷的最小颗粒度是 4KB 可以精确的适合各种大小的存 储应用的需求 其它的系统需要卷或者文件系统的大小要基于底层物理或者逻辑磁盘的整 数倍而定 显然会浪费数百兆甚至数吉以至更多的物理容量 灵活地改变尺寸 扩展和收缩 NetApp FlexVol 技术允许 WAFL 文件系统在线且 安全的进行扩展和收缩 以使文件系统精确的适合用户的数据需求 其它的存储提供商基 本能够提供不停机的容量扩展机制 但他们却不提供类似 NetApp FlexVol 的无缝和简单 的容量扩展 并且不能提供在线且安全的文件系统收缩的功能 24 空闲空间池 由于 NetApp FlexVol 可以像扩展一样简单的实现容量的收缩 已分配 给 FlexVol 的未使用空间可以非常简单且安全的从 FlexVol 移出并重新分配给其它即将被 填满需要更多空间的 FlexVol 通过 NetApp FlexVol 技术 未使用或者未分配的空间在 aggregate 容器层被视为一个池 pool 可以被任意的 FlexVol 进行配置使用或者从 FlexVol 移出至池中 精确的数据管理 FlexVol 支持 NetApp 高级的基于时间点数据镜像的快照 SnapShot 和根据不同时间间隔颗粒度进行的数据复制 SnapMirror 功能 用户会根 据不同的数据种类需要不同快照和复制规则 现在可以将这些数据放于为其设定的 FlexVol 中 提供精确的快照和复制功能 瘦容量提供 Thin capacity provisioning NetApp FlexVol 可以实现瘦容量提供 即 FlexVol 仅仅占用已经被写入实际数据的物理存储空间 其他在 FlexVol 中已定义但未 被使用的容量并不占用实际的物理磁盘空间 该功能在其它存储系统中是无法实现的 无 论采用的是文件 LUN 或整个文件系统 磁盘聚合提高性能 NetApp FlexVol 技术使用一个新的智能数据容器对象 aggregate 通过使用 aggregate FlexVol 可以充分利用一个含有大量磁盘的条带化的全 部 I O 对各种大小和种类的数据对象进行访问 简单化的存储系统管理 通过使用 aggregates NetApp FlexVol 实际上已经消除了 在存储产品上令数据管理员头痛的所有低级别的条带化的管理工作 Aggregates 将注意 力集中于数据的管理 而不是磁盘的管理 将他们从一味的磁盘驱动器的配置的噩梦中解 脱出来 6 3数据保护数据保护 NetApp 提供了多种数据保护方案 分别应用于不同的级别来提高数据的可用性 它 包括 增强型 RAID 4 RAID DP SnapShot 25 SnapRestore SAN 中的快照 基于主机备份软件的 SAN 数据保护 下面分别进行论述 6 3 1增强型增强型 RAID 4 在存储设备的数据保护中 通常都采用 RAID 的方式来增强数据的可用性和提升存 储的读写性能 RAID 技术一般分为 0 1 2 3 4 5 几种方式 也有厂商发展出 0 1 和 1 0 等变种方式 每种 RAID 技术都有自己的优势和劣势 常见的 RAID 级别为 0 1 4 5 这些 RAID 类型的定义如下 级别 0 RAID 级别 0 经常被称作 分条 它是面向性能的分条数据映射技术 这 意味着被写入阵列的数据被分割成条 然后被写入阵列中的其它磁盘成员 从而允许低费 用的高度 I O 性能 但是它不提供冗余性 级别 0 阵列的贮存能力等于硬件 RAID 所有成 员磁盘的总能力或软件 RAID 中所有成员分区的总能力 级别 1 RAID 级别 1 或 镜像 级别 1 通过在阵列中的每个成员磁盘上写入相 同的数据 在磁盘上留一个 镜像 副本 来提供冗余性 由于镜像的简单性和高度的数据 可用性 它目前仍然在使用 使用两个以上磁盘操作的级别 1 可能会在读取时使用并行 访问来获得高速数据传输 但是它更常用的是独立操作以提供高速 I O 传输率 级别 1 提供了较高的数据可靠性 并提高了读取任务繁重的程序的执行性能 但是它相对的费用 也较高 级别 1 阵列的贮存能力与硬件 RAID 中镜像的硬盘之一或软件 RAID 中镜像的 分区之一的储存能力相同 级别 4 级别 4 使用集中到单个磁盘驱动器上的奇偶校验 来保护数据 级别 4 的 贮存能力相对于所有成员磁盘去掉一个后的贮存能力 RAID 4 的优势在于扩充非常方便 可以快速的在线增加磁盘 级别 5 这是最普通的 RAID 类型 通过在某些或全部阵列成员磁盘驱动器中分布 奇偶校验 RAID 级别 5 避免了级别 4 中固有的写入瓶颈 与级别 4 一样 其结果是非 26 对称性能 读取大大地超过了写入性能 级别 5 经常与写回缓存一起使用来减低这种非 对称性 硬件级别 5 的贮存能力相当于所有成员磁盘去掉一个后的贮存能力