可靠的网络存储

1、“简便、高效、可靠”的网络存储NetApp公司美国网域存储技术有限公司的英文全称是Network Appliance，简称为NetApp。公司成立于1992年，是一家总部位于美国加州硅谷地区的高科技专业存储公司。成立之初，其取名就前瞻性地预示了存储的发展趋势：以网络化（Network）为核心，以专具化（Appliance）为理念。NetApp的宗旨就是提供革新的存储解决方案以降低企业数据管理的成本和复杂性。为此，NetApp公司在成立之初一直到今天，积极地推动着存储技术的革新和发展，比如NDMP协议、CIFS协议目前已分别成为磁带备份和NAS必须支持的技术。NetApp的许多存储技术一直被许多

2、存储厂商学习跟进，不过很多技术目前还是保持着领先的优势，比如能够防范任意两块磁盘任意时间点故障的RAID-DP技术，目前还是许多厂商未能掌握的技术。 NetApp公司的产品特点可以简单的总结为“简便、高效、可靠”。因此，公司的财务状况一直健康地发展。从上市以后可以看到，每季度都以70%的速度来进行增长，直至2000年互联网泡沫破灭带动全球经济下滑，才出现了唯一一次的下挫。但是正所谓“塞翁失马，焉知非福”。互联网泡沫的破灭和全球经济下滑，并且紧接着的“911”事件使得人们有了两点重要的认识：1、数据一定要有保护；2、一分钱要掰成两半花。因此，采用NetApp存储解决方案的价值优势得以充分体现，从

3、而使得NetApp公司的业绩迅速地重新回到了高速上升的通道。许多客户充分认识到了NetApp公司“简便、高效、可靠”以及最优整体拥有成本（TCO）的特点，在近四年里迅速成为NetApp的巨型客户，比如Oracle公司，从原来只有少量的NetApp产品变成目前光Austin数据中心就拥有2.5PB（2500TB）的客户；摩根斯坦利（Mogan Stanley）也由原来并非NetApp的客户迅速成为NetApp的PB级俱乐部成员之一。正如我们所熟知的，直连存储市场（DAS）已经日渐衰落，而网络存储（FAS）市场在欣欣发展。根据IDC的细分，网络存储可以分为三大类：NAS、iSCSI SAN和FC

4、SAN。NetApp以其先进的技术和方案一直稳居NAS和iSCSI SAN的领导者的地位，而在FC SAN领域，自从2002年开始，也在不断前进，稳步扩大着相应的市场份额。目前，NetApp拥有三条存储产品线：一级在线存储FAS、二级近线存储NearStore和存储虚拟化网关V-Serial。每一系列的产品都拥有多款型号。三个系列的多个型号采用同样的操作系统，具有“功能统一、管理一致、灵活升级、简便可靠”的特点。可以说，由于NetApp公司“简便、高效、可靠”以及最优整体拥有成本（TCO）的特点，NetApp公司在各行各业拥有了许多忠实的客户，包括电信、金融、能源、政府、高科技、制造业、生命科

5、学等。1简便, 但决不意味着简单用户考察存储，首先问的问题是：好不好用？如果不好用，很复杂，比如说连接很复杂，空间分配很复杂，空间配置改动很复杂，备份恢复很复杂，容灾很复杂，整体方案很复杂，等等。那么于公而言，会增加相应的成本；于私而言，会增加管理复杂度，给自己添乱。因此，简便是首要的。简便不是简单，而是简洁方便。带来的明显优势就是无论实施、应用、管理、维护都非常快捷有效，同时很灵活。这样也会大大提高系统的可靠性和数据的可用性。首先，我们考察一下NetApp存储产品连接的简便性。我们知道，网络存储目前根据连接的协议以及连接的计算机可以区分四种模型：1、通过企业专门的FC交换机（如Brocade

6、和McData的交换机等）把服务器和存储连接的FC SAN，在服务器和存储间是通过FCP的协议承载数据块，数据存储的格式由服务器端的文件系统决定；2、通过企业专门的IP交换机（如Cisco和华为的交换机等）形成以太私网把服务器和存储连接的IP SAN，在服务器和存储间是通过iSCSI的协议承载数据块，数据存储的格式由服务器端的文件系统决定；3、通过企业专门的IP交换机（如Cisco和华为的交换机等）形成以太私网把服务器和存储连接的FS SAN，在服务器和存储间是通过NFS和CIFS的协议承载文件访问，数据存储的格式由存储端的文件系统决定；4、通过企业公用的IP交换机（如Cisco和华为的交换机

7、等）形成以太公网（即LAN）把众多客户端和存储连接的NAS，在客户端和存储间是通过NFS和CIFS的协议承载文件访问，数据存储的格式由存储端的文件系统决定。NetApp是目前业内最先推出统一网络存储架构的厂商。任一型号的产品只需要购买相应的许可证即可支持用户所需的访问模型，并且是同时支持。而且更为有意思的是，用户无需针对不同的存储模型进行复杂的空间预分配，而是通过“精灵卷”FlexVol的存储虚拟化软件共享存储的空间。从而大大提高了应用的灵活性，降低管理复杂度。其次，我们考察一下NetApp的空间管理的简便性，包括空间初始分配，用后容量调整（扩大或缩小）等。NetApp在其支持网格存储的Dat

8、a ONTAP 7G操作系统里采用先进的精灵卷FlexVol的存储虚拟化技术来进行空间的管理。采用精灵卷FlexVol技术，首先会把所有的磁盘空间虚拟化成一个巨大的存储空间池，而后用户可以非常灵活地进行精细数据空间管理，就像精灵一样，空间大小可以从20MB一直到16TB大小。所分配的空间可以是有保障的、也可以是无需预分配的。空间大小以后可以象精灵一样动态扩大和缩小。因此，用户无需在最开始的时候，花费大量时间来确定空间的大小。精灵卷FlexVol技术在空间管理上的另一好处是可以有效提高存储空间的有效利用率。由于用户实际使用的空间是动态地从一个共享的存储池获取或释放的，因此所有未使用的空间会集中在

9、一起，共享给所有的精灵卷动态使用。这样可以有效地提高存储空间的利用率，而不会发生空闲空间固定在某一预分配的卷里无法被其他有需求的卷共享使用的情况。采用精灵卷FlexVol技术还可以最快化存储系统的性能，这点将在谈及高效时进行讨论。简便其实还体现在对存储管理的许多方面，但最重要的是要体现出人性化出来。比如说用户对个人文件的恢复，传统方式需要引入系统管理员从磁带或别的地方来进行恢复，这样制约了系统管理员的自由，也对用户很不方便。但采用NetApp的存储产品，其“零拷贝”模式的时间点拷贝可以为用户自己访问，从而大大方便了用户本身，也把系统管理员释放了出来。还有，一般的存储产品对磁盘架的连接顺序和磁盘

10、的槽位要求很严格，比如说需要搬家，就得预先做好周密的准备工作，给每一块盘贴上标签，为每一根连线写上序号，然后把系统分部件拆卸下来，搬运，重新细致地按标号装配起来。这绝对是一件复杂的项目工程，需要详细的计划、周密的执行。但是，采用NetApp的存储设备，搬家的工作就要人性化得多，用户无需做任何的标记工作，只需要下电、拔盘、断线、搬运、插盘、连线、上电，两分钟后，数据即可上线可用。盘插错了位置完全无所谓，系统可以自动智能识别。2高效, 业务拓展的基石用户选择存储时问的第二个问题就是：性能怎么样啊？快不快？“快”在这里是一个很模糊的概念。我们需要对此进行定性和定量的分析。保时捷通常就两人，跑得很快，

11、加速也很快；集装箱货车运东西很多，跑得比保时捷慢，但也很快；拖拉机运的东西也不少，但跑的很慢。这说明什么？说明性能其实包含了多个指标，并且是多个指标间的一个动态关系的反映。考察存储性能的指标最主要的是两个：响应时间（或称延迟时间）和负载。通常一般两者的关系是响应时间随着负载的增加而增加。许多存储产品在负载增加时甚至延迟时间是非线性的增加。一款好的存储，应该是无论低负载还是高负载，首先其响应时间应该保持最低，其次相应的响应时间/负载的曲线应该线性变化并且倾度尽量的小。在大部分的应用里，相对于响应时间而言，负载大小其实是一个相对次要的指标。因为这是和用户的应用情况紧密联系的。比如说你买一辆车，非得

12、买最高时速达到500公里的，或者能够承重1000吨的。有必要吗？你在中国无论城市还是郊区，你也开不了那么快，或者装那么重的东西。把这些作为选择的指标，只会忽略掉了其他如省油、自动档、人性化设计、自动门窗等内容，成了“丢了西瓜捡芝麻”。现代的存储产品随着计算机科学的发展，无论在CPU、内存、链路带宽等方面，都有了长足的发展。可以说，制约性能的瓶颈已经不重点在这些方面了。真正影响性能（尤其是响应时间）的主要在磁盘的机械寻道方面。相比较CPU主频、内存容量、链路带宽等的发展，磁盘机械寻道的时间缩短的并不显著。所以，只有解决如何把数据从磁盘上找到并及时地输出，才能从根本上提高存储的性能。NetApp在

13、“高效”这方面有许多独到的技术优势，如WAFL的批次动态条带读写算法，NVRAM的快速响应技术，精灵卷FlexVol最快化并行吞吐技术等。下面我们谈谈如何利用精灵卷FlexVol技术来实现系统的高效的。单块磁盘的吞吐总是有限的。如果卷的大小局限于有限的几块盘内，那么卷能够提供的负载和性能总是有限的。但如果采用精灵卷FlexVol，那么所有卷的数据就都会平均分布到所有构成共享聚合存储池的磁盘里。这样就可以得到一个大并发量的吞吐，既可以提高系统的负载量；在同等的负载量下，其响应时间又是最短的。当然，要支持实际上数据访问的高效性，除了有这种先进的空间管理机制外，还需要有先进的数据结构和计算算法才行。

14、而NetApp的WAFL和批次动态条带化读写算法就是“高效性”里另外重要的元素。有些存储产品也提供类似的并行磁盘的机制，但是往往存在两个问题：缺乏先进的数据结构和算法，空间管理很复杂。3可靠, 成功的保障用户选择存储第三个关心的问题就是：可不可靠？严格地说，百分百可靠的系统是不存在的。提高可靠性的唯一手段就是冗余，比如我们买汽车，为了防止轮胎爆裂，每辆车都会多配一个备胎。不过天下没有免费的午餐，冗余代表着我们需要花更多的钱来保证我们的可靠性。因此，我们需要考虑的是如何“花最少的钱，做最多的事，并且做得最快最好”！俗话说，“水桶能装多少水，取决于最短的那块桶板”！一个坚固的存储系统也一样，我们需

15、要考虑如何才能武装到牙齿。不能够因为某一方面的内容而影响了我们的数据可靠性。坚固的存储系统需要考虑三块桶板：硬件设备故障，本地逻辑错误，远程物理灾难。这三块桶板更形象的说是存储系统坚固性这幢大楼的三层。就像建筑大楼一样，我们不可能忽略了底层的建设直接构建最高的楼层，因为那是海市蜃楼，住进去是会死人的。硬件设备故障最重要的一项是磁盘的可靠性，因为企业内的存储设备是24x7连续运转的。这是最容易出故障的地方。通常，对磁盘的故障采用的应对措施就是构建RAID。采用RAID既可以突破单块磁盘的限制，扩大存储的空间，又可以利用冗余的校验信息和空闲盘重构故障盘上的数据。但是目前市面上绝大部分的RAID实现

16、，即使RAID0+1也没有办法防范任意两块盘发生故障。而NetApp的RAID-DP却可以在充分保证存储空间有效利用率的前提下，方便灵活地实现防范任意两块盘在任意时间点内发生故障。这比RAID5的可靠性高出10000倍以上，比RAID0+1则高出2000倍以上。本地逻辑错误包括意外删除、黑客攻击、病毒感染、软件崩溃、升级失败等等。传统的解决方法是采用备份恢复的方法来应对，比如磁带备份。但是采用磁带的备份方式对于现代的企业而言已经落后，其RTO和RPO远不能够满足现代企业对系统数据可用性的要求。流行的方法是采用在线的时间点拷贝技术来保证在发生灾难的时候最快地恢复数据，并且达到损失的数据最少。业内

17、目前实现时间点拷贝的技术分三种：全拷贝、半拷贝和零拷贝。全拷贝是无论数据改动以否，数据块都进行拷贝。这虽然可能没有性能的影响，但需要耗费大量的空间。半拷贝是仅拷贝改动的数据块。虽然空间耗费较少，但空间分配是静态的，很不灵活。并且最主要的是性能有严重的影响。零拷贝是不管数据是否改动，都不做任何拷贝的动作。其空间分配是动态地根据数据改动量而改变。最重要的是存储性能没有任何影响。第三方的研究机构Veritest研究表明，半拷贝模型性能下降达60%之多。NetApp是目前业内唯一采用零拷贝技术的厂商。利用其快照（SnapShot）和快照恢复（SnapRestore）技术，可以迅速的对全盘数据进行备份或

18、恢复。每个卷的拷贝数可以高达255个，并且拷贝可以被用户直接访问。如果本地的在线拷贝数量过多，还可以采用SnapVault和OSSV把时间较远的拷贝传递到二级近线存储NearStore上。从而降低成本，优化我们的存储投资。远程物理灾难包括火灾、战争、地震、大面积停电等引发的生产系统宕机。通常应对远程物理灾难有两种方法：非对称容灾和对称容灾。对称容灾需要生产系统和备份系统的存储是相同或类似的存储，而非对称容灾要灵活的多，生产系统和备份系统的存储可以是相同的，可以是不同的，可以是高端之间，低端之间，高端和低端之间，FC存储和ATA存储之间等不同的模型。可以说，非对称容灾可以实现对称容灾，反之则不行。NetApp用于远程物理容灾的方案有两个：非对称容灾的SnapMirror，和HA+Cluster的Me