国内外主要集群NAS产品对比.docx

国内外主要集群NAS产品对比武汉大学计算机学院一、什么是集群NAS在大数据时代,非结构化数据目前呈现快速增长趋势，IDC研究报告分析指出，到2012年非结构化数据将占到数据存储总量的80%以上。集群NAS是一种横向扩展（Scale-out）存储架构，具有容量和性能线性扩展的优势，已经得到全球市场的认可。从EMC对Isilon、HP对IBRIX、DELL对Exanet、Compellent等收购事件，以及IBM推出SONAS、NetApp发布Data ONTAP 8，都可以看出集群NAS已经成为主流存储技术之一。在国内，我们也看到UIT UFS、龙存LoongStore、达沃时代YeeStor、九州初志CZSS、美地森YFS等集群NAS解决方案。集群NAS的未来潜在市场巨大，在高性能计算HPC、广电IPTV、视频监控、云存储等行业领域将逐步得到广泛应用。高性能、高容量以及可扩展性是集群存储得以发展的最得人心的特征。我们主要关注的是具有Scale-Out特性的集群NAS产品。传统NAS扩张很容易带来以下问题：1.系统管理。即便是NAS系统管理比SAN存储管理简便很多，但仍然需要花费时间和资源来管理。2.管理客户端和应用对数据的访问。能够访问的前提是NAS系统必须挂载在对应的服务器或者工作站上。挂载会中断应用的访问，所以在挂载的时候需要预留好服务器上应用的宕机时间。挂载了越多的NAS系统，带来的是更多的宕机时间。3.文件位置。关于定义文件存放位置的策略应该是基于性能，可访问性，文件创建时间，访问频率，存储成本，可用性，数据保护等诸多方面因素决定的。策略的设定本身不会太难，但事实上，要将文件移动到合适的NAS系统上是一个耗时间的手工数据迁移过程。而且，随着NAS系统越来越庞大，其复杂性也越来越高。集群（Cluster）是由多个节点构成的一种松散耦合的计算节点集合，协同起来对外提供服务。集群NAS是指协同多个节点提供高性能、高可用或高负载均衡的NAS（NFS/CIFS）服务。Scale Out NAS 通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器，利于访问，同时提高了磁盘利用率。Scale-out横向扩展架构的升级通常是以节点为单位，每个节点往往将包含容量、处理能力和I / O带宽。一个节点被添加到存储系统，系统中的三种资源将同时升级。从上面的图例可见，容量增长和性能扩展（即增加额外的控制器）是同时进行。而且，Scale-out架构的存储系统在扩展之后，从用户的视角看起来仍然是一个单一的系统，这一点与我们将多个相互独立的存储系统简单的叠加在一个机柜中是完全不同的。所以scale out方式使得存储系统升级工作大大简化，用户能够真正实现按需购买，降低TCO。二、集群NAS的核心是集群/并行文件系统 集群NAS的横向扩展（Scale-ou）是指可在文件系统级进存储扩展，而集群NAS的核心工作都是通过集群文件系统或并行文件系统完成。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。在元数据管理方面，可以采用专用的服务器，也可以采用服务器集群，或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, Isilon, IBRIX, NetAPP-GX, LoongStore, YeeStor等。并行文件系统是应用于多机环境的网络文件系统，单个文件的数据采用分条等形式存放于不同的存储设备上，支持多机多个进程的并发存取，同时支持元数据和数据的分布存放，并提供单一的名字空间。通常SAN共享文件系统都是并行文件系统，如GPFS、 StorNext、BWFS，集群文件系统大多也是并行文件系统，如Lustre, Panasas等。目前市场上的集群NAS产品，不管核心是集群文件系统还是并行文件系统，大多具有以下几个特点：1. 统一名字空间统一名字空间是指每一个文件和目录在文件系统中都有一个统一的、唯一的名字，在所有的应用服务器上，用户都可以用相同的名字来访问该文件或者目录而无需关心文件的实际存储位置和给其提供服务的元数据服务器的位置。当用户要访问的文件从一个存储位置迁徙到另一个新的位置以后，用户无需知道，他仍然可以继续用原来的名字来访问此文件或者目录。统一名字空间主要涉及元数据的管理模型，目前大致有集中式元数据模型（如Lustre、GFS等）、分布式元数据模型（如Isilon、GPFS、Ceph等）和无元数据模型（Glusterfs）三种。2. 高扩展性前面已经说明，集群NAS具有横向扩展特性，容量和性能能够同时扩展。而且大多数产品都能够实现在线扩容，即在不停止服务的情况下向集群添加和删除节点或者磁盘，做到即插即用，且自带负载均衡机制。3. 高可用性集群NAS的集群架构特点，消除了单点故障，确保了系统的可用性。在数据高可用方面，大多产品均提供跨节点的数据冗余备份，能够支持部分存储设备出现故障时，数据仍然可用。4. 性能优异对于大多数集群文件系统或并行文件系统而言，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，这种方式也称为元数据带外访问模式，从而获得更高的系统扩展性和I/O并发性。采用带外模式能够提高整体存储的访问效率，因为在文件访问中，对于元数据的查询占文件操作的60%以上，每次读取的数据少而且应对的访问压力大，这和数据读取的访问操作是不同的，因此带外模式便于提高系统性能。另外，在性能提升上，有的产品采用高性能的硬件（如Panasas、3PAR）或者利用InifiniBand高速网络（如Isilon、YeeStor），大多数产品还会采用文件存储条带化、智能预取、数据缓存等软件机制来提升性能。三、各种厂商对比一览表近年来，市场上出现了很多集群NAS的存储产品，不仅有自创小品牌在努力奋进，目前更是加入了很多著名厂商，整个市场呈现出一片红火景象。以下是市场上主要厂商的集群NAS产品的对比情况，可以看到国外的大多数自创品牌如今已被大厂商收购，目前仅剩下Panasas，而国内的龙存，达沃时代，中科蓝鲸也开始大展拳脚了。公司情况核心市场技术特点主要卖点备注Panasas1999年成立，独立厂商高性能计算并行文件系统，后端存储为OSD结构，区分控制刀片和存储刀片高性能面向对象存储pNFS协议的倡导者特有的硬件使得性能较好，但是价格太过昂贵Isilon2001年成立，2010年被EMC收购面向大数据和非结构化数据集群文件系统，不区分元数据和数据节点；针对企业应用的各种软件功能；性能、容量等定位扩展的硬件节点被EMC收购后，作为大数据战略方向上的重头兵Ibrix2000年立,2009年被HP收购企业级文件服务软件集群文件系统，高度可扩展软件产品Ibrix的横向扩展NAS平台和Ibrix Fusion能够极大地扩展性能、容量和管理能力惠普推出基于Ibrix的X9000 scale-out文件存储系统3PAR1999年成立，2010年被HP收购中高端存储SAN集群、采用了ASIC硬件加速芯片，使其系统能够有出色的性能。自动精简配置整合进ASIC；InSpire 体系架构（网状控制器结构，可达8个）等，硬件上的改进设计非常有特色。自动精简配置Thin Provisioning由3PAR公司开创，改变以前需要提前分配容量的问题，做到即写分配，提高存储利用率。Compellent2002年成立，2011年被Dell收购中端市场SAN集群、同3PAR有近似，但性能不及，且只能允许两个SAN聚合，而3PAR能够实现8个SAN聚合。流动数据架构，存储可直接根据业务需求动态进行调整。可节约整体成本借助分层架构，SAS或固态硬盘等高性能硬盘能够处理公司最关键的数据，而将很少使用的数据自动迁移到容量大、但速度低的SATA硬盘上的技术。IBM SONAS2010年推出的产品中大型企业以GPFS为核心，以X86平台为硬件基础，推出的集群NAS产品2011年4月升级：改进的信息生命周期管理 (ILM)、层次化存储管理 (HSM) 以及简便的部署和防病毒集成存储 (TB/PB) 和服务器（接口、I/O 和带宽）放在单独的模块化组件中，它们可以独立地升级。分别对应于SONAS 的存储单元和接口节点。BlueArc1998年成立，2011年被HDS收购中高端存储，HDS自2006年一直OEM其产品 文件级集群、一个是高端Titan系列，一个是入门级Mercury系列硬件加速文件管理器供应商，主要生产用于场内可编程门阵列(FPGA)的硬件加速文件管理器，加快文件管理器的运行速度SiliconFS文件系统不同于用服务器和定制操作系统实现的文件系统，它基于专门的硬件芯片FPGA。存储模块体现实现面向对象概念、支持pNFS协议龙存起步较早，在国内市场有一定知名度高性能计算、互联网集群存储产品采用通用服务器做为存储与元数据节点， 整体性价比高 达沃时代YeeStor基础研究非常早，2010年正式成立公司集群存储（包括高性能计算）、虚拟化（包括虚拟服务器、虚拟桌面）、云存储集群文件系统、面向对象存储YeeStor文件系统+X86服务器，性价比高；具有集群结构、数据备份、元数据快照等多项高可用机制；Web UI可用性好已有教育台“学习超市”、CNGI国家科学数据共享平台等多个成功案例中科蓝鲸研究比较早，2007年正式成立 网络存储产品和解决方案供应商SAN文件系统同时支持FC（4Gb、8Gb）、以太网（1Gb、10Gb）接入 在数字媒体、视频监控等方面有一些案例美地森2007年成立集群存储系统软硬件服务提供商USS集群存储系统YFS和Isilon的OneFS功能近似，集合了文件系统、卷管理和RAID。美地森也推出了WSS云存储、WHS云主机。创新科UIT2001年成立，2009年，与Intel进行了战略研发合作，2011年获得Intel注资。数据存储解决方案提供商和海量信息存储专家做IP SAN起家，再做NAS，后面通过收购获得FC SAN技术，目前推行统一存储，另外在云存储概念上推出了几款产品。大量的通用服务器，元数据和存储数据分离UIT参加展销会比较多，所有宣传稿也较多。主要展示其云监控、云媒资、办公云、IPTV等多个行业的云解决方案，以及SV5000G2等自主创新产品；另外面向个人、家庭用户也有应用产品。从近两年的各种收购事件来看，集群存储市场已经从小的独立厂商时代转向了大厂商竞争时代，IBM、HP、Dell等大型综合存储方案厂商的加入，一方面是看到了非结构化数据爆炸式增长带来的市场规模扩张，另一方面，也使得集群存储领域的竞争进一步加剧。l IBM：作为综合存储方案供应商，IBM在集群存储方面同样有自己的策略。在SAN集群方面，IBM收购了XIV，经过有效的整合后，XIV已经成为IBM高端存储产品线的有力补充，在针对非结构化数据的Scale out NAS市场，IBM则将一套由来已久的分布式文件系统方案GPFS重新包装，推出了NAS集群产品SoNAS。在战略层面，IBM的公共云就采用了SONAS架构。l HDS：收购BlueArc，它拥有数据分级的技术，它的产品可以在8节点群集中提供文件存储虚拟化功能，将群集容量提高到16PB。 运行在群集上的软件是SiliconFS文件系统，可以提供NFS和CIFS文件存取以及iSCSI SAN存取等功能。BlueArc主要生产硬件加速的Titan和Mercury产品，这些产品均运行有SiliconFS软件系统。7.0版本的SiliconFS把文件的元数据放在固态硬盘或SAS驱动器上，而将文件数据放置于运行速度较慢但是相对便宜的驱动器上，可提供文件访问速度。l EMC：与倡导统一存储的NetApp不同，EMC看上去仍像是多家公司的组合。EMC旗下曾经有过Avamar、Data Domain、DMX、Clariion、Celerra，以及Isilon等，还需要更好的融合和统一。EMC在7年里收购了53家公司，走大而全的路线。 战略上推行大数据解决方案，Isilon应该是其宣传侧重点。从Isilon被收购的两三年来看，确实是背靠大树好乘凉，EMC的多套方案中均有Isilon的身影，每次大会都有些宣传，相比其老对手Panasas，Isilon现在的发展势头很不错，应用范围越来越宽。l NetApp核心系统依赖于一个单一的操作系统，无论是SAN、NAS、高端、低端、主存储还是二级存储，都是基于核心的操作系统ONTAP，这是和其他厂商最大的区别。这也是其在并购方面考虑较多的原因。但NetApp的集群NAS产品Data ONTAP GX并不给力。GX来源于NetApp收购的Spinaker，是一家做Single Namespace的文件系统的厂商，所以GX系列只是一个Single Path Image模式的架构，类似于微软的DFS，将多个独立文件系统，从路径上加一次虚拟，多个文件系统（控制器机头）之间依然采用松耦合方式。GX并没有从骨子里表现为一个Single File system Image的集群或者分布式文件系统，所以市场认同度不高。 l HP：HP最近三年内收购了LeftHand（增强了其存储虚拟化和iSCSI能力）、Ibrix（横向扩展NAS和Fusion管理软件）、以及3PAR（中高端的SAN集群以及Thin概念的各种功能），包装推出了可恒星扩展的P4000G2和X9000，以及提供基于3PAR的统一云存储解决方