ISILON的显著特点与唯一性介绍

1、 第 1 页 isilon 技术显著特点 2009-08 第 2 页 目录 1.为何采用 isilon iq 集群存储.3 开放式架构.3 分布式操作系统 .9 统一命名空间.12 易管理.13 负载均衡.14 高性能.14 2.isilon 集群存储四大特点.17 易于安装和维护 .17 性能非常好.17 数据安全性高.17 数据利用率高.21 第 3 页 1. 为何采用 isilon iq 集群存储 isilon 集群存储有六个显著特征，分别是： 开放式架构：isilon 集群存储是 scale-out 行业领先的存储。其他厂商基本都是采用 scale-up 方式 分布式操作系统：isil

2、on 集群存储的操作系统是全分布，具有很好的扩展性，最大可以 扩展到 144 个存储节点。其他厂商的操作系统都是集中式的，扩展性不好。 统一命名空间：isilon 集群存储支持单一文件系统，单个文件系统的容量可以达到 5400tb。其他厂商的文件系统（或者统一命名空间） ，都是将若干卷（volume）挂载 到根目录下才能实现的，不是真正的单一文件系统。 易管理性：isilon 集群存储非常易于管理，不牵涉到传统的 raid 组、lun、volume 等 概念，管理上 pb 级别的数据跟管理几个 tb 一样简单。其他厂商的存储必须经过 raid 组、lun、volume 等层层管理，任何层次出现

3、问题，管理上将出现比较大的麻烦。 负载均衡：isilon 集群存储目前可以在最多 144 个节点之间均衡负载压力，而且可以在 最多 4 个存储节点失效的情况下保证数据的安全。其他厂商最多可以容忍一个节点失 效。 高性能：isilon 集群存储可以提供最多 30gb/s 的数据吞吐量，1，700，000 iops 的性 能。其他厂商基本无法达到以上标准。 美国赛龙集群存储系统有限公司是 2001 年成立于美国西雅图，并由美国红杉投资集团投 资，专门面向集群存储领域的存储提供商；2006 年在 nasdaq 上市，2007 年十月进入 中国市场，目前在中国市场有比较多的客户，主要集中在能源、媒体、

4、高性能、生命科学 等领域。2008 年 gartner 的统计数据显示，isilon 在 scale-out nas 领域处于遥遥领先的 位置，技术上至少领先同类厂家五年以上。 开放式架构开放式架构 首先，需要解释一个概念，scale-up 和 scale-out 是什么？ scale-up 和 scale-out 技术都是从服务器领域衍生出来的概念。在服务器领域，从早期的 mainframe 到 unix 小型机到现在最为流行的集群架构，就经历了从 scale-up 架构到 scale-out 架构的转变。 开始的 mainframe 和 unix 小型机都是标称最大可以支持若干 cpu 和

5、若干内存，但是实际 购买时，却不会一次到位，而是按需扩展，比如第一次先买 4 个 cpu，8g 内存。过一两 第 4 页 年以后，扩展到 8 个 cpu 和 16g 内存；当某一天达到此系统的上限以后，服务器的处理 能力就不能通过在原来服务器里面扩展 cpu 和内存来实现了，而只能购买新的服务器来 实现。这种架构就叫做 scale-up 架构，其含义就是设备处理能力上限在购买时已经确定， 如果需求超过上限，只能重新购买更高性能的设备。 现在流行的集群架构是完全采用了积少成多，采用搭积木的方式来实现高端服务器的处理 性能。构成集群系统的个体本身性能并不高，但是通过把成百上千台个体聚合起来，其提

6、供的处理能力就可以比高端的服务器还要高。目前世界上最快的计算系统，就是采用这种 架构来完成的。这种采用搭积木模式搭建起来的系统采用的就是 scale-out 的架构。这种 scale-out 架构本身就是一种开放式的架构。当把这种架构移植到存储设备上，就形成了 scale-out 架构的存储。 isilon 公司的集群存储作为 scale-out nas 领域的领头羊，具有如下的架构特点： 如图所示，isilon 集群存储分为三个组成部分： 前端网络 isilon 集群存储前端网络目前采用千兆以太网，接入客户现有环境的核心交换机内部。 在可见的将来，如果万兆网成为主流，isilon 集群存储也

7、将提供万兆接入端口。 存储节点 isilon 集群存储的存储节点分为五大系列（其中 s，x，nl 三大系列又被称为平台 节点，accelerator 和 ex 扩展节点又被统称为扩展节点） ，十四小类： 第 5 页 isilon iq s 系列：包括一小类产品，5400s，采用 15000 转 sas 硬盘，两个四 核 intelcpu，8g 内存。每节点的存储容量为 5.4tb isilon iq x 系列：包括六小类产品。 第 6 页 isilon iq nl 系列：包括一小类产品。 isilon iq accelerator：包括三小类。 1g 加速器和 10g 加速器 备份加速器 第

8、7 页 isilon iq ex 扩展节点：包括三小类。 第 8 页 通过任意的组合，可以达到单独扩展容量（使用平台节点+ex 扩展节点） ，单独扩展 性能（使用 accelerator 节点）和即扩展性能也扩展容量（使用同型号的 s，x，nl 系列 节点） 。因为 isilon 集群存储的架构特点，决定了性能和容量同步增长的特点。 isilon 集群存储的架构，决定了参与其中的所有节点在集群里面的地位平等，没有主 次、先后，元数据、数据的区分，因此大大降低了出现数据热点的概率。 后端网络 目前 isilon 集群存储架构支持 sdr、ddr 和 qdr 的 infiniband 交换机。 支

9、持的厂家包括 flextronics，qlogic，cisco，voltire 等。 第 9 页 分布式操作系统分布式操作系统 isilon 是软硬件一体的解决方案提供商，其底层硬件结构是基于一种开放式结构的（参见 上节，开放式结构） 。硬件层之上是 isilon 拥有完全版权的操作系统 onefs，它既是操作 系统又是文件系统，是一种全分布的操作系统。 onefs 是 isilon 已经提出专利申请的分布式文件系统，为 isilon iq 提供了核心智能特 征。onefs 通过使用一个分布式锁管理器、一个缓存和一个维持集群内全局一致性的区域 管理器，来保持节点的同步。正是由于这种整个集群节点

10、间的全局一致性，避免了访问文 件系统时的单点故障。集群内的任何一个节点都能处理读写要求，都能代表整个文件系统 的功能特色。集群内的所有节点都具有同等地位， 因此整个系统是完全对称的，克服了节 点的等级差异和内在的瓶颈。 其他存储系统通过 raid 和卷管理层来传输数据，产生了数据布局的低效率。而 onefs 直接 在单独的磁盘上控制文件的布置，通过优化文件在集群上的分配，极大地改善了磁盘子系 统的性能。 通过以一个文件接着一个文件的方式在磁盘上布置数据，onefs 能在卷、目录 甚至是文件的层级上来控制存储系统的冗余水平。 onefs 还有其他几个特点和好处。flexprotect-ap软件提

11、供了最新的功能性，能在短时间 内重建发生故障的磁盘，利用整个集群内的空余存储空间来规避数据丢失的风险，主动地 第 10 页 监控和抢先将数据从有风险的组件迁移出去。传统的企业存储系统将等值重建操作局限在 存储系统的子集内进行，这导致出现了恢复的瓶颈，增加了重新保护数据的时间，大大增 加了当单个组件发生故障时数据丢失的风险。传统的 raid-5 等值保护如果在重建工作完成 之前如果出现多个组件故障，就会引起数据丢失。相比之下，flexprotect-ap 能自动地将 所有的数据和错误更正信息分布到整个集群上，其高效可靠的错误更正技术保证了所有的 数据保持完整，即使在同时出现多个组件故障的情况下也

12、能被方便地被存取。 在 onefs 之外，有五个需要单独付费购买的模块： snapshotiq：isilon snapshotiq 提供了秒级快照的解决方案，和其他厂商的快照方 案不同的是，snapshotiq 是基于目录或者子目录层次做快照；而且每个目录可以维护 高达 1024 个快照；做快照不需要预留空间。 smartconnect：smartconnect iq 提供了前端网络的负载均衡模式，可以提供 roundrobin，cpu 忙闲，网络吞吐量，网络连接数等四种均衡策略。另外对于 nfs 协 议，smartconnect 提供了基于 nfs 协议的的 ip failover 方式，提

13、供了对 tcp 连接的 容错。 smartquotas：isilon smartquotas 是空间访问限额模块，通过此模块可以对目录和 用户实现空间限额。另外此模块，可以非常容易的加入客户环境中现有的 ad，nis，ldap 等用户控制域，更好的提供基于用户的访问空间限额。另外还可以提 供 thin provisioning 的功能，实现跨用户空间的共享。 aspera for isilon iq：此模块提供跨城域网 wan，快速数据同步的机制。 synciq：isilon synciq 是用于异地容灾的模块，可以在两个集群存储之间同步数据。 第 11 页 ocarina for isilo

14、n iq：此模块提供 de-dup 的功能。 传统的文件系统使用集中服务器来管理多个存储资源，致使出现了存储系统内的依赖性， 故障点和热点。使用 onefs 操作系统软件，isilon 集群存储系统内的每个节点享有同等地 位，因此任何节点都能处理请求。onefs 使用 infiniband进行集群内通信和同步，使用拥 有专利的 b-tree 技术，将所有数据(包括元数据)完全并行的分布到所有节点中，这样每个 节点都清楚整个文件系统的布局，以及每个文件和文件部分存放在哪个地方，不需要专门 的元数据服务器，从而杜绝了其他存储架构出现元数据服务器热点问题。 在使用过程中，可以根据应用的需求，随时调整

15、客户端可访问存储节点的数量。例如在网 段一中，作业分为 paradigm group1 和 paradigm group2，其中 paradigm group1 要求完 成的时间更紧张些，通过实时的调整配置，而把尽量多的存储节点的数量优先让给 group1 的作业使用； 如上图所示，可以调整配置，对于时间要求不太紧的 paradigm group2 作业，可以只让访 问三个节点，而其他全部节点的处理能力都由 paradigm group1 来使用。 如果在使用过程中，有更多网段的客户端需要访问集群存储的节点，可以实时按照要求更 改存储节点的网段配置，以满足不同数据访问的需求。 统一命名空间统一

16、命名空间 真正的分布式单一全局命名空间与简单的命名空间综合不同，isilon 的 onefs 分布式文件 第 12 页 系统可以智能地将数据存放到集群的节点上，创建一个共享存储池，应用范围很广，包括 对非结构化数据的制作、分析、传输和归档。 图 1 isilon iq 开放式系统架构示意图 目前业界有很多存储也声明支持大容量（上 p 级）的统一命名空间，但是底层无一不是通 过将若干卷挂载在一个根目录下来形成的大容量统一命名空间。这里试想传统存储的一个 场景，假如 a 机头挂接了 d1 的 lun，b 机头挂接了 d2 的 lun。那么无论怎样将数据分 布，通过 b 机头访问 d1lun 里面的

17、数据，必然要通过 a 机头将数据从 d1lun 读出，传给 b 机头，这样很容易出现存储热点问题。而 isilon 集群存储则是将所有节点的存储空间 通过专利技术整合到真正的单一文件系统 onefs 中，因为是单一文件系统，就不会发生 跨 lun 而发生的性能问题。 目前 isilon 的集群存储，最少需要三个节点，最多支持 96 个节点（96 的限制不是系统 本身的上限，而是 infiniband 交换机端口数的上线，目前最多端口的 ib 交换机是 144 端口， isilon 将会很快支持 144 个节点） ，最大单一文件系统的大小为 3.45pb。 isilon 的单一文件系统 onef

18、s，提供了非常好的扩展功能，在扩展节点的时候，不影响 原有存储系统的使用，而且在 60 秒之类，新加入的节点空间就可以被客户端看到并且可 以使用。 第 13 页 当集群增加新的节点和容量后，isilon iq 专有的 autobalance 功能会自动实时通过 ib 交 换机平衡数据在集群节点上的分布，而且 onefs（单一文件系统）能够动态调节数据重新 分布进程的级别，更好的利用存储和服务器的资源，为客户端提供更加有效的性能，最大 化程度提高性能和存储利用率，消除停机时间。有了 isilon iq，当您升级存储系统时， 再也不需要手动地迁移数据或者是改变应用逻辑了。 易管理易管理 isilo

19、n 集群存储易管理性体现在如下三个方面： 安装和扩展简单 传统的 san 和 nas 存储在配置过程中，必然要提前做好规划工作，包括硬件上架， 连线，存储网络配置，raid group 划分，hba 卡配置，san switch 配置，lun 划分， 卷划分，文件系统创建等等。任何一步出现问题都会影响到存储的使用。 而 isilon 集群存储，因为采取了很多专利技术，在客户端看来没有任何 raid，lun，volume 等这些概念，因此安装起来非常简单，只需要将所有硬件上架， 连线，存储网络配置即可，存储系统就可以上线交付使用。 在扩展存储的案例中，由于 onefs 的单一文件系统功能，可以做

20、到不影响客户端使 用的情况下，动态的添加节点到原有系统中，而且只需要 60 秒钟的时间。 管理和配置简单 第 14 页 isilon 集群存储的管理和配置非常简单，管理存储的精力不会随着存储容量的增加而 增加。isilon 集群存储提供两种管理界面，一个是基于浏览器的管理界面，一个是全 命令行的管理界面，功能完全一致。 负载均衡负载均衡 参见“分布式文件系统“一节中内容 高性能高性能 isilon 集群存储的吞吐性能将随着节点的增加而增加，其曲线参见如下图形： 第 15 页 根据实际测试结果，isilon 集群存储节点上的每个千兆以太网卡，大约可以提供 100mb/s 的带宽。集群存储的聚合带

21、宽，可以用 100mb/sx 每节点千兆网卡数量 x 节点数 来获得。 衡量一个存储架构的优劣，无外乎从读写两个方面来看，现举例说明 isilon 集群存储读 写操作的特点： 第 16 页 某个客户端发起读写请求，通过核心交换机，向 isilon 集群存储发起读写请求。以 isilon 八个存储结点实例，isilon 分布式操作系统，内嵌 smartconnect 模块是做负载 均衡用的， ，从八个结点里头选择出目前最闲的结点来接收此次读写请求的文件，这个文件 到了结点之后，并没有立刻写到磁盘上；此时 onefs 会把这个文件自动地由分成八个小 块（现在以八个结点举例） ，通过后端的 ib 交

22、换机，带宽高，网络延迟小，通过 ib 交换机 的内存级别拷贝功能把八小块数据分别写到其他节点各自的硬盘上。 形象地举个例子，传统架构数据要写到磁盘上，相当于一个人（一个机头）搬八个箱子， 而 isilon 集群存储是八个人搬八个箱子，效率和速度大大提高，这种并行架构决定了写 的性能比一般的存储性能高很多。 反过来看读一个文件，这个非常好理解，就是写的一个反过程，也就是充分利用了 infinibaed 的带宽和内存级别拷贝，从这个角度看，我们的集群存储给客户提供了非常高的 读写性能。 第 17 页 2. isilon 集群存储四大特点 易于安装和维护易于安装和维护 参见以上“易管理”一节内容。

23、性能非常好性能非常好 参见以上“高性能”一节内容。 数据安全性高数据安全性高 isilon 集群存储的数据安全性非常高，可以提供两个级别的容错，第一个级别是结点级的 容错，还是用将一个文件写到 isilon 集群存储里做示例，还是用八个结点，文件被 onefs 分成八个小份，如果采用了 n+1 的数据保护级别，当某一个结点发生问题了宕掉 了，通过节点级容错，数据仍然是安全的、完整的。应为 isilon 集群存储每个节点都至 少有 12 块硬盘，因此同时可以允许 12 块硬盘发生错误，但是数据都是安全的，这跟传统 的数据容错有本质的区别，因为实现容错的架构是在节点操作系统这一级，所以 isilo

24、n 集群存储可以提供节点型的容错；如果 n+1 还不能满足要求，我们可以最多支持 4 个结点， 而且数据保护级别可以在线更换，数据仍然是完整的，这个容错机制跟业界其他产品容错 机制完全不 一样，这也是 isilon 集群存储非常有特点的一个产品特性。 节点级容错跟传统 raid 比较大的区别是，如果我们存储选用了 raid 话需要改变级别 的话，唯一的方法就是格式化掉，我刚开始选了 n+4 的保护模式，过了一段时间之后觉得 n+4 有点多，就改成 n+2 上，不需要更改数据布局，非常方便易用。以上介绍的是第一类 的容错：节点级的容错。 对于 n+1 和 n+2 的数据保护类型，参见如下存放方式

25、： 第 18 页 目前为了增加数据的使用效率，isilon 集群存储又推出了 n+m：b 的数据保护模式。使 得存储的使用效率和数据安全性提高了一倍以上。 第 19 页 接下来看第二级容错是文件级的容错，isilon 集群存储可以针对某一个目录或者某一 个文件，比如说自己有独立的私人目录，那么可以针对这个目录做单独的设置，对于这个 目录下 的所有文件或者某一个文件可以做到两份一直到八份的镜像，每一个镜像都会分布 在不同的节点上，给数据提供足够的数据保密度。即使结点或者是磁盘失效了，我们的数 据仍然是安全的。实际上结合了这两种容错模式，一个是结点级的容错还有一个是文件级 的容错，数据日常备份基本

26、上没有必要了，因为数据容错级别非常高。而且这个文件级的 容错是针对某一个目录甚至是某一个单一文件来完成的，所以跟传统的文件备份的方式也 有比较大的区别。 行业领先的磁盘重建速度行业领先的磁盘重建速度 对于一个存储系统来说，重建故障磁盘驱动器的数据所花时间的多少，是衡量数据可靠性 的重要指标。传统存储系统的重建过程要花掉数个小时的时间，在磁盘容量不断增大的情 况下，这种情况变得更为糟糕。伴随 1/2tb 磁盘的出现，和越来越大的单一卷/文件系统 的创建，传统的存储系统会花掉多达 24 小时甚至是更多的时间恢复磁盘故障。在恢复过 程中，这样的传统存储系统对额外的磁盘故障非常敏感，一旦发生其他磁盘故

27、障，系统就 会遭受数据丢失和停机的打击。 由于isilon iq 依分布式构架而建，它利用了集群内所磁头和硬件的最大容量，来重建故 障磁盘的数据。因为isilon iq 不受任何一个磁盘的速度的限制，isilon 系统能从磁盘故 障中快速恢复过来。一个isilon iq 集群内的磁盘故障能在一到两个小时之内得到重建。 相比而言，光纤通道和scsi 磁盘可能需要超过 8 个小时的重建时间，ata 磁盘驱动器也 需要花费 8 到 24 小时不等的时间重建单个故障磁盘驱动器。比较之下，isilon iq 的先 第 20 页 进性显而易见。依靠行业领先的驱动器重建速度，isilon iq 为用户提供更为可靠的存储 系统，它更具弹性，对多个故障的抵御力更强。 主动的监控和抢先数据重建主动的监控和抢先数据重建 onefs 能持续监控所有文件和驱动器的状况，和保持对每个驱动器上的自动统计值（可恢 复的读错误）的记录，以预知哪个驱动器有可能会发生故障。当onefs 确定哪些部件处于 危险中后，它能抢先把可疑磁盘的数据迁移到集群的剩余空间上。对于用户来说，这个过 程是自动而非常明显的。一旦数据被成功重建，系统会通知用户在实际故障发生之前维修 可疑磁盘。这个先进的功能使用户坚信今天