ISILON的显著特点与唯一性介绍.doc

第 1 页 isilon 技术显著特点 2009 08 第 2 页 目录 1 为何采用 isilon iq 集群存储 3 开放式架构 3 分布式操作系统 9 统一命名空间 12 易管理 13 负载均衡 14 高性能 14 2 isilon 集群存储四大特点 17 易于安装和维护 17 性能非常好 17 数据安全性高 17 数据利用率高 21 第 3 页 1 为何采用 isilon iq 集群存储 isilon 集群存储有六个显著特征 分别是 开放式架构 isilon 集群存储是 scale out 行业领先的存储 其他厂商基本都是采用 scale up 方式 分布式操作系统 isilon 集群存储的操作系统是全分布 具有很好的扩展性 最大可以 扩展到 144 个存储节点 其他厂商的操作系统都是集中式的 扩展性不好 统一命名空间 isilon 集群存储支持单一文件系统 单个文件系统的容量可以达到 5400tb 其他厂商的文件系统 或者统一命名空间 都是将若干卷 volume 挂载 到根目录下才能实现的 不是真正的单一文件系统 易管理性 isilon 集群存储非常易于管理 不牵涉到传统的 raid 组 lun volume 等 概念 管理上 pb 级别的数据跟管理几个 tb 一样简单 其他厂商的存储必须经过 raid 组 lun volume 等层层管理 任何层次出现问题 管理上将出现比较大的麻烦 负载均衡 isilon 集群存储目前可以在最多 144 个节点之间均衡负载压力 而且可以在 最多 4 个存储节点失效的情况下保证数据的安全 其他厂商最多可以容忍一个节点失 效 高性能 isilon 集群存储可以提供最多 30gb s 的数据吞吐量 1 700 000 iops 的性 能 其他厂商基本无法达到以上标准 美国赛龙集群存储系统有限公司是 2001 年成立于美国西雅图 并由美国红杉投资集团投 资 专门面向集群存储领域的存储提供商 2006 年在 nasdaq 上市 2007 年十月进入 中国市场 目前在中国市场有比较多的客户 主要集中在能源 媒体 高性能 生命科学 等领域 2008 年 gartner 的统计数据显示 isilon 在 scale out nas 领域处于遥遥领先的 位置 技术上至少领先同类厂家五年以上 开放式架构开放式架构 首先 需要解释一个概念 scale up 和 scale out 是什么 scale up 和 scale out 技术都是从服务器领域衍生出来的概念 在服务器领域 从早期的 mainframe 到 unix 小型机到现在最为流行的集群架构 就经历了从 scale up 架构到 scale out 架构的转变 开始的 mainframe 和 unix 小型机都是标称最大可以支持若干 cpu 和若干内存 但是实际 购买时 却不会一次到位 而是按需扩展 比如第一次先买 4 个 cpu 8g 内存 过一两 第 4 页 年以后 扩展到 8 个 cpu 和 16g 内存 当某一天达到此系统的上限以后 服务器的处理 能力就不能通过在原来服务器里面扩展 cpu 和内存来实现了 而只能购买新的服务器来 实现 这种架构就叫做 scale up 架构 其含义就是设备处理能力上限在购买时已经确定 如果需求超过上限 只能重新购买更高性能的设备 现在流行的集群架构是完全采用了积少成多 采用搭积木的方式来实现高端服务器的处理 性能 构成集群系统的个体本身性能并不高 但是通过把成百上千台个体聚合起来 其提 供的处理能力就可以比高端的服务器还要高 目前世界上最快的计算系统 就是采用这种 架构来完成的 这种采用搭积木模式搭建起来的系统采用的就是 scale out 的架构 这种 scale out 架构本身就是一种开放式的架构 当把这种架构移植到存储设备上 就形成了 scale out 架构的存储 isilon 公司的集群存储作为 scale out nas 领域的领头羊 具有如下的架构特点 如图所示 isilon 集群存储分为三个组成部分 前端网络 isilon 集群存储前端网络目前采用千兆以太网 接入客户现有环境的核心交换机内部 在可见的将来 如果万兆网成为主流 isilon 集群存储也将提供万兆接入端口 存储节点 isilon 集群存储的存储节点分为五大系列 其中 s x nl 三大系列又被称为平台 节点 accelerator 和 ex 扩展节点又被统称为扩展节点 十四小类 第 5 页 isilon iq s 系列 包括一小类产品 5400s 采用 15000 转 sas 硬盘 两个四 核 intelcpu 8g 内存 每节点的存储容量为 5 4tb isilon iq x 系列 包括六小类产品 第 6 页 isilon iq nl 系列 包括一小类产品 isilon iq accelerator 包括三小类 1g 加速器和 10g 加速器 备份加速器 第 7 页 isilon iq ex 扩展节点 包括三小类 第 8 页 通过任意的组合 可以达到单独扩展容量 使用平台节点 ex 扩展节点 单独扩展 性能 使用 accelerator 节点 和即扩展性能也扩展容量 使用同型号的 s x nl 系列 节点 因为 isilon 集群存储的架构特点 决定了性能和容量同步增长的特点 isilon 集群存储的架构 决定了参与其中的所有节点在集群里面的地位平等 没有主 次 先后 元数据 数据的区分 因此大大降低了出现数据热点的概率 后端网络 目前 isilon 集群存储架构支持 sdr ddr 和 qdr 的 infiniband 交换机 支持的厂家包括 flextronics qlogic cisco voltire 等 第 9 页 分布式操作系统分布式操作系统 isilon 是软硬件一体的解决方案提供商 其底层硬件结构是基于一种开放式结构的 参见 上节 开放式结构 硬件层之上是 isilon 拥有完全版权的操作系统 onefs 它既是操作 系统又是文件系统 是一种全分布的操作系统 onefs 是 isilon 已经提出专利申请的分布式文件系统 为 isilon iq 提供了核心智能特 征 onefs 通过使用一个分布式锁管理器 一个缓存和一个维持集群内全局一致性的区域 管理器 来保持节点的同步 正是由于这种整个集群节点间的全局一致性 避免了访问文 件系统时的单点故障 集群内的任何一个节点都能处理读写要求 都能代表整个文件系统 的功能特色 集群内的所有节点都具有同等地位 因此整个系统是完全对称的 克服了节 点的等级差异和内在的瓶颈 其他存储系统通过 raid 和卷管理层来传输数据 产生了数据布局的低效率 而 onefs 直接 在单独的磁盘上控制文件的布置 通过优化文件在集群上的分配 极大地改善了磁盘子系 统的性能 通过以一个文件接着一个文件的方式在磁盘上布置数据 onefs 能在卷 目录 甚至是文件的层级上来控制存储系统的冗余水平 onefs 还有其他几个特点和好处 flexprotect ap 软件提供了最新的功能性 能在短时间 内重建发生故障的磁盘 利用整个集群内的空余存储空间来规避数据丢失的风险 主动地 第 10 页 监控和抢先将数据从有风险的组件迁移出去 传统的企业存储系统将等值重建操作局限在 存储系统的子集内进行 这导致出现了恢复的瓶颈 增加了重新保护数据的时间 大大增 加了当单个组件发生故障时数据丢失的风险 传统的 raid 5 等值保护如果在重建工作完成 之前如果出现多个组件故障 就会引起数据丢失 相比之下 flexprotect ap 能自动地将 所有的数据和错误更正信息分布到整个集群上 其高效可靠的错误更正技术保证了所有的 数据保持完整 即使在同时出现多个组件故障的情况下也能被方便地被存取 在 onefs 之外 有五个需要单独付费购买的模块 snapshotiq isilon snapshotiq 提供了秒级快照的解决方案 和其他厂商的快照方 案不同的是 snapshotiq 是基于目录或者子目录层次做快照 而且每个目录可以维护 高达 1024 个快照 做快照不需要预留空间 smartconnect smartconnect iq 提供了前端网络的负载均衡模式 可以提供 roundrobin cpu 忙闲 网络吞吐量 网络连接数等四种均衡策略 另外对于 nfs 协 议 smartconnect 提供了基于 nfs 协议的的 ip failover 方式 提供了对 tcp 连接的 容错 smartquotas isilon smartquotas 是空间访问限额模块 通过此模块可以对目录和 用户实现空间限额 另外此模块 可以非常容易的加入客户环境中现有的 ad nis ldap 等用户控制域 更好的提供基于用户的访问空间限额 另外还可以提 供 thin provisioning 的功能 实现跨用户空间的共享 aspera for isilon iq 此模块提供跨城域网 wan 快速数据同步的机制 synciq isilon synciq 是用于异地容灾的模块 可以在两个集群存储之间同步数据 第 11 页 ocarina for isilon iq 此模块提供 de dup 的功能 传统的文件系统使用集中服务器来管理多个存储资源 致使出现了存储系统内的依赖性 故障点和热点 使用 onefs 操作系统软件 isilon 集群存储系统内的每个节点享有同等地 位 因此任何节点都能处理请求 onefs 使用 infiniband 进行集群内通信和同步 使用拥 有专利的 b tree 技术 将所有数据 包括元数据 完全并行的分布到所有节点中 这样每个 节点都清楚整个文件系统的布局 以及每个文件和文件部分存放在哪个地方 不需要专门 的元数据服务器 从而杜绝了其他存储架构出现元数据服务器热点问题 在使用过程中 可以根据应用的需求 随时调整客户端可访问存储节点的数量 例如在网 段一中 作业分为 paradigm group1 和 paradigm group2 其中 paradigm group1 要求完 成的时间更紧张些 通过实时的调整配置 而把尽量多的存储节点的数量优先让给 group1 的作业使用 如上图所示 可以调整配置 对于时间要求不太紧的 paradigm group2 作业 可以只让访 问三个节点 而其他全部节点的处理能力都由 paradigm group1 来使用 如果在使用过程中 有更多网段的客户端需要访问集群存储的节点 可以实时按照要求更 改存储节点的网段配置 以满足不同数据访问的需求 统一命名空间统一命名空间 真正的分布式单一全局命名空间与简单的命名空间综合不同 isilon 的 onefs 分布式文件 第 12 页 系统可以智能地将数据存放到集群的节点上 创建一个共享存储池 应用范围很广 包括 对非结构化数据的制作 分析 传输和归档 图 1 isilon iq 开放式系统架构示意图 目前业界有很多存储也声明支持大容量 上 p 级 的统一命名空间 但是底层无一不是通 过将若干卷挂载在一个根目录下来形成的大容量统一命名空间 这里试想传统存储的一个 场景 假如 a 机头挂接了 d1 的 lun b 机头挂接了 d2 的 lun 那么无论怎样将数据分 布 通过 b 机头访问 d1lun 里面的数据 必然要通过 a 机头将数据从 d1lun 读出 传给 b 机头 这样很容易出现存储热点问题 而 isilon 集群存储则是将所有节点的存储空间 通过专利技术整合到真正的单一文件系统 onefs 中 因为是单一文件系统 就不会发生 跨 lun 而发生的性能问题 目前 isilon 的集群存储 最少需要三个节点 最多支持 96 个节点 96 的限制不是系统 本身的上限 而是 infiniband 交换机端口数的上线 目前最多端口的 ib 交换机是 144 端口 isilon 将会很快支持 144 个节点 最大单一文件系统的大小为 3 45pb isilon 的单一文件系统 onefs 提供了非常好的扩展功能 在扩展节点的时候 不影响 原有存储系统的使用 而且在 60 秒之类 新加入的节点空间就可以被客户端看到并且可 以使用 第 13 页 当集群增加新的节点和容量后 isilon iq 专有的 autobalance 功能会自动实时通过 ib 交 换机平衡数据在集群节点上的分布 而且 onefs 单一文件系统 能够动态调节数据重新 分布进程的级别 更好的利用存储和服务器的资源 为客户端提供更加有效的性能 最大 化程度提高性能和存储利用率 消除停机时间 有了 isilon iq 当您升级存储系统时 再也不需要手动地迁移数据或者是改变应用逻辑了 易管理易管理 isilon 集群存储易管理性体现在如下三个方面 安装和扩展简单 传统的 san 和 nas 存储在配置过程中 必然要提前做好规划工作 包括硬件上架 连线 存储网络配置 raid group 划分 hba 卡配置 san switch 配置 lun 划分 卷划分 文件系统创建等等 任何一步出现问题都会影响到存储的使用 而 isilon 集群存储 因为采取了很多专利技术 在客户端看来没有任何 raid lun volume 等这些概念 因此安装起来非常简单 只需要将所有硬件上架 连线 存储网络配置即可 存储系统就可以上线交付使用 在扩展存储的案例中 由于 onefs 的单一文件系统功能 可以做到不影响客户端使 用的情况下 动态的添加节点到原有系统中 而且只需要 60 秒钟的时间 管理和配置简单 第 14 页 isilon 集群存储的管理和配置非常简单 管理存储的精力不会随着存储容量的增加而 增加 isilon 集群存储提供两种管理界面 一个是基于浏览器的管理界面 一个是全 命令行的管理界面 功能完全一致 负载均衡负载均衡 参见 分布式文件系统 一节中内容 高性能高性能 isilon 集群存储的吞吐性能将随着节点的增加而增加 其曲线参见如下图形 第 15 页 根据实际测试结果 isilon 集群存储节点上的每个千兆以太网卡 大约可以提供 100mb s 的带宽 集群存储的聚合带宽 可以用 100mb sx 每节点千兆网卡数量 x 节点数 来获得 衡量一个存储架构的优劣 无外乎从读写两个方面来看 现举例说明 isilon 集群存储读 写操作的特点 第 16 页 某个客户端发起读写请求 通过核心交换机 向 isilon 集群存储发起读写请求 以 isilon 八个存储结点实例 isilon 分布式操作系统 内嵌 smartconnect 模块是做负载 均衡用的 从八个结点里头选择出目前最闲的结点来接收此次读写请求的文件 这个文件 到了结点之后 并没有立刻写到磁盘上 此时 onefs 会把这个文件自动地由分成八个小 块 现在以八个结点举例 通过后端的 ib 交换机 带宽高 网络延迟小 通过 ib 交换机 的内存级别拷贝功能把八小块数据分别写到其他节点各自的硬盘上 形象地举个例子 传统架构数据要写到磁盘上 相当于一个人 一个机头 搬八个箱子 而 isilon 集群存储是八个人搬八个箱子 效率和速度大大提高 这种并行架构决定了写 的性能比一般的存储性能高很多 反过来看读一个文件 这个非常好理解 就是写的一个反过程 也就是充分利用了 infinibaed 的带宽和内存级别拷贝 从这个角度看 我们的集群存储给客户提供了非常高的 读写性能 第 17 页 2 isilon 集群存储四大特点 易于安装和维护易于安装和维护 参见以上 易管理 一节内容 性能非常好性能非常好 参见以上 高性能 一节内容 数据安全性高数据安全性高 isilon 集群存储的数据安全性非常高 可以提供两个级别的容错 第一个级别是结点级的 容错 还是用将一个文件写到 isilon 集群存储里做示例 还是用八个结点 文件被 onefs 分成八个小份 如果采用了 n 1 的数据保护级别 当某一个结点发生问题了宕掉 了 通过节点级容错 数据仍然是安全的 完整的 应为 isilon 集群存储每个节点都至 少有 12 块硬盘 因此同时可以允许 12 块硬盘发生错误 但是数据都是安全的 这跟传统 的数据容错有本质的区别 因为实现容错的架构是在节点操作系统这一级 所以 isilon 集群存储可以提供节点型的容错 如果 n 1 还不能满足要求 我们可以最多支持 4 个结点 而且数据保护级别可以在线更换 数据仍然是完整的 这个容错机制跟业界其他产品容错 机制完全不 一样 这也是 isilon 集群存储非常有特点的一个产品特性 节点级容错跟传统 raid 比较大的区别是 如果我们存储选用了 raid 话需要改变级别 的话 唯一的方法就是格式化掉 我刚开始选了 n 4 的保护模式 过了一段时间之后觉得 n 4 有点多 就改成 n 2 上 不需要更改数据布局 非常方便易用 以上介绍的是第一类 的容错 节点级的容错 对于 n 1 和 n 2 的数据保护类型 参见如下存放方式 第 18 页 目前为了增加数据的使用效率 isilon 集群存储又推出了 n m b 的数据保护模式 使 得存储的使用效率和数据安全性提高了一倍以上 第 19 页 接下来看第二级容错是文件级的容错 isilon 集群存储可以针对某一个目录或者某一 个文件 比如说自己有独立的私人目录 那么可以针对这个目录做单独的设置 对于这个 目录下 的所有文件或者某一个文件可以做到两份一直到八份的镜像 每一个镜像都会分布 在不同的节点上 给数据提供足够的数据保密度 即使结点或者是磁盘失效了 我们的数 据仍然是安全的 实际上结合了这两种容错模式 一个是结点级的容错还有一个是文件级 的容错 数据日常备份基本上没有必要了 因为数据容错级别非常高 而且这个文件级的 容错是针对某一个目录甚至是某一个单一文件来完成的 所以跟传统的文件备份的方式也 有比较大的区别 行业领先的磁盘重建速度行业领先的磁盘重建速度 对于一个存储系统来说 重建故障磁盘驱动器的数据所花时间的多少 是衡量数据可靠性 的重要指标 传统存储系统的重建过程要花掉数个小时的时间 在磁盘容量不断增大的情 况下 这种情况变得更为糟糕 伴随 1 2tb 磁盘的出现 和越来越大的单一卷 文件系统 的创建 传统的存储系统会花掉多达 24 小时甚至是更多的时间恢复磁盘故障 在恢复过 程中 这样的传统存储系统对额外的磁盘故障非常敏感 一旦发生其他磁盘故障 系统就 会遭受数据丢失和停机的打击 由于isilon iq 依分布式构架而建 它利用了集群内所磁头和硬件的最大容量 来重建故 障磁盘的数据 因为isilon iq 不受任何一个磁盘的速度的限制 isilon 系统能从磁盘故 障中快速恢复过来 一个isilon iq 集群内的磁盘故障能在一到两个小时之内得到重建 相比而言 光纤通道和scsi 磁盘可能需要超过 8 个小时的重建时间 ata 磁盘驱动器也 需要花费 8 到 24 小时不等的时间重建单个故障磁盘驱动器 比较之下 isilon iq 的先 第 20 页 进性显而易见 依靠行业领先的驱动器重建速度 isilon iq 为用户提供更为可靠的存储 系统 它更具弹性 对多个故障的抵御力更强 主动的监控和抢先数据重建主动的监控和抢先数据重建 onefs 能持续监控所有文件和驱动器的状况 和保持对每个驱动器上的自动统计值 可恢 复的读错误 的记录 以预知哪个驱动器有可能会发生故障 当onefs 确定哪些部件处于 危险中后 它能抢先把可疑磁盘的数据迁移到集群的剩余空间上 对于用户来说 这个过 程是自动而非常明显的 一旦数据被成功重建 系统会通知用户在实际故障发生之前维修 可疑磁盘 这个先进的功能使用户坚信今天所写的数