[IT168评测]九大主流横向扩展文件系统存储对比评测_IT168文库.pdf

IT168 评测 对于IT主管来说 为大数据构建一个同时具有高可扩展性和成本效益的存储基础架构是非常关键的 也是必要的 日前 Garter对目前市场主流的九大存储供应商所推出的9款横向扩展文件系统产品进行了对比评测分析 并指出了各自的有点和需 改进的地方 以供用户在采购时进行对比参考 以下为报告主要内容 注 本译文部分有删减 海量非结构化数据的存储和分析日趋重要 已经上升到战略高度 这使得在IT基础设施规划中 横向扩展存储架构将成为最突 出的问题 横向扩展存储产品往往能够实现接近线性的缩放 并通过并发来提供高性能 大多数横向扩展存储供应商倾向于采 用X86标准化硬件 从而降低硬件的采购成本 并在软件层嵌入存储信息 横向扩展存储供应商的主要目标市场一般都是学术机构 或特定行业的 HPC环境 例如基因组测序 金融建模 三维动画 气象预报和地震分析等 因此 产品的主要关注点在于其可扩 展性 原始计算能力和聚合带宽 数据保护 安全和效率则是次要考虑因素 但是 企业对于容量空间 存储效率以及非结构化数 据保护方面的需求越来越强烈 迫使供应商提供更好的安全性 可管理性 数据保护以及ISV互操作性来满足客户的需求 虽然大 多数产品用作通用存储阵列的情况还很少 但向这方面发展的趋势将会越来越明显 IT组织必须要制定严格的规划流程来全面评估产品的关键能力以选择合适横向扩展存储供应商 厂商需要针对特定使用情况继 续优化其产品 尽管在本研究报告中 这些领先供应商兼顾到了其产品在企业环境中使用可能出现的各种情况 但是 横向扩展存 储的意识和全局命名空间在企业IT环境中并不常见 所以培训支出应该是预算分配的重要组成部分 本研究的目的在于比较三种常见的用例 商业HPC 大的主目录以及备份和归档 并在9个关键能力方面进行考量 非结构化数据的增长趋势明显已经超过了结构化数据 企业和服务提供商所要求的高可扩展性和弹性存储基础设施必须在合理 的成本之内 才能解决大数据的挑战 并构建云计算基础 横向扩展存储正迅速成为一种可行的替代方案 以满足各种企业使用 情况 因为其允许企业在现有存储之上按需增加容量和性能 Garter认为 在不久的将来 无情的成本压力 由于非结构化数据 的爆炸增长 需要提供差异话的服务以提供更好的功能和更专业的支持 将推动市场对横向扩展文件系统存储的需求 本报告对目前领先的横向扩展文件系统存储产品进行了研究 在企业可能的使用情况下评估其效益 产品类别定义 产品类别定义 横向扩展磁盘存储系统都通过模块或节点连接在一起并组成一个系统 横向扩展 在严格意义上并不是指一个集群文件系统 它可以横跨多个节点而组成一个单一命名空间 并且 这还包括一个松散集群聚集而成的一个全局命名空间 根据系统设计 系统 中可能有一种或多种节点类型 例如访问节点和存储节点 这种模块化设计可使用户有一个较低的初始成本 其系统也能够随时间 不断扩展 另一方面 也可以不再将关注重点放在系统生命周期之上 横向扩展存储架构具备以下特点 横向扩展存储架构具备以下特点 容量 性能 吞吐量和端口数与系统中节点数成正比 可扩展性往往受存储硬件和网络体系架构的束缚 而不是由软件设计决定 关键功能定义 关键功能定义 横向扩展文件系统存储需要多方面的能力 其必须是可扩展的 但也必须着眼于成本 聚合带宽 每秒的输入 输出操作 IOPS 存储效率 数据保护 兼容性 易管理性和耐用性 尤其是大规模情况下 本研究探讨了企业在部署大规模文件存储架构时应当 考虑的9个关键能力 企业可以通过这些实现目标来评估横向扩展文件系统存储平台的所有功能领域 Capacity 容量容量 这是指平台支持容量以近线性方式增长的能力 检查文件系统在理论上和实际情况下扩容能力的限制 如最 大容量 文件数量以及每文件系统 卷或命名空间所支持的节点数量和磁盘驱动器数量 Efficiency 效率效率 这是指该平台支持的存储技术方面的能力 如压缩 重复数据删除 自动精简配置 自动分层存储以降低 总体拥有成本等方面的技术 Interoperability 互操作性互操作性 这是指该平台支持第三方ISV应用程序 公共云计算API和多厂商虚机管理程序方面的能力 Manageability 可管理性可管理性 这是指该平台所支持的自动化 管理 监测和报告工具以及应用程序方面的能力 Performance 性能性能 这是指集群所能提供的最大聚合IOPS和带宽 并观察实际配置所取得的数值 Resiliency 弹性弹性 这是指该平台配置一个高层级高可用系统正常运行所提供的选项和功能 提供的选项可能包括磁盘同时发 生故障和 或节点发生故障后的高耐受性 故障隔离技术 内置的防止数据损坏的保护技术以及其他技术 如快照和复制 以满足客 户的恢复点目标 RPO 和恢复时间目标 RTO Applicability for Infrequently Accessed Data 不经常访问数据的适用性不经常访问数据的适用性 这是基于重要的长期归档和备份功能 或者产品 往往用于备份和归档 这有助于突出文件系统存储在不同使用情况下的设计差异 Applicability for Production Data 生产数据适用性生产数据适用性 这是基于频繁访问的生产数据 或者产品广泛用于存储生产数据 这 有助于突出文件系统存储在不同使用情况下的设计差异 实际使用案例 实际使用案例 本报告评估横向扩展文件系统存储供应商在三种不同使用情况下的性能表现 见表1 Commercial HPC 商业化HPC 用最大规模的横向扩展文件系统存储产品来解决最苛刻的使用环境 商业HPC环境的特点是 需要高吞吐量和并行读写来访问大量的数据 在产品选择方面 性能 容量 生产数据适用性 灵活性和可管理性是最重要的考虑 因素 并需要高权重 Large Home Directories 大型主目录 这是典型的网络附加存储 NAS 使用案例 但规模更大 IT专业人士如果渴望整合文 件服务器或NAS文件服务器的扩张 应考虑使用横向扩展文件系统存储产品 其可以提供财政简便性和近乎线性的可扩展性 在文 件服务器蔓延的坏境中 可通过消除物理间隔 通过全局命名空间使客户机映射到服务器等手段使其成为一个理想的工作负载平台 例如自动分层存储和用户透明的数据迁移等 弹性 存储效率 生产数据适用性和可管理学是重要考虑因素 必须加大权重 Backup and Archiving 备份和归档 文件系统存储已经被用来作为以年为目标的备份 归档 横向扩展文件系统为大的备份和归 档数据集提供额外的基于磁盘备份和归档的可扩展性 以满足不断增长的需求 为备份目标内置存储效率技术是尤为重要的 这些 功能包括集成的存储分层和一写多读 WORM 见注1 等 这可提高将横向扩展文件系统作为归档的吸引力 并提高归档的简易性 可负担性和数据一致性 不经常访问数据的适用性 容量 存储效率和弹性是重要考量因素 需要提高权重 表1 在实际使用中各种关键能力的比重 入选标准 入选标准 本次研究报告中所涉及的产品为目前市场上较为主流的可扩展文件系统存储产品 Panasas 和Intel Lustre 的产品并不在此列 因为这两家厂商只专注于HPC环境 在存储系统中 文件系统的可扩展性定义为 在存储系统中 文件系统的可扩展性定义为 每文件系统最小为100TB 每命名空间最小为1PB 可跨越两个或以上的节点 其他产品纳入标准 其他产品纳入标准 至少10个客户的生产系统是基于该平台部署而成 存储容量在300TB以上 在集群模式下 必须支持驱动器容量和吞吐量的水平扩展 或在一个全局命名空间内增加独立节点 产品必须在这三种情况下都有成功案例 供应商必须提供一个或多个用户参考 该产品必须安装在至少全球两大地区 关键能力评级 关键能力评级 每个满足入选标准的产品或服务都对几个关键能力进行评估 见表2和图1 其数值在1 0 最低 到5 0 最高 之间 表2 产品关键能力评估表 资料来源 Garter 2013年1月 图1 每个供应商产品的整体分数为每个关键能力的未加权分数 要确定每个产品在实际使用情况下的总得分 可以将表2中的评分乘以表1中的权重 得到如表3所示的分数 表3 实际使用情况下的整体得分 资料来源 Gartner 2013年1月 产品可行性的不同是由于每个产品的关键能力得分 这是我们对供应商的战略评估 以及供应商的增强能力和贯穿整个生命周 期的预期产品的评估 而不是对供应商的整体的评估 这需要考虑四个主要领域 战略 支持 执行和投资 战略包括供应商战略 的某一个特定产品适用于其他产品线 市场方向和整体业务 支持包括技术和账户支持质量 以及客户的产品使用经验 执行要考虑 供应商的销售 营销 定价和交易管理的架构和流程 投资要考虑供应商的财务状况 以及业务负责主管对产品继续投资的可能性 每个产品按照上述5个评分被分为四个等级 并得出产品的整体可行性评价 表4为产品的可行性评估 所有实际情况使用的加权得分显示组成部分的整体得分 图2为实际使用案例的整体得分 图3为商业HPC的实际使用情况得分 图4为大型主目录实际使用情况得分 图5为备份归档实际使用情况得分 九大供应商产品优缺点点评 九大供应商产品优缺点点评 Dell Fluid File System FS Dell Fluid FS是戴尔2009年年底收购Exanet技术而来 Fluid FS后端支持不同的戴尔存储阵列 包括PowerVault EqualLogic 和Compellent 许多功能评分 如容量 性能和可靠性等 取决于Fluid FS后端的存储阵列 其中PowerVault解决方案在实际使用 情况下是面向低成本的备份和归档 而Compellent解决方案则属于高性能部署 Fluid FS在高可用基础上有一个横向扩展架构 条 带化的元数据和数据散布在集群中所有节点上为性能提供了保障 目前其部署的最大生产容量已经超过1PB 与同行业相比 Dell Fluid FS通常起始部署规模较小 因为戴尔在小型和中型企业市场所占据的主导地位 Fluid FS并不支持重复数据删除 压缩 多租 户管理或WORM 一写多读 只支持Network File System NFS v 3和Server Message Block SMB v 1 NAS协议 EMC Isilon EMC于2010年年底收购Isilon系统公司 从那时起 EMC就使得Isilon业务不断增长 从2亿美元增至5亿美元 据Garter估计 并突破了Isilon的传统业务领域 如媒体 娱乐和生命科学等 进入到企业级数据中心 以应对新的挑战 如大型主目录和VMware虚 拟服务器 EMC Isilon的NL系列实际上已经越来越多地用于备份和归档 Isilon是基于full stack管理卷的横向扩展架构文件系统 并 提供了内置的数据保护 高达四个节点的奇偶校验以容忍集群内多个节点故障 Isilon最新的OS操作系统 OneFS v 7 0 与2012年11 月推出 增加了很多企业所关注的功能 如文件级写克隆 身份验证区域 用于阵列集成的VMware vStorage API VAAI 和 对VMware vStorage API的存储感知 VASA 支持 以及增强的WORM功能 但是这些新功能必须在现场实现 在产品评估时 Isilon 在容量 性能 可管理性和灵活性方面都遥遥领先 但是其在效率方面仍相对滞后 因为其缺乏重复数据删除和压缩 尤其是在特 别重要备份的使用情况下 Hitachi Data Systems HDS Hitachi NAS HNAS Platform 经过长期的OEM合作关系 从2006年开始 HDS在2011年第三季度收购了BlueArc 以利用磁盘存储日益增长的非结构化 数据 Hitachi NAS HNAS 平台主要定位于业务关键型企业应用和如生命科学 媒体和娱乐等垂直行业 提供一个可扩展的高性能 存储阵列 HNAS通过使用硬件加速来提高并行输入 输出 I O 并将于近期推出性能加速器软件 可选的许可证密钥功能 以提高 其整体性能 HNAS命名空间最多可跨越8个节点 并具备有竞争力的分层存储功能 通过使用企业虚拟服务器 EVS 其可以提供 一个弹性和安全的环境 最大限度地提高可用性 通过与日立内容平台 Hitachi对象存储 和本地WORM功能的整合 扩大了HNAS 的实际使用场景 其中涵盖了归档环境 但是 相对于一些竞争对手的横向扩展文件系统 HNAS仍有一些小的瑕疵 例如缺乏重 复数据删除和压缩方面的功能 重复数据删除技术预计将会在2013年第一季度推出 HP StoreAll Storage 在2009年惠普收购了Ibrix 并与ProLiant服务器上的并行文件系统重新打包形成了X9000系列横向扩展存储系统 以面向高吞 吐量的环境 如高性能计算 HPC 和基于Web的归档等市场 2012年12月 惠普推出了新的平台 HP StoreAll存储 其充分利用 了Ibrix的横向扩展引擎和一些新的特性 如StoreAll快速查询 可非常快速地进行海量内容搜索 惠普还将快速查询与HP Autonomy Intelligent Data Operating Layer IDOL 相集成以接近实时地对大数据进行查询 HP StoreAll在单一命名空间内支持高达16PB的容量 和超过1024个节点 自动化 基于策略的数据分层已是标准功能 与之集成的HP Systems Insight Manager SIM and Storage Essentials等工具让管理变得更加容易 StoreAll系列具备本地WORM功能和广泛的ISV支持 在PB级归档市场 其是已经成为一个 非常有吸引力的产品 惠普还在一个统一的定价机制了打包了所有的硬件和软件 StoreAll系列产品依靠后端存储阵列所具备的自 动精简配置具有较好的效率 但缺乏重复数据删除和压缩等功能 惠普用于备份并内嵌重复数据删除技术的产品名为StoreOnce 其也是利用Ibrix的横向扩展技术 但本报告并没有评估此备份设备 IBM Scale Out Network Attached Storage SONAS IBM在2010年初推出了其基于通用并行文件系统 GPFS 的SONAS 迄今为止 在某些特定市场大获成功 GPFS主要面 向HPC研究环境 为大型Linux计算集群提供高度并行的存储吞吐量 SONAS是一个交钥匙的软件和硬件解决方案 在更为广泛的 市场上超越了HPC IBM利用XIV存储阵列里高度可视化的图形用户界面 GUI 改善了SONAS的可管理性 因为其高容量的可扩展性 和高吞吐性能 在本报告中 其获得高度评价 其同样也提供了一些独特的功能 如在一个跨地域的命名空间内提供全局协作 并 在同一个命名空间内支持磁带层 但是 其存储效率和弹性取决于其后端的不同存储阵列 并缺乏重复数据删除和压缩技术 NetApp Clustered Data Ontap 本次报告只评估了NetApp Clustered Data Ontap v 8 x 其增加了一个全局命名空间 负载均衡功能和联邦管理 非聚簇文件系 统等流行功能集 驱动用户采用Clustered Data Ontap的原因主要是更新由于中断的故障迁移来进行新的部署或结束 NetApp Clustered Data Ontap最多可支持12个成对的故障转移节点 最大可扩展到50PB 其可使用户在不同配对节点之间进行透明迁移以 实现负载均衡 在大的环境下其具有高可用性 并简化了管理的复杂性 NetApp在整合Windows文件服务器主目录方面一直占据了 市场领先地位 Clustered Data Ontap还提供对Common Internet File System CIFS 的支持 使其成为一个更具扩展性的环境 在本 报告的关键能力评估中 Clustered Data Ontap在存储效率 灵活性 性能和安全性 以及互操作性方面都获得了高度评价 最新 的Data Ontap v 8 1 1版本与2012年6月推出 引入了一项称之为无限卷的新功能 在单一空间内提供高达20PB的存储容量 可管 理多大2亿个文件 但是 无限卷目前仅支持NFS v 3版本 重复数据删除触发的FlexVol等级比无限卷水平要小得多 Clustered Data Ontap在重要的备份和归档方面目前不支持一些非集群的标准功能 例如SnapVault和WORM 与NetApp非聚簇存储相比 增 加了管理的复杂性 Nexenta NexentaStor 本研究只评估了NexentaStor产品命名空间的集群插件软件 Nexenta公司成立于2004年 在2008年推出了开源 产品 NexentaStor是基于开源项目illumos而来 Illumos最初由Sun Microsystems开发 后续合并到OpenSolaris 包括ZFS 为了 弥补没有自带的并行文件系统 NexentaStor开发了一个命名空间集群外挂软件选项 使其具备水平缩放和全局命名空间功能 NexentaStor的商业部署超过4000家 其中只有少数用户使用全局命名空间集群插件 该产品提供了统一的块和文件存储 并支持 无限快照 同步复制 自动精简配置和虚拟机集成 VMware 思杰和微软 使得NexentaStor在企业级IT市场很有吸引力 但 是Nexenta相对滞后的是其可管理性和安全性 其公司的基础设施支持需要改善 以满足用户不断扩大的全局需求 Quantum StorNext Quantum是一个IT认识所熟知的磁带机磁带库数据保护和管理产品制造商 2006年 昆腾收购了Advanced Digital Information 并通过