面向大数据的归档解决方案

面向大数据的归档解决方案同时为在线和归档数据服务:

通过Isilon

系列节点的集群使用，单个IsilonNAS群集可以同时被多种工作负载使用，涉及目录、虚拟化文献存储和归档库，而不用紧张对性能的影响以及对长期数据保存的特殊解决。除此之外它尚有以下关键优势：

提供在线存储级性能的归档服务：对大数据归档，Isilon瞬时访问速度可以扩展到超过每秒100GB的吞吐量。

自动管理和自我修复功能：单个Isilon群集可以方便地扩展至超过20PB的容量。系统的自我管理和分派功能可以监控系统并自我修复系统内的任何故障。

消除数据迁移风险：当新的存储节点、更新或更有性价比（存储效率）的硬盘被加入到系统中时，可以提供自动迁移功能。它不会有磁带介质退化的问题，使得长期归档服务成为了也许。

高可用和数据保护：

Isilon

OneFS操作环境通过FlexProtect技术提供横向扩展的数据保护。区别于传统的RAID技术，FlexProtect采用特定于文献的方法来实现数据保护，为每个文献单独存储保护信息。这种独立保护允许将保护数据连同文献数据一起散布在整个群集中，从而在需要时大幅提高数据访问和重建的潜在并行度。在Isilon存储系统中存在节点或驱动器故障时，FlexProtect可以拟定文献的哪些部分受故障的影响，并让多个节点仅参与受影响的文献的重新构建。

Isilon

SmartLock技术添加了一个安全层，保护归档数据不会由于意外、提前或恶意的变更而被删除。SmartLock公司版（EnterpriseEdition）符合最严格的SEC-17a4法规，它能和Isilon

OneFS操作系统完整结合并无缝地与其它的OneFS应用整合，比如SmartPools自动存储分层、SnapshotIQ和SyncIQ本地和远程数据复制和劫难恢复技术。关于Isilon数据保护方面的内容可以参看论坛之前的文章：

OneFS操作系统软件概述之数据保护（一）

OneFS操作系统软件概述之数据保护（二）

详解Isilon数据保护和备份技术

减少大数据归档的存储成本：

Isilon横向扩展NAS为非结构化数据提供了最有效的空间使用效率，提供显著的资本和运营支出结余。它提供开放的、标准的NAS和基于RESTful对象接口协议。为您公司内部应用选择合适的归档方案提供了便利。一旦数据从主存储归档，Isilon会使用一系列功能保证归档文献尽也许有效率地存放：

单文献系统和单存储卷的简化使得其存储利率用超过80%。和传统的归档系统不同，Isilon群集的存储效率、可用性和性能会在容量提高时同步提高。

SmartPools技术提供自动化的、基于策略的分层策略。根据相关性和权值，数据会被放入高性能的存储池或高容量的存储池中。

简朴的、横向扩展的架构可以整合文献数据，减少整个组织内文献的存放位置。从而减少管理成本和归档的操作流程。OneFS操作系统软件概述之数据保护电源故障Isilon存储系统在将数据写入磁盘前，会将数据日记Journal写入NVRAM非易失随机存取存储器中。数据日记Journal用于保存变更信息到文献系统，当Isilon存储系统遭遇电源故障时，通过数据日记Journal中保存的变更信息可以保证系统可以快速的从故障中恢复。假如系统设计未采用Journal机制，那么文献系统将需要检测所有潜在文献系统改变，然后才干将文献系统恢复正常。OneFS是一个日记文献系统，每个节点都拥有单独电池供电的NVRAM卡。在特殊情况下，NVRAM卡可以完毕未提交的写操作。在不充电的情况下，NVRAM卡的电池可以连续使用多日。当一个节点恢复后，系统会检查数据日记Journal。OneFS操作系统在保证所有未解决的操作已经被记录的情况下，才加载文献系统。假如用户没有遵循对的的关机程序，NVRAM电池没有充电，并且Transactions已经丢失的情况下，节点是不会加载文献系统。Quorum机制为了保证集群可以正常运营和数据可以写入，节点必须符合quorum机制。Quorum机制的定义是：当一个集群拥有N个节点，那么在（N÷2）+1个节点在线的情况下客户端才干对集群正常写入数据。例如：一个7节点的群集，必须有4个节点在线才符合quorum机制。假如一个节点或者群集工作正常，但是群集节点都不符合quorum机制，那么这个群集将处在只读状态。Isilon存储系统的quorum机制是为了保护处在“split-brain”状态群集的数据安全。“Split-brain”是指一个群集被临时分割成二个小群集。符合quorum规则时，系统可以保证无论多少节点故障或者恢复联机，系统可以保证写操作和之前写操作数据的一致性。通过Quorum机制可以算出指定数据保护下需要的节点数目。对于以N+M的擦除码为基础的保护级别，群集必须包含2M+1个节点。例如：七个节点群集最少需要N+3配置，这样可以保证在群集丢失3个节点的情况下仍然可以保持正常运营。假如一个群集不符合quorum规则，那么该群集只能处在只读状态。节点硬件故障OneFS操作系统的组管理协议用于保证集群全局性，并保证整个集群中所有节点状态一致。当一个或多个节点无法通过内部连接访问群集时，这些节点在集群中将会被删除。当集群被分裂成二个不同的节点群体，符合Quorum机制的节点群体将可以继续被客户端读写，不符合Quorum机制节点群体上的数据也可以继续为客户端提供读操作服务。在集群处在“分裂”状态时，文献系统中的所有数据都将处在可读状态。假如Isilon故障节点恢复后，这些节点将被重新添加回群集中，节点恢复过程不需要重建和重新配置。这个过程比硬件RAID阵列的故障恢复更加高效，由于硬件RAID阵列的恢复需要重建磁盘阵列。在故障节点重新加入群集后，AutoBalance会对分裂过程中被覆盖的保护区重新做条带以提高读写效率。OneFS操作系统的collect进程会扮演orphan数据收集者的角色。Orphan数据是在群集分裂时产生的数据块。当群集在存在写操作时发生分裂，一些分派给文献的块会被重新写入符合Quorum机制的节点群体，那么在不符合Quorum机制的节点群体中就会产生Orphan数据。当群集重新合并后，collect进程将标记这些orphan数据块，并回收它们在群集中的可用空间。数据重建OneFS操作系统不依赖RAID阵列来分派数据或者故障后重建数据。在故障发生后，OneFS操作系统将直接管理文献数据的保护，并通过并行的方式重建数据。OneFS可以直接侦测到受故障影响的文献、读取节点数据和关闭磁盘。通过集群节点上的Job引擎，受影响的文献将会被分派给一组相应的线程。工作节点会通过并行的方式修复文献。这种数据重建机制意味着群集规模越大，数据重建消耗的时间将越小。虚拟热备份技术在基于RAID阵列的传统存储系统中，热备用驱动器被用于替代RAID硬件阵列中的故障磁盘。假如在热备用驱动器替代RAID阵列中的故障驱动器前，系统出现其它故障驱动器，系统将面临极大的数据丢失风险。OneFS操作系统没有使用热备用驱动器技术，而是运用系统中可用空间来进行虚拟热备。虚拟热备份让系统具有了完全自愈，无需人工干预的恢复机制。存储管理员可以通过创建一个虚拟的热备份存储空间，保证系统在用户连续写入时可以自我修复。详解Isilon数据保护和备份技术数据保护是指在不影响重要数据运营的前提下，可以实现连续捕获或跟踪目的数据所发生的任何改变，并且可以恢复到以前任何时间点的方法。备份则是指为防止系统出现操作失误或系统故障导致数据丢失，而将所有或者部分数据集合到应用主机的硬盘或阵列复制到其它的存储介质的过程。

RTO和RPO是用于衡量数据保护和备份成功与否的重要指标，RTO是指信息系统从劫难状态恢复到可运营状态所需要的时间，RPO是指业务系统所允许的在劫伤心程中的最大数据丢失量。

在Isilon上重要使用以下几种数据保护和备份技术：

FlexProtect

FlexProtect数据保护技术，该技术是OneFS独有的数据保护方式。通过自动搜索未受保护的文献并且修复这些文献，在集群上定义数据保护级别，数据保护可以应用到单个集群、单独的目录、子目录或者单个文献，灵活的数据保护级别设立让管理员可认为重要的数据设立更高的数据保护级别，以便获得更小的RPO。

FlexProtect数据保护技术使用ReedSolomon算法，该算法跨集群中的多个节点解决数据，使客户在丢失多个磁盘或者节点的情况下仍可以访问所有数据。更多FlexProtect信息，请参考文档《OneFS6.0.xUserGuide》和《OneFS6.5.xUserGuide》中的章节“OneFSdataprotection”和“Modifyprotectionsettings”或者文档《OneFS5.xUserGuide》中的章节“ManagingProtectionLevels”。

SmartConnect

SmartConnect应用软件为用户提供了业界领先的高可用性和性能，来满足永远在线的、永不中断的业务规定。通过使用单一的主机名，SmartConnect支持客户端连接负载平衡和客户端连接在存储节点上的动态NFS的故障切换和故障恢复，提供了最佳的集群资源运用率。Windows客户端使用别的节点来加载CIFS共享也非常方便，无需安装客户端驱动程序，管理员就能容易地管理不断增长的众多客户端，保证即使发生了一个系统故障，所有读写操作也能成功完毕。

默认情况下，OneFS涉及SmartConnect基本版应用软件，SmartConnect高级版软件需要付费购买。更多SmartConnect信息请参考文档《OneFS6.5.xUserGuide》的“SmartConnectmanagement”和“Configureconnectionbalancing”章节或者文档《OneFS6.0.xUserGuide》的“ConnectionbalancingwithSmartConnect”章节。

SnapshotIQ

SnapshotIQ快照技术是OneFS中需要license的可选功能，该功能在激活后，可以通过Isilon网页管理端口或者命令行来配置。

SnapshotIQ快照技术以简便的、可扩展和灵活的方式，为集群存储提供公司级的保护和用户驱动的数据恢复。SnapshotIQ支持在高度可扩展的单一集群存储池内对数据不限量的快照，和在任何单个目录内对数据高达1024个的快照，显示出SnapshotIQ在传统快照技术基础上的巨大进步。Isilon快照技术是对数据的瞬间只读影像，能可靠地将不限量的快照分布到多个高度可用的IsilonIQ集群存储节点上。

SnapshotIQ具有以下优势：1、SnapshotIQ创建在目录层，相对传统快照技术（创建于卷层）能提供更好的颗粒度；2、支持windows卷快照管理，windows客户端可以恢复到之前版本；3、SnapshotIQ技术拥有更灵活的制度和定义计划；4、新快照命名更方便管理快照；5、单目录最多支持1024个快照，集群级别无快照数限制；6、快照支持COW和pointer-based二种策略。

更多SnapshotIQ信息，请参考文档《OneFSUserGuide》章节“IsilonSnapshotIQmodule”。

SyncIQ

SyncIQ复制软件为劫难恢复、业务连续性、磁盘到磁盘备份和远程磁盘归档提供强大、灵活和易于管理的数据复制。SyncIQ具有的独特复制性能使得Isilon群集上的每个节点都可以发送和接受数据，因此，它事实上会随着数据存储的增长而加快速度，并且可以对其进行配置以充足运用所有可用的网络带宽。由于源和目的都可以扩展到数PB

容量，而不需要划分为多个卷或文献系统，因此数据复制在开始时很简朴，并且随着系统扩展将保持简朴性，从而为劫难恢复提供坚实的基础。

简朴而直观的

Web

界面使您可以轻松组织SyncIQ

复制作业的频率和优先级，以符合您的业务连续性优先级。通常，将建立

SyncIQ

反复性作业以保护公司劫难恢复计划中的各个重要恢复点目的需要的数据——每

6

小时同步一次客户数据，每2

天同步一次

HR

数据等等。根据业务重要限度，配置目录、文献系统甚至特定文献以进行频率较高或较低的复制。为需要保存的停用数据创建远程归档副本，以便回收生产系统中的宝贵容量。

复制不应引起中断，而

SyncIQ

具有无中断特性；恰好占用您指定的或高或低的系统资源和网络带宽。默认情况下，SyncIQ

将占用所有空闲系统资源和网络资源。为了获得更高的灵活性，您可以限制SyncIQ

系统或网络资源运用率，并将同步作业安排在非高峰时段进行。

更多SyncIQ信息，请参考文档《OneFS6.xUserGuide》章节“TheIsilonSyncIQmodule”、文档《OneFS5.5UserGuide》章节“TheIsilonSyncIQv2.5Module”和文档《OneFS5.0UserGuid