面向大数据的归档解决方案

.面向大数据的归档解决方案同时为在线和归档数据服务: 通过Isilon系列节点的集群使用，单个Isilon NAS群集可以同时被多种工作负载使用，包括目录、虚拟化文件存储和归档库，而不用担心对性能的影响以及对长期数据保存的特殊处理。除此之外它还有以下关键优势：提供在线存储级性能的归档服务：对大数据归档，Isilon瞬时访问速度可以扩展到超过每秒100 GB的吞吐量。自动管理和自我修复功能：单个Isilon群集可以方便地扩展至超过20 PB的容量。系统的自我管理和分配功能可以监控系统并自我修复系统内的任何故障。消除数据迁移风险：当新的存储节点、更新或更有性价比（存储效率）的硬盘被加入到系统中时，可以提供自动迁移功能。它不会有磁带介质退化的问题，使得长期归档服务成为了可能。高可用和数据保护： IsilonOneFS操作环境通过FlexProtect技术提供横向扩展的数据保护。区别于传统的RAID技术，FlexProtect采用特定于文件的方法来实现数据保护，为每个文件单独存储保护信息。这种独立保护允许将保护数据连同文件数据一起散布在整个群集中，从而在需要时大幅提高数据访问和重建的潜在并行度。在Isilon存储系统中存在节点或驱动器故障时，FlexProtect能够确定文件的哪些部分受故障的影响，并让多个节点仅参与受影响的文件的重新构建。 IsilonSmartLock技术添加了一个安全层，保护归档数据不会因为意外、提前或恶意的变更而被删除。SmartLock企业版（Enterprise Edition）符合最严格的SEC-17a4法规，它能和IsilonOneFS操作系统完整结合并无缝地与其它的OneFS应用整合，比如SmartPools自动存储分层、SnapshotIQ和SyncIQ本地和远程数据复制和灾难恢复技术。关于Isilon数据保护方面的内容可以参看论坛之前的文章：OneFS操作系统软件概述之数据保护（一）OneFS操作系统软件概述之数据保护（二）详解Isilon数据保护和备份技术减少大数据归档的存储成本： Isilon横向扩展NAS为非结构化数据提供了最有效的空间使用效率，提供显著的资本和运营支出结余。它提供开放的、标准的NAS和基于RESTful对象接口协议。为您企业内部应用选择合适的归档方案提供了便利。一旦数据从主存储归档，Isilon会使用一系列功能确保归档文件尽可能有效率地存放：单文件系统和单存储卷的简化使得其存储利率用超过80%。和传统的归档系统不同，Isilon群集的存储效率、可用性和性能会在容量提升时同步提升。SmartPools技术提供自动化的、基于策略的分层策略。根据相关性和权值，数据会被放入高性能的存储池或高容量的存储池中。简单的、横向扩展的架构可以整合文件数据，减少整个组织内文件的存放位置。从而减少管理成本和归档的操作流程。OneFS操作系统软件概述之数据保护电源故障 Isilon存储系统在将数据写入磁盘前，会将数据日志Journal写入NVRAM非易失随机存取存储器中。数据日志Journal用于保存变更信息到文件系统，当Isilon存储系统遭遇电源故障时，通过数据日志Journal中保存的变更信息可以确保系统能够快速的从故障中恢复。如果系统设计未采用Journal机制，那么文件系统将需要检测所有潜在文件系统改变，然后才能将文件系统恢复正常。 OneFS是一个日志文件系统，每个节点都拥有单独电池供电的NVRAM卡。在特殊情况下，NVRAM卡能够完成未提交的写操作。在不充电的情况下，NVRAM卡的电池可以持续使用多日。当一个节点恢复后，系统会检查数据日志Journal。 OneFS操作系统在确保所有未处理的操作已经被记录的情况下，才加载文件系统。如果用户没有遵循正确的关机程序，NVRAM电池没有充电，而且Transactions已经丢失的情况下，节点是不会加载文件系统。 Quorum机制 为了确保集群能够正常运行和数据能够写入，节点必须符合quorum机制。Quorum机制的定义是：当一个集群拥有N个节点，那么在（N2）+1个节点在线的情况下客户端才能对集群正常写入数据。例如：一个7节点的群集，必须有4个节点在线才符合quorum机制。如果一个节点或者群集工作正常，但是群集节点都不符合quorum机制，那么这个群集将处于只读状态。 Isilon存储系统的quorum机制是为了保护处于“split-brain”状态群集的数据安全。“Split-brain”是指一个群集被临时分割成二个小群集。符合quorum规则时，系统可以保证无论多少节点故障或者恢复联机，系统可以确保写操作和之前写操作数据的一致性。 通过Quorum机制可以算出指定数据保护下需要的节点数目。对于以N+M的擦除码为基础的保护级别，群集必须包含2M+1个节点。例如：七个节点群集最少需要N+3配置，这样可以确保在群集丢失3个节点的情况下仍然可以保持正常运行。如果一个群集不符合quorum规则，那么该群集只能处于只读状态。节点硬件故障 OneFS操作系统的组管理协议用于保证集群全局性，并保证整个集群中所有节点状态一致。当一个或多个节点无法通过内部连接访问群集时，这些节点在集群中将会被删除。当集群被分裂成二个不同的节点群体，符合Quorum机制的节点群体将可以继续被客户端读写，不符合Quorum机制节点群体上的数据也能够继续为客户端提供读操作服务。在集群处于“分裂”状态时，文件系统中的所有数据都将处于可读状态。 如果Isilon故障节点恢复后，这些节点将被重新添加回群集中，节点恢复过程不需要重建和重新配置。这个过程比硬件RAID阵列的故障恢复更加高效，因为硬件RAID阵列的恢复需要重建磁盘阵列。在故障节点重新加入群集后，AutoBalance会对分裂过程中被覆盖的保护区重新做条带以提高读写效率。 OneFS操作系统的collect进程会扮演orphan数据收集者的角色。Orphan数据是在群集分裂时产生的数据块。当群集在存在写操作时发生分裂，一些分配给文件的块会被重新写入符合Quorum机制的节点群体，那么在不符合Quorum机制的节点群体中就会产生Orphan数据。当群集重新合并后，collect进程将标记这些orphan数据块，并回收它们在群集中的可用空间。 数据重建 OneFS操作系统不依赖RAID阵列来分配数据或者故障后重建数据。在故障发生后，OneFS操作系统将直接管理文件数据的保护，并通过并行的方式重建数据。OneFS可以直接侦测到受故障影响的文件、读取节点数据和关闭磁盘。通过集群节点上的Job引擎，受影响的文件将会被分配给一组对应的线程。工作节点会通过并行的方式修复文件。这种数据重建机制意味着群集规模越大，数据重建消耗的时间将越小。 虚拟热备份技术 在基于RAID阵列的传统存储系统中，热备用驱动器被用于替代RAID硬件阵列中的故障磁盘。如果在热备用驱动器替代RAID阵列中的故障驱动器前，系统出现其它故障驱动器，系统将面临极大的数据丢失风险。OneFS操作系统没有使用热备用驱动器技术，而是利用系统中可用空间来进行虚拟热备。虚拟热备份让系统具备了完全自愈，无需人工干预的恢复机制。存储管理员可以通过创建一个虚拟的热备份存储空间，确保系统在用户持续写入时能够自我修复。详解Isilon数据保护和备份技术数据保护是指在不影响主要数据运行的前提下，可以实现持续捕捉或跟踪目标数据所发生的任何改变，并且能够恢复到以前任何时间点的方法。备份则是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或者部分数据集合到应用主机的硬盘或阵列复制到其它的存储介质的过程。RTO和RPO是用于衡量数据保护和备份成功与否的重要指标，RTO是指信息系统从灾难状态恢复到可运行状态所需要的时间，RPO是指业务系统所允许的在灾难过程中的最大数据丢失量。在Isilon上主要使用以下几种数据保护和备份技术：FlexProtectFlexProtect数据保护技术，该技术是OneFS独有的数据保护方式。通过自动搜索未受保护的文件并且修复这些文件，在集群上定义数据保护级别，数据保护可以应用到单个集群、单独的目录、子目录或者单个文件，灵活的数据保护级别设置让管理员可以为重要的数据设置更高的数据保护级别，以便获得更小的RPO。FlexProtect数据保护技术使用Reed Solomon算法，该算法跨集群中的多个节点处理数据，使客户在丢失多个磁盘或者节点的情况下仍可以访问所有数据。更多FlexProtect信息，请参考文档OneFS 6.0.x User Guide和OneFS 6.5.x User Guide中的章节“OneFS data protection”和“Modify protection settings”或者文档OneFS 5.x User Guide中的章节“Managing Protection Levels”。SmartConnectSmartConnect应用软件为用户提供了业界领先的高可用性和性能，来满足永远在线的、永不中断的业务要求。通过使用单一的主机名，SmartConnect支持客户端连接负载平衡和客户端连接在存储节点上的动态NFS的故障切换和故障恢复，提供了最佳的集群资源利用率。Windows客户端使用别的节点来加载CIFS共享也非常方便，无需安装客户端驱动程序，管理员就能容易地管理不断增加的众多客户端，确保即使发生了一个系统故障，所有读写操作也能成功完成。默认情况下，OneFS包括SmartConnect基本版应用软件，SmartConnect高级版软件需要付费购买。更多SmartConnect信息请参考文档OneFS 6.5.x User Guide的“SmartConnect management”和“Configure connection balancing”章节或者文档OneFS 6.0.x User Guide的“Connection balancing with SmartConnect”章节。SnapshotIQSnapshotIQ快照技术是OneFS中需要license的可选功能，该功能在激活后，可以通过Isilon网页管理端口或者命令行来配置。SnapshotIQ快照技术以简便的、可扩展和灵活的方式，为集群存储提供企业级的保护和用户驱动的数据恢复。SnapshotIQ支持在高度可扩展的单一集群存储池内对数据不限量的快照，和在任何单个目录内对数据高达1024个的快照，显示出SnapshotIQ在传统快照技术基础上的巨大进步。Isilon快照技术是对数据的瞬间只读影像，能可靠地将不限量的快照分布到多个高度可用的Isilon IQ集群存储节点上。SnapshotIQ具有以下优势：1、SnapshotIQ创建在目录层，相对传统快照技术（创建于卷层）能提供更好的颗粒度；2、支持windows卷快照管理，windows客户端可以恢复到之前版本；3、SnapshotIQ技术拥有更灵活的制度和定义计划；4、新快照命名更方便管理快照；5、单目录最多支持1024个快照，集群级别无快照数限制；6、快照支持COW和pointer-based二种策略。更多SnapshotIQ信息，请参考文档OneFS User Guide章节“Isilon SnapshotIQ module”。SyncIQSyncIQ复制软件为灾难恢复、业务连续性、磁盘到磁盘备份和远程磁盘归档提供强大、灵活和易于管理的数据复制。SyncIQ具备的独特复制性能使得Isilon群集上的每个节点都可以发送和接收数据，因此，它实际上会随着数据存储的增长而加快速度，并且可以对其进行配置以充分利用所有可用的网络带宽。由于源和目标都可以扩展到数PB容量，而不需要划分为多个卷或文件系统，因此数据复制在开始时很简单，并且随着系统扩展将保持简单性，从而为灾难恢复提供坚实的基础。简单而直观的Web界面使您可以轻松组织SyncIQ复制作业的频率和优先级，以符合您的业务连续性优先级。通常，将建立SyncIQ重复性作业以保护公司灾难恢复计划中的各个主要恢复点目标需要的数据 每6小时同步一次客户数据，每2天同步一次HR数据等等。根据业务重要程度，配置目录、文件系统甚至特定文件以进行频率较高或较低的复制。为需要保留的停用数据创建远程归档副本，以便回收生产系统中的宝贵容量。复制不应引起中断，而SyncIQ具有无中断特性；恰好占用您指定的或高或低的系统资源和网络带宽。默认情况下，SyncIQ将占用所有空闲系统资源和网络资源。为了获得更高的灵活性，您可以限制SyncIQ系统或网络资源利用率，并将同步作业安排在非高峰时段进行。更多SyncIQ信息，请参考文档OneFS 6.x User Guide章节“The Isilon SyncIQ module”、文档OneFS 5.5 User Guide章节“The Isilon SyncIQ v2.5 Module”和文档OneFS 5.0 User Guide章节“The Isilon SyncIQ v2.0 Module”。NDMP网络数据管理协议(NDMP)是一个应用广泛且技术成熟的标准，可利用熟悉的备份和还原应用程序（例如，CommvaultGalaxy、SymantecNetBackup和BakBoneNetVault等）备份已连接网络的存储(NAS)。NDMP使备份服务提供商可以支持各种NAS存储，而无需为每个设备开发专用软件。Isilon IQ集群存储当前支持NDMP规范的版本3和4。NDMP使运行兼容NDMP应用程序的备份服务器可以控制网络存储设备的备份和恢复操作。软件应用程序为了初始化备份和还原进程，