NetApp容灾备份技术SnapMirrorSnapVaultOSSV.docx

1.1 SnapMirror1.1.1 技术原理今天的全球性企业需要在发生自然或人为灾难、操作员出错或是技术和应用出现故障的情况下，保护数据并快速进行恢复。它们还需要一个有效的方式将数据发布到远程位置。如果没有有效的数据保护和发布策略，运作过程可能会被迫中断，导致数百万美元的收入损失。NetApp SnapMirror 软件具有强大的功能，而且易于使用和管理，它满足了当前的全球性企业对灾难恢复和数据分布解决方案的需要。通过在 LAN 或 WAN 上高速复制数据，SnapMirror 软件将尽可能地为关键应用程序提供最高的数据可用性和最快的恢复速度。SnapMirror 技术将数据镜像到一个或多个网络 Filer 上。 SnapMirror 不断地更新镜像数据，以确保数据是最新的，并且能够用于进行灾难恢复、减少磁带备份、发布只读数据、在非生产性 Filer 上进行测试、执行联机数据迁移等等。如果您的企业分布在不同的地点，而所有地点都需要访问培训录像和 CAD 工具等相同的数据集，SnapMirror 可以将同一数据发布到所有地点。通过自动更新这些数据，并支持对镜像数据的本地访问方式，SnapMirror 可以大大提高员工的工作效率。节省宝贵的网络带宽NetApp SnapMirror 软件具有许多节省带宽的功能，可以降低数据复制和灾难恢复的基础设施成本。您可以先用磁带执行一次整卷数据传输，然后再用那些磁带在远程位置装入数据。之后，您只需要通过网络对新的数据块和更改的块进行增量更新。由于只需复制所有 Filer 数据的一小部分，SnapMirror 大大降低了对网络带宽的需求。此外，SnapMirror 在数据传输过程中会设置检查点。如果系统出现故障，传输会从最近的检查点重新开始。SnapMirror 还会执行智能的重新同步过程，这样，在从镜像损坏的状态或不同步的状态进行恢复时，无需传输整卷数据。如果在应用程序测试期间修改了镜像副本上的数据，可以将生产系统上的新数据块和更改的数据块复制到镜像副本，使镜像副本快速实现与生产数据的重新同步。灵活的配置NetApp SnapMirror 可以方便地部署到任何具有足够的带宽来处理数据传输的网络基础设施中。它能够支持多种传输方式（FC 和 IP），这一点确保可以更好地利用现有设备，并且还因能够实现路径间的容错而提高了可用性。SnapMirror 允许客户选择适当的同步级别（同步、半同步和异步），从而实现了较高的灾难恢复保护级别。例如，如果选择“同步”选项的话，远程站点的复制数据将始终是最新的，并能在发生故障后随时提供。这一方式简化了灾难恢复过程，降低了系统宕机时间。而“半同步”允许客户根据站点的需要，确定有多少 I/O 操作可以失去同步，或者是复制站点可以在多长时间内与数据源失去同步。而“异步”选项则允许您根据需要（每分钟、每小时或每天）任意安排传输过程。您可以设置最适合每一站点的频率。时间安排很容易修改，而且修改后可以立即生效。您还可以为源系统和镜像系统选择不同的 Filer 配置。源系统可以是具有 6TB 存储空间的集群 Filer，它将 2TB 的关键数据镜像到另一种型号的 Filer 上。此外，得益于级联和多跃点镜像方式，NetApp SnapMirror 目标卷可以作为其他目标的源卷，而且每个“镜像对”都可以有自己的时间安排以满足各个站点的特定需求。如果需要远距离复制数据，级联镜像是非常理想的解决方案。例如，如果是从纽约将数据复制到巴黎、罗马和伦敦，您可以将数据从纽约复制到伦敦，然后使用低成本链接将数据从伦敦复制到巴黎和罗马。图 1：SnapMirror：级联方式的配置使用 SnapMirror，可以将数据高效和经济合算地复制到远程站点，以便进行灾难恢复或数据分布。易于使用，经济合算用户在几分钟内就可以设置好 SnapMirror，并能通过易于使用的 DataFabric Manager (DFM) 图形用户界面进行管理和操作。Filer 支持 SnapMirror 软件，您不需要再安装其他软件。通过内置的 SNMP 支持功能，可以方便地与 SNMP 框架进行集成。1.1.2 技术特点 快速数据复制和容错将主站点发生故障的宕机成本降至最低。 访问镜像数据减少磁带备份，让您在灾难恢复上的投资物超所值。 卷或 Qtree 复制镜像选定的数据集，大大降低了对网络基础设施的要求。 选择复制过程的同步级别采用一个产品即可控制复制的频率（异步、同步或准同步）。 更有效地利用网络降低了数据复制和灾难恢复的成本。 设置简便几乎不需要增加 IT 资源；可以经常测试灾难恢复计划。SnapMirror可以用于： 灾难恢复将数据镜像到远程位置以实现容错。 数据分布使用级联或多跃点镜像方式，将数据集发送到世界各地。 远程数据访问应用程序能够以只读模式访问镜像数据。 联机数据迁移将数据迁移导致的宕机时间减到最少。 数据复制使用镜像数据可以进行隔离测试。 同步的数据复制保证各站点间关键数据的一致性。 负载均衡通过访问镜像数据，在更多的客户端之间分摊负载。 实现一致的数据保护使用 SnapLock 软件，能够在 Worm 卷之间实现完全一致的复制。1.1.3 技术优势 NetApp的SnapMirror支持多种复制方式，用于适应不同的容灾环境，包括：同步，准同步，异步。异步方式的复制对于距离没有限制。 SnapMirror支持多种网络环境，用于适应不同的容灾环境，包括：IP接口和FC接口。 SnapMirror支持多种拓扑方式的复制，包括：1对多；多对1；级联复制等。 SnapMirror支持对多种数据的复制，包括：基于卷的复制，基于qtree的复制，支持对NAS / SAN /iSCSI中的数据复制。 SnapMirror只传输变化的数据块，可以大大节省网络带宽和减轻Filer的负载。1.1.4 系统要求 NetApp的FAS900；F800；FAS200；NearStore R200系列统一网络存储产品均支持SnapMirror功能。 同步SnapMirror要求源Filer和目标Filer必须采用相同大小和转速的磁盘。 在FAS系列和NearStore系列产品之间必须部署异步的SnapMirror功能。 FAS250只能实施基于IP端口的SnapMirror。 系统软件版本DataOnTap 6.5.1以上。1.2 SnapVault1.2.1 技术原理企业数据备份一直以来都是一个耗时、昂贵，而且有时还不太可靠的过程。今天，企业运营过程中涉及的数据量普遍在增长，而可用于进行备份的时间却越来越短。要建立一个有效的数据保护系统，还需要在服务器、网络、磁带技术和人力上进行大量投资，再加上磁带介质的成本。备份和恢复操作也会中断对重要信息的访问，从而导致生产效率和收益的降低。为确保重要数据始终能得到保护并且易于恢复，NetApp 开发了 SnapVault。通过经常将 NetApp 或其他存储平台上所存储的数据备份到 Network Appliance 企业存储系统或 NearStore 系统上， SnapVault 为异构存储环境提供了一种基于磁盘的集中式备份解决方案。通过将多个 Snapshot 副本中的备份数据存储到 SnapVault 辅助存储系统上，企业可以联机保留数周的备份，以便于进行快速恢复。SnapVault 还允许用户选择备份的数据对象、备份频率及备份副本要保留的时间。图 2：NetApp数据保护整体解决方案SnapVault是NetApp公司一个需要许可（付费）的软件产品。SnapVault的功能是增强对于filer以及第三方开放系统的数据保护能力，其机制是通过定时快速备份分散的多个filer上的快照和多个开放系统的数据到一个中心在线磁盘设备上，并且能够实现快速在线恢复。从而，提供给你一个统一异构系统备份的整体解决方案。SnapVault包含主系统和次系统两部分，SnapVault主系统（Primary system）是需要被备份的存储系统，可以是Netapp的设备，也可以是第三方的开放系统。SnapVault次系统（Second system）是放置备份数据的设备，只能是NetApp公司的存储设备，因为需要使用NetApp的Data ONTAP操作系统。需要注意的是，gFiler系列硬件平台不能支持对第三方系统的备份。1.2.2 技术特点提高您对数据备份和恢复的信心SnapVault 采用具有 RAID 保护措施的磁盘存储系统作为备份介质，可提供较高的可靠性。将备份数据存储到磁盘上后，管理员可以方便地对数据进行校验，从而提高对备份信息的信心。利用 SnapVault 按小时备份的功能，企业可以明显提高恢复时间目标 和恢复点目标 ，以满足对业务连续性日益增长的需要。降低总拥有成本SnapVault 可以通过多种方式降低成本。第一，SnapVault 是一个自动化解决方案，可以节省管理时间和资源，同时降低日常备份数据的成本。第二，SnapVault 非常易用，员工可以自己进行恢复，从而提高生产率。第三，使用 SnapVault 管理员可以首先恢复最重要的关键数据，以最快的速度使业务运作恢复正常。第四，SnapVault 支持集中和统一备份，因此其基础设施成本较同类解决方案要低得多，从而进一步降低了总备份成本。最后一点，由于 SnapVault 可以联机存储多个长期 Snapshot 副本，因此无需频繁进行磁带备份，节省了介质成本。减小备份对生产环境的影响将数据备份到磁带会导致性能降低，耗用网络带宽，而且常常需要昂贵的专用备份网络。SnapVault 消除了这些问题。通过提供真正的永久增量备份，SnapVault 降低了基础设施的需求。完成初次的完整备份后，后续的所有备份将只通过网络发送更改的数据（增量块或增量文件）。由于只复制发生更改的数据，SnapVault 不会耗尽客户端 CPU 资源。现在，所有磁带备份操作都可以转移到 SnapVault 辅助存储系统上，消除了磁带备份对生产文件服务器和网络的影响。利用DataFabric Manager进行集中管理DataFabric Manager (DFM) 业务连续性模块使您可以集中管理异构存储环境中的整个备份和恢复操作。 DFM 具有使用简单的界面，用于设置备份组、备份计划和保留策略。 DFM 还提供了一个用于手动备份和恢复的工具，功能非常直观。集中备份通过将多个 SnapVault 主存储系统备份到一台大型 SnapVault 辅助存储系统上的一个 Snapshot，企业现在可以在一个位置集中执行备份和恢复操作。 SnapVault 主存储系统通过 LAN 连接（或位于通过 WAN 连接的远程办事处）的 Filer 或 Windows 或 UNIX 服务器。SnapVault 辅助存储系统也可以放置在远程灾难恢复站点上，在生产站点发生故障时提供保护。所有磁带备份操作都可以在 SnapVault 辅助存储系统上执行，集中了全部数据保护资源。易于使用和管理DataFabric Manager 简化了 SnapVault 的设置和配置过程。完成设置后，备份过程完全自动化，几乎不需要人为操作。 由于备份联机存储，因此即使没有管理员帮助用户也可以恢复文件。他们可以浏览文件系统，查看备份了哪些文件，然后只需简单地拖放就可以恢复相应的文件和目录。由于 SnapVault 备份是只读的，因此可以防止用户或应用程序不小心将其覆盖。其它特点 联机备份和恢复大大简化了数据备份和恢复过程，并提高了其可靠性。 永远是增量备份更高效的使用 CPU 和网络资源，并将所需存储空间减至最少。 与 Snapshot技术无缝集成高效地联机存储数个星期的备份，无需进行增量磁带备份，降低了磁带介质成本。 利用标准网络基础设施将备份存储在本地以便快速恢复；或存储在远程站点以便灾难恢复。 简单的自动化操作降低了备份管理的成本。 1.2.3 技术优势1. 加速恢复 传统的磁带备份，为了恢复全部数据，需要先要恢复一个全备份，然后按顺序恢复每个增量备份。如果是每周进行一次全备份，每天进行增量备份，则恢复涉及到1次全恢复和6次增量恢复。如果全备份比较少而增量备份更多，一次全面的数据会将花费无法忍受的长时间。SnapVault处理了这些问题。通过把备份存储在WAFL文件系统上，加强了备份的可靠性，这些备份象在其它NetApp存储系统上一样受到RAID、块校验、定期磁盘清理等的保护。因为使用快照拷贝来描述增量备份，这是整个数据的一个时间点的映像，所以恢复变的很简单，而且可以一次操作就完成全部恢复，不需要管理大数量的磁带。恢复简单恢复恢复需要消耗更多时间，也更复杂备份窗口只需要一次全备份窗口定期需要大的备份窗口网络带宽永远只进行增量备份，节省网络带宽基于局域网的解决方案，定期的全备份需要可观的带宽存储介质只保存变化的块，节省磁盘空间保存整个文件，需要更多介质表 1：SnapVault和磁带备份比较快速可靠的恢复NY备份消耗很少的备份介质（节省成本）NY恢复不需要管理员干预NY远程/分部备份更容易管理NY缩小备份窗口NY备份数据通过RAID来保护，以及块级别的校验NY实施备份消耗很少的网络带宽NY表 2：减少传统备份的问题2. 简单化了恢复根据Strategic调查公司，“平均来说，企业每天损失了612小时的生产力在等待数据恢复上面”。SnapVault一个独一无二的好处是用户不需要特殊的软件或特权就可以恢复全部数据。任何用户想要恢复自己数据时候，不需要系统管理员参与，因此节省了最终用户的时间和金钱，也解放了非常宝贵的系统管理员时间。如果需要，数据恢复也可以限制到具体授权的人。从一个SnapVault备份上恢复一个文件非常简单，只需要通过NFS mount或者CIFS共享把原始文件获取出来，SnapVault次系统可以被配置为NFS输出和CIFS共享。当用户可以获取目标子卷时，从次系统上恢复数据就像从本地快照映像中拷贝数据一样简单。可以采用拖拉的方式或者使用简单的拷贝命令，这跟具体的环境有关。如果SnapVault是在开放系统环境中使用，恢复过程可以通过命令行直接在主系统上开始。一次全部数据的恢复也可以采用同样方法实现，如果用户获取适当的话。通过使用snapvault restore命令，SnapVault提供了一个简单的接口来从一个选定的快照拷贝恢复全部数据。一个用户可以在主系统上使用snapvault restore命令来从一个次系统上恢复整个子卷/目录的全部数据。主数据会是只读的，直到传送完成才会变成可写的。恢复之后，用户需要可以选择继续备份恢复的数据到次系统上。作为对比，从磁带上恢复会消耗相当多的资源。用户有时候可以自己恢复单个文件，但往往需要管理员来恢复。包含有备份文件的磁带需要安装，有时候甚至需要从远程存储地点运过来，需要备份软件把文件从磁带传送到需要的主机上。备份管理员开始磁带恢复过程，有时候还需要从正确的位置确定磁带。磁带大约花费7秒到2分钟的时间被安装上，往往再需要几秒或更多时间定位到正确的位置，最后才开始读数据。如果是一个全恢复，数据需要使用一个最新的全拷贝和随后的增量备份。如果一个恢复需要一个全拷贝和全拷贝之后的所有增量备份，那么磁带解决方案中介质发生问题的概率就大大增加了。这个过程是时间很长并且单调乏味的，具体情况和恢复的数据的数量有关。恢复过程可能会花费几个小时或者几天。如果在整个恢复过程中出现一次错误，整个恢复过程需要重新开始，当然就大大增加了停机时间。如果是一个大型关键数据库的数据在进行恢复，在整个恢复过程中，所有用户均无法使用。3. 可靠性既然传统增量备份情况下，恢复全部数据也需要一个全备份，那么由于介质错误或其它原因引起的全备份失败将造成所有增量备份的失效。传统备份应用使用磁带作为离线存储，不把磁带放到驱动器并把数据读出来之前，没有人能确定磁带中的数据是否可读。即使每一盒磁带介质在写完之后被单独的读一下并校验，也可能在恢复的时候仍然失败，因为不正确的操作。随着每次全备份之后增量备份次数的增加，存在很多的不确定因素。解决这个问题一个常用的方法是更加频繁的进行全备份，于是备份磁带的数量成倍的增加。成倍增加备份磁带以及提供一个远程备份拷贝的目的是提供一个解决的第2份拷贝，以防止万一拷贝损坏。但是，错误数据也可能简单的被拷贝到了另外一套磁带上。4. 减少在备份上花费的时间（永远进行增量备份）SnapVault提供了永远进行增量备份的承诺。一个增量备份拷贝仅仅拷贝变化的数据到备份介质上。在传统备份架构中，保存的是整个文件，而SnapVault情况下保存的只是变化的块，从而实现了空间的节省。因为增量备份花费更少的时间、消耗更少的网络带宽和备份介质，它也就更节省成本。5. 节省空间/介质因为SanpVault仅仅需要存储数据变化的块，所以存储容量的需求要远远小于存储整个变化文件的传统备份方法。测试案例：使用一个10G