高性能.doc

北京众志和达信息技术有限公司Beijing Soul Information Technology Co., Ltd. SureSave VTL 高性能、高扩展性、低拥有成本的新一代数据保护产品白皮书目 录1. 虚拟磁带库概述32. 虚拟磁带库与机械磁带库的比较32.1 物理磁带库存在的问题.32.2 VTL相对物理磁带库的优势 52.3 新一代VTL不改变传统备份流程、环境和管理界面 63. 虚拟磁带库与基于主机的D2D的比较73.1概要. 73.2 基于主机D2D方式的优点. 73.3 基于主机D2D 的局限性. 83.4 新一代虚拟磁带库实现D2D优化. 83.5 VTL相比D2D小结. 94. SureSave VTL系列概述105. SureSave VTL技术实现105.1 SureSave VTL并行技术105.2 SureSave VTL硬件加速数据压缩功能135.3 SureSave VTL数据复制功能135.4 SureSave VTL重复数据删除技术156. SureSaveVTL技术优势集锦177. 技术规格191. 虚拟磁带库概述随着信息数据量的快速增长, 数据对业务重要性的不断提高，传统磁带备份已经无法继续满足多样化的业务要求。磁带备份窗口的繁多、备份时间和恢复时间的冗长、磁带备份数据高达20%的不可恢复性，这些弊端使磁带不再能独立起到数据保护的作用。与此同时，技术的日益革新、磁盘价格的不断走低、磁盘与磁带的价差不断缩小等等，都使快速磁盘作为备份介质成为可能。将磁盘作为备份介质是传统备份系统的一次重要革新，解决了传统磁带备份系统的备份窗口长（速度慢）、机械故障高、共享和维护困难等难题，满足了应用需求。虚拟磁带库(VTL)是指将磁盘仿真（虚拟）成磁带库，使备份服务器把磁盘（VTL）作为磁带库对待，从而实现在备份操作中用磁盘代替磁带来存储数据的目的。VTL技术是数据备份领域的里程碑，具备多项优势，如性能高、故障率低、可靠性高、成本投入低以及运营成本低等，受到各行业用户的青睐。同时，VTL也可以和现有磁带库集成，提高整体数据保护的安全性和性能，降低数据保护成本。VTL对于其它系统来说，与真实的、自动化的物理磁带库/机设备一样，区别仅在于数据是存储在磁盘上。并且，采用VTL之后，大多数数据中心都明显感觉到，与传统备份方式相比，现在的数据备份进程更为快捷。于是，越来越多的用户开始淘汰掉原来的机械磁带库，采用虚拟磁带库作为主要的备份设备。2. 虚拟磁带库与机械磁带库的比较在探讨VTL的由来以及如何帮助用户解决备份问题之前，我们首先来总结一下传统磁带备份的弊端。2.1 物理磁带库存在的问题物理磁带库作为备份中的元老设备，从备份产生的那天起，就承担着数据备份的重任。但是随着备份技术和市场的不断发展，业务对备份系统的要求越来越高，所要求的备份时间越来越短，由于其先天性的一些不足，物理磁带库越来越不能胜任目前的备份任务，主要因素如下：（1） 机械故障多，维修费用高。机械磁带库是一个非封闭的物理机械设备，机械磁带库核心部件，如磁带驱动器、机械手、传送装置等均为机械易损件，故障率非常高，致使设备使用率低。并且数据备份作业无法正常连续运行，维修成本也颇为昂贵。据Gartner公司统计，在机械磁带库的使用期内，其每年的维护费用占到采购成本的15%到20%，这是一个非常惊人的数字。（2） 备份失效率高。备份是数据保护的手段，恢复是数据保护的目的。采用磁带库进行数据保护的磁带为非封闭介质，且磁带库中的磁带之间没有容错保护。备份业务涉及到的磁带组中，如果发生任一盘磁带磨损、卡带、霉点、粘连等状况，就会导致整个备份数据无法恢复。又由于磁带备份手动程度高，人为操作更是加大了备份的失效率。同时，磁带备份数据的可恢复性低（20%的磁带备份无法恢复）也给数据安全带来很大隐患。（3） 数据备份/恢复复杂冗长。随着数据量呈几何级数增长，以及对IT应用连续性的要求越来越高，备份和恢复窗口也越来越少。虽然磁带本身的读写速度已有很大提高，但备份/恢复时，需要抓取磁带、加载、机械定位文件等机械动作。此外，等待时间长。再加上备份/恢复时还涉及多带查找，应用端被迫延长待机时间，这些都将影响数据业务的正常工作。（4） 安装复杂，不易搬迁。机械磁带库在安装时需要水平定位，大型机械磁带库安装时还需要进行设备连接，过程复杂。并且机械臂为灵敏机械部件，对包装和搬运要求都较高，不易进行设备搬迁。（5） 不易于管理。物理磁带库的配置、操作、运行状态监控等多项进程都需要手动处理。即便某些磁带库产品有了基于浏览器和终端的管理和访问功能，但需要购买RMU（远程管理模块）才能实现，增加采购成本和服务费用。（6） 总体拥有成本（TCO）过高。使用机械磁带库的总体投资包括采购成本、维修成本、管理成本和磁带介质成本等方面。首先，机械磁带库采购成本高、安装复杂、占地面积大。其次，故障率高、维修复杂，而用户通常需要专业服务。加之，备件采购受制于生产厂家的垄断，所以用户的维修费用昂贵。同时，由于磁带备份手动程度高，需要专业人员看护工作进程，操作和管理成本也居高不下。此外，由于磁带介质十分脆弱，容易受环境影响而受潮、发霉、变质、粘连，或者受机械缠绕和外力造成拉断，以及磁带清洗等，这一系列的原因都使磁带极易消耗。因此，用户必须经常予以采购，从而加大了资金投入。2.2 VTL相对物理磁带库的优势1990年IBM和STK携手首次推出了VTL的概念，来解决IBM大型计算机数据吞吐和磁带库备份速度面临的瓶颈问题，以满足备份性能要求。其解决方式是在IBM的大型计算机上使用磁盘建立一个大的缓冲区，用高速出口来匹配主机系统，低速出口来匹配低速的磁带库设备。而这个理念后来在IBM的大型计算机设备中得到广泛使用， 在TSM软件中也有体现。而在一定时期内，由于受技术局限，这种传统的虚拟磁带库只是作为机械磁带库的缓存，应用也仅局限于封闭的大型机系统等高端用户群，市场接受度比较低。新一代VTL不仅具有缓存的功能，并且与备份管理软件的兼容性也较好，还具有不改变备份流程、提高设备性能、可扩展性和利用率高的特点。磁盘通过软件仿真成物理磁带库，虽然其内部构造、外观、速度和物理磁带库截然不同，但对于备份软件和主机系统，VTL具有磁带识别的特征，可被认作磁带库设备。这使得设备在可用性及备份的可靠性等方面都得到大幅提升，并可以无缝、平滑地集成到原有系统环境中，配合传统的备份软件和物理磁带库，提高设备使用率和备份性能。新一代VTL有以下主要优势：（1） 设备可用性增强。虚拟磁带库利用内部程序虚拟“机械手”和“磁带驱动器”，来代替机械磁带库中裸露、易损的机械装置系列，从而降低设备的故障率。而所采用的基于RAID保护和热备磁盘(Hot Spare Disk)技术，很好地提高了硬件和备份的可靠性。电源、风扇、数据通路均采用冗余设计，且支持自动报警和在线热恢复能力，最大限度地避免对操作的影响。与开放式结构的磁带介质相比，封闭式磁盘介质的MTBF（平均无故障间隔）一般高出5倍以上。因此，新一代VTL可从不同角度提升设备的可用性。（2） 备份恢复速度大幅提升。相对磁带，以磁盘为备份介质能大大提高读写速度。同时，虚拟进程的“机械手”和“磁带驱动器”的抓取磁带、加载、机械定位文件等模拟机械动作能够在极短时间内完成，将所有机械动作节省的时间用作备份，进一步降低了数据备份、恢复所需时间。（3） 功能实现快。VTL使用计算机总线的结构代替磁带库的物理电机等机械结构，通过电子信号为媒介控制实现功能，相对于物理磁带库的电机控制，快了N数量级。（4） 整体维护成本下降。物理磁带库的维护成本过高，且维修库体和组件的价格也非常昂贵。而VTL采用电路设计，这在目前的行业中，代表的是低生产成本和高性能的技术。而且作为主机架构的系统不需要额外成本就可以通过远程系统监控、管理及配置。同时，与同容量级别的磁带库相比，VTL的占地空间要小很多，充分体现了高集成性、高可用性的IT理念。（5） 备份不受故障节点的影响。物理磁带库具有很多单点故障，比如电源、电机、机械手等关键部件一旦发生故障，整个设备将瘫痪。然而VTL备份则通过多节点进行，即使某节点出现故障，备份仍可完成，具有很高的稳定性和冗余机制。（6） 设备安装和集成简单。采用堆叠式机架结构及预调试安装，备份系统可以根据用户需求随意组装。SureSave系列虚拟磁带库安装简单易行，能够快速地集成到用户的SAN架构中或者直接连接到备份服务器上。客户需要扩容时，只需增加磁盘阵列柜就能简单、快速实现容量扩容。同时，容量可以从几TB轻松扩展到几百TB。（7） 继承了磁带的数据保密性。虽然使用磁盘为存储介质，但VTL不使用通用文件系统，而是通过使用磁带的不可直接获取数据的格式，屏蔽了病毒和盗窃的安全隐患。（8） 提供众多优化功能。VTL可以实现物理磁带库无法实现的优化功能，如：重复数据删除、数据远程复制，不仅提高利用率，加强可扩展性，更让远程网络复制成为现实。这些优化功能既大大降低总拥有成本，同时还提高了数据的可用性和安全性。2.3 新一代VTL不改变传统备份流程、环境和管理界面虽然 VTL在外观和构造上与磁带库截然不同，但通过仿真，VTL具有磁带库各种（机械手、驱动器、磁带）特征，且不改变操作流程。而且VTL可以被主机和备份软件当作一个速度不一样的真实磁带库使用。所以不论用户是对备份系统进行改造，还是进行新系统的建设，均可采用通用的备份软件，无需对主机系统进行改造。一般来说，用户只需把VTL简单地放在物理磁带库和主机之间，把大部分的任务转移到VTL上，磁带库就可满足离线保存的需求。VTL 还可无缝连接到现有的备份系统和备份软件，进行平行升级，既提高了已有设备的利用率，又能保护投资。3. 虚拟磁带库与基于主机的D2D的比较3.1 概要 综合以上谈到的磁带弊端，磁带技术已不再适合独立完成备份/恢复系统。伴随着新一代ATA/SATA/SCSI磁盘技术的成熟和磁盘价格的下降，供应商纷纷提供更为经济的备份/恢复解决方案。而市场上也出现了一系列增值产品，从将磁盘阵列作为备份路径中间缓冲的简单方案，到将内容存储在磁盘上的映像与快照系统的复杂方案，无所不有。这里，我们讨论两种最新备份技术基于主机的磁盘到磁盘（Disk-to-Disk，D2D）技术和虚拟磁带库（Virtual Tape Library, VTL）技术。 基于主机的D2D备份策略通过使用低成本的磁盘进行备份，提高数据备份/恢复的传输速率。但在集成性、存储格式、文件系统尺寸、性能与碎片等方面存在问题，有待于进一步的解决。而VTL是将物理磁带库与最新的基于磁盘的技术整合，从而提供优化的解决方案。VTL仿真标准磁带库，操作和属性都和磁带库极为相似，同时具备先进的磁盘性能。 3.2 基于主机D2D方式的优点独立磁盘冗余阵列（Redundant Arrays of Independent Disks, RAID）将多个磁盘的性能整合在一起，集合性能高，系统可靠性好。随着硬盘成本的降低，一段时间内，大量供应商转向设计基于RAID阵列，推出基于磁盘技术的备份产品。其主要优势包括： 更快地将备份数据写到磁盘； 更快地从磁盘恢复数据； 常规的PC服务器硬件； 常规的RAID存储技术； 集成了现有的备份/恢复应用软件； 使用基于磁盘的系统执行多个并发备份和/或恢复； 整合了磁盘快照与备份/恢复操作； 将磁带备份技术灵活地整合到基于磁盘的备份中； 将存储数据与备份数据集中到同一甬道中。3.3 基于主机的D2D 的局限性 基于主机的D2D解决方案仍然存在一些固有的问题，其局限性主要体现在下面几点：（1）兼容性差，故障诊断复杂。由于基于主机的D2D通常要把不同厂商的设备集成在一起，进行逐一配置，并常常出现严重的不兼容问题。更为棘手的是，部件故障判断非常复杂，由于不同厂商相互推卸责任，用户问题长时间得不到解决，数据保护受到威胁。 （2）性能方面的冲突。结合外接RAID阵列的备份/恢复软件的D2D性能，依赖类似NTFS和NFS的文件系统，这些文件系统是为多个用户管理多个小型文件设计的。而磁带方式的备份应用软件执行较大的写操作时，就造成了性能冲突。此外，磁带备份应用软件与文件系统文件分配表结合来决定具体的文件位置时，存储系统处理器会发生附加的性能冲突。 大多数D2D RAID阵列使用的通用文件系统，并非最适于磁带备份，常见的有下列三个问题： 1、大多数通用文件系统同典型的服务器一样，会随时间产生大量文件系统碎片，碎片的不断增长，降低了系统上的读/写性能。2、类似FAT、NFS和NTFS的通用文件系统受到文件系统、分区和单个文件大小的限制。此外，一个文件系统上文件的数量也有限制，这些限制会约束基于主机的D2D应用软件所使用的备份卷的扩容性。当达到限制时，企业需额外的资本投入，还必须转移数据，创建新卷，重新配置备份应用软件。 3、系统中数据的安全性。黑客、病毒会威胁通用的文件系统，任何D2D系统都会遇到同样的安全问题，可能导致数据保护方案的失败。 3.4 新一代虚拟磁带库实现D2D优化 新一代VTL集合了传统备份系统和基于主机的D2D系统优点，实现了取长补短。因此具备易于集成和管理、高性能、高可靠性与可扩容性的优势，对备份流程和IT环境无丝毫影响。VTL是基于磁盘的备份系统，包括磁带仿真服务器、RAID阵列和为磁带备份优化的文件系统，可仿真一种或多种磁带库和/或磁带格式。其兼容性和集成性好，安装使用简单，可轻松安装到现有网络环境，无需改变备份策略。通常，VTL通过提供附加优化功能或增强性能的专有硬件和软件，大大减少备份和恢复窗口。VTL还提供给管理员所熟悉的相同的介质管理功能（如磁带编目、介质是否有效等），而多数基于主机的D2D在这方面不能做到。 文件写入方面，VTL也具备超越D2D系统的显著优势。备份应用软件可将备份数据写到VTL磁盘，这与以数据流形式写到磁带相类似。而D2D则以单独的文件形式来写入数据，在对下一个文件操作前，必须记录每个文件的位置和文件系统的元数据。这一方式的明显区别，使VTL不受文件系统所支持的最大文件数目的限制。安全性方面，VTL采用特定文件系统，解决了D2D通用文件系统带来的安全性问题，大多数VTL设备上的文件系统可以防止病毒或其他安全方面的威胁对系统造成严重破坏。同时，访问VTL的文件系统和访问磁带类似，都是间接访问，因此不会造成病毒感染。 3.5 VTL相比D2D小结 基于主机的D2D主要优点：集成了现有的备份应用软件，并提供了增强功能。局限性：整合性、兼容性和安全性差，故障解决时间长，过程复杂，服务成本高。 虚拟磁带库 主要优点： 易于部署轻松，利用已有的备份应用软件在几分钟内完成安装，并开始备份； 集成简单，应用起来就像是标准的磁带库； 灵活性高，有许多的虚拟磁带库工作方案； 扩容性好，类似磁盘阵列，可扩充到备份几千TB数据； 性能强大，比物理磁带库的速度快十倍； 具有多种优化功能和性能强化功能；4. SureSave VTL系列概述SureSave系列VTL产品，让用户在保证数据高可用性和安全性的同时，实现快速部署，并简化使用和管理，最大限度地降低数据保护总成本，同时优化设备使用率，保证长期高性价比，并提供最佳可扩展性。5. SureSave VTL技术实现SureSave是为中国用户量身订制的虚拟磁带库产品系列，从2004年在国内市场推出，已经得到各行各业的广泛应用，并屡获殊荣。SureSave以其无可比拟的性价比和高可扩展性等优势，不仅为中国企业带来数据保护的突破，还为企业的今天和明天提供一个可靠的数据管理平台。SureSave VTL虚拟磁带库产品采用嵌入式系统设计，应用Storage-On-Chip专利技术，兼有纯硬件平台的稳定性，是基于磁盘的备份设备。其延用磁带库应用和管理方式，提供磁盘技术的卓越速度、可靠性和高可扩展性。SureSave VTL可与现有基础设施和备份软件无缝集成，最大化现有资源的利用率，降低管理成本，并显著改进备份和恢复性能。5.1 SureSave VTL独创的并行技术（1）SOUL首推VTL“并行技术”与传统的磁带库相比，虚拟磁带库（VTL）具有更高的性能和可靠性。然而，传统VTL的控制器带宽和后端存储盘阵的性能瓶颈问题，使其无法满足市场需求。而SOUL所采用的并行技术不仅解决了单控制器的性能瓶颈，带来了备份性能上的突破，其备份恢复速度比业界同类产品高出数倍。SOUL并行技术不但是前端控制器的并行，后端存储也同时实现并行扩展，只需添加节点，无需在客户端做任何改动。（2）什么是VTL的并行技术SureSave 的VTL 并行技术，就是统一管理多台VTL控制器，统一模拟一台或多台虚拟磁带库资源。而每台控制器都是一组虚拟磁带库资源有效组成部分，就像一台磁带驱动器或一组磁带槽是一台物理磁带库的组成部分一样。（3）VTL并行技术构成原理下图直观地展现了SureSave并行技术原理。并行控制器是由多台具有主机接口和后端存储接口的控制器（引擎）组成，其中一台控制器设定为主引擎，其它控制器都称为扩展引擎。主引擎用来提供虚拟机械手、虚拟磁带机和虚拟磁带槽资源，而扩展引擎只用来模拟虚拟磁带机和磁带槽。当主引擎出现故障时，扩展引擎可按预先设置接管主引擎的功能，实现整台虚拟磁带库的高可用，避免引擎单点故障。主引擎和扩展引擎都可以根据需要连接自身的后端存储盘阵，或连接到后端统一的存储盘阵。而外部主机可以通过不同的扩展引擎访问虚拟磁带库的驱动器和磁带槽，避免了只通过一台控制器引擎访问虚拟磁带库资源的I/O瓶颈。目前发布的SureSave VTL并行技术最多可由32台引擎组成，每台引擎可提供多个前端主机光纤接口和后端存储接口，在性能上和容量上具有强大的扩展性。（4）VTL并行技术的应用方案在中小型备份应用环境中，单控制器的VTL产品就能够满足一般的备份性能和存储要求。但在高性能备份应用中，由于控制器和后端存储性能的局限性，采用单控制器的VTL往往难以达到满意的效果。尤其在应用服务器较多、SAN的存储集成范围有限或VTL主机接口有限的情况下，实现高速并发备份将十分困难。采用并行技术的SureSave产品具备极强的并行数据处理能力，可以灵活地为高端备份提供所需的高性能。u 依然采用传统物理磁带库的习惯使用方式对主机和备份应用软件而言，并行控制器和单控制器都被视为普通物理磁带库访问。同时，通过仿真，SureSave并行控制器的扩展、组合方式更像大型物理磁带库，既可扩充磁带驱动器，也可以扩充磁带槽。u 容量和性能的无限扩展并行技术采用的是模块化体系结构，扩展引擎可以按需配置或扩展。用户可以在备份存储系统建设初期只购买并行控制器的主引擎单元，实现一般的VTL备份存储功能。当业务系统规模扩大，备份性能要求提高，再通过增加必要的扩展引擎，来实现所需的备份性能。u 设备利旧实现高性能很多用户都有一些过时或淘汰的磁盘阵列，希望能够连接到VTL设备上使用。这种情况下，建议每台扩展引擎连接一台独立的存储盘阵，即使每台后端存储盘阵的性能有限，也能使VTL的总体性能达到较高水平。u 多备份系统分享高性能在大型应用环境下，用户往往拥有多套数据备份系统或需要使用磁带库作为存储设备的其它应用系统，如：数据迁移系统。采用并行技术的SureSave同样可以同时模拟多台磁带库。这时，可以配置多台主引擎分别协调不同的虚拟带库，或者集中在一台主引擎上协调控制所有的虚拟带库。可根据实际应用环境来灵活配置并行控制器的使用方式。（5）SureSave并行技术的应用前景采用并行技术，实现了SureSave产品在I/O性能上的突破。其设计思想和理念，为SureSave产品和技术在高端存储、备份环境的广泛应用提供了优良的系统架构和广泛的拓展空间。随着用户应用环境日趋庞大和复杂，对数据备份性能要求的不断提高，采用并行控制器的SureSave设备可为用户的业务发展提供高可扩展性的数据保护平台。5.2 SureSave VTL全面实现硬件加速数据压缩功能在相对快速的数据增长形势下，为了满足备份需求，用户对设备容量和备份速度提出了更为苛刻的要求。SOUL的SureSave VTL，采用Storage-On-Chip芯片技术，自主研发了硬件加速数据压缩技术，对备份数据进行压缩，使得企业混合文件压缩比高达3：1，全面实现基于硬件加速的数据压缩功能，显著提高存储空间的利用率，实现更高的经济效能。通常，采用软件压缩虽然可提高存储的数据量，但数据传输的性能会降低 50%。而基于硬件加速的压缩功能对数据备份速度影响极小，用户在开启压缩功能时性能不会有显著下降。SureSave VTL采用基于硬件加速的压缩功能具有以下特点： 功能切换：如果无法进行硬件压缩，就会自动实现正常通路的数据传输，确保了数据自始至终的可用性； 专用硬件压缩芯片，嵌入式技术，无需人工管理； 出厂预设，硬件压缩功能在出厂时就已完成预配置和安装，方便简单； 提高系统密度和容量，降低空间使用成本，无需牺牲性能； 实现高速备份的同时，确保数据恢复速度和有效性； 可用容量不变，硬盘减少、降低功耗，整个设备可靠性大大增强。5.3 SureSave VTL实现数据复制功能SureSave VTL提供基于以太网(WAN)的复制功能(SureSave VTL Replication)，无需借助备份软件或第三方工具即可实现。SureSave推出的基于以太网的复制功能，提供数据容灾能力，并可进行即时的数据访问和数据恢复。同时，消除物理磁带库与手工操作相关的风险。无论是两台还是多台SureSave设备之间的数据迁移，通过复制功能，SureSave都能提供完整的数据保护解决方案。分公司A：VTL1000公司总部：VTL3000分公司B：VTL1000分公司C：VTL1000LAN/WAN容灾中心：VTL3000SureSave 复制功能： 支持通过IP网络在多台 SureSave VTL之前实现备份数据的复制； 支持手工发起和策略制定，数据复制自动化完成； 支持复制方式：单对单、单对多、多对单； 支持增量复制，断点续传； 可设置复制占用的网络带宽，优化利用网络资源； 基于浏览器的完善系统状态和报告显示机制； 提供快速的本地和远程恢复，支持本地操作恢复和远程灾难恢复； 支持网络加密和压缩。SureSave复制具有如下特点： VTL自主功能实现，无需借助第三方备份软件，无需改变原有策略； 自动化数据复制代替人工操作，确保数据安全传送与存储，防止了病毒与黑客攻击，避免数据丢失、被盗等风险，从而节省管理时间和人力资源成本； 重复数据删除后再复制，节省带宽，同时带宽控制技术优化网络资源； 支持直接从远程VTL的灾难恢复功能，双重保障，避免单点造成的数据丢失； SureSave VTL 无论是单台对单台、单台对多台还是多台对多台，通过复制功能都能实现数据容灾复制。5.4 SureSave VTL重复数据删除技术随着数据量增多，安全保护的要求越来越高，业务对数据可用性的要求也不断提高，磁盘备份设备的容量需求随之攀升。因此用户面临着数据中心预算紧缩、空间成本过高、能耗居高不下等严峻压力，但仅仅依靠高性能解决不了这些问题。同时，备份数据量的猛增还对数据的安全性和可用性造成威胁，因为备份过程中产生过多重复数据，用户原本计划保留一个月备份数据的空间实际仅仅能保存两三天的数据。SureSave VTL采用硬件加速的重复数据删除（De-duplication）技术，可减少90%以上的备份数据容量需求。重复数据删除可通过软件或硬件实现。就重复数据删除流程的源头，即重复数据删除所真正执行的地点来说，主流的重复数据删除技术有两种：联线（In-Line）和处理后（Post-Processing）： In-Line：在主机端通过备份应用或数据路径中的某一设备完成重复数据删除。 Post-Processing：备份工作完成后，通过系统或备份路径外的设备完成重复数据删除。研究发现，大部分IT专业人士(75%)希望能够把重复数据删除集成到硬件之中，不管是以阵列的功能形式体现还是设备的方式体现均可，他们不愿意使用软件形式如备份程序的重复数据删除功能。对于那些将软件作为重复数据删除功能首选方案的IT专业人士来说，结构上的问题才是最大的隐患。 而对于希望使用基于硬件或者设备的重复数据删除解决方案的IT专业人士来说，易于管理是他们选购时考虑的主要因素。重复数据删除技术提高设备使用率，降低备份容量需求，同时改变存储介质的投资回报模式。它通过删除所需备份中的重复数据，大大提高用户的投资回报率（ROI）。（1）SureSave VTL 重复数据删除技术实现SureSave VTL 采用相似度比较方式，通过硬件加速技术实现Inline重复数据删除。即在数据写入存储系统时执行重复数据删除，不需要实际将重复数据写入磁盘，而硬件加速的实现方式大大提高了数据备份/恢复速度。SureSave VTL 通过计算数据块的相似度，来查找相似的数据块。通过相似的数据块进行字节级的比对，来保证数据的完整性。相比HASH算法，从原理上避免了数据丢失。计算数据块的相似度通过硬件加速，减轻CPU负载，提高数据缩减的性能。SureSave VTL重复数据删除的实现由几个基本操作组成。首先，待处理数据被分割成固定或可变大小的数据块。其次，通过硬加速卡计算数据块的相似度，查找相似的索引，确认该数据块是否与其它数据块相同。最后，丢弃重复出现的相同数据块，保存不同的数据块。如下图所示：数据块硬件加速计算相似度查找相似索引读出相似数据比较数据块不同的数据写入相同的数据丢弃基于相似度的(Similar)重复数据删除技术使其具有更小的索引。相比其它算法，如HASH，典型的是MD5、SHA-1，对固定长度的数据块算出一个HASH值。这种方式实现简单，但存在HASH冲突， 另外作为数据快索引的HASH 值，占用的存储空间较大。以8K的数据块大小来算，每一个 HASH值20字节( SHA-1)， 2TB 的数据需要大约6GB的空间来存储HASH索引，这么庞大的空间，要做到快速查询，将需要耗费巨大的系统资源。（2）SureSave VTL独特的重复数据删除技术为用户创造价值u 备份更多数据，保留更长时间。SureSave VTL以高达50：1的缩减比实现企业典型数据备份空间的节省。同时，容量的节省也意味可以将更多的数据在VTL保留更长的时间。u 缩短备份和恢复时间。SureSave VTL采用基于硬件加速的重复数据删除和压缩技术，相比软件实现，占用CPU资源极少，性能稳定，传输性能更高，从而大幅缩短数据备份和恢复时间。 u 大幅降低成本。SureSave VTL的重复数据删除技术，使用户备份到磁盘的数据量成几何倍数增长，1TB磁盘上可存储高达20TB的备份数据，从而大大缩减磁盘成本。同时，以更少的磁盘来存储更多的数据还将大幅降低能耗和冷却需求。6. SureSaveVTL技术优势集锦（1）智能控制引擎并行技术，芯片级的性能，大幅度缩小备份窗口数据量爆炸式增长导致备份时间越来越长。面对24小时全天候业务应用要求，延长备份窗口是影响业务质量和服务品质的重要因素。因此如何采用先进的技术提高备份和恢复性能，缩短时间窗口，是满足业务应用需求的关键。SureSave VTL通过革新性技术平台为客户实现这一目标，以其独特的Storage-on-Chip 专利技术，兼顾芯片级的性能和软件级的灵活性，并行控制器技术确保通过增加SureSave VTL节点来扩充容量时，同步扩展性能。SureSave VTL 系列单节点吞吐量最大并行节点数最大集合吞吐量SureSave VTL 10001.44TB/hr1623.04TB/hrSureSave VTL 30002.16TB/hr3269.12TB/hrSureSave 系列虚拟磁带库以跨节点负载均衡技术为特点，保证高速的数据备份/恢复速度，并缩减时间窗口，减少备份/恢复对业务系统的影响，从而提高用户运营效率。（2）并行扩展平台，消除性能瓶颈，轻松面对数据增长据IDC 预估，到2010年，需要管理的数据量将增长6倍。面对如此高速的数据增长，可扩展性是满足用户投资保护和高性价比的关键。SureSave 系列虚拟磁带库以按需提供为原则，通过并行技术和智能节点平滑扩展为用户提供最大的容量灵活度：u SureSave VTL1000以3TB可用净容量为起点，通过节点并行技术，最大扩展到16个节点同时作业，提供高达224TB的可用净容量。同时更可提供平均20:1的重复数据删除比，即达最大4.48PB备份容量。相比无数据缩减功能的设备，SureSave VTL可减少95%的容量需求。u SureSave VTL3000以6TB为起始容量，最大支持2.24PB的可用净容量，即44.8PB缩减备份容量（De-dupe at 20:1），满足企业级用户对数据备份的要求。每次容量扩展只需简单地添加节点，无需在客户端做任何改动。更重要的是，性能可随容量同步增长。（3）新性技术平台和便捷的管理工具，极大降低了总体拥有成本SureSave 系列虚拟磁带库通过全方位的技术优势，让用户降低备份/恢复总成本，实现极高的投资保护。u 降低采购成本： Storage-on-Chip架构，降低硬件平台成本； 硬件加速的数据压缩、重复数据缩减功能，有效减少存储成本并降低能耗；容量和性能的平滑升级，客户可以随业务量的增加，逐步投资。u 管理和维护成本降低： 根据用户环境进行配置，简便、易于管理和使用； 集中、统一WEB图形化管理界面，支持英文和全中文，通过浏览器直观的图形界面对设备进行全面配置、管理和监控； 节点式升级，简便且无需宕机； SOUL完善的服务体系，极高的响应速度，解除用户最大的后顾之忧。（4）多种增值功能，打造先进的下一代备份技术目前数据备份不仅仅只是简单的保护数据，而且需要融合更多的智能化功能创造更多价值。SureSave 系列虚拟磁带库率先同步实现以下增值功能： 硬件加速的数据压缩：结构简单，性能稳定，压缩比高（