重复数据删除技术

重复数据删除技术一、本文概述随着信息技术的飞速发展，数据量的增长呈现出爆炸性的趋势。在大数据环境下，如何有效地管理和存储这些数据成为了一个重要的挑战。重复数据删除技术（DataDeduplication）作为一种高效的数据存储优化技术，受到了广泛的关注和应用。本文将对重复数据删除技术进行深入探讨，旨在为读者提供一个全面的了解和应用指南。本文将简要介绍重复数据删除技术的基本概念和工作原理，帮助读者理解其核心思想和应用场景。我们将详细分析重复数据删除技术的不同类型和实现方式，包括基于块的删除、基于文件的删除和基于内容的删除等，以便读者能够根据实际需求选择合适的方案。我们还将探讨重复数据删除技术在不同领域的应用实例，如备份和归档、云计算和虚拟化等，以展示其广泛的实际应用价值。本文还将对重复数据删除技术的未来发展趋势和挑战进行讨论，以期为读者提供一个前瞻性的视角。通过本文的阅读，读者将能够对重复数据删除技术有一个全面而深入的了解，为实际应用和研发工作提供有益的参考。二、重复数据删除技术的基本原理重复数据删除技术（DataDeduplication）的基本原理是在数据存储或传输过程中，通过识别并消除冗余的、重复的数据块，以达到减少存储空间占用、提高数据传输效率以及降低存储成本的目的。这种技术主要依赖于高级算法和数据处理技术，包括内容寻址存储（CAS）、数据分块、指纹计算以及索引管理等。内容寻址存储（CAS）技术允许存储系统根据数据内容而不是文件名或位置来识别和存储数据。这意味着，即使两个文件具有相同的内容但文件名或存储位置不同，CAS也能识别出它们的相似性。数据分块是将大文件或数据流分割成固定大小或可变大小的数据块。每个数据块都会被单独处理，这有助于更精确地识别重复数据。指纹计算是对每个数据块生成唯一的数字签名或“指纹”。这个过程通过一种散列函数实现，如SHA-1或MD5等。生成的指纹用于快速、准确地比较数据块是否相同。索引管理是一个关键过程，用于跟踪和存储每个数据块的指纹及其存储位置。当新数据进入存储系统时，系统会检查其指纹是否已存在于索引中。如果存在，则表明该数据块是重复的，可以被替换为指向原始数据块的引用，从而节省存储空间。通过这些原理，重复数据删除技术能够在不影响数据完整性和可用性的情况下，显著降低存储需求和传输成本。这对于现代数据存储和备份系统来说至关重要，因为它们经常面临不断增长的数据量和不断下降的存储成本要求。三、重复数据删除技术的应用场景重复数据删除技术以其高效的数据存储和管理能力，在众多领域得到了广泛的应用。以下是重复数据删除技术的主要应用场景：备份和归档：在数据备份和归档领域，重复数据删除技术发挥着至关重要的作用。传统的备份方式会消耗大量的存储空间，并导致备份速度缓慢。通过应用重复数据删除技术，可以在保证数据完整性的同时，大幅减少备份数据的存储空间需求，提高备份速度。例如，在企业级备份解决方案中，该技术能够显著减少备份数据的冗余，降低存储成本，同时提高备份和恢复的效率。数据中心和云存储：随着数据中心的规模不断扩大和云存储的普及，数据量的增长呈现出爆炸性的趋势。重复数据删除技术能够帮助数据中心和云存储服务提供商有效管理庞大的数据资源，减少存储空间占用，提高存储效率。通过消除重复数据，可以降低存储设备的能耗和维护成本，同时提升数据访问性能。容灾和备份中心：在容灾和备份中心，数据的完整性和可靠性至关重要。重复数据删除技术可以在保证数据完整性的基础上，降低存储空间的消耗，提高备份数据的可靠性。该技术还可以帮助容灾和备份中心实现更快速的数据恢复，减少因数据丢失或损坏带来的业务风险。视频监控和安防领域：在视频监控和安防领域，每天都会产生大量的视频和图像数据。这些数据中往往存在大量的重复内容，如相似的场景、重复的动作等。通过应用重复数据删除技术，可以在保证视频质量的同时，大幅减少存储空间的占用，降低存储成本。该技术还可以提高视频数据的检索效率，提升安防管理的效率。医疗影像存储：医疗影像数据通常具有体积大、增长快的特点，且对数据的完整性和可靠性要求较高。重复数据删除技术可以帮助医疗机构有效管理庞大的影像数据资源，减少存储空间占用，提高存储效率。同时，该技术还可以保证影像数据的质量和安全性，为医疗诊断和治疗提供有力支持。重复数据删除技术在多个领域都有广泛的应用前景。随着技术的不断发展和优化，相信未来会有更多的领域能够受益于重复数据删除技术所带来的优势。四、重复数据删除技术的优势与挑战存储空间优化：重复数据删除技术可以显著减少存储需求，因为只存储唯一的数据块。这对于备份和归档应用来说特别有用，因为经常会有大量重复的数据。降低备份时间：由于要传输和存储的数据量减少了，备份时间可以大大缩短。这不仅可以提高备份效率，还可以减少网络带宽的占用。提高恢复速度：由于只存储了唯一的数据块，当需要从备份中恢复数据时，恢复过程通常也会更快。增强数据安全性：通过定期扫描和删除重复数据，可以提高数据的整体安全性，减少数据泄露的风险。成本效益：随着存储空间的减少，相关的存储和管理成本也会相应下降。减少的电力和网络带宽消耗也有助于节省运营成本。计算复杂性：识别重复数据并进行删除需要强大的计算能力和高效的算法。对于大型数据集，这可能会成为一个挑战。数据完整性：如果删除错误的数据块，可能会导致数据损坏或丢失。需要确保删除过程的高度准确性和可靠性。管理复杂性：随着数据块的合并和删除，数据管理可能会变得更加复杂。需要确保有一个健全的数据管理策略来跟踪和管理这些变化。兼容性问题：并非所有的应用程序和系统都支持重复数据删除技术。这可能会限制其在某些环境中的使用。法规遵从性：在某些情况下，法规可能要求保留特定的数据副本，即使它们是重复的。这可能会与重复数据删除的目标产生冲突。重复数据删除技术为存储和管理数据带来了显著的优势，但同时也面临一些挑战。在决定是否采用这项技术时，需要综合考虑这些因素。五、重复数据删除技术的实现方式基于块的删除（Block-BasedDeduplication）：这是最常见的重复数据删除方法。在这种方法中，数据被分割成固定大小的块（例如4KB、8KB等），然后这些块会被哈希算法（如SHA-MD5等）转化为哈希值。系统将这些哈希值与已知的哈希值进行比较，如果发现相同的哈希值，那么就可以删除重复的块，只保留一个副本。这种方法对于大量无结构数据（如视频、音频、图像等）的删除效率很高。基于文件的删除（File-BasedDeduplication）：这种方法主要针对文件级别的重复数据。它会计算整个文件的哈希值，然后与已知的文件哈希值进行比较。如果两个文件的哈希值相同，那么这两个文件就被认为是重复的，可以删除其中一个。这种方法对于大量的小文件或者结构化的数据（如数据库、文档等）效果较好。单实例存储（SingleInstanceStorage，SIS）：这是一种更高级的重复数据删除技术，它结合了基于块和基于文件的删除方法。SIS不仅比较文件的哈希值，还比较文件内容的块。如果文件的一部分（块）与另一个文件的部分相同，那么这部分就可以被删除，只保留一个副本。这种方法可以进一步提高存储效率，减少存储空间的需求。实时删除（Real-TimeDeduplication）：这种方法是在数据写入存储系统时就进行删除。它会在数据被写入的同时计算哈希值，并与已有的哈希值进行比较，如果发现重复，就会立即删除重复的部分。这种方法可以最大限度地减少存储空间的占用，但是也可能增加写入操作的延迟。后处理删除（Post-ProcessingDeduplication）：与实时删除相反，后处理删除是在数据写入存储系统后再进行删除。它会定期扫描存储系统中的数据，计算哈希值并进行比较，发现重复数据后进行删除。这种方法对存储系统的影响较小，但是可能会浪费一些存储空间。以上这些实现方式各有优缺点，实际应用中需要根据具体的场景和需求进行选择。随着技术的发展，未来还可能出现更多新的重复数据删除方法。六、重复数据删除技术的未来发展趋势随着大数据时代的来临，数据量的爆炸性增长对存储和管理带来了巨大的挑战。在这样的背景下，重复数据删除技术以其高效的数据压缩和存储优化能力，日益受到业界的重视。展望未来，重复数据删除技术将迎来以下几个发展趋势：智能化和自动化：随着人工智能和机器学习技术的发展，重复数据删除技术将越来越智能化和自动化。通过智能分析数据特征，自动识别重复和冗余数据，实现更高效的数据删除和存储优化。云端集成：随着云计算的普及，越来越多的数据被存储在云端。重复数据删除技术将与云计算紧密结合，实现在云端的高效数据去重和存储管理，降低存储成本，提高数据访问效率。跨平台兼容性：随着数据来源的多样化，重复数据删除技术将需要更好地支持跨平台、跨设备的数据去重。无论是结构化数据还是非结构化数据，无论是本地存储还是远程存储，都能够实现高效的数据去重和管理。安全性强化：在数据安全日益受到关注的今天，重复数据删除技术将更加注重数据的安全性和隐私保护。通过加强数据加密、数据备份和恢复机制，确保数据在去重过程中的安全性和完整性。性能优化：随着数据量的不断增长，重复数据删除技术需要不断提高其处理性能。通过优化算法、提升硬件性能、利用并行处理等技术手段，实现更高效的数据去重和存储管理。重复数据删除技术将在未来继续发挥其在数据存储和管理领域的重要作用，并与新技术相结合，不断创新和发展，为大数据时代的数据管理提供更好的解决方案。七、结论随着信息技术的飞速发展和数据量的爆炸式增长，重复数据删除技术已经成为了存储和管理海量数据的关键技术之一。通过减少冗余数据，它极大地提高了存储空间的利用率，降低了企业的存储成本。通过减少数据的传输量，它还提升了网络传输效率，优化了数据存储和备份的过程。尽管重复数据删除技术在实际应用中已经取得了显著的成效，但我们也必须意识到，这一技术仍然存在一些挑战和需要改进的地方。例如，对于高速增长的动态数据，如何实现高效的重复数据检测和删除，仍是一个待解决的问题。随着数据量的增长和数据类型的多样化，如何保证删除重复数据的同时不损失数据的完整性和准确性，也是我们需要持续关注和研究的问题。重复数据删除技术是一项非常重要的技术，对于提升数据存储和管理的效率有着不可忽视的作用。随着技术的不断发展和优化，我们有理由相信，它将在未来的数据存储领域发挥更加重要的作用，为企业和个人的数据管理带来更多的便利和效益。参考资料：一种数据缩减技术，通常用于基于磁盘的备份系统，旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。高度冗余的数据集（例如备份数据）从数据重复删除技术的获益极大；用户可以实现10比1至50比1的缩减比。而且，重复数据删除技术可以允许用户的不同站点之间进行高效，经济的备份数据复制。备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。就在几年前，D2D备份似乎还好得令人难以置信。受价格低廉的ATA（以及稍后的SATA）硬盘的影响，很多人会选择用D2D取代虚拟磁带库或做备份到磁盘的工作，使备份速度变得更快，不必再担心在磁带驱动器和磁带库上产生的机械故障，并且使文件恢复变得更加轻松。但是今天，我们的磁盘备份设备的容量已经趋于饱和，在数据中心已经没有足够的空间来备份PT级的数据，在这种情况下，当我们希望将备份数据保存一个月时，却只能保存两到三天。问题是在我们的备份设备中有太多的重复数据。现在终于有了解决这个问题的办法，善于抓住机会赚钱的厂商们声称他们的新一代“删除重复数据”产品可以按20：1，甚至300：1的比例缩减我们需要存储的数据量。果真如此吗？让我们仔细看看。重复数据删除技术支持在已有的磁盘设备上存储更多的备份数据。因此采用“重复数据删除”技术可以增加您保存备份数据的时间，减少数据中心的消耗，降低成本。如果您删除重复数据后再通过WAN发送，那么您就能够节省大量的带宽，并且可以取代磁带实现网上离线备份。重复数据删除技术唯一的缺点是备份速度变慢。Inline在线重复数据删除的方式会使用备份服务器的资源，导致备份速度变慢，备份窗口变大。Post-processing后处理的方式，备份数据流写入到重删设备后重删开始进行，不会影响到备份速度。当您的备份程序在网络中多次从同一目录下备份相同的文件，或者从多个地址处备份相同的文件时，重复的数据在临时区域进行备份。大部分网络上的重复数据量令人吃惊，这些数据从56个用户保存在他们本地目录下的假日聚会的PDF格式邀请函，到每个服务器的系统驱动器上3GBWindows文件，真是包罗万象，应有尽有。解决临时区域内文件重复的方案是增量备份。尽管我们很喜欢这样做，尤其是喜欢选择TivoliStorageManager采用的永久增量备份的方法，但当我们考虑到RAID灾难恢复时，我们想到的是重复数据删除，而不是增量备份。增量备份主要是避免重复。重复数据删除最基本的形式是出现在CAS（内容寻址存储）设备中的单一实例存储（single-instancestore），例如，EMC的Centera。当每个文件存储到CAS系统上时，CAS系统会为存储的文件内容生成一个散列（hash）；如果系统中已经存在具有相同散列（hash）的文件，系统就会再创建一个表示副本的指针指向已存在的文件，而不是保存另一个副本。微软WindowsStorageServer的最新版本，Windows服务器的OEMNAS（网络附加存储）版本，采用了与删除重复文件略微不同的方法。当写入数据时，WSS不识别重复文件，而是运行一个后台程序SIS(单一实例存储)Groveler，该程序通过部分文件散列函数（采用二进制比较法）识别重复文件，将重复文件移到公用存储区，原始位置上的文件用连接到公用存储区文件的链接代替。尽管文件级SIS能够节省一些空间，但是如果我们不只消除重复文件而且还消除了文件内存储的重复数据，那事情可就变得让人有兴趣了。想想Outlook的.PST文件。例如一个典型的Outlook用户可以拥有300-MB或更大的.PST文件，文件上保存着他过去所有的电子邮件；每天他都会收到一个或更多新的邮件，就因为那天他的.PST文件改变了，你的备份程序就把这个.PST文件包括在增量备份里了，即使这个300MB的文件只有25KB的改变。重复数据删除产品能够识别这个25KB的新数据，并且剔除其余没有改变的旧的数据，只保存25KB的新数据，从而节省大量磁盘空间。再进一步设想一下，550KB的附件在20个用户的.PST文件内，如果它们能够被消除，您就可以缩减大量的数据。象下述这样的一组解决方案是DataDomain倡导的采用“重复数据删除”技术进行备份的目标。即这些采用“重复删除”技术的设备管理VTL(虚拟磁带库)或NAS等备份设备，它们从这些备份应用设备（VTL或NAS设备等）中获取数据，透明地执行“重复删除”处理。厂商采纳的执行重复数据删除的基本方法有三种。第一种是基于散列（hash）的方法，DataDomain、飞康、昆腾的Di系列设备都是采用SHA-1,MD-5等类似的算法将这些进行备份的数据流断成块并且为每个数据块生成一个散列（hash）。如果新数据块的散列（hash）与备份设备上散列索引中的一个散列匹配，表明该数据已经被备份，设备只更新它的表，以说明在这个新位置上也存在该数据。基于散列（hash）的方法存在内置的可扩展性问题。为了快速识别一个数据块是否已经被备份，这种基于散列（hash）的方法会在内存中拥有散列（hash）索引。当被备份的数据块数量增加时，该索引也随之增长。一旦索引增长超过了设备在内存中保存它所支持的容量，性能会急速下降，同时磁盘搜索会比内存搜索更慢。目前大部分基于散列（hash）的系统都是独立的，可以保持存储数据所需的内存量与磁盘空间量的平衡，散列（hash）表就永远不会变得太大。第二种方法是基于内容识别的重复删除，这种方法主要是识别记录的数据格式。它采用内嵌在备份数据中的文件系统的元数据识别文件；然后与其数据存储库中的其它版本进行逐字节地比较，找到该版本与第一个已存储的版本的不同之处并为这些不同的数据创建一个增量文件。这种方法可以避免散列（hash）冲突（请参阅下面的“不要惧怕冲突”），但是需要使用支持的备份应用设备以便设备可以提取元数据。ExaGridSystems的InfiniteFiler就是一个基于内容识别的重复删除设备，当备份数据时，它采用CommVaultGalaxy和SymantecBackupExec等通用的备份应用技术从源系统中识别文件。完成备份后，它找出已经被多次备份的文件，生成增量文件（deltas）。多个InfiniteFilers合成一个网格，支持高达30TB的备份数据。采用重复删除方法的ExaGrid在存储一个1GB的.PST文件类的新信息时表现优异，但它不能为多个不同的文件消除重复的数据，例如在四个.PST文件具有相同的附件的情况下。Sepaton的用于它的VTL的DeltaStor也采用内容识别方法，但是它将新文件既与相同位置上的以前的文件版本进行比较，同时也与从其它位置上备份的文件版本进行比较，因此它能够消除所有位置上的重复数据。第三种方法是DiligentTechnologies用于其ProtecTierVTL的技术，它像基于散列（hash）的产品那样将数据分成块，并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较，以判断该数据块是否已经被备份。重复数据删除一般和其他的数据删除技术一起使用，例如压缩和差分delta。数据压缩技术已经问世约三十年之久，它将数学算法应用到数据中，以简化大容量或重复的文件部分。差分delta通过只存储相对于原始备份文件被修改的部分，来减小存储总量。例如：一个大约包含200G数据的文件组，与原始备份相比可能只有50M的数据是被修改过的，那么也只有这50M的数据会被存储起来。差分Delta一般用于基于广域网的备份系统，它可以最大程度地利用带宽，从而减少备份窗口的工作时间。各大厂商除了采用的方法不同外，他们物理架构的备份目标也不同。DataDomain、ExaGrid和昆腾是包含磁盘阵列的monolithicappliances（单块集成电路设备）。DataDomain和昆腾有NAS或VTL接口，而ExaGrid就是一个NAS设备。Diligent和FalconStor销售的是软件产品，运行在Intel或Opteron服务器上。尽管带有VTL接口的备份设备看起来更高级并且更易于与现存的基于磁带的备份环境集成，但是采用NAS接口，会为您的备份应用提供更多的控制。当备份文件过了保存期时，一些像赛门铁克的NetBackup之类的备份产品能够从它们的磁盘存储库中删除这些过了保存期的备份文件。当重复删除的NAS设备发现这个删除行为时，它可以重新分配它的自由空间和散列（hash）索引。而对于VTL接口的设备来说，因为您没有删除磁带，所以无法在VTL上释放出空间，直到虚拟磁带被复写，空间才能得以释放。在1TB的空间内容纳25TB的数据是要付出一些代价的，不只是在金钱方面。将数据切成块并进行索引来消除重复数据的所有工作会使备份速度减慢。OverlandREO9000等中级VTL的数据备份速度是300MBps甚至更快些。Diligent在其ProtecTier上已经具有200-MBps的备份速度，但是需要一个四核Opteron服务器来实现，该服务器前端是装有100多个磁盘驱动器的阵列。其它厂商解决该问题的办法是把重复数据删除当做一个独立的过程在备份后运行。在一个系统上运行FalconStor的VTL软件，进行备份的数据被写到一个压缩的虚拟磁带文件而不是一个删除重复的虚拟磁带文件上。然后在后台将数据流切成块，消除重复数据并且创建虚拟磁带，该虚拟磁带是执行删除重复数据块在原虚拟磁带上的索引。一旦虚拟磁带的数据执行了删除重复处理，它所占有的空间就返回到可用的空间池。Sepaton的DeltaStor和ExaGrid也把它们的重复删除当成一个后备份过程来执行。尽管后处理能够提高备份速度，但同样也要消耗成本。执行后处理重复删除的系统必须有足够的磁盘空间，因为除了删除重复的数据外，它还需要保存全部标准的备份。如果您希望继续执行每周的全天增量备份的计划，那么一个在后台进行重复删除处理的系统上，你可能需要双倍多的磁盘空间来保存全部的备份直到处理完成为止。正因为重复删除在后台运行，所以千万不要忽视重复删除的性能。例如，如果到星期一的晚上您开始再次备份您的服务器时，您的VTL还没有完成对周末备份的处理，这时您会遇到您不想看到的情况，如磁盘空间不可用或重复删除处理使您的备份速度变慢等。子文件重复删除技术不仅用于在备份应用中节省磁盘空间。新一代的备份应用，包括Asigra的Televaulting，EMC的AvamarAxion和赛门铁克的NetBackupPureDisk都采用基于散列（hash）的重复数据删除技术来减少通过WAN发送备份所需要的带宽。像生成增量备份的传统备份应用技术一样，新一代的备份应用技术也采用常用的办法如归档位，最后修改的日期，并且文件系统更改从最后一次备份起已经发生改变的文件ID日志。然后它们将文件切成更小的块并且为每个块生成散列（hash）。将这些散列（hash）与已经备份在本地的数据块的散列（hash）对象进行比较。没有出现在本地缓存和文件系统元数据中的散列（hash）被发送到中央备份服务器，再将数据与散列（hash）表进行比较。如果没有发现相同的散列，备份服务器发回一个散列表；然后被备份的服务器发送那些散列代表的数据块到中央服务器进行保存。与对被备份到多个目标的服务器数据（它们甚至被备份到整个企业的各个目标）进行“重复删除”的备份方案相比，上述这些备份方案缩减数据的程度更高。例如，如果CEO发送100MB的PowerPoint文件到500个分支机构，只有第一个会被备份，所有其它的只会发送散列到总部并且告知“我们已经收到，谢谢。”这种方法几乎避免了影响基于散列的系统的可扩展性问题。因为每个远程服务器只保存其本地数据的散列（hash），散列表不会增长到超出可用的空间，中心位置的磁盘I/O系统比传送备份的WAN的速度快得多，在磁盘上搜索一个巨大的散列索引也比发送数据快得多。尽管Televaulting,AvamarAxion和NetBackupPureDisk共享一个相似的架构，并且都是根据重复数据删除存储的大小进行定价，但是还是存在一些不同的地方。NetBackupPureDisk采用固定的128KB的数据块，而elevaulting和AvamarAxion采用可改变大小的数据块，这会使重复删除技术性能更好。PureDisk支持NetBackup，赛门铁克承诺未来进行更好的整合，即提供我们希望的可以将重复删除与数据中心备份工作整合的设备。Asigra也向服务提供商销售Televaulting产品，以便不想建立自己架构的小企业也可以利用重复删除技术。有几个客户的报告中都写到，他们在不对备份流程做大改动的情况下，的确获得了20：1的缩减比例。小企业可以采用Asigra,EMC和赛门铁克的新一代备份软件取代传统的备份方案。中型企业可以采用面向数据中心的备份设备。需要很高备份性能的大型企业可能不得不等待下一代产品了。按照部署位置的不同，重复数据删除可分为源端重复数据删除和目标端重复数据删除。源端重复数据删除是先删除重复数据，再将数据传到备份设备。目标端重复数据删除是先将数据传到备份设备，存储时再删除重复数据。按照检查重复数据的算法不同，重复数据删除可以分为对象/文件级和块级的重复数据删除。对象级的重复数据删除保证文件不重复。块级重复数据删除则将文件分成数据块进行比较。根据切分数据块方法的不同，又可分为定长块和变长块的重复数据删除技术。变长块的重复数据删除，数据块的长度是变动的。定长块的重复数据删除，数据块的长度是固定的。根据应用场合的不同，可以分为通用型重复数据删除系统和专用型重复数据删除系统。通用型重复数据删除系统是指厂商提供通用的重复数据删除产品，而不是和特定虚拟磁带库或备份设备相联系。专用型重复数据删除系统是和特定虚拟磁带或备份设备相联系，一般采取目标端重复数删除方式。重复数据删除能够在硬件层面或软件层面上来实现，或者两者结合实现。同样，重复数据删除可以在数据源端进行，在备份目标端进行或者两者兼而有之。源端重复数据删除在数据传输链路较慢的应用场景中会有帮助。在源端进行重复数据删除的数据使得数据可以在传输之前被压缩，从而能够更快速地传输数据。目标重复数据删除是在备份目标或远程存储设备上进行操作的。它的主要目的是降低存储成本。目标重复数据删除通过删除重复数据，使实际使用的存储空间远低于原本的使用情况。恢复过程中，你所需的数据可能不是存储在连续的磁盘块中，甚至存储在未经重复删除的备份中。当备份数据过期、存储空间释放时，就会产生存储碎片，延长恢复时间。由于数据及其指针可能是无序存储，被删除的重复数据也会产生碎片，从而降低恢复性能。一些提供重复数据删除功能的备份和存储系统供应商预料到了恢复过程的性能问题，并将产品优化，解决磁盘碎片问题。ExaGridSystems、Sepaton等供应商的解决方案可以完整地保存最近一次的备份副本，最近一次备份的数据能迅速恢复；而其它的解决方案则需要几天、几星期甚至几个月才能重构数据。其它解决方案在备份期间分散重复数据删除的负荷，而在恢复期就集中负荷，以加快恢复速度。这种情况同时使用了软件和硬件方法。如果供应商能加快多个节点的重复数据删除速度，并允许添加节点，那么其性能扩展能力就优于那些只有一个摄取点/处理点的产品。性能由多方面的因素决定，包括备份软件、网络带宽、磁盘种类等。单个文件的恢复时间与完全恢复截然不同。你应该测试重复数据删除技术在各种恢复场景下的运行情况，尤其是当数据恢复需要较长时间时更应如此，从而判断重复数据删除技术对你的环境有什么影响，这一点非常重要。设备vs.软件：需要了解将重复数据删除解决方案作为专用设备来部署，以及使用运行在服务器上的重复数据删除软件这两种方法各自的利弊。一些软件解决方案相对价格低廉，但是可能无法很好地扩展，以满足日益增长的容量需求，其性能取决于它所在的服务器。软件方案似乎在灵活性方面差一些，但是对那些有资源来承担集成、管理和监控重任的客户来说可能是有效的。如果你选择软件方法，一定要了解运行上述“清理”任务所需的处理能力，及其对服务器的影响。硬件设备有自己的空间和功耗要求，有时耗电量很大。它们通常是自我管理的，提供更大的灵活性和简洁性，并得益于硬件优化。对于那些寻求快速部署并轻松集成到当前环境的客户来说，硬件解决方案非常受欢迎。可用容量vs.原始容量：可使用容量是终端用户最直接、最适用的规格。它指的是进行任何重复数据删除之前的容量，并不包含用于元数据、数据保护和系统管理的任何存储。一些厂商规定“原始”容量，它比“可用”容量稍微高一点，但是这一规格会产生误导，因为不同厂商和数据保护方案将会有不同程度的开销。重复数据删除将需要一些原始磁盘容量来存储元数据，这些容量并不供终端用户使用。在这两种情况下，这些容量都被归为“重复数据删除前容量”——如果用户拥有10:1的重复数据删除率，那么他们可以存储“可用容量”10倍的数据。如果他们拥有20:1的重复数据删除率，那么他们可以存储“可用容量”20倍的数据。性能：确保不仅要了解“写入”和“读取”速度——通常被注明为TB/小时，而且还要询问“读取”或“恢复”速度，以了解这是否满足贵公司的服务水平目标（SLO）。要了解在必须进行一些后台“清理”任务的“稳定状态”期间，系统性能会受到哪些影响。重复数据删除方案的性能可决定IT部门如何能够在任务分配的时间段很好地完成其备份。硬盘密度：硬盘的密度继续增加，而重复数据删除设备可能适用1TB到3TB的硬盘。甚至4TB的硬盘现在也可用于消费类设备，并开始用在一些主存储阵列中。在一般情况下，密度更高的硬盘将转化为“节省数据中心占地面积以及省电”的优势。随着硬盘密度的增加，当硬盘出现故障时，数据重建的时间也会同比增加。这会给系统带来新的不稳定因素。因此有无高效的硬盘（数据）重建技术，对于系统的稳定运行至关重要。可扩展性：每家公司都有不断增长的数据。对于任何重复数据删除解决方案来说，这不再是“是否需要部署更多容量的问题”，而是“何时部署”的问题。无论是基于设备的方案还是基于软件的方案，最重要的是要了解它如何随着时间推移而扩展。如果一个解决方案能够在未来3-5年随着预期数据增长而扩展，它在目前可能就是更好的投资。如果它能随着数据增长而细化扩展，那就更好了。加密：一些系统提供磁盘存储加密，以防止在磁盘丢失或被盗情况下数据泄露。通常这种加密会影响系统性能，因此重要的是要了解这种重复删除数据加密解决方案，以及它对系统性能会产生哪些影响。系统和数据可用性：不同厂商拥有不同的解决方案来应对其设备中的磁盘故障，以确保被删除的重复数据能够在需要时被找回并恢复。了解确保系统和数据随时间推移一直可用的不同方法。云：重复数据删除能够支持的关键一点就是：在广域网上，可能是在站点之间，复制这些数据之前，有效大幅降低数据规模，以提供灾难恢复，或作为将数据复制到云中的一种手段。计划利用云存储的IT部门必须了解重复数据删除技术如何适应不同的云选项。数据重复数据删除技术降低了备份所需的存储空间，而这实现了更快和更频繁的备份，从而有利于数据保护。还实现了更快的修复，在符合监管合规要求和公司政策的限制范围内尽可能延长数据保留时间。重复数据删除技术可以影响实际的备份应用程序。例如，由于重复数据删除数据保存在目标存储设备上，因此需要使用处理块存储的备份工具。相比之下，基于文件存储的备份工具通常可以“撤销”所需的重复数据删除——导致目标存储设备上存放更多存储——除非备份工具只支持WindowsServer2012R2数据重复数据删除。例如，像Windows服务器备份这样的工具完全支持重复数据删除，IT管理员可以从备份恢复一个完整的卷或个人文件夹。记住，重复数据删除对系统、引导卷、远程驱动器、加密的文件或小于32KB的文件不起作用。其目的是备份和恢复任何常规文件。重复数据删除定期运行所谓的垃圾回收来恢复不再使用的存储块。运行垃圾回收之后最好进行备份，确保捕获空闲存储器在备份过程中的任何变化。数据重复数据删除技术改提高了存储效率，降低了存储成本并加快了数据保护的过程。但重复数据删除技术的有效性和性能取决于工作负载和重复数据删除的设置。IT管理员应该在应用重复数据删除之前和之后基准每个存储卷，以便衡量任何性能损失，因此应该调整调度和其他选项来优化服务器和工作负载性能。备份和恢复过程也应提前进行测试以了解重复数据删除的数据的存储需求，并允许更新或补丁数据保护工具来提高用于数据备份的存储使用。重复数据删除首先开始于创建数据。接着是所有其他业务——备份、复制、归档以及任何网络传输——都可以受益于规模缩小后的数据。但把重复数据删除应用在主数据这一场景很难被用户接收，因为这样做是在篡改主数据集，做好备份，就算没有重复数据删除技术，也不会因为搞砸生产环境的数据而出大乱子，但是如果动到主存储，问题就很大了，而且需要了解这项技术会如何影响性能、可靠性与数据完整性。目前只有少数主存储阵列提供重复数据删除作为产品的附加功能。只有不到5%的磁盘阵列真正支持在线重复数据删除与压缩。通过重复数据删除技术去重节约的空间十分可观，这取决于数据类型以及所使用的数据去重引擎的组块大小。以文文件与虚拟桌面架构环境为例，受益于高删除率，压缩比可达到40:1。而视频可以压缩的，但没法去重。存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩，数据中心可以通过这些技术轻松实现10:1的存储空间节约。重复数据删除能够节约空间，十分具有，但重复数据删除属于计算密集型技术。在相对不重要的二级存储中，一般不会出现问题，但可能给主存储环境出现短暂拥塞现象。重复数据删除不仅可以在实时删除重复数据，还可以让供应商通过算法最大化潜在的数据压缩率。以Quantum的Di系列备份设备为例，使用可改变块大小的重复数据删除算法，该算法是固定块大小方法效率的三倍以上。重复数据删除技术不仅能够更好地利用昂贵的闪存资源，而且重复数据删除也比较容易实现。重复数据删除与大多数存储供应商相比。无法让重复数据删除技术去支持现有的存储阵列。理论上，推广重复数据删除技术可以延长已经在用的存储的服务周期。重复数据删除闪存产商正在从这些传统存储大户手里争抢市场份额。要解决这个问题，只靠赠送重复数据删除存储是远远不够的。重复数据删除首先开始于创建数据。重复数据删除接着是所有其他业务——备份、复制、归档以及任何网络传输——都可以受益于规模缩小后的数据，重复数据删除位于Hopkinton。但把重复数据删除应用在主数据这一场景很难被用户接收，因为这样做是在篡改主数据集，做好备份，就算没有重复数据删除技术，重复数据删除也不会因为搞砸生产环境的数据而出大乱子，但是重复数据删除如果动到主存储，问题就很大了，而且需要了解这项技术会如何影响性能、可靠性与数据完整性。通过数据去重节约的空间十分可观，这取决于数据类型以及所使用的数据去重引擎的组块大小。重复数据删除以文本文件与虚拟桌面架构环境为例，受益于高删除率，压缩比可达到40:1。而视频可以压缩的，但没法去重。重复数据删除存储厂商认为6:1是重复数据删除率的最佳平均值。加上相同的块压缩，数据中心可以通过这些技术轻松实现10:1的存储空间节约。这些重复数据删除技术能够节约空间，十分具有，但重复数据删除属于计算密集型技术。重复数据删除在相对不重要的二级存储中，一般不会出现问题，但可能重复数据删除给主存储环境出现短暂拥塞现象。重复数据删除不仅可以在实时删除重复数据，重复数据删除还可以让供应商通过算法最大化潜在的数据压缩率。重复数据删除使用可改变块大小的重复数据删除算法，重复数据删除算法是固定块大小方法效率的三倍以上。在财务管理和资产管理的领域中，资产评估学和会计学是两个紧密相连的学科。尽管它们在某些方面有着共同的目标，但在评估资产和价值方面，它们有着不同的方法和观点。本文将对这两门学科进行比较研究，以更好地理解它们的差异和相似之处。会计学是一门对财务交易和数据进行记录、分类、汇总和解释的学科，以提供关于企业经营状况的信息，帮助决策者做出经济决策。其目标是确保财务信息的准确性和完整性，通过财务报表的形式向企业内外部的信息使用者提供有关企业经营、投资、筹资等经济活动的信息。资产评估学则是对特定资产价值的评估和判断，通常涉及到房地产、机器设备、知识产权等各类资产。评估师需要基于市场条件、资产的使用状况、替代成本等因素，对资产的价值进行合理的估算。其目标是提供资产的公平市场价值，为产权交易、企业并购、税收等领域提供决策依据。会计学的方法主要是以历史成本为基础，遵循公认的会计准则（GAAP）或国际会计准则（IFRS），通过记账、核算、编制财务报表等方式，反映企业的财务状况和经营成果。资产评估学的方法则更加灵活多样，包括市场法、收益法、成本法等。评估师需要基于资产的实际状况和市场环境，选择合适的方法进行价值估算。在进行价值评估时，需要遵循公平、公正的原则，以尽可能反映资产的真正价值。会计学在财务管理中发挥着核心作用，是企业经营管理的必备工具。通过会计记录和财务报表，企业可以监控经营状况、预测未来趋势，并做出相应的经济决策。会计学还在审计、税务等领域得到广泛应用。资产评估学的应用领域相对更为广泛。除了在企业并购、产权交易等领域发挥着重要作用外，还涉及到房地产估价、机器设备评估、知识产权评估等领域。在保险、税务等领域，也需要对特定资产的价值进行评估。资产评估学和会计学在定义、方法和应用领域等方面存在显著差异。会计学更侧重于对企业经济活动的记录和反映，而资产评估学则更侧重于对特定资产价值的评估和判断。尽管它们的方法和原则有所不同，但它们的目标都是为了提供有关资产或经济活动的准确信息，以支持决策者的决策过程。在实际应用中，两者相互补充，共同构成了财务管理和资产管理的基础。在信息化社会中，数据存储的规模正在以前所未有的速度增长。随着数据的不断增加，存储空间的压力也越来越大。为了解决这个问题，重复数据删除技术应运而生，为存储介质的高效利用提供了一种有效的解决方案。重复数据删除技术是一种先进的存储技术，其核心思想是消除冗余数据，只保留唯一的数据副本。通过删除重复的数据，可以大大减少存储介质上占用的空间，从而提高了存储空间的利用率。这种技术在存储空间需求不断增长的今天，具有非常重要的意义。重复数据删除技术有多种实现方式，包括前重复数据删除和后重复数据删除。前重复数据删除在数据写入存储介质之前就消除冗余数据，而后重复数据删除则在数据写入后再进行冗余数据的消除。两者各有优劣，需要根据实际需求进行选择。虽然重复数据删除技术能够有效地减少存储空间的使用，但也存在一些问题。例如，由于数据被压缩或删除，恢复数据可能会比原始数据更困难。由于数据的动态变化，如何准确地检测和删除重复数据也是一个技术挑战。随着技术的不断发展，这些问题正在逐步得到解决。例如，通过引入增量备份和全备份的策略，可以有效地降低恢复数据的难度。通过改进数据指纹算法和相似性检测算法，可以更准确地检测和删除重复数据。重复数据删除技术是解决存储空间压力的有效手段。尽管仍存在一些问题需要解决，但随着技术的不断进步，相信这些问题将得到妥善的处理。在未来，我们期待看到更多关于重复数据删除技术的创新和突破，以满足日益增长的存储需求。删除文件指将文件从操作系统中删除，一般不对硬盘数据改写。而要彻底删除文件，可使用软件的粉碎功能。很多杀软都有粉碎文件的功能，比如360，卡卡等。以360为例，打开360，在高级工具中，选择“文件粉碎机”，添加你要删除的文件，【记得要打上√】执行“粉碎选中文件”即可。文件的删除（此处删除指操作系统自带的删除功能）仅仅是将FAT表中的文件头处加上代码E5，紧接着文件所占簇在FAT表中的登记清除（而实际硬盘数据区数据并未修改）。这样系统就认为文件已不占用空间，达到释放空间的目的。而以后如果将文件写入，则会覆盖之前的数据。一旦数据被覆盖就可认为是彻底删除，无法恢复，值得一提的是，文件在硬盘中是链式存储的，（采用链式存储结构）即一个文件被分散在空间上不连续的簇中。这种分散可以近似认为是随机的，所以有时数据覆盖可能导致被删除的文件破损而不是彻底删除。更多信息亦可参照删除一词。对于顽固的文件，可以在它旁边新建一个文本文档，把以下内容复制进去：同上，优点是可以把想要删除的文件拖入这个文件当中，最后再删除这个文件即可（此方法适用于一些无法读源文件的文件）以上方法如果文件在C盘非桌面文件夹下，需获得管理员权限。右键单击此Bat，以管理员身份运行。Del（文件夹则是Rd）路径文件名/f/q（文件夹则是/s/q）详见cmd命令详细说明。要获取某一说明除百度外还可以在win+r，cmd中输入想查询的命令名，加/?如Del/?可以Ctrl+Alt+Del组合键结束目标所有进程，然后再删除。方法1：重新启动Windows操作系统后，再按常规方式删除文件。方法2：在DOS(或命令提示符)界面中用Del、Deltree之类的命令删除。方法3：利用非Windows资源管理器的第三方工具删除，例如具有浏览文件夹功能的TotalCommander、acdsee、FlashFP、nero等软件。方法4：如果你安装了两个以上的操作系统，那么就可以在当前系统中删除其它操作系统的文件。WindowsP系统中，准备删除一个大容量的AVI格式文件，但系统却总是提示无法执行删除操作，有别的程序在使用，即使刚开机进入Windows系统时也是如此。方法1：打开记事本，点击菜单栏“文件”→“另存为”，命名文件和你想删除的那个文件名一致(包括扩展名)，而后进行替换，会发现容量变为0KB了。此时，执行删除命令即可。方法2：在那个AVI文件同目录中新建一个文件夹，然后重新启动。不要选那个AVI文件，先选择刚才新建的文件夹，然后再同时按Ctrl键+那个AVI文件，执行删除操作。方法3：把AVI文件的扩展名改为其它任意无效的文件