AnyBackup 5040 重复数据删除最佳实践资料

1、 最佳实践 AnyBackup 最佳实践 重复数据删除 AnyBackup 重复数据删除最佳实践 目 录 3概览 . 第一章 1.1 简介. 3 1.2 主要功能 . 3 1.2.1 设置重复数据删除策略 . 3 1.2.2 客户端重删数据任务设置 . 4 1.2.3 重删支持SSD加速 . 4 1.3 术语 . 4 1.4 重复数据删除支持的功能 . 5 6. 第二章 限制性列表 7重复数据删除最佳实践 . 第三章 3.1 定时备份最佳实践 . 7 3.1.1 命名规则说明 . 7 3.1.2 定时备份任务建立 . 8 3.1.3 配置客户端 . 12 3.1.

2、4 重复数据删除支持SSD加速 . 13 3.2 重删任务恢复 . 16 .17 FAQs 2 / 22 WWW.EISOO.COM 重复数据删除最佳实践AnyBackup 概览第一章 简介1.1 本文档是爱数备份容灾家族定时备份重复数据删除功能最佳实践文档，要描述了如何正确地使用爱数备份容灾家族产品成员开启重复数据删除策略备份的方法，包括部署前后的注意事 项和典型部署方案。本产品提供定时备份任务重复数据删除解决方案。随着数字信息量的爆炸式增长，数据占，发展到数百TB用空间越来越大；在过去的10年里，很多行业提供的存储系统容量从数十GB。随着数据的指数级增长，企业面临的快速备份

3、和恢复的时间点越来越多，管理保存甚至数PB数据的成本及数据中心空间和能耗也变得越来越严重。研究发现，应用系统所保存的数据中高是冗余的，而且随着时间的推移冗余数据越来越多。为了缓解存储系统的空间增长，缩 60%达减数据占用空间，降低成本，最大程度地利用已有资源，重复数据删除技术已成为一个热门的研究课题。一方面，利用重复数据删除技术可以对存储空间的利用率进行优化，以消除分布在存储系统中的相同文件或者数据块；另一方面，利用重复数据删除技术可以减少在网络中传输 的数据量，进而降低能量消耗和网络成本，并为数据复制节省大量网络带宽。1.2 主要功能 1.2.1 设置重复数据删除策略 完全备份 一个或多个数

4、据文件组成的一个完整副本，包含从备份开始处所有的数据块。重复数据删除策略支持除操作系统定时备份任务外的所有定时备份任务在完全备份时开启源端重复数据删除功能。 增量备份 包含从最近一次备份以来被修改、添加或删除的数据块。重复数据删除策略支持除操作系统定时备份任务外的所有定时备份任务在增量备份时启用源端重复数据删除功能。 重复数据删除策略不支持编辑任务时修改此策略，故一旦开启重复数据删除的任务在执行完全备份、增量备份、以及某些数据库应用的日志备份时都会保持重复数据删除开启的状态。 完全备份恢复 开启重复数据删除功能的定时备份任务，已进行完全备份产生时间点，可将用户备份数据恢复到最新及指定时间点的状

5、态，恢复数据正确，恢复方法依据不同定时备份任务可参照具体的定时备份应用最佳实践。 3 / 22 WWW.EISOO.COM 重复数据删除最佳实践AnyBackup 增量备份恢复可将用户备份数已进行增量备份产生时间点，开启重复数据删除功能的定时备份任务，恢复方法依据不同定时备份任务可参照恢复数据正确，据恢复到最新及指定时间点的状态， 具体的定时备份应用最佳实践。 事物日志备份恢复可将用户备已进行事务日志备份产生时间点，开启重复数据删除功能的定时备份任务，恢复方法依据不同定时备份任务可恢复数据正确，份数据恢复到最新及指定时间点的状态， 参照具体的定时备份应用最佳实践。某些数据库应用

6、存在事务日志备份。 差异备份恢复可将用户备份数已进行差异备份产生时间点，开启重复数据删除功能的定时备份任务，恢复方法依据不同定时备份任务可参照恢复数据正确，据恢复到最新及指定时间点的状态， 具体的定时备份应用最佳实践。某些数据库应用存在差异备份。 客户端重删数据任务设置1.2.2 在【客户端管理】的【配置客户端】界面中提供重删数据任务设置，用户可以自由设置客户端产生的指纹库缓存会存储到重删缓存存重删缓存存储路径和重删任务内存空间大小，目录）；用户可根据自己储路径下，如果不配置，则使用默认值（客户端安装目录appbin客户端实际内存大小环境设置重删任务内存空间大小，可提高重删的效率，默认大小为

7、200MB。 SSD加速1.2.3 重删支持的高性能读写，以提高重删指SSDSSD通过支持作为重删指纹库的存放位置，借助，RAID纹库的查询速度，提升重删效率。支持针对于插入存储柜前面板的SSD硬盘创建卷是用户存放重删指纹库DDCacheDDCache卷”类型的卷，在此RAID上创建唯一的“如果要启数据的空间，如果用户没有创建该卷，则创建重删任务时启用重删选项将提示：“您确认“DDCache”；如果要删除卷，将会提示警告信息DDCache用重删选项，请创建卷 ?”要删除选择的逻辑卷吗1.3 术语 重复数据删除：重复数据删除是一种数据压缩技术，简称重删，它分为源端重复数据删除和目的端重复数据删除

8、。本文档中所说的重删默认为源端重复数据删除，它指的是在执行重复数据删除时，重复的数据在通过网络发送到存储端之前即被删除。可对网络环境中的重 4 / 22 WWW.EISOO.COM 重复数据删除最佳实践AnyBackup 复数据进行识别和删除，并将重复的数据只在存储上保存一份的压缩技术。该哈希值称为数每一个数据，采用哈希算法所生成的唯一代表该数据的哈希值，指纹： 据的指纹。 指纹库：在存储端保存着所有数据的指纹的区域称为指纹库。 重删：重复数据删除的简称。1.4 重复数据删除支持的功能 下表列出了重复数据删除模块所支持的功能： 功能 子功能 支 持备注 支持各种定时备份开启 重

9、删 数据库定时备份Active Directory DB2数据库定时备份 Domino Server数据库定时备份 Exchange Server数据库定时备份 Exchange Server高级定时备份 GBase数据库定时备份 Hyper-V虚拟化平台定时备份 数据库定时备份MySQL Oracle数据库定时备份 数据库双机定时备份Oracle Oracle RAC 数据库定时备份 数据库定时备份SQL Server SQL Server 数据库双机定时备份 5 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 Sybase数据库定时备份 虚拟化

10、平台定时备份 VMware 操作系统定时备份 文件系统定时备份 邮件定时备份 备份类型定时备份 实时备份 应用容灾 限制性列表第二章 1、不支持操作系统定时备份开启重复数据删除功能。 、已设置重复数据删除功能的定时备份任务不支持在编辑此任务时修改此策略。2 DDCache卷。、只能创建一个3 6 / 22 WWW.EISOO.COM 重复数据删除最佳实践AnyBackup 、删除开启重复数据删除策略的任务数据时，后台数据实际不删除。4 控制。“重复数据删除2TB”5、重删功能的可用性受软件授权 、配置客户端内存空间大小时，如果客户并发任务多，不宜配置过大。6卷DDCacheAn

11、yBackupMediaServer服务。删除了7、删除DDCache卷前需重启其分钟内不要重启10DDCache卷后后，原有的重删任务再启动时会执行失败，重建 AnyBackupMediaServer服务。 DDCache卷。、删除了DDCache卷后，原有的重删任务再启动时不会提示用户去建8、设置客户端指纹缓存路径时不支持非法路径、网络路径、软驱路径及光盘路径的配9 置。卷中已存在的数据。若需要使用需在重建DDCache、重建DDCache卷将删除原10DDCache卷中的数据迁移出去并保证重建时指定的卷大小和原DDCache卷前将DDCache 卷的大小相同。，控制台升级后，任务可以3K

12、B4KB11、升级前创建的任务重删数据分块范围显示为 继续正常备份及恢复。 重复数据删除最佳实践第三章 3.1 定时备份最佳实践 3.1.1 命名规则说明 1.【命名规则】:用户名、任务组、任务等对象命名规则满足：不允许为空，且名称长度必须为 350个字符； 7 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 2.【邮件命名规则】: Email 地址只能由字母 AZ、az 、数字 09 及特殊字符 .-_ 组成，类似于 的形式，且最长不能超过50个字符； 3.【备注信息规范】：备注信息最大不超过255字符； 3

13、.1.2 定时备份任务建立 1. 以文件系统定时备份开启重删为例建立定时备份任务，其他定时备份应用任务参照对应的最佳实践文档，登录爱数备份控制台，点击【数据保护】?【任务管理】?选中对应的客户端?在任务管理中，点击新建按钮?选择定时备份?选择文件系统； 2. 输入任务名称，在备注处，输入自己想要的备份信息，选择想要的介质服务器作为备份的目的地，信息填写完毕后，点击下一步按钮； 8 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 在选项中，选择备份类型，是否开启高级功能选项，各个选项说明如下：3. 重勾选该选项可以启动源端重复数据删除的功能；重复数据

14、删除选项】默认为不勾选，、128、64、328。删属性开启后，默认数据分块范围为464KB数据分块可选值：4、16、；但最小数据分块值不能大于或等于最大数据分块值，即可调范围为，单位为KB512256、 ；该选项，在建立任务后，不能通过修改任务的方式更改此属性；4512KB 【备份数据保存完全副本数】可以设置用户保留完全副本的个数； 设置完成后，点击【下一步】按钮，继续； 9 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 “+”号，可以正常展开数据源，选中数据源，然后点击【下一步】继续；点击4. 点击【新建】按钮创建备份任务计划，然后点击【确定】

15、、【完成】，完成任务的5. 如执行什么类型的备创建。设置计划，在此步骤，用户可以选择定时备份任务的执行策略，份任务、一次性执行、每天执行、每周执行、每月执行；开始时间为任务生效的时间，可以 10 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 根据需要设置；高级计划选项，设置可以使任务在规定的时间内重复执行；同时在此步骤，可以新建、修改、删除、暂停的功能，点击对应的按钮，即可进行此操作； 6. 在任务创建完毕后，如果觉得任务配置信息有误，可以在【任务管理】中再选中该任务，并点击“编辑”按钮进行编辑；编辑的步骤和创建任务的步骤基本相同；重删策略不支持

16、修改，此选项被置灰； 7. 计划设置完毕，如果资源足够，可立即开始一次完全备份。选中任务，点击【发起】按钮，可以看到可以发起的操作类型，点击【备份】按钮，即可开始备份操作； 11 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 注意事项： 1. 发起备份任务时，提示“请求失败，您没有进行该操作的权限”，该问题是由于控制台没有进行相关的授权，添加对应的授权后，即可解决； 2. 添加授权在控制台界面，【运营管理】?【许可证管理】中添加，输入对应的授权码和重复数据删除代理，点击在线激活即可； （1）如果无法在线激活，请先配置好有效的DNS地址再激活；或者

17、使用爱数激活工具激活； （2）启用重删时如果没有创建DDCache卷，会提示“如果要启用重删选项，请创建DDCache卷”，创建了DDCache卷后才能选择启用重删选项。 3.1.3 配置客户端 1. 在【客户端组】处选择某客户端，点击齿轮按钮，选择【配置客户端】可对重删任务进行客户端指纹缓存路径配置和内存缓存空间大小配置； 12 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 重删缓存存储路径可以通过手动输入，也可以点击【浏览】按钮进行路径选择，2. 【重删缓存存储路径】：重删任务数据缓存存储路径，通过【浏览】按钮选择客户端上）。对手动输入的动作

18、appbin的存储路径；如果不配置，则使用默认值（客户端安装目录: 做如下检查，如果输入包含以上字符提示错误：重删 路径格式中不包含* ? |（1）Windows ；* ? |缓存存储路径不应包含下列字符： 重删缓存存储路径时给出错误提示信息“确定”（2）如果输入路径的盘符不存在，则在 ；检测不存在” ）不支持网络路径；（3，约束为输入正200MB3. 【重删任务内存空间】：重删任务内存使用范围限制。默认就可以了，如果用户客户200MB整数。其中内存使用限制越大，性能越好；一般取默认值如果并发任务多配置默认值为端实际内存比较大而且用户的并发任务不是很多可以配大点， 宜。内存配置太大并发任务一多

19、客户端内存很快会被吃光，任务执行失败。 SSD加速3.1.4 重复数据删除支持提升重删硬盘来作为指纹库存储介质的目的是为了提高指纹库查询速度，1. 增加SSD 率 2. 使用场景： 上存放重删指纹库，提高重删效率 SSDSSD ?用户采购了硬盘，期望通过在 13 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 （1）针对于插入存储柜前面板的SSD硬盘创建RAID； （2）支持在创建卷时，可以指定该RAID后，创建新增名为“DDCache”的卷类型，分配卷大小即可（要大于50GB，建议将RAID空间全部用来建DDCache卷）； （3）该存储柜的重删

20、任务的指纹库会存放在这个卷中： ? 用户无SSD硬盘，期望通过在普通硬盘存放重删指纹库 （1）针对于插入存储柜前面板的HDD硬盘创建RAID （2）支持在创建卷时，可以指定该RAID后，创建新增名为“DDCache”的卷类型，分配卷大小即可 （3）该存储柜的重删任务的指纹库会存放在这个卷中 3. 在没有创建DDCache卷时，启用重删选项时将提示：“如果要启用重删选项，请创建DDCache卷“,如下图： 4. 在【存储管理】-【介质服务器管理】-选择介质服务器-【卷管理】-【创建卷】，卷类型选择DDCache-选择要创建的卷所在的设备-输入卷容量。 DDCache卷的大小根据需要进行分配，如果

21、任务重删分块大小设置为464KB，则 14 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 DDCache卷的大小约为每1TB重删后的数据（无重复块），需要1.6GB17GB DDCache空间存放指纹，另固定有重删任务都会先占用3.5GB的DDCache空间 (FAQ 4中有具体的计算方法)。 5. 选好卷类型和卷大小以及RAID后，点击【保存】，创建DDCache卷； 6. 创建了DDCache卷后再去创建重删任务执行备份，不会再提示“如果要启用重删选项，请创建DDCache卷“，任务执行过程中指纹信息会写到此卷上； 7. 删除DDCache卷

22、：在【存储管理】-【介质服务器管理】-【磁盘管理】-【卷管理】，选择DDCache卷，点击【删除卷】按钮进行删除，如下图所示： 15 / 22 WWW.EISOO.COM 重复数据删除最佳实践AnyBackup 注意事项： 卷，抛错；有重删任务正在执行时不能删除DDCache1. 卷，原有的重删任务再启动时会因包后删除DDCache2. 重新安装了控制台的server卷卷后才能使指纹数据重新写到DDCache为没有DDCache卷执行失败，重建DDCache 中；卷，DDCache删除了DDCache卷后，原有的重删任务再启动时不会提示用户重建3. 但任务会执行失败结束；卷时，

23、即使有指纹数据也可以删除，不影响已备份任务的恢复，但DDCache4. 删除重删存储指纹信息、是再次备份重删任务时，数据会像没有备份过一样重新计算指纹信息、 率； 5. DDCache卷只能创建一个； 卷满，需要重建DDCacheDDCache卷才可继续使用；6. 如果3.2 重删任务恢复 重删任务恢复与一般的没有开启重删备份的任务恢复过程相同，请参照其他各应用最佳实践文档。 16 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 FAQs 1. 配置重删客户端怎样提高备份速度？ 配置客户端任务内存空间越大，备份的速度会越快，但是这个要根据用户客户端

24、实际内存大小情况来配置，还有客户端备份任务并发数，一般使用默认值就可以了。 具体参照以下： ? 客户端开重删内存消耗规律 任务数（300MB+160MB+n)* 开重删后客户端内存占用峰值： 参数解释：300M:各个应用占用的内存,160M:重删占用的内存,n为配置客户端时输入的 。200MB重删任务内存空间”，默认为“每个任务开重删备份时都会消耗客户端(300MB+160MB+n)这么多内存，有多少个任务数就会占用（300MB+160MB+n）*任务数 这么多内存且（300MB+160MB+n)*任务数客 户端内存总数。如果按这个公式计算的内存总数超过了客户端的内存总数时，实际每个任务占用不

25、了(300MB+160MB+n)这么多内存，有些任务的内存占的多，有些任务内存占的少，最多不超过 (300MB+160MB+n)。例如：如果配置为200MB，任务数为4，客户端实际内存大小为16GB，重删任务占用客户端内存为（300 MB +200 MB +160 MB）*4=2640MB；如果配置为2GB，任务数为10，客户端实际内存大小为16GB，重删任务占用客户端内存为不确定值，各个任务内存占用有大有小，总大小16GB? 开重删后服务器端内存占用峰值： 基础内存：1G 没有远程复制任务时的重删内存计算：3.5G + 重删服务器缓存 + 300M * 重删任务数 + （非重删定时+实时任务

26、数）*200M （重删服务器缓存：是安装目录下dedupserver.config中cache_size的值， 默认为1024MB） 有远程复制任务时的重删内存计算： 如果控制台有重删的远程复制任务， 假设任务的重删分块大小设置为464KB，则一 17 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 个远程复制任务（复制重删任务）：备份的最大文件的数据量/64K*48B 到 最大文件的数据量/4K*48B 之间（这是源端介质服务，目标端按普通的重删非重删来算） EG:假设有一个1TB的重删任务，重删服务器缓存为默认的1024MB,只有一个重删任务，

27、其中最大文件大小为500GB，重删分块大小设置为464KB， 没有的非重删定时备份任务或实时任务，有一个远程复制任务，同步此重删任务，那么： 1TB重删任务内存占用计算为： 1GB+3.5GB+1024MB+300MB*1+0*200MB + 500GB/64KB*48B = 6.2GB 到 1GB+3.5GB+1024MB+300MB*1+0*200MB + 500GB/4KB*48B = 11.65GB之间。 如果有多个重删任务，每个重删任务都在远程复制任务中，则需要计算所有重删任务中的最大文件数据量/nKB*48B （n为最大重删数据块到最小重删数据块） 客户端内存占用：根据任务数成倍增

28、长，所以客户端配置一般建议采用默认配置 200MB即可，如果客户端实际内存较大，用户可适当增加配置的内存大小，如果是多任务并发也不宜配置过大的内存空间，内存空间配置大对提升性能有一定的作用，但不是必须的，根据测试结果默认配置基本满足需求，性能体验还行。不正确的客户端内存配置，可能会导致并发任务执行卡死。 2. 创建DDCache卷如何提高备份速度？ 重删指纹库固定存放在DDCache卷中，不会占用别的路径下的空间，导致系统空间满；通过支持SSD作为重删指纹库的存放地点，借助SSD的高性能读写， 以提高重删指纹库的查询速度，提升重删效率。 3. 如何删除OFS介质中数据后重建OFS卷和DDCac

29、he卷重AnyBackupMediaS erver服务？ 删除OFS数据和指纹库数据， web界面上删除OFS和DDCache卷，然后重新建卷。 数据：删除OFS service AnyBackupMediaServer stop rm -rf /var/lib/newcore/AnyBackup/ofs.db rm -rf /sysvol/node/volhcache/backup/OFS/* rm -rf /sysvol/node/volume1/OFS/* (如果有多个卷则卷中数据都删除) 18 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践

30、 删除指纹库数据： rm -rf /sysvol/node/volume_dc/* service AnyBackupMediaServer start 在web界面上删除后重建OFS卷和DDCache卷。 注意：OFS 数据删了，指纹一定要删掉。 以上不允许用户在后台进行操作，如果技术支持人员在后台删除了OFS介质或指纹库的数据时，需做以上操作并在WEB界面上删除OFS和DDCache卷后重建(新建DDCache卷需等10分钟才能重启其AnyBackupMediaServer服务)，保险起见重启下其AnyBackupMediaServer服务。不重启时会报错。 4. 配置DDCache卷空间

31、大小时，如何判断该取多大的DDCache卷？ 参考公式： 重删后数据大小N（TB）*)(索引32Byte?指纹36Byte3.5GB? 重删块分割大小n（4-512）KB其中：3.5GB为布隆过滤器占用，只要有重删任务都会固定占用3.5GB的空间。 N对应重删后的数据量，单位为TB，空间最大上浮4GB，建议配置DDCache卷初始大小至少400GB以上。 例如：设置重删块大小为4KB512KB , 重删后数据量为2TB，则对应的DDCache空间占用范围为：5.625GB37.5GB，计算如下： 2TB?37*.5GB53.GB?68Byte 4KB 2TB?5.625GB3.5GB?68By

32、te* KB64 5. 更换了Server包后，没有重建DDCache卷，执行重删任务会怎么样？ 任务直接报错失败。如果更换Server包后，不重建DDCache卷，在/apphome/app/bin 文件中指纹存储路径为空，如dedupserver.config目录下的 指纹数据的存储路径# data_store_path = 19 / 22 WWW.EISOO.COM AnyBackup 重复数据删除最佳实践 需修改为当前DDCache卷路径后，如 指纹数据的存储路径# data_store_path = /sysvol/node/volume_dc 中。重启介质服务，指纹库才能存储到对应的DDCache GB#指纹数据和索引数据占用空间大小，单位为 data_store_size = 500此修改根据实际配置的DDCache卷大小配置，该大小应与DDCache卷的大小相同，否则将导致备份异常，不建议使用该方法修改。以上操作不允许用户操作，由技术支持人员换 卷情况下做以上操作。DDCache包后，在不重建 客户端指纹缓存路径下空间已满时，备份重删任务会怎么样？ 6. 客户端指纹缓存路径下空间已满时，再备份重删任务时，Win