CommVault 存储策略规划(上篇).docx

CommVault技术白皮书 规划合理的存储策略版本控制： 版本号版本日期作者 注释:1.02010/07/19Jiff ChengCommVault 存储策略规划篇 目录一.文档说明：4二.存储策略基本介绍42.1什么是存储策略.42.2存储策略分类.52.3存储策略属性：5三存储策略拷贝介绍：73.1什么是存储策略拷贝.73.2拷贝的保留属性83.3拷贝的数据路径113.4拷贝中的多路复用133.5拷贝中的数据校验143.6辅助拷贝定义：15四.存储策略最佳实践:164.1什么做好的存储策略164.2如何规划存储策略174.3存储策略最佳实践:18一 .文档说明：存储策略是实现现数据保护和恢复操作的管理通道。其首要功能是映射原始数据到物理介质。存储策略是CommVault数据管理的一个核心。因为其是前端应用数据和后端存储数据的关联纽带。存储策略的功能非常多. 本文作业上篇介绍将主要针对以下方面介绍：1：存储策略的基本介绍。2：存储策略的拷贝介绍。3：存储策略的最佳实践。二 .存储策略基本介绍2.1 什么是存储策略.假设客户有Oracle 的客户端，有100G的在线数据，为了保护这100G数据需要每周日做一次全备份，周一到周六做增量备份。这样就面临以下的问题 ：1): 数据存放位置: 是备份到二级存储上还是磁带库上.2)：数据写入路径： 客户端通过那条链路将数据写入后端存储3): 数据保留周期： 是保留1个月，半年，还是更久。为了解决上面的问题。我们就引入了”存储策略”。 简单的说存储策略首先是一个管道。通过这个管道将生产数据复制到后端存储。当然存储策略的作用绝对不仅仅是在存储介质中控制数据的拷贝或移动。存储策略通过使用一系列的规则来保证数据的生命周期.无论什么时候需要恢复数据时，数据都是可用的；当数据不再被需要时，可以有相关的动作来删除数据；维护正常的数据的生命周期来满足不同的公司、法律、策略调整的需要。2.2 存储策略分类. 存储策略按照保护数据类型分为如下2种1）：DR恢复: 只保护CommServe数据库的备份.DR恢复存储策略在带库配置完成后系统会自动创建，默认命名CommServDRDR 恢复存储策略默认数据保留周期是60 天 60周期.DR 恢复存储策略是无法被普通客户端作为存储设备.2）：标准IDA: 保护备份、归档类型数据需要根据不同的应用数据类型,保留周期, 数据链路来创建合适的存储策略.2.3 存储策略属性：本章节将省略“如何创建存储策略” ，有兴趣可参考OnlieBook1): 常规属性:设备流: 定义存储策略可以并行写的最大设备流数.带库：建议值 = 可用驱动器数量. 磁库: 建议值 = 磁库 Writer * 磁库MountPath 数量. 启用流随机: 仅适用于辅助拷贝时提高并行拷贝效率. 误区纠正: 该选项并不能提高任何在线数据的备份效率。在多存储策略条件下可能造成介质的不充分使用。 建议客户在所有存储策略中不要选择该项。有磁盘的话没有影响隐藏存储策略: 仅适用于没有任何子客户端关联的存储策略。增量存储策略： 适用于全备份和增量分散到不同的介质.增量存储策略的优点在于。可以在物理上将全备份和增量备份区分开来，存放到不同的物理介质中。有利于恢复效率和数据安全.情景模拟：当全备份的数据写到磁带上时，增量存储策略通常被用来把增量备份的数据写到硬盘上。这对于备份频率很高而且并发的非全备份的作业来说，充分利用了硬盘的高性能和高灵活性的特点；同时对于全备份来说，磁带的高容量，低投入也得到了充分的体现。这种数据分开备份的方式使备份要使用的硬盘空间得到了非常大的节省同时也减少了需要多个物理磁带机的需求。在这样的情况下，合成全备份就可以既使用磁带上的全备份也使用硬盘上的增量备份来形成一个新的全备份，并发该全备份写到磁带中。法规遵从:适用于备份/归档， CI 查找的情况下，可以手动对单个文件制定Legal Hold. 三 存储策略拷贝介绍：3.1 什么是存储策略拷贝. 存储策略拷贝定义了存储策略数据副本的数据路径,数据存放的位置，数据存放的生命周期.一个存储策略至少要有且只有一个主拷贝（Primary Copy）. 当然我们可以根据数据副本的存放要求定义多个次级拷贝。存储策略拷贝分类：1）主拷贝(Primary Copy): 所有的客户端数据一定是先写入主拷贝。2）次级拷贝(Secondary Copy): 主拷贝以外的所有拷贝都是次级拷贝次级拷贝按照功能又分为如下两种:同步性拷贝：选择主拷贝中的所有作业产生副本。类似主拷贝的一份镜像。 任何同步拷贝都可以升级为主拷贝。选择性拷贝：只选择主拷贝中特定的全备份产生副本. 主拷贝中的增量被过滤。 选择性拷贝无法升级为主拷贝。3）快照拷贝（Snap Copy）: 结合硬件快照技术存放SnapProtect 产生快照备份快照拷贝的详细细节我们会在其他篇幅详细介绍，在本章只要了解即可。3.2 拷贝的保留属性启用数据时效： 是否按照保留周期执行数据老化，选择： 该拷贝中的数据将按照下面的保留规则过期取消： 该拷贝中的数据将永久保留。为磁性数据启用可控磁盘空间: 是否参考磁库的可控磁盘阀值释放磁库空间。默认改选项是未选择.不选择：假设保留15天2周期的作业在 第15天达到过期条件，作业被老化掉，那么该作业所占用的介质磁盘空间会立即被释放。作业CHUNK 会被立即删除。选择：假设保留15天2周期的作业在 第15天达到过期条件，作业被老化掉, 但此时磁库所在的磁盘空间没有达到磁库阀值， 这样虽然作业过期，作业存放的CHUNK 并没有从磁盘删除。只有当磁盘空间达到设定法制（默认85%），此时才会删除那些过期作业的 Chunk。情景模拟：很多客户可能就是由于选择了此项，会发现数据已经老化了，为什么磁盘空间占用率老保持在80% 以上，没有足够可用空间。 此时可以取消该项， 或者调解磁库属性里德可控磁盘空间阀值。差异备份之间不保留增量和差异: 假脱机拷贝： 主拷贝仅仅是作为一个缓存区, 默认数据保留周期是0天0周期设置条件： 只有主拷贝才可以设置为加脱机拷贝。此时将无法选择时间周期，默认0天0周期。 必须要有个同步拷贝存在 同步拷贝完成后，主拷贝中的数据立即老化，释放空间备份基本保留规则： 定义备份类型数据的保留周期。基本概念： 天： 就是我们所谓的自然天, 24小时为一天。周期：一个全备份和依附于这个全备份的所有增量备份为一个周期。 简单的说就是两个全备份之间，但不包括后一个全备份的所有备份作业集为一个周期。情景模拟：假设每周日做全备份，周一到周六做增量。那么本周日和之后周一到周六的所有备份集合就是一个周期。 （如果你说周三。周四的增量备份失败了怎么办。无所谓, 我们只关心这个时间段内的集合，不关心这个集合里做了几次增量。 即使周日做了一次全备，周一到周六增量都失败了。但只有下周日的全备执行了，那前面的也是一个完整周期） 设计优点：有人可能会问，为什么设置的这么麻烦？ 按日期定义不是更简单。 正如上面情景模拟你定义的保留策略设置为7天，而没有周期。 再假设你的 DB 在9月30 日做了备份，在10月1日到10月7日 你的管理员去休假了，而此时带库随坏导致7天的备份都没有成功。那么在10月8日 你发现有个数据需要回复的时候，发现7天前的数据已经被老化掉了。如果定义了周期的约束，1周期，那么即使15天没有备份成功，最后一个周期就是9月30好的数据始终是保留下来可用的。 明白了上面的概念我们就要知道。CommVault 中数据的老化需要同时满足天和周期的条件，才能被过期掉。情景模拟：如果你发现自己定义的摸个客户端数据已经远远超过了过期天数，去没有被过期掉。空间也没有释放出来。请检查你的作业是不是在改日志后从来没有做过新的全备份，导致没有满足周期条件。 数据/符合性数据归档基本保留规则： 定义归档类型数据的保留归档数据的基本保留规则只有 自然天 的约束. 没有周期条件因为归档数据不同于备份数据。备份数据在每个备份周期内可能有多个版本。而且每个周期都会重复备份。归档数据的特殊之处在于：一份数据被归档后，只要没有被回迁，那以后不可能第二次被归档。 而且归档也没有所谓类似的全归档。增量归档之类。所以这份归档数据就永远存放在哪里。知道满足保留天数的约束。 可以被过期掉。 注意事项：归档数据因为在一个拷贝里只有有一个版本，所以归档一般都是永久保留。不要随便拷贝里的归档基本保留天数。万一修改错误，数据被过期，会造成数据丢失后果。完全备份的延长保留规则： 延长保留规则可以方便的用户对某些需要长期保留的作业延长器保留规则。可以选择所有全备份、周全备份，月全备份，季全备份，年全备份等条件选定作业进行延长保留。但是我们推荐首选使用辅助拷贝作为数据延长保留的首要方式：基于以下原因：1: 并行多流备份的作业，会将数据分散在多卷介质中，延长保留会导致所有存放部分数据的多卷磁带不能释放。无法有效理由资源。2: 通过辅助拷贝，可以将分散在多个介质上的数据集中到比较少的介质中存放。有效利用资源。而且减少数据过于分散的风险（某个介质随坏会造成所有其他介质都不可用）3: 既然是需要延长保留的数据，那么如何保证数据在介质上的可靠性能。单纯的设定延长 无法保证那些延长保留作业使用的介质是不是完整的，是不是可恢复的。 辅助拷贝则会读取原始介质上的数据，拷贝到新的介质中，这样既验证了介质的好坏，又校验了所有数据。3.3 拷贝的数据路径添加多数据路径：此功能需要Grid Store License. 否则无法添加多数据路径 Grid Store 的使用和高级功能我们会在单独章节介绍。在此不再冗述附加：在没有Grid Store 的情况下如何更改存储策略的数据路径.选择拷贝-右键 “所有任务” - 更改数据路径选择更改数据路径后。指定新的Library 和 MeidaAgent.3.4 拷贝中的多路复用复用因子：一个Driver 可以并行写的数据流数启用：在驱动器较少。而并发作业比较多的情况下，启用多路复用，可以提高并行写效率。建议事项：在资源充足的情况 下，不建议使用多路复用，尤其是对比较大的数据库做备份。启用多路复用将严重影响数据的恢复速度。 这就鱼于熊掌只能选其一。 看你是要备份效率还是要恢复效率。3.5 拷贝中的数据校验作业： 选择全部作业 / 仅全备份作业到期： 日期定义作业自上次校验后多久自动取消”校验成功“标识。 以便下次校验作业可以选择该作业再次执行”数据校验”过期后校验：过期1个月以后校验3.6 辅助拷贝定义：主拷贝： 可以升级同步拷贝为主拷贝。活动： 如果取消该辅助拷贝将禁用。不选择任何数据进行拷贝. 注意： 如果你创建了一个辅助拷贝，而没有定义计划定期执行或不想执行，那么请务必将“活动”选项取消掉。禁用该辅助拷贝，否则主拷贝中的数据将永远无法过期。启用内嵌拷贝： 如果启用, 备份时客户端数据将同时写入主拷贝和该辅助拷贝。注意： 如果你启用了内嵌拷贝，一定会影响到备份速度。对数据库备份不建议使用内嵌拷贝。启用并行拷贝：当你有两个或两个以上的辅助拷贝需要同时从主拷贝拷贝数据，启用该项可让主拷贝数据并行写入多个辅助拷贝注意： 默认多份拷贝都要从主拷贝拷贝数据的时候，默认都是拷贝完成后，下一个拷贝才能发起，顺序执行。 这样就造成主拷贝同样的数据需要读2遍。 启用并行拷贝可以让多份辅助拷贝同时写。WORM拷贝: 如果选择，则Copy中定义的过期策略讲实效.不允许写推迟辅助拷贝：主拷贝中的作业在规定日期之后才被标示为需要拷贝注意：默认主拷贝中的作业一完成，辅助拷贝就会判断该作业是否满足被拷贝条件。如果满足，在最近的拷贝计划执行时改作业就被拷贝走。 定义推迟辅助拷贝，可以让作业在N天后再满足拷贝条件。四 .存储策略最佳实践:4.1 什么做好的存储策略我应该需要多少个存储策略呢？都应该设计成什么样子呢？我怎么来设计呢？如果数据管理人员明白了存储策略的强大和灵活性后，往往就会问到上面这些问题。通常的理解可能有下面几种：1) 存储策略越少越好 ? 这种说法的主要的逻辑是越少的存储策略会需要越少的磁带介质，也就也容易管理。所以我有个Grid Store 许可就可以吧所有保留期限一样的数据放到一个存储策略中?事实上这种说法不见得正确.对于备份系统来说，我们不能简单的说是为了备份而备份，备份的终极目标而是为了恢复。 所以我们在规划策略的时候一定是要限考虑到 “可恢复性”要高于 “少量介质消耗”。2）每个MA应该有一个存储策略 ?这种说法的主要的逻辑要使用LAN-Free，所以每个MA至少应该定义一个存储策略来实现LAN-Free.如果是主要目的是为了达到 RAC /DBF 等大数据库级别的LAN-Free备份。那么你应该考虑Grid Store 将多个MediaAgent 关联为一个存储策略. 4.2 如何规划存储策略确切的说。存储策略的定义不是一个产品或技术问题，而是一个企业的管理制度的问题。 根据不同的业务类型，不同的地域，不同的数据类型来规划不同的存储策略会使存储策略更接近于真实的商业惯例和公司的数据保存策略。比如：对邮件、财务、法规、销售等不同业务部门的数据类型一定会面临保留周期的特定需求。就必须创建不同的存储策略。适量存储策略能够做到节约介质与数据恢复可靠性之间达到一个平衡点因为可以更简单的把客户端和正确的存储策略关联起来。存储策略的规划应该按下面的考量次序进行规划：1） 按业务需求的保留周期规划存储策略.财务数据，销售报表，采购报表等等，需要咨询各个部门，确定数据保留条件。然后规划不同的存储策略2） 按硬件架构规划存储策略带库连接, MediaAgent 的位置，网段, 是否穿越防火墙, 客户端数据量，这些都要成为我们规划存储策略考虑的条件. 虽然Grid Store 是个很好的功能，但任何好的功能都是有使用条件的，但不要简单的认为有了Grid Store 就可以讲所有保留周期一样的客户端全部扔进一个存储策略中. 这样可能影响数据安全，影响恢复速度.3） 按照系统架构规划存储策略.客户端是RAC 还是HA, 是不是分布式数据库. 这些都会影响到软件配置，存储策略规划 4） 按照应用类型规划存储策略.对于某些数据库因为需要达到尽可能快速恢复的目的：考虑如下因素。不要将ORACLE,DB2 或其他数据库和文件类型备份规划到一个存储策略中。如果文件备份优先写了磁带。那么数据库就不可能用更大的CHUNK去写磁带。会影响到数据库的备份和恢复性能。4.3 存储策略最佳实践:你不可以仅凭“技术手段”设计存储策略。数据保护的需求是和公司的策略、业务发展的需求以及法律的、行业的和政府的规定密切相关的。这些需求就定义了什么数据需要保护，要保护多久，用什么样的方式保护，保护在什么地方等等。某个客户有很多系统的备份需求。我们征询各个业务部门后得出如下结果1：邮件系统考虑到如下因素我们规划下面的表格。1：邮件量比较大，为控制备份窗口，必须使用LAN-Free2: 邮件备份级别最高。必须使用单独的Driver Pool 来使用。3：保留周期较长且需要辅助拷贝 主机名EXS1 (主节点)EXS2 (备节点)EXS (服务节点)带库路径配置LAN-FreeVTL1 DriVer Pool EX_DRV_POOL 文件备份 文件目录E:APPDATA全备量/增量（GB)60 /4存储策略SP_MAIL_FS_2M_10C-Primary Copy: TO VTL-AUX Copy: TO TAPE保存周期2月 10周期备注月末备份数据保留2年邮件备份Exchange DB Information Store01-08 全备量/增量（GB)800/200存储策略SP_MAIL_DB_24M_10C-Primary Copy: TO VTL-AUX Copy: TO TAPE保存周期24 月 10周期备注月末数据永久保留2：核心数据库系统 主机名BANS (主节点)BANS2 (备节点)BANS (服务节点)带库路径配置LAN-FreeVTL1 DriVer Pool Default 文件备份 文件目录/APP/PPDATA全备量/增