CommVault灾备方案介绍

1、CommVault 数据灾备概论,前言灾备的发展,数据的重要性灾备的重要性,数据已成为最重要的资产之一、业务运转的血脉，数据丢失引起的后果非常严重 据Gartner Group调查表明，在经历大型灾难而导致系统停运的公司中有40%倒闭，剩下的公司中也有33%在两年内破产,各类灾难统计,物理错误 47,逻辑错误 53,灾难：由于人为或自然的原因，造成信息系统严重故障或瘫痪，使信息系统支持的业务功能停顿或服务水平不可接受、达到特定的时间的突发性事件。通常导致信息系统需要切换到灾难备份中心运行 。 信息系统灾难恢复规范,数据保护的重要性，如何讲都不算过分 数据灾备是挽救企业生命的“最后一根稻草”,数

2、据灾备现状,管理者不知道“最后一根稻草”的真实情况 数据灾备极大地依赖于备份管理员 灾备系统分散部署，无法知道整体数据保护状态 缺乏灾备管理人才（数量以及质量） 灾备管理需要对IT系统全面、深入的了解；这样的人才不多 系统、存储、网络；操作系统、数据库、应用软件 缺乏验证手段 无法检验灾备数据是否可用 缺乏恢复验证手段 基本没有数据的异地保存 由于人力，物力的限制,根本原因：相对于IT环境的发展，灾备软件发展滞后,第一代数据保护软件,起源于1980年代 集中式计算； 系统环境小；数据量小（GB级)；IT人员少 出发点是替代手工备份 重点是“怎么做备份” 问题 大量人工参与, 只能依赖于备份管理

3、员 无法支撑大规模IT环境（系统多；数据量大；数据中心多） 能不能恢复？,Gartner：数据备份/恢复的成功率平均只有70%,第二代数据保护软件,出现在2000年代 分布式计算环境，Internet，信息高速公路 系统数量大；数据量大（TB级）、而且快速增长 第一代软件的问题越来越突出 重点是“怎么做恢复” 理念的飞跃：操作+监控+管理+演练=恢复 为确保恢复，4个方面缺一不可,管 理,监 控,操 作,设计理念对比,定期演练,管理复杂,缺少监控,无法实现定期演练,操作人员,管理员,经理,操 作,第一代数据保护软件,数据恢复管理,数据备份操作,设计理念：,第二代数据保护软件,缺乏“监管、演练”

4、的后果,“三鹿”事件 政府监管缺失，过分依赖于企业“自管” 美国金融危机 缺乏监管，没及早洞察危机的存在 2008深圳特大火灾 缺乏演练，消防系统形同虚设,灾备系统缺乏“监管”，同样会导致无法挽回的后果！,CommVault的实现方法,操作 提高数据灾备/恢复成功率 减少人工干预（人工是IT系统中最薄弱的环节） 全图形化，不用写脚本 预防出错：预检机制，验证机制 容忍出错：容错机制 容灾：电子化异地存放机制 提高数据灾备/恢复效率 小颗粒恢复（邮件级恢复，数据库表级恢复） 实时备份/恢复 （快照备份，复制技术，CDP）,CommVault的实现方法,监控、管理 及早发现问题，防患于未然 实时状

5、态 历史数据 发展趋势 提升操作、管理人员水平 职责分配，审计 定期演练 针对不同的系统制定不同的定期恢复策略 自动实现数据恢复，用于恢复验证,CommVault带来的好处,数据恢复成功率达到98%以上 管理者随时能知道“最后一根稻草”的真实情况 对专业人才的依赖能大大降低 轻松实现数据的异地存放，提供容灾能力,灾备技术说明,数据丢失的原因分析,44%是物理错误 53%是逻辑错误 3%是灾难问题 数据管理的主要目的是： 防止数据丢失 需要的时候,能快速找到并恢复数据,数据丢失的原因,保护数据的方法,数据保护总结,物理错误(44%) 复制：能恢复数据；RPO/RTO 好 快照：不能恢复数据； 备

6、份：能恢复数据；RPO/RTO 一般 CDP：能恢复数据；RPO/RTO 较好 逻辑错误(53%) 复制：不能恢复数据 快照：只能恢复短期数据(刚出错的)； RPO/RTO 较好 备份：能恢复数据；RPO/RTO 一般 CDP：能恢复数据；RPO/RTO 较好 灾难情况(3%) 复制：不一定能恢复数据；RPO/RTO 较好 快照：不能恢复数据； RPO/RTO 较好 备份：能恢复数据；RPO/RTO 一般 CDP：不一定能恢复数据；RPO/RTO 较好,结论一：完整的数据保护应该是多种技术的综合应用 结论二：备份应该被认为是IT基础设施，是数据保护的最后一道防线,异步复制,快照,磁盘备份,磁带

7、备份,Days,Hours,Minutes,Sec,Recovery Point Objective RPO,Recovery Time Objective RTO,数据保护能覆盖的时间范围,完整数据保护的规划,生产数据,备份数据,快照数据,异地备份数据,复制容灾数据,异地恢复数据 或快照剥离数据 （容灾演练）,生产主机,容灾主机,本地快速恢复系统运行,减少数据丢失量,实现容灾演练和验证,容灾系统的最后1道防线，实现数据离线和更多版本保留,中国灾备标准介绍,中国灾备标准信息系统灾难恢复规范 0级 无异地备份，数据只在本地存储 1级 备份磁带通过车辆转移到异地保险库 2级 1级基础上，在异地热备

8、份中心能力 3级 电子传输和部分设备支持 4级 电子传输和完整设备支持 5级 准实时数据传输和完整设备支持 6级 零数据丢失和远程集群支持,可双击 打开,灾备指标,CV能够实现,CommVault灾备技术应急系统,CommVault方案应急系统介绍,中国灾备标准信息系统灾难恢复规范 0级 无异地备份，数据只在本地存储 1级 备份磁带通过车辆转移到异地保险库 2级 1级基础上，在异地热备份中心能力 3级 电子传输和部分设备支持 4级 电子传输和完整设备支持 5级 准实时数据传输和完整设备支持 6级 零数据丢失和远程集群支持,RPO级别：在网络允许下，=10Mb 采用技术：利用复制并且回滚数据库的

9、事务日志，实现数据库的容灾 CV模块：CDR，QR，Backup 适用平台 AIX，WIN，LINUX,SUN SQL，ORACLE，DB2，INFORMIX,CDR :连续数据复制 保护方式: 连续捕获、字节级、文件复制 应用感知性： SQL, Exchange, Oracle 支持平台: Windows, Linux, Unix,QR:快照管理 保护方式: 管理硬件快照 快照复制 应用感知性: SQL, Exchange, Oracle 支持平台: Windows, Linux, Unix,Weeks,Minutes,Sec,Recovery Time Objective/ Recover

10、y Point Objective,采用一体化的数据保护方式,Hours,GALAXY:备份恢复 保护方式: 数据在线备份/恢复 应用感知性: 所有应用 支持平台: 所有主流平台,Days,避免硬件，逻辑故障,应急系统的定位,为什么需要应急库系统 在发生极端灾难的情况下，可以使用应急库临时应急 能够避免用户生产库的物理和逻辑故障 方便用户实现数据灾备系统的验证和演练 提高传统应急方式（备份恢复）的RPO/RTO级别（应急库是一直可用的） 利用自动化的手段，实现数据库应急；减少手工应急的时间和出错概率 应急库系统不是容灾系统 不是容灾系统（硬件磁盘复制），相对RPO较差（分钟级别，而不是秒级别）

11、 无法实现自动切换数据库应用 补充传统容灾系统碰到的问题 避免逻辑错误 方便验证和演练 RTO时间可控 无需修改生产系统的存储和数据结构,结论：应急库系统是容灾系统的补充， 可以作为生产系统的最后1道防线,CommVault应急系统的数据流程,数据库,生产主机,应急库主机,应急库,备份数据,快照,快照,在线日志,CommVault应急系统说明-1,应急系统的流程 初始化阶段：通过备份恢复的方式，在容灾站点生成初始化的应急数据库 日常运行阶段： 通过CDR复制归档日志数据到应急库主机上 在应急库上自动回滚归档日志实现应急数据库的同步；同时每隔1个小时，作应急数据库的COW快照 每天做应急数据库的

12、冷拷贝备份（建议） 每天做本地数据库的热备份 应急启动阶段： 只要将应急数据库启动即可；由于该应急库是在Recover状态，所以能够确保快速正确的启动,CommVault应急系统说明-2,验证和演练阶段： 方式一 将应急站点的数据库打开，就可以直接使用验证了 恢复演练前的方式，只要将原先的快照恢复或者备份的数据恢复，然后回滚应急库上已经复制的日志数据，就能恢复到日常运维阶段 方式二 将应急库数据库shutDown 装载早先的快照，并且启动应急数据库，实现验证和演练 在Shutdown演练数据库，并且删除快照 启动应急数据库至于Recover状态，回滚最新的日志就能进入日常运维状态 灾难重建阶段

13、： 应急库数据崩溃，相当于重作1次初始化 生产库数据崩溃，可以将上一次备份恢复，然后反向复制归档日志，并且回滚，从而重建生产数据库,CommVault应急系统特点,一体化的保护方式，包括：备份，复制，快照。能够避免用户生产系统的物理和逻辑故障。 无需修改用户现有的存储方式和数据结构，减少实施风险。 用一个图形化界面统一管理整个应急流程，并且有图形化的报表，报警，监控等功能；方便用户的管理和运维。 复制的时候支持网络流量的控制和操作时间窗口，能够适应窄带宽和广域网的环境。 由于是基于OS的复制和数据库无关，不会由于意外原因干扰生产数据库的使用。 方便实现应急系统的演练，验证和重建，而且这些操作也

14、不会干扰生产系统的运行。 由于应急系统上的数据库处于Recover状态，所以RTO时间很短。 应急系统上还保留多个时间点的快照，从而可以快速回退到前一个时间点的状态。 同时应急系统上还保留一段时间内的归档日志，所以用户可以回退到故障发生的任意时间点。减少发生故障造成的数据丢失量。,和其他方式比较-数据库复制软件,数据库复制软件无法避免逻辑错误。 数据库复制软件初始化和灾难重建时候，需要和备份恢复软件配合。 数据库复制软件没有完善的监控机制和报表机制，需要大量的人工干预。 数据库复制软件没有针对网络流量的控制机制和操作时间窗口，在灾带宽和广域网上容易引起故障。 数据库复制软件的复制机制是基于数据

15、库内部的，有可能由于其他故障（网络，应急主机等）干扰生产数据库系统的运行。,和其他方式比较-传统备份恢复,备份恢复的RPO级别太差，往往丢失的数据是一天的。 ROT时间太长，恢复操作需要较长时间。 恢复演练期间，需要大量的人工干预，管理维护复杂。 由于需要定期传送全备份，仍然需要大量的网络传送数据，不适合窄带宽和广域网。,和其他方式比较-硬件或卷复制,硬件复制无法避免逻辑错误 如果需要避免逻辑错误，必须采用快照，这样所需要成本非常高 可能需要更改生产系统的存储体系和数据结构，实施复杂 成本很高，而且上了这个平台就无法更改 没有针对网络流量的控制机制和操作时间窗口，在窄带宽和广域网上容易引起故障

16、 应急系统是非活动状态，无法确保RTO的时间,CommVault灾备技术远程灾备系统,CommVault方案远程灾备系统介绍,中国灾备标准信息系统灾难恢复规范 0级 无异地备份，数据只在本地存储 1级 备份磁带通过车辆转移到异地保险库 2级 1级基础上，在异地热备份中心能力 3级 电子传输和部分设备支持 4级 电子传输和完整设备支持 5级 准实时数据传输和完整设备支持 6级 零数据丢失和远程集群支持,远程灾备面临的挑战： 网络带宽 信息安全 管理监控 可恢复性,CommVault解决之道-带宽问题,带宽问题的挑战： 较窄的带宽 永远增量传送 重复数据删除 单一版本数据传送 网络不稳定 断点续传

17、技术 有业务数据传送 传送时间窗口控制 网络流量控制,用较窄的带宽，传送大量的备份数据 避免传送备份数据时，干扰业务数据在网上的传送 传送的重复数据删除库，可以透明的恢复和迁移,重复数据删除技术减少存储数据量,智能重复数据删除 更高的数据压缩率 支持全局的重复数据删除 支持在磁带上实现重复数据删除 更低的成本 更小的网络传送量 无需硬件锁定 单一软件，降低操作成本,管理简单 支持所有应用，磁盘，磁带的重复数据删除，方便管理 基于WEB和GUI的单一管理界面 快速恢复 更多的恢复时间点 更快的恢复时间 可以从任何一个备份介质直接恢复，不需要先恢复到磁盘,远程单一版本数据传送,重复数据删除 只传送

18、单一版本 的数据块,SDR传输远程备份数据至 数据中心存储设备,数据中心内过期备份数据可迁移至其它存储媒介,采用SIS技术，所有传送的数据块，只会是一个版本。不管是全备份，增量的或者不同的数据类型 传送的技术是永远增量的（只传送新生成的数据块）。 支持断点续传功能，从中断点继续复制数据 复制传送的备份/归档数据可以无缝恢复或者迁移到其他介质。,流量和时间窗口控制,流量控制,时间窗口控制,不干扰生产系统运行,可以定义复制时候的流量限制 可以定义复制时候的网络利用率 可以定制复制备份数据的时间窗口,CommVault解决之道信息安全,信息安全的挑战： 权限问题 数据加密问题,数据中心,D2D,D2

19、T,可以离线加密,防止未经授权的用户得到非法数据,建立针对灾备系统的统一管理体系 提高灾备系统的可靠性 降低运维成本 提供详细的数据分析,CommVault解决之道统一管理,包括的管理功能： 数据资产管理 报警通知管理 审计管理 数据决策支持 ,在线数据和离线数据的状态信息采集、处理和展现 主机存储设备管理（主机的存储使用状况和在线盘阵使用状况） 离线存储设备管理（二级存储设备，VTL、带库使用状况） 成本分析（各个应用占用的存储转换成成本）,数据资产管理,报警通知管理,报警机制 当错误发生的时候，发出错误警报 报表通知 将已经做过的操作，以报表方式呈现给管理者 状态监控 方便的观察和监控整个

20、系统运行的状态,审计管理,事件审计 （传统软件没有） 查询和寻找针对系统某个特定或者孤立事件的内容，例如：设备故障，人员操作等等。 人员审计 （传统软件作的比较弱） 能够针对操作人员做的任何操作，记录并且查询。例如：登陆，退出，修改配置等等。 数据操作审计 （传统软件只有部分功能） 某个应用数据作的任何操作，进行记录并且查询。例如：某个应用是否在需要的时间进行了备份，备份是否成功，具体情况如何。,数据决策支持,历史数据分析 用户可以方便的得到历史数据的精确统计和分布 趋势预测分析 用户可以得到数据发展的趋势，规律；同时通过设置的触发器来报警 信息内容检索 用户可以通过内容检索，从孤立的数据中，

21、得到相关联的信息；从而方便决策,CommVault解决之道提高数据恢复性,提高备份数据可靠性 自动校验备份数据 支持冗余的备份数据存放 设备和介质预警机制 方便恢复和演练 支持自动恢复策略 完全图形化的恢复界面 小颗粒度的恢复方式，方便验证备份数据 完全支持异机恢复,CommVault灾备技术的总结 一体化的优势,远程灾备面临的问题,无法控制的存储增长和相关成本 需要达到各业务部门的服务级别要求 应对广域网的瓶颈，时间窗口和可靠性 安全问题 快速恢复的能力 电力和制冷的挑战,数据量快速增加 不同应用的SLA不同 需要不同的技术来解决 如何统一管理,传统的解决方案 试图用复杂的方案解决当前复杂的

22、问题,大量收购单个的产品,puredisk,改革创新，建立一种更好的管理方式,复制,归档,迁移,法规遵从,采购相关物品,硬件,人员,耗材,总体费用,备份,一体化的管理，降低成本,复制,归档,迁移,法规遵从,一体化极大降低费用,总体费用,备份,采购相关物品,硬件,人员,耗材,Simpana 软件的体系架构 关键是要进行真正的统一数据管理,策略驱动 迁移 归档 删除重复数据,完善数据生命周期管理 在单一的、模块化的平台中进行管理,编制容量计划 整理陈旧信息 管理空闲空间 禁止非法存储,让你更贴近存储和信息,让你更贴近存储和信息,回收空间抑制存储增长,回收空间抑制存储增长,法规遵从归档 复制 备份

23、远程数据集中,安全保护所有的数据,安全保护所有数据,容灾（DR） 内容索引 电子数据发现（eDiscovery） 法规遵从 合法恢复,快速回复并降低风险,快速恢复并降低风险,众多领先的存储管理技术 内嵌在公共的平台中,基于策略管理的平台 D2D2T分层存储 支持虚拟化操作管理 嵌入式重复数据删除 内置恢复选项 自动发现并激活硬件快照 小颗粒恢复 最终用户搜索/恢复,具有密钥管理的加密功能 基于安全的规则 基于应用的智能代理 内容索引 数据分类管理 分级存储/迁移 电子数据发现,CommVault Simpana软件 能解决您主要的烦恼,让你更贴近存储和信息,回收空间抑制存储增长,安全保护所有数据,快速恢复并降低风险,管理存储增长 正确预估存储存储容量 备份监控和管理 费用管理 提供存储空间 缺少一体化的管理工具 管理太复杂 数据的机动性 处理性能问题 归档及归档数据 电源管理 调整法规 应用恢复/备份 管理存储设备