应用容灾——火星舱持续数据保护

1、应用容灾火星舱持续数据保护产品白皮书2011年11月第1章 容灾与持续数据保护（CDP）1.1 容灾的概念及技术指标容灾（Disaster Tolerance），就是在灾难发生时，在保证应用系统的数据尽量少丢失的情况下，维持系统业务的连续运行。和容灾比较容易混淆的概念有容错和灾难恢复。容错是指在计算机系统软硬件发生故障时，保证系统能继续运行的能力，主要通过硬件冗余和错误检查等技术来实现；容灾是通过系统冗余、灾难检测和系统迁移等技术来实现。灾难恢复是指灾难发生后，系统恢复正常运行的能力；而容灾指灾难发生时保持系统不间断运行的能力。容灾可以区分为离线式容灾（冷容灾）和在线容灾（热容灾）两种类型。离

2、线式容灾主要依靠备份技术来实现。首先通过备份软件将数据备份到磁带上，然后将磁带异地保存、管理。数据的备份过程可以实现自动化管理，整个方案的部署和管理比较简单，投资较少。缺点在于：系统的数据恢复较慢，备份窗口内的数据丢失严重，实时性差。对RTO（Recovery Time Objective）和RPO（Recovery Point Objective）要求较低的用户可以选择这种方式。在线式容灾中，源数据中心和灾备中心同时工作。数据在写入源数据中心的同时，实时地被复制传送到灾备中心。在此基础上，可以在应用层进行集群管理，当生产中心遭受灾难、出现故障时，可由灾备中心自动接管并继续提供服务。应用层的管

3、理一般由专门的软件来实现，可以代替管理员实现自动管理。在线容灾可以实现数据的实时复制，因此，数据恢复的RTO和RPO都可以满足用户的高要求。因此，数据重要性很高的用户都应选择这种方式，比如金融行业的用户等。实现这种方式的容灾需要很高的投入。容灾备份系统按照灾难防御程度的不同，可分为数据容灾和应用容灾。数据容灾是对应用系统数据按照一定的策略进行异地容灾备份，当灾难发生时，应用系统暂时无法正常运行，必须花费一定时间从灾备中心恢复应用关键数据至本地系统以保证业务的连续性和数据的完整性，因为异地容灾备份系统只保存了灾难发生前应用系统的备份数据，因此数据容灾可能会产生部分数据丢失。应用容灾是在异地建立一

4、个与本地应用系统相同的备份应用系统，两个系统同步运行，当灾难发生时，异地系统会迅速接管本地系统继续业务的运行，不需要中断业务，这样使得应用系统使用者察觉不到灾难的发生。应用容灾比数据容灾防御灾难破坏能力要强，它能够更好地保持业务的连续性和数据的完整性，而数据容灾会出现业务的暂时中断，需要花费一定的时间后才能重新维持业务的连续性，并且可能产生部分数据的丢失。从技术上看，衡量容灾系统有三个主要指标：RPO、RTO和备份窗口（Backup Window）。1、RPO（Recovery Point Objective），即数据恢复点目标。主要指的是业务系统所能容忍的数据丢失量，在同步数据复制方式下，R

5、PO等于数据传输时延的时间；在异步数据复制方式下，RPO基本为异步传输数据排队的时间。2、RTO（Recovery Time Objective），即恢复时间目标。主要指的是所能容忍的业务停止服务的最长时间，也就是从灾难发生到业务系统恢复服务功能所需要的最短时间周期。RTO描述了恢复过程需要花费的时间。例如：假设在时间点t1启动恢复过程并且在时间点t2完成恢复，那么RTO就等于t2-t1。RTO值越小，代表容灾系统的数据恢复能力越强。3、Backup Window，即备份窗口。一个备份窗口指的是在不严重影响使用待备份数据的应用程序的情况下，完成一次给定备份的时间间隔，由需要备份数据的总量和处理

6、数据的服务架构的速度来决定。为了保证备份数据的一致性，在备份过程中数据不能被更改，所以在某些情况下，备份窗口是数据和应用不可用的间隔时间。1.2 传统备份与持续数据保护技术传统的数据备份方式有以下几方面不足：第一，备份窗口不可少，在进行数据备份时必须中断业务，这对许多需要724小时持续运行的应用来说是无法忍受的问题；第二，备份数据不断增长，传统方式不仅备份时间长，而且恢复过程更漫长；第三，两次备份之间产生的数据更新无法保护。CDP（Continuous Data Protection），即连续数据保护，是一种在不影响主要数据运行前提下，持续捕捉或跟踪目标数据所发生的任何变化，可以在数据发生任何

7、变化时将数据有效地保护起来。最大的优势是可以对任何时间点的数据恢复。CDP可以提供块级、文件级和应用级的备份及恢复。CDP与快照相比的优势有以下几点：一是快照需要暂停业务系统较短的时间，而CDP能够完全保证业务的连续性；二是快照需要保存修改后的全部数据，CDP不需要，因此占用存储空间少；三是快照只能恢复到过去某个时间点的数据，CDP可以恢复到过去任意时刻的数据。相对于传统的备份技术而言，CDP是一种质的飞跃。全球网络存储工业协会(SNIA)对CDP的定义是：一种能独立对主要数据进行持续捕捉或跟踪数据修改，并保存变化，从而实现从过去的任何非预设点恢复的方法。有人把传统的备份方式比作每天或每周对仓

8、库中的货物进行盘点，不仅费时费力，而且对于两次盘点之间的货物变化没有办法准确得知。CDP则不同，它就像是为仓库专门配备了一名保管员，会随时记录每批货物的进出。任何人想了解每批货物的情况，只要问问保管员即可，不必亲自动手去盘点货物。CDP的最大优势就在于，它对数据的保护是连续性的，而且可以快速恢复。 第2章 市场上CDP产品的问题随着数据安全的深入人心，各种备份产品在市场上的竞争也进入了白热化阶段，这些产品既有像Symantec、BakBone等传统厂商，也有很多新兴的数据保护软硬件品牌。几乎所有的备份厂商都推出了所谓的实时备份产品或者模块为用户提供容灾方案，这些产品和模块的功能在描述上与CDP

9、一样，都是对数据提供持续数据保护并且可以回退到以前的任意时间点。上面提到，衡量容灾技术的能力有连个重要指标，就是RTO和RPO。市场上大多数的实时备份或者持续数据保护产品对于用户数据的RPO都可以做到分钟级甚至更低，也就是说用户的数据被持续的进行保护，无论存储或者应用出现故障都可以做到近乎零数据丢失，这能够充分保证用户的安全。但是这些产品在RTO指标上却都没有很大突破，由于采用的还是传统的恢复操作，因此当用户选择时间点进行回退时，所需的时间很长，通常在几个小时以上，对用户的应用持续性保护不够，用户业务中断时间较长。第3章 火星舱持续数据保护产品3.1 产品设计目标第一章提到，容灾技术按照防御程

10、度不同可以分为数据容灾和应用容灾。而数据容灾是应用容灾的基础，应用容灾是容灾技术实现的高级体现。火星舱作为火星高科重磅推出的软硬件一体化数据安全产品，已经在市场上广泛推广，为用户提供备份、虚拟磁带库、高速磁盘阵列、主机虚拟化等功能，这次火星高科通过自主研发，向市场推出基于应用容灾级别的持续数据产品，火星舱持续数据保护产品以应用容灾为目标进行设计研发，为用户提供Windows及Linux操作系统下的各种数据及应用容灾，将用户应用的保护提升到最高级别，使快速应用恢复成为可能，在RTO指标上明显高于市场上的其他实时备份产品。3.2 产品特点l 最大限度地实现应用程序数据保护和灾难恢复；l 保护Win

11、dows和Linux平台上的各种业务应用程序，包括 Microsoft、Oracle和SAP、文件系统及其他应用程序；l 支持各种双机和集群环境，包扩Oracle RAC和其他操作系统文件或服务集群；l 通过火星舱持续数据保护产品确保不再丢失数据，它是可以执行任意时间点恢复的持续数据保护产品；l 单一产品解决方案，为同构或者异构存储中的数据块LUN提供持续数据保护、复制和灾难恢复；l 即时访问复制的数据，来实现灾难恢复或其他目的（例如测试和数据挖掘等）；l 通过主机虚拟化环境来为用户提供应用服务器的数据及应用保护，最大限度降低资金成本；l 通过IP线路可以在进行本地持续数据保护的同时将数据传输

12、到异地，除了能做到数据异地容灾外，还可以在异地搭建应用系统进行应用接管；第4章 产品功能与实现火星舱持续数据保护产品是软硬件一体化的多功能数据保护产品，其中的核心是自主研发的基于操作系统内核级的写入分离器程序（splitter）。该分离器程序安装在Windows或者Linux主机上，对主机上的全部数据进行写入监控，任何写入到存储上的数据都会被截获并复制出一份传输到火星舱上进行保存。另外，在火星舱内或火星舱能够访问的存储（DAS或SAN存储）划分出一定的容量作为日志卷，每个被保护卷都有相应的日志卷，日志卷中保存了被保护卷的每一次写操作的数据块和其相对应的时间戳。4.1 本地持续数据保护4.1.1

13、 部署方式DAS1. 部署说明： 上图中文件服务器和数据库服务器为火星舱持续数据保护产品进行保护的数据源和应用系统； 火星舱进行DAS连接的磁盘阵列或者位于火星舱内部的存储空间用于保存持续数据保护的数据内容及日志； 文件服务器、数据库服务器及其他的被保护系统与火星舱持续数据保护产品之间使用以太网连接；2. 数据保护工作流程： 初始数据同步：在开始持续数据保护之前，需要将应用服务器中需要保护的数据卷进行初始化同步，目的是让目标卷中现拥有被保护卷的原始数据，同步工作通过以太网完成（应用服务器-火星舱-DAS磁盘阵列），在数据量巨大时可能会耗费一些时间。在数据进行初始化同步的同时，被保护应用可以正常

14、运行，同步过程中出现的数据写入也会被分离器截获并传输到火星舱进行完整记录，这些记录会作为初始化同步成功后的首批变化日志保存在日志卷中； 开始监控写入操作：初始同步完成后，安装在被监控主机上的写入分离器开始工作，对主机上用户设定的卷上应用程序的全部写操作进行监控。每次分离器截获写入数据后便复制出一份，通过网络传输给火星舱； 记录数据变更日志：火星舱收到写入分离器发送的数据变化后，加上时间戳，保存在专门为被保护卷开设的日志卷中。在保存日志的同时，火星舱持续数据保护产品还允许用户手工添加标签，这些标签可以在将来进行容灾恢复时方便选择特定的时间点。日志卷的容量设置的越大，所保留的数据变更历史纪录越长，

15、日志卷如果没有空间，便不能继续记录被保护卷的数据变化情况，此时就需要重新进行初始化数据同步； 将日志写入目标卷：根据用户设置，日志写入目标卷的触发条件可以分为以下几种：u 实时写入：此种方式使得目标卷的更新效率最快，日志卷被写满的出现概率最低；u 定时写入：为了降低火星舱的负载压力，可以设定日志定时写入目标卷。此方法适用于那些数据工作时间变化，下班时间不变的单位。设置在晚上进行日志写入目标卷也能够充分利用系统的闲置时间进行处理；u 日志卷空间占用率触发：用户可以设置日志卷的空间使用率达到多少时进行日志写入目标卷，并且当日志容量降低到制定的数值时停止写入； 数据恢复：根据用户应用访问数据的方式，

16、数据恢复分为恢复到用户存储和直接挂载火星舱存储两种，无论恢复的目标是哪，都可以做到任意时间点回退恢复：u 恢复到用户存储：用户在火星舱持续数据保护产品中选择被保护卷的时间点，火星舱将目标卷的数据和用户选择时间点前的日志进行合并，并快速恢复到用户指定的存储设备中，恢复完成后用户便可以进行数据访问并继续开始持续数据保护操作。本方法的缺点是RTO较长，优点是恢复后用户的存储吞吐能力强；u 直接挂载火星舱存储：火星舱具有IP-SAN磁盘阵列功能，因此在进行灾备数据恢复时，用户可以在火星舱持续数据保护产品界面中选择需要回退的时间点，然后由火星舱自动将目标卷和日志卷进行内存中的整合，并输出为IP-SAN上

17、的特定LUN被用户应用程序挂载，被挂载后用户的应用系统可以对数据一致性进行测试检查。这个试挂载功能非常适合于被保护卷是数据库的情况，因为数据库的特殊写入方式，持续数据保护产品不能保证所有记录的日志都是可以被数据库成功加载和使用的，因此提供试挂载功能可以保证用户应用进行灾备数据恢复后的可用性更高。当用户确定了正确的试挂载时间点后可以选择将此时间点完整恢复到单独的存储中进行访问，也可以继续在火星舱提供的IP-SAN磁盘中进行数据访问。本方法的优点是回退时间很快，RTO保持在分钟级，同时提供试挂载功能；缺点是火星舱提供的IP-SAN相对于专业存储在大量应用同时访问的情况下性能略低； 恢复持续数据保护

18、工作：用户在灾备数据回退恢复后，应用恢复运行，这时候持续数据保护工作随之继续，整个工作过程如前述步骤；4.1.2 部署方式SAN1. 部署说明： 上图中文件服务器和数据库服务器为火星舱持续数据保护产品进行保护的数据源和应用系统； 用户应用服务器与火星舱都接入SAN网络，可以访问光纤网络上的磁盘阵列。在光纤磁盘阵列中开辟固定空间用于保存持续数据保护的数据内容及日志； 同时文件服务器、数据库服务器及其他的被保护系统与火星舱持续数据保护产品之间使用以太网连接；2. 数据保护工作流程： 初始数据同步：在开始持续数据保护之前，需要将应用服务器中需要保护的数据卷进行初始化同步，目的是让目标卷中现拥有被保护

19、卷的原始数据，同步工作通过SAN网络完成（应用服务器-光纤磁盘阵列），相对于DAS方式部署的持续数据保护系统，同步速度快，耗费时间少。在数据进行初始化同步的同时，被保护应用可以正常运行，同步过程中出现的数据写入也会被分离器截获并传输到火星舱进行完整记录，这些记录会作为初始化同步成功后的首批变化日志保存在日志卷中； 开始监控写入操作：初始同步完成后，安装在被监控主机上的写入分离器开始工作，对主机上用户设定的卷上应用程序的全部写操作进行监控。每次分离器截获写入数据后便复制出一份，然后通过SAN网络直接写入到光纤磁盘阵列的日志卷中，写日志的同时通过以太网通知火星舱； 记录数据变更日志：火星舱得到分离

20、器的日志写入通知后，访问日志卷的相应数据，为数据加上时间戳。在添加时间戳的同时，火星舱持续数据保护产品还允许用户手工添加标签，这些标签可以在将来进行容灾恢复时方便选择特定的时间点。日志卷的容量设置的越大，所保留的数据变更历史纪录越长，日志卷如果没有空间，便不能继续记录被保护卷的数据变化情况，此时就需要重新进行初始化数据同步； 将日志写入目标卷：根据用户设置，日志写入目标卷的触发条件可以分为以下几种：u 实时写入：在SAN部署环境下，日志卷和目标卷都位于光纤磁盘阵列中，由火星舱将日志卷的内容实时合并到目标卷中。此种方式使得目标卷的更新效率最快，日志卷被写满的出现概率最低；u 定时写入：为了降低火

21、星舱的负载压力，可以设定日志定时写入目标卷。此方法适用于那些数据工作时间变化，下班时间不变的单位。设置在晚上进行日志写入目标卷也能够充分利用系统的闲置时间进行处理；u 日志卷空间占用率触发：用户可以设置日志卷的空间使用率达到多少时进行日志写入目标卷，并且当日志容量降低到制定的数值时停止写入； 数据恢复：根据用户应用访问数据的方式，数据恢复分为恢复到用户存储和直接挂载火星舱存储两种，无论恢复的目标是哪，都可以做到任意时间点回退恢复：u 恢复到用户存储：用户在火星舱持续数据保护产品中选择被保护卷的时间点，火星舱将目标卷的数据和用户选择时间点前的日志进行合并，并快速恢复到用户指定的存储设备中，恢复完

22、成后用户便可以进行数据访问并继续开始持续数据保护操作。相对于DAS部署方式，SAN部署模式下恢复的速度很快，数据都通过光纤网络进行传输，极大的缩短了RTO；u 直接挂载火星舱存储：火星舱具有FC-SAN磁盘阵列功能，因此在进行灾备数据恢复时，用户可以在火星舱持续数据保护产品界面中选择需要回退的时间点，然后由火星舱自动将目标卷和日志卷进行内存中的整合，并输出为FC-SAN上的特定LUN被用户应用程序挂载，被挂载后用户的应用系统可以对数据一致性进行测试检查。这个试挂载功能非常适合于被保护卷是数据库的情况，因为数据库的特殊写入方式，持续数据保护产品不能保证所有记录的日志都是可以被数据库成功加载和使用

23、的，因此提供试挂载功能可以保证用户应用进行灾备数据恢复后的可用性更高。当用户确定了正确的试挂载时间点后可以选择将此时间点完整恢复到单独的存储中进行访问，也可以继续在火星舱提供的FC-SAN磁盘中进行数据访问。本方法的优点是回退时间很快，RTO保持在分钟级，同时提供试挂载功能；缺点是火星舱提供的FC-SAN相对于专业存储在大量应用同时访问的情况下性能略低； 恢复持续数据保护工作：用户在灾备数据回退恢复后，应用恢复运行，这时候持续数据保护工作随之继续，整个工作过程如前述步骤；4.1.3 两种部署方式比较下表中总结了两种本地持续数据保护部署方式的差别：比较项目DAS部署方式SAN部署方式初始数据同步

24、过程慢快数据保护时间点数量与日志卷容量有关与日志卷容量有关写日志卷方式及速度以太网，慢SAN网络，快日志合并速度慢快试加载功能有有直接挂载火星舱数据恢复方式IP-SANFC-SAN用户投入成本低高适合用户低投入，对效率要求不高的无SAN环境愿意投入，对效率要求高有SAN环境4.2 本地应用容灾除了进行本地应用的持续数据保护外，火星舱持续数据保护产品也可以为用户搭建适用于本地的应用高可用系统应用容灾系统。下面是一个本地数据库系统的典型应用容灾部署图：具体的实现方式如下： 本地持续数据保护：与上一节中描述相同，本地应用持续数据保护的日志卷和目标卷均在SAN磁盘阵列中，所不同的是目标卷被分配给火星舱进行控制和访问的同时也分配给备用数据库服务器作为数据存储。 正常工作时：主数据库服务器出于服务运行状态，为用户提供数据访问，备用数据库服务器处于开机但是服务停止运行的状态，火星舱持续数据保护产品根据用户设置进行本地数据库的持续数据保护； 主服务器故障时：用户在火星舱持续数据保护产品界面中选择需要回退到的数据库存储时间