容灾技术概念

容灾技术的概念

目录

第一章容灾技术及方案讨论0

1.1容灾技术的意义0

1.2容灾技术的分类1

1.3同步传输的数据复制2

1.4同步数据容灾的性能分析3

1.5异步数据复制方式6

1.6容灾技术性能总结和对照9

第二章广域网络的高可用技术（软件容灾方式）10

第一章容灾技术及方案讨论

1.1容灾技术的意义

当应用系统的一个完整环境因灾难性事件（如火灾、地震等）遭到破坏时，为了

迅速恢复应用系统的数据、环境，立即恢复应用系统的运行，保证系统的可用性，

这就需要异地灾难备份系统（也称容灾系统）。可以说，对于关键事物的处理系统，

如联通的各项业务系统〔客户效劳、计费、1DC等〕，建立最高级别的平安体系，

也是提高效劳质量、在竞争中立于不败之地的重要举措。

长期以来，对企业而言，建立一套可行的容灾系统相当困难，主要是高昂的本钱

和技术实现的复杂度。鉴于此，从可行性而言，必须具有良好的性能价格比。

建立异地容灾系统，即指建立远程的数据中心，通过配置远程容灾系统将本地

数据实时进行远程复制，同时实现本地系统故障时应用系统的远程启动，确保系统

的不中断运行。

建立异地容灾中心的优势在于：

1.强大的一级灾难抗御能力。

2.有效防止物理设备损伤产生的灾难后果。

3.提供99.9999%的平安机制。

4.实时数据复制提供强大的数据交换能力。

随着数据平安技术的开展，Cluster〔HA〕的技术越来越成熟，Cluster的部

署越来越普及，Cluster技术确实解决了用户系统的高可用性问题，为业务的良性

开展提供了稳定的基石。随着业务的开展，商业坏境对效劳供给商提出的要求也越

来越苛刻，这必将使应用系统及其数据对高可用性的要求走上一个新的台阶。

一个本地Cluster系统理论上可以提供99.99%以上的系统高可用性，但一旦

发生火灾、自然灾害、人为破坏等意外事件，效劳商将如何应对呢？如果没有必要

的准备和应对手段，这样的一次意外对效劳上来说将是灾难性的。对于IT部门来

讲，要提高自己的抗灾能力，其必要的技术就是建立起一个容灾系统。

1.2容灾技术的分类

一个容灾系统的实现可以采用不同的技术，一种技术是：采用硬件进行远程数

据复制，我们称为硬件复制技术。这种技术的提供者是一些存储设备厂商。数据的

复制完全通过专用线路实现物理存储设备之间的交换。另一种技术是：采用软件系

统实现远程的实时数据复制，并且实现远程的全程高可用体系〔远程监控和切

换〕o这种技术的代表如VERITAS等一些著名存储软件厂商。我们在下面的章节

会对以上两种技术进行详细的论述。

容灾系统的归类在另一个方面要由其最终到达的效果来决定。从其对系统的保

护程度来分，我们可以将容灾系统分为：数据容灾和应用容灾。

所谓数据容灾，就是指建立一个异地的数据系统，该系统是本地关键应用数据

的一个实时复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有

一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可

以比本地数据略微落后，但一定是可用的。

所谓应用容灾，是在数据容灾的根底上，在异地建立一套完整的与本地生产系

统相当的备份应用系统〔可以是互为备份〕。建立这样一个系统相比照拟复杂，不

仅需要一份可用的数据复制，还要有包括网络、主机、应用、甚至TP等资源，以

及各资源之间的良好协调。应用容灾应该说是真正意义上的容灾系统。

我们先讨论一下数据容灾。

数据容灾〔硬件容灾方案和软件容灾方案均包括」,又称为异地数据复制技

木，按照其实现的技术方式来说，主要可以分为同步传输方式和异步主输方式[各

厂商在技术用语上可能有所不同。而根据容灾的距离，数据容灾又可以分成远程数

据容灾和近程数据容灾方式。下面，我们将主要按同步传输方式和异步传输方式对

数据容灾展开讨论，其中也会涉及到远程容灾和近程容灾的概念，并作相应的分

析。

1.3同步传输的数据复制

有关同步数据容灾，在传统意义上讲，就是通过容灾软件〔可以含在硬件系统

内〕，将本地生产数据通过某种机制复制到异地。从广义上讲，同步数据容灾是指

在异地建立起一套与本地数据实时同步的异地数捱。

从上图，我们可以看出，采用同步传输方式进行异地数据容灾的过程包括：

1.本地主机系统发出第一个I/O请求A;

2.主时机对本地磁盘系统发出I/O请求；

3.本地磁盘系统完成I/O操作，并通知本地主机“I/O完成〃；

2\在往本地I/O的同时，本地系统〔主机或磁盘系统〕会向异地系统发出

I/O请求A;

异地系统完全I/O操作，并通知本地系统“I/O完成〃

4.本地主机系统得到“I/O完成〃确实认，然后，发出第二个I/O请求及

不同的异地数据复制技术的实现方式是不同的，包括：

1.基于主机逻辑卷层的同步数据复制方式〔软件复制方式〕；

2.基于磁盘系统I/O控制器的同步数据复制万式〔硬件复制方式〕；

基于主机逻辑卷的同步数据复制方式

基于主机逻辑卷的同步数据复制方式以VERITASVolumeReplicatorCVVR]

为代表，VVR是集成于VERITASVolumeManager〔逻辑卷管理〕的远程数据复制

软件，它可以运行于同步模式和异步模式。在同步模式下，其实现原理如下列图：

当主机发起一个I/O请求A之后，必然通过逻辑卷层，逻辑卷管理层在向本地

硬盘发出I/O请求的同时，将同时通过TCP/IP取络向异地系统发出I/O请求。其

实现过程如下：

1.本地主机系统发出第一个I/O请求A;

2.主机逻辑卷层会对本地磁盘系统发出I/O请求；

3.本地磁盘系统完成I/O操作，并通知本地逻辑卷“I/O完成〃；

果与远程的I/O带宽相XV100MB/秒二二800Mbit/秒〃窄得多的话，如E1:

2Mbit/秒；E3:45Mbit/秒，将会明显拖慢生产系统的1/(),从而影响系统性能。

2.距离

光和电波在线路上传输的速度是30万公里/秒，当距离很长时，这种线路上的

延时将会变得很明显。例如：一个异地容灾系统的距离是1000KM,其数据库写盘

的数据块大小是10KB〔一次I/。的数据量〕，那么：

•本地I/O时1100米距离内1:

光电在线路上的延时=0.lkm/300,000km*2次/一个来回

=0.67*10-6秒

1秒钟内允许I/O次=1/10.67*106]=1.5*106次

1秒钟允许的I/O量=10KB*1.5*10-6=15GB

此数字远远超过光纤通道带宽本身，也就是说，光电在10。米距离的线路上的

延时刈性能的影响可以忽略不计。

•异地I/O的11000公里〕：

光电在线路上的延时=1000km/300,000kni*2次

=1/150秒

1秒钟内允许I/O次二1/口/150〕=150次

1秒钟允许的I/O量=10KB*150=1.5MB

此数据说明，在1000公里距离上，允许的最大I/O量在不存在带宽限制时，

已经远远低于本地I/O的能力。〔注：上面分析还未考虑中间设备及协议转换的延

时〕。

3.中间链路设备和协双转换的时延

中间链路设备和协议转换的方式的不同，时延不同，对性能的影响也不同。在

对性能影响的分析中，这个因数也应计算在内。目前不同异地数据复制技术所依赖

的介质和协议不问，我们将介质、协议和大概时延例表如下，这里提供的数据只精

确到数量级，仅供参考，实际数据应该向设备供给商索取。

链路设备和协议带宽支持的距离设备和协议转换时延

租用线路任意不受限制约1ms

ESCON136Mbit66公里<lOOus

LAN1000Mbit10公里<lOOus

ATM655Mbit不受限制<lOOus

IPoverFC800Mbit60公里<lOOus

FC800Mbit60公里<1Ous

下面是一个线路时延分析对照表，供参考。

距离

1000KM100KM10KM

线路时延/次I/O6ms600us60us

支持的链路和协议租用线路租用线路租用线路

ATMATMATM

ESCON

LAN

IPoverFC

FC

本地磁盘I/O能力10KB/ms

在1000公里和100公里距离上，采用租用线路和ATM,允许的最大I/O能力

〔假定带宽足够，数据块大小以10KB为例〕：

在10公里距离上，采用各种传输协议允许的最大I/O能力，数据块大小以

10KB为例〔假定带宽足够］:

10公里

租用线路ATMESCONFC

LANIPoverFC

线路时延/次60us60us60us60us

设备协议时延>1ms<lOOus<lOOus<lOus

I/O次数/秒485-930900-5800900-5800900-12500

I/OMB/秒9-589-589-125

备注适合用同步传输

1.5异步数据复制方式

从前面的分析来看，同步数据容灾一般只能在较短距离内部署［10八1-

100KMJ,大于这个距离，就没有实际应用价值了。因为即使在1000KM距离上，

4.5MB的速率即使将数据复制到异地，每个I/O的响应时间也会超过10ms,这种

响应速度太慢。

异步数据容灾是在“线路带宽和距离能保证完成数据复制过程，同时，异地数

据复制不影响生产系统的性能〃这样的要求下提出来的。考虑异步数据容灾，应该

注意到以下几个技术条件和事实。

1.带宽必须能保证招本地生产数据根本上完全复制到异地容灾端，还要考虑

距离对传输能力的影响。

按照前面的估算：在1000公里范围内，一条带宽足够的线路能支持

的I/O流量最大为〔数据块大小10KM］:1.4MBX3600秒x24小时

=120GB/天

2.异地容灾远端数据会比本地生产端数据落后一定时间，这个时间随采用的技

术，带宽、距离、数据流特点的不同而不同。一般而言，软件方式的数据

复制技术具有完整的数据包的排队和断点重发机制，在灾难情况下可以保

证灾难时间点的教据一致性。

3.异步容灾根本不影响本地系统性能。

与同步传输方式相比，异步传输方式对带宽和距离的要求低很多，它只要求在

某个时间段内能将数据全部复制到异地即可，同时异步传输方式也不会明显影响应

用系统的性能。其缺点是在本地生产数据发生灾难时，异地系统上的数据可能会短

暂损失〔如果广域网速率较低，交易未完整发送的话〕，但不影响一致性〔类似本

地数据库主机的异常关机〕。

通过异步传输模式进行异地数据复制的技术，包括：

1.基于主机逻辑卷的数据复制方式

2.基于磁盘系统I/O悭制器的数据复制方式

•基于主机逻辑卷LVolumeJ的数据复制方式

首先申明：针对这种方式，这以VERITASVVR为例，但并不表示所有基于主机

进行复制的其它软件采用同样方式，也不保证其它软件是有应用价值的。

VERITASVVRfVolumeReplicatorJ通过基于Volume和Log的复制技术，

俣证在任何时刻本地系统发生自然灾难时，在异地的数据仍是可用的。

VERITASVVR在异步模式下采用了Log技术来跟踪未及时复制的数据块，这个

Log是一个先到先效劳的娃栈，每一笔I/O处理都会首先被放进这个Log,并按到

这先后顺序被复制到异地效劳器系统。

下列图是其工作的结构原理。

从上图，我们可以看到整个I/O和复制的过程如下：

1.本地主机系统发出第一个"0请求A到逻辑卷；

2.逻辑卷对本地磁盘系统发出1/0请求；

2’.在往本地磁盘系统I/O的同时，逻辑卷向本地磁盘系统上的VVRLog发出

相同的写请求；

3.本地磁盘系统完成I/O操作；并通知逻辑卷“I/O完成〃；

3\VVR完成针对这个I/O的远程操作，并通知逻辑卷；

4.逻辑卷向主机确认“I/O完成〃。

效劳器的另一个进程：WR的进程，负责将Log队列中的I/O复制到异地效劳

器。这个过程和上回的I/O过程在时间上无关。如上图中的标记：“T〃和

“H〃。

I：本地VVR进程从Log队列中取出最先到达的I/O,复制到异地效劳器

II：异地效劳器接收到本地效劳器VVR发出的I/O请求，将相应数据写到异

电磁盘系统，然后，通知本地系统VVR进程，要求下一个I/O。

这里，跟踪未及时复制的数据块的Log技术是保证异地数据可用的必要条件。

一个数据库的I/O是有严格顺序的，这个顺序是保证数据库完整性的必要条件，一

个完整性被破坏的数据库一般是不可用的，比方根本无法启动、翻开该数据库，且

是无法修复的。本地数据库的完整性是由数据库本身来维护的。当一个数据库被实

时复制到异地时，要保证异地数据库的完整性，必然保证在异地磁盘I/O上的I/O

顺序和本地I/O顺序完全相同，否则，异地数据库的完整性就无法保证。

VERITASVVR采用的I/O控制机制是支持先到先效劳的Log技术，因此，不管

异地数据比本地数据落后多少时间，都能保证异地数据库数据的一致性。比方：本

IG系统在12：00时发生自然灾难，由于局部数据未被及时复制到异地，如有10

分钟的数据未完成复制，那么在异地系统上存在11：50分钟以前的所有数据，且

这个数据库是可用的。

目前的基于磁盘系统内异地数据复制技术采用Bitmap技术和Timestamp技

术，这两种技术都不能保证本地向异地复制数据的顺序严格和本地I/O的顺序相

同，所以，这两种方式都不能保证异地数据库的完整性。

Bitmap1位图1技术记录未被及时复制的数据块的方法是：对于母个数据块

〔如32KB〕用一个Bit来对应，某一个Bit被置为“1〃时，表示其对应的数据块

已被修改正，正在等待处理〔这里是等待被复制〕。由此可以看出，当有一块以上

的数据块未被及时复制时，系统并无法确认哪一块数据块应该先复制到异地，所

以，系统将任选一块，即不按到达的时间先后进行复制。可以看出，这种方式不能

根本保证异地数据库数据的完整性、一致性。

Timestamp方式是对邕个未及时传送的数据块盖上一个时间戳。从外表上看，

由于时间戳的关系，好似能确定一个数据块被修改的时间顺序了。其实不然：当一

个未被及时复制的数据块被第2次修改，并盖上新的时间戳时，数据复制的顺序就

被破坏了。例如：

现在有10块数据块未被复制，编号“1、2、3、4、5、6、7、8、9、10〃；这

时，第3块数据被再次修改，并被盖上一个新的行间戳“11〃；这时，系统会按这

样的次序进行复制：“1、2、［没有31、4、5、6、7、8、9、10、11〃。我们

可以看到，在复制进行到“4~10〃之间时，异地数据的完整性被破坏。

事实上，在一个运行繁忙的系统中，出现这种情况机率极高，甚至每回每刻都

处在这种状态之下。所以，本着严格的，对系统可用性负责任的态度，我们认为

“Timestamp〃的技术虽然比Bitmap技术有一定优势，但实际上也无法保证异地

数据的完整性和可用性。

1.Bitmap和Timestamp方式的技术弱点：没有log;

作为磁盘系统内置的数据复制功能，传统的磁盘管理模式没有考虑在秋盘系统

内部开辟出一个磁盘块给磁盘系统控制器本身使用，所以，磁盘系统无法采用log

模式进行异步数据复制。

2.磁盘系统保存异步传输模式的目的：复制，但不是容灾复制；

数据复制的目的不仅仅是容灾。数据容灾要求两地时时保持连接，数据复制过

程在任一时间都在进行〔除非有线路或设备故障〕。而非容灾性复制只要求在某一

个时间段里将数据复制到异地，复制告一段落后〔在某一时刻完全同步」，复制工

作会暂停。这种复制可能是为一个特殊目的只做一次，如在线业务迁移；也可能每

天或每月追加一次。这样，在异地就会存在一份最大损失数据量为1天或1个月的

生产数据复制品，其对数据的保障能力，如同磁盘备份。这种方式复制数据的目的

包括：1〕在异地保存一份备份数据〔如同磁带备份异地保存〕。2〕在线业务迁

移，当信息中心或其中的一个效劳要迁移到另一个地方，又希望少停机〔实际上也

可用磁带备份和恢复来实现1o3J利用与磁盘快照技术结合，为异地开发中心提

供一个与生产数据尽量相同的测试数据源。当然，也可用于其它可能的目的。

综上所述，我们可以看出，虽然基于磁盘系统的异地数据复制功能有异步传输

模式，但实际上并不支持异步数据容突，只有像VERITASVolumeReplicator这

样基于先进先出的Log技术的解决方案才真正支持异步数据容灾。

1.6容灾技术性能总结和对照

以下我们对于各种容灾技术的工作方式进行总结。

Software（同步）Software（异步）基于阵列的

同步数据容灾

理想距离<100km<1000km60km（光纤）

链路要求任何支持任何支持ESCON,ATM

TCP/IP的设备TCP/IP的设备IPoverFC

理想链路带宽>40Mbit相对较小>40Mbil

对应用系统性能很大很小很大

的影响

是否需要专用磁不需要不需要必须

盘系统

部署的简单性长距：复杂一般硬件：复杂

短距：一般软件