中国进出口银行远程容灾技术方案建议书.doc

中国进出口银行远程灾难备份项目方案建议书 北京环亚时代信息技术有限公司 2005年12月中国进出口银行远程灾难备份项目方案建议书目 录1. 项目背景31.1. 容灾的必要性31.2. 容灾技术的发展41.3. 用户需求62. 远程数据容灾系统解决方案82.1. 方案设计原则82.2. 容灾系统建设过程92.3. 方案设计综述102.4. 远程数据容灾方案说明112.5. 方案特点122.6. 系统配置说明123. 数据远程容灾的实现方式（推荐异步方式）183.1. TrueCopy数据远程容灾产品193.2. TrueCopy远程容灾同步方式数据备份203.3. TrueCopy远程容灾异步数据备份（推荐方式）203.4. 保证数据的完整性234. 在生产及备份中心建立PIT拷贝的考虑254.1. ShadowImage磁盘阵列内数据复制软件产品254.2. 本地磁盘镜像功能与快速数据恢复264.3. 革新数据备份策略，缩短业务处理流程中的“备份窗口”274.4. PIT(Point in Time)拷贝的并行应用284.5. ShadowImage安全、经济、有效的数据容灾解决方案294.6. TC+SI配合使用为用户提供“终极”数据保护295. 数据远程容灾连接方式及带宽的计算325.1. 数据远程容灾的连接方式 推荐采用IP网络连接325.2. 链路带宽的计算346. 生产中心数据备份架构设计376.1. 备份方案说明376.2. 备份方案的优点376.3. 数据库的备份/恢复方案386.4. 数据库备份策略建议406.5. 系统备份建议407. 用TrueCopy实现远程数据复制407.1. TrueCopy所需要的部件407.2. TrueCopy环境的建立407.3. TrueCopy的正常操作407.4. Truecopy 实施过程407.5. Truecopy对临时故障的处理408. 系统的恢复时间和恢复程度408.1. 恢复时间目标408.2. 恢复点目标（恢复程度）409. 容灾系统的测试与演练4010. 灾难发生时文件恢复、切换、回切过程和建议4010.1. Truecopy的工作示意图4010.2. 灾难前的准备工作4010.3. 灾难发生时生产中心重建及备份数据反向复制过程401. 项目背景1.1. 容灾的必要性在信息时代，数据是企业创造商业价值的生产资料，数据的丢失将为企业带来毁灭性的灾难。据Gartner Group的调查数据表明，在经历过大型灾难或长时间系统停运的公司中，有2/5的公司再也未恢复运行，而在其余的公司中，有1/3的公司在两年内破产。在过去几年中，世界发生了重大的变化。破坏性极强的恐怖活动与威胁、日益频繁的电网大面积停电以及政府监管要求的出台，给许多企业提出了严格的数据保护要求。不论从事何种行业，越来越多的企业要求7x24的运营 - 特别是以国际业务为主的大型企业 - 它们需要借此不断提高竞争优势，以保持盈利能力和企业生命力。 容灾备份系统就是防止意外情况而采取的一种解决方案，其目的只有一个，那就是保证数据安全。911事件中，纽约世贸中心大楼倒下的同时，许多大公司的商务数据在瞬间“灰飞烟灭”，其价值比倒下的大楼价值高得多，但世贸中心最大的主顾摩根斯坦利公司因为拥有远程容灾备份系统，其业务数据完好无损！在复杂而富有挑战性的全球环境中，企业要经受得住任何形式的系统宕机的考验，实现不间断数据可用性的业务连续性方案，及经过考验的灾难恢复方案无疑至关重要。做为银行，和其他行业有着不同的特点。银行更肩负着众多的企业和个人客户，甚至于国家承担的最为主要的责任。由于银行业务日益复杂，对应用系统和数据的依赖也越来越强。难以想象一旦没有了信息系统或数据，对银行本身的生存造成的影响，更为严重的是对整个社会稳定的极为广泛的影响。因此，无论是技术水平和灾难方面，管理银行的信息系统和数据的灾难保护的重要性超越其他任何行业。灾难的构成十分复杂，地震、海啸、龙卷风等只是毁灭性极强的众多灾难的一小部分，而且几率随地区和时间季节不同而难以判断。然而，绝大多数与信息技术有关的灾难实际上都是逻辑（非自然）灾难，例如数据毁坏、电脑病毒和人为错误等，而不是火灾、地震、飓风等自然灾难。包括对灾难备份技术的选择的不当，如对某些超常距离的数据灾备选择了同步技术，有可能会给企业和信息系统每天带来灾难。由于逻辑灾难随时都有可能发生，给企业带来的威胁更大。但是，由于大家一般看不见逻辑灾难，所以有可能对此重视不够。 无论如何，灾难的最大的共同特点是它发生的时间地点的不确定性和对企业生产力相关资源强大的破坏力。鉴于以上描述和实践经验，选择和实施企业信息灾备系统时，一定要选择最为可靠的，最为先进的技术方案，以及实时更新的管理流程，对于任何可能发生的情况，不能有侥幸心理。面对灾难，真正的挑战在于，企业是否能够采取主动态度，采用能够最大限度改善企业运营活动的最佳方案与技术，而不是采取被动的头痛医头、脚痛医脚的态度。真正的考验在于首先防止停机的发生，以及在确实发生这类事故后，最大限度减小其影响。当今企业必须采取连续的业务模式。这种模式将高可用性解决方案与先进的灾难恢复技术结合起来。最终目标是，能够管理计划中和意外的情况，将停机时间控制在最小水平或为零。 1.2. 容灾技术的发展在过去几年中，软件和硬件方面的许多重要新技术产生了。这些技术可以将恢复业务运转的时间从数天减少到数小时，并可以将备份所需的停机时间缩短到接近零的程度。 在评估不同的技术时，需要考虑几个重要的问题。一个是数据拷贝的一致性或完整性。虽然复制数据可能听起来容易完成，但是从数据拷贝进行恢复的过程，可能是极其复杂的。这不仅取决于所用的技术，还取决于所制定的相关的恢复流程。实时数据拷贝产品用于在一个远程位置保持一份同样的数据映像，以便在生产中心由于发生灾难而无法运转时，处理过程可以在备份中心继续进行。尽管复制数据更新这个概念听上去很简单，但是经受住灾难考验实际上极其困难和富有挑战性。为了解决这个问题，任何灾难恢复解决方案都应当满足三个基本的灾难恢复要求： 经受住反复式灾难的考验保持写操作顺序和数据的完整性发生灾难后的紧急重启动能力任何灾难都由两个离散时间点确定：最初受到灾难打击时（开始）和灾难最后结束时（结束）。灾难开始后，可能会持续数秒甚至数分钟。这两个事件之间的时间点就是”持续性灾难”。反复式灾难时段：对于任何灾难恢复解决方案，经受反复式灾难是一种真正的考验，因为在反复式灾难时段，数据可能会被损坏。灾难恢复解决方案的真正目标是具备在次级位置产生数据映像或I/O一致的数据拷贝的能力。它们是灾难开始之前某一时间点的数据映像或拷贝。这类似于服务器或系统崩溃后的数据存在状态。如将持续性灾难期间的更新活动也投影到备份中心，则备份拷贝也有可能被毁坏，因为在这段时间内，无法一直保留写操作的顺序。我们知道，在灾难发生之前的任何一点，投影数据的映像是可以使用的。但是，如果拷贝了持续性灾难期间可能被毁坏了的更新，则可能无法马上使用该映像。在持续性灾难中，数据映像可能会因写操作顺序和写操作相关性而受到损坏。写操作顺序概念是指必须保持主数据结构的更新顺序或序列，以保证数据的完整性这意味着远程拷贝解决方案必须能够复制原始更新顺序，否则会在备份中心产生被毁坏的数据。写操作相关性是指一系列更新之间存在逻辑关系，如果某一更新发生故障，后续更新的顺序可能会发生变化。应用可以控制这个写操作顺序/相关性，但是应用并不了解远程拷贝。 保持写操作相关性的途径有多种，供应商在其远程拷贝产品中选择了不同的方案。目前已经有经过实践检验的技术来确保这种写操作的相关性和一致性。这些技术包括具有冻结功能等控制功能的真正同步远程拷贝产品。许多异步复制方案能令人满意地解决写操作顺序问题，因此具有很强的实用性和现实意义。 对于跨越多个卷的应用，包括许多生产型数据库，远程拷贝技术还必须在所有相关的卷之间保持一致性。在持续性灾难中，这可能会成为一个挑战。因为在这个过程中，不同的存储系统或通信链路会在不同的时间点停止传输远程拷贝更新。远程拷贝供应商采用了许多不同的方案来定义一致性组，并在一致性组中的所有卷中保持一致性远程拷贝状态。这些也都是经过实践验证并广泛应用的技术。综上所述，目前远程数据复制容灾技术已经发展到相当成熟与稳定的状态，在全球有着极为广泛的成功应用案例，很多企业采用这种技术实现了数据级容灾、应用级容灾甚至是业务级容灾，保障了企业运营的命脉-信息数据的安全性。这些都可成为工行成功实现远程数据容灾的参考范例。1.3. 用户需求中国进出口银行的综合系统和分行帐务系统目前分别运行在两台IBM的M85和两台IBM的H80开放系统平台上，所有的应用数据都存放在基于HDS的9970V的SAN集中存储环境中，当前系统的架构图如下：当前的应用数据备份主要采用一套STK的L80磁带库，利用一台Sun Untra60工作站做为备份服务器，使用CA的备份软件进行备份，此种方式缺乏抵御地区性灾难的能力，存在着关键应用数据损失的风险。为了进一步保障应用数据的安全性，中国进出口银行计划实现远程异地的数据容灾。日立数据系统（HDS）是世界领先的高端企业存储技术及产品的供应商，致力于为全球所有企业用户提供数据存储系统的完整解决方案。针对中国进出口银行对数据安全性的实际需求，HDS公司技术人员经过详细研讨，依据HDS公司在数据存储系统领域的经验，特做此中国进出口银行远程数据容灾系统解决方案建议书，供行领导及技术专家参考。在建议书中，我们将详细阐述基于智能存储系统的数据实时备份系统解决方案。在方案设计中，我们本着以下原则：在满足需求的基本要求下，采用优化设计，使存储设备方案具有高可靠性、高性能、可扩展性、可管理性。HDS公司致力于为用户提供完善的售后服务。如对本建议书有任何质询，我公司人员愿尽全力作出解释。2. 远程数据容灾系统解决方案2.1. 方案设计原则从用户的需求来看，整个容灾系统硬件平台的主要要求是：高可用性、运行性能、较高并且平滑的可扩充性、采用工业标准的开放性、以及可维护性、简易性等方面。因此，系统设计的出发点基于以下几点考虎：1) 实用性：系统设计充分满足目前的业务需求，并充分考虑到未来业务发展的需要。2) 先进性采用现在最先进的技术，如存储局域网(支持多种操作系统、便于管理、具备远程镜像和灾难恢复能力等)。3) 高性能系统处理能力能够充分胜任业务处理的要求及信息量不断增长的挑战，满足各种应用对硬件平台在大数据量、高反应速度条件下有良好的性能的要求，并支持多机并行运行，性能线性增长。4) 安全性采用当前先进的和流行的安全技术保障系统在网络服务和应用服务上的整体安全性。5) 高可用性在日常工作以及可能出现的单点故障和维护状态下，保证业务能够不间断运行及数据的一致性和完整性。6) 可扩展性方案中充分考虑未来业务发展的需要，留出足够的扩展空间。在系统扩充过程中，业务能够不间断。7) 开放性向用户提供要能符合国际标准，支持各种主流厂商的产品。2.2. 容灾系统建设过程根据对容灾系统建设模型，容灾系统建设过程分为分析、策略制订、方案实施和测试/演习/维护四个阶段。下面分别对各个阶段作出说明：u 分析阶段在取得管理层的正式同意后，获得人员和资源上的保证。首先收集业务过程的信息、技术基础架构的支撑环境、灾难类型等方面的内容，然后进行业务影响分析和风险分析，确定由于中断和预期灾难可能造成的影响。分析的结果用以确定业务关键级别、业务恢复时间和可承受的数据损失程度。u 策略制订阶段在本阶段，结合以上的分析成果，以及企业对容灾的投入规划，制订企业短期、长期范围内的容灾策略和目标，先定义初步的方案。再进一步结合各种因素进行分析，在候选的方案中剔除不合适的方案，将剩余的可用的方案提交给评估组，评估组经过充分详细的评审，选择最合适的容灾方案。u 方案实施阶段根据选择的容灾方案，整合企业相关资源，确定容灾的体系架构和灾难恢复计划，通过技术手段和服务以达到所要求的容灾目标。u 测试/演习/维护阶段任何制订的计划，都必须经过不断的测试和修正，才能满足企业不断发展的需求。同时，通过培训、测试过程，也能够使企业内部人员熟悉自己在容灾流程中所扮演的角色，保证在灾难真正发生的时刻能够有条不紊地执行恢复流程。测试的过程可以分为局部验证和演习两种方式。随着商业需求、新技术的不断升级以及新的内部和外部规则的变化，IT系统也会随之改变。要确保灾难恢复计划的有效性，必须定期检查和修改计划。以上四个阶段是一个周而复始的过程，应随着企业内外部环境的变化而灵活变化。2.3. 方案设计综述考虑到当前的环境，所面临的主要问题就是：如何在对现有应用影响最小的情况下完成生产数据的远程容灾备份。由于项目本身的高度复杂性及对现有生产系统的影响要尽可能低的设计要求，如何在最低风险的情况下，方便快捷地完成应用数据的迁移以及远程数据容灾将是整体方案设计的重中之重。针对数据容灾，我们制定的目标是：l 在满足规划的RTO和RPO指标的要求下，实现开放系统的数据级容灾；l 针对系统潜在的中断风险，提供预防机制，确保在容灾情况发生时，关键生产数据的可靠性、可恢复性及可用性；l 为最终实现应用级乃至业务级容灾做好充分的准备。2.4. 远程数据容灾方案说明经过与用户深入细致的讨论，最终我们建议采用如下方案来完成中国进出口银行的远程数据容灾备份项目，通过在容灾中心新部署一台最新的HDS的网络存储控制器产品NSC55，采用HDS公司久经考验TrueCopy异步远程数据复制技术，实现对生产中心的应用数据的容灾，整个系统架构图如下所示：如上图所示，为了实现远程数据容灾，建议在生产中心保留现有的SAN环境不变的同时，新增两台SAN Router，推荐配置McDATA公司的Eclipse1620产品，进行将光纤通道协议与IP协议的转换，从而将光纤通道数据在基于IP的广域网络上传输，以实现远程异地数据容灾。现有的9970V存储阵列将通过自身的两个光纤端口直接与两台Sun Router相连。在容灾中心，同样需要配置两台SAN Router，推荐配置McData的1620产品，将NSC55通过自身的两个光纤端口直接与两台SAN Router连接起来，构成容灾中心的存储环境，并通过IP路由器来接受从广域网传输过来的生产中心的应用数据。这样，两台HDS的存储系统之间就可以通过基于存储系统的数据复制软件TrueCopy进行数据的实时传输，而不需要主机的资源。为了进一步保障数据的安全性和为了便于进行磁带备份，建议在生产中心和容灾中心的存储系统上都配置的Shadowimage软件实现存储系统内的快速镜像。通过生成的镜像卷，可以用来进行开发和测试，备份以及统计分析等。为了对生产中心及容灾中心的存储网络进行集中的管理，专门配置了一台PC服务器，用以安装HDS的存储区域网络管理软件。在容灾中心，为了对备份数据进行测试演练，专门配置了一台IBM AIX服务器，其上安装Oracle数据库，用以检验备份过来的数据是否可用，以及数据的一致性。这台AIX服务器，通过HB A卡与NSC55直接相连。同时，该服务器通过一台以太网交换机，与IP Router连接起来，这样可以通过租用的IP专线，实现远程的监控管理。2.5. 方案特点该方案的优点是管理简单，可以保证应用系统以及其它系统（如果希望进行数据保护的化）数据的实时备份，并且不需要消耗主机的CPU资源。由于采用基于存储的远程异步方式的数据备份，能够充分保障两台存储系统之间数据一致性，如果主存储系统出现问题，备份存储系统的数据可以保证数据的完整性和一致性。在生产端的存储系统出现任何故障，备份存储系统上仍然有关键的应用数据可以用来在生产中心恢复操作后的数据回传。2.6. 系统配置说明2.6.1、生产中心软硬件产品配置生产用存储阵列配置生产用高端光纤存储阵列HDS Lightning9970V 一台：（现有存储阵列，但需要对缓存及磁盘进行扩容）l 按照1TB1000GB，1GB=1000MB的存储行业规则计算容量l 新增配置16块1万转的72GB磁盘，这样加上已有的28块1万转72GB磁盘，总共44块磁盘，裸容量达到了3.1TB以上，9970V最大可以扩容到128块硬盘，最大容量可达18T（采用146GB磁盘）l 新增配置4GB数据缓存，0.5GB控制缓存，这样加上已有的6.5GB缓存（其中数据缓存4GB，控制缓存2.5GB），总缓存达到了 11GB（其中数据缓存8GB，控制缓存3GB），可以满足性能和做远程数据复制时对缓存的要求，9970V最大可以扩容到70GB缓存（64GB数据缓存+6GB控制缓存）l 实际配置了1对（2个）后端磁盘控制器，满足复杂I/O格式和大量I/O的访问请求l 实际配置了16个FC主机端口，可以扩容至48个FC端口。l 单独配置了2块72GB全局热备盘生产用9970V存储软件Resource Manager（现有）、Shadowimage（现有）、TrueCopy（新增）l 生产用9970V存储管理套件Resource manager 4TB物理容量软件许可（由于扩充了1TB容量，需要加上这新增的1TB容量的Resource Manager的软件许可），整个套件中包含下列软件：l StorageNavigatorWEB远程控制与存储管理门户软件许可l FlashAccess性能优化与性能增强的软件许可 l Performance manager系统性能监视和管理软件许可l LUN Manager存储定义、配置、管理软件许可l Virtual port&HSD虚拟端口&主机存储域软件许可 l GraphTrack存储性能监测软件l 由于需要对生产用存储上的1TB数据进行快照，以获得时间点拷贝用于其它的业务如开发测试等，或作为保护性拷贝防止人为灾害的错误，因此配置了ShadowImage软件，按照1TB可用容量配置存储内数据快照软件ShadowImage的软件许可。由于该软件使用许可前期已经购买，此次不再需要额外购买。l 由于生产用存储阵列有1TB数据要用TrueCopy复制到备份用存储中，因此在生产用存储上必须配置1TB可用容量的TrueCopy软件许可。主机通道负载均衡软件HDLMl 配置了主机多通道接口卡环境下通道负载均衡和故障切换软件Hitachi Dynamic Link Manager。由于该软件使用许可前期已经购买，此次不再需要额外购买。SAN路由器SAN 路由器McDATA ECLIPSE 1620两台根据需要在生产中心新增配置2台SAN路由器，推荐使用McDATA公司的ECLIPSE 1620产品，用以实现光纤通道协议到IP协议的转换。l 配置了两个光纤端口和两个千兆以太网口l 根据需要配置了快写和数据压缩功能以提高数据吞吐量，加快事务处理IP路由器IP 路由器CISCO 2621两台根据需要在生产中心新增配置2台IP路由器，推荐使用CISCO公司的2621产品，用以连接租用的专线，以实现数据的广域网传送。l 配置了两个百兆以太网口用以连接SAN Routerl 配置了一个广域网串行接口板用以连接租用的专线PC服务器PC服务器Dell PowerEdge SC1420服务器一套根据需要在生产中心新增配置一套PC服务器，推荐使用Dell公司的SC1420产品，用以安装HDS的存储网络管理软件，以实现对存储网络的监控及管理。l 配置1个英特尔至强处理器3.0G Hz，1GB内存，1块80GB的SATA硬盘l 配置了一个光纤通道HBA卡，连接在光纤交换机上l 预装Windows2003简体中文版l 安装HDS的存储网络管理软件HiCommand Device Managerl 配置了键盘、鼠标及显示器2.6.2、容灾中心软硬件产品配置备份用存储阵列配置备份用光纤存储阵列HDS NSC55 一台：（新增）l 按照1TB1000GB，1GB=1000MB的存储行业规则计算容量l 配置了28块1万5千转72GB磁盘，裸容量2TB，可以扩容到240块硬盘，最大容量可达72TB（采用300GB磁盘）l 根据HDS设备配置模型，上述容量实际配置13GB缓存（其中数据缓存8GB，控制缓存5GB）可以满足性能及远程数据复制的要求，可以扩容到70GB缓存（64GB数据缓存+6GB控制缓存）l 实际配置了1对（2个）后端磁盘控制器，满足复杂I/O格式和大量I/O的访问请求l 实际配置了16个FC主机端口，可以扩容至48个FC端口。l 单独配置了2块72GB全局热备盘备份用NSC55存储软件Resource Manager、ShadowImage、TrueCopy（全部新增）l 备份用NSC55存储管理套件Resource manager软件许可，整个套件中包含下列软件：l StorageNavigatorWEB远程控制与存储管理门户软件许可l FlashAccess性能优化与性能增强的软件许可 l Performance manager系统性能监视和管理软件许可l LUN Manager存储定义、配置、管理软件许可l Virtual port&HSD虚拟端口&主机存储域软件许可 l GraphTrack存储性能监测软件l 由于需要对备份用存储上的1TB数据进行快照，以获得时间点拷贝用于磁带备份，因此配置了ShadowImage软件，按照1TB可用容量（最小配置单位）配置存储内数据快照软件ShadowImage的软件许可。l 由于生产用存储阵列有1TB数据要用TrueCopy复制到备份用存储中，因此在备份用存储上必须配置1TB可用容量的TrueCopy软件许可SAN路由器SAN 路由器McDATA ECLIPSE 1620两台根据需要在备份中心新增配置2台SAN路由器，推荐使用McDATA公司的ECLIPSE 1620产品，用以实现光纤通道协议到IP协议的转换。l 配置了两个光纤端口和两个千兆以太网口l 根据需要配置了快写和数据压缩功能以提高数据吞吐量，加快事务处理IP路由器IP 路由器CISCO 2621两台根据需要在容灾中心新增配置2台IP路由器，推荐使用CISCO公司的2621产品，用以连接租用的专线，以实现数据的广域网传送。l 配置了两个百兆以太网口用以连接SAN Routerl 配置了一个广域网串行接口板用以连接租用的专线Unix服务器Unix服务器IBM P510服务器一套根据需要在容灾中心新增配置一套Unix服务器，推荐使用IBM公司的P510产品，其上安装Oracle数据库，用以对备份过来的数据进行可用性及一致性检验。l 配置1个Power 5处理器1.65G Hz，1GB内存，2块73GB的光纤通道硬盘l 配置了一个光纤通道HBA卡，连接在NSC55上l 安装AIX操作系统l 安装Oracle数据库l 配置了键盘、鼠标及显示器IP交换机IP 交换机CISCO Catalyst 2950一台根据需要在容灾中心新增配置1台IP交换机，推荐使用CISCO公司的Catalyst 2950产品，共有12个百兆以太网口，用以连接测试用的Unix服务器，同时与广域网IP路由器相连，以实现基于广域网的远程IP网络监控及管理。3. 数据远程容灾的实现方式（推荐异步方式）当灾难发生时，数据是中国进出口银行恢复应用和业务持续运转最为宝贵的资源。一般对于数据安全的保护措施主要有：通过存储级别实现、通过数据库级别软件（传输数据库日志信息）实现和通过第三方备份软件实现。而存储是数据的承载和保护主要设备，我们建议采用存储一级的数据复制技术进行容灾保护。三者的优劣分析是：l 如果考虑第三方的软件，对于现有存储的一些特性可能不能充分的发挥作用，同时HDS能够在灾备管理方面提供其他更高层次的管理软件；而且使用其他厂家的软件必然会带来将来硬件和软件厂商之间在问题处理和性能影响时的扯皮和不确定，最终影响的是中国进出口银行自身的利易。l 通过存储级别实现时，在网络上传递的是磁盘磁道等修改信息，黑客在网络上截获的内容是没法使用的，而如果使用其他的软件可能会得到直接有用的信息，而且信息的传递是建立在存储设备上的，这样的效率应该是高于其他软件把信息从数据库到灾备应用软件到操作系统底层等多个环节的转换处理后的效率。存储级别的数据复制解决方案在网络传输过程中安全性比较高。l 存储级别的数据复制技术十分成熟，而且在业界拥有大量的实际案例l 复制是直接对数据进行保护，直接而且容易实现l 备份端系统恢复的时间最快l 同其它基于软件的容灾方案比较，对带宽要求比较适中，数据复制的可靠性最高，成功率很高。l 基于存储一级的数据容灾可以高效率的为众多的应用同时提供服务，这是基于服务器和应用的数据保护解决方案所不能提供的。l 基于中国进出口银行现有的环境：关键数据存储位置和存储设备为日立数据Lightning 9970V或 USP100高端存储设备，比较容易实现高可靠的日立数据存储级别的数据容灾解决方案针对中国进出口银行本次数据远程容灾项目，我们推荐的是基于存储阵列的远程数据复制技术来实现远程数据容灾。所采用的就是HDS公司经久考验的TrueCopy软件产品。具体到容灾的实现方式，通常会有采用同步复制技术还是采用异步复制技术的考虑，下面先来简单的介绍一下TrueCopy软件产品本身，再来具体的分析两种方式的不同特点以及HDS公司针对本次项目的建议3.1. TrueCopy数据远程容灾产品TrueCopy数据远程容灾解决方案是HDS公司在全面分析各种操作系统、各种容灾技术、仔细研究客户对容灾的需求和理念之后，结合HDS智能存储系统的特点推出的数据远程容灾解决方案；彻底解决长期困绕用户的、难于进行容灾方案的真实演练、真实数据测试的问题，最大限度的减少数据丢失问题；TrueCopy是基于磁盘存储系统运行的软件包，不依赖任何的主机操作系统和其他第三方厂商软件，为用户提供了最安全、最开放、最经济、最实用的远程容灾解决方案。TrueCopy的主要特点如下：l TrueCopy Async异步数据拷贝软件，是HDS公司独有的创新技术，是世界第一也是唯一的在开放环境中基于存储硬件系统的、无需主机系统的、异步处理方式的、能够保证数据一致性的远程拷贝软件，它可以在重复发生的灾难中保护数据，在任何远的距离保持数据库记录被修改顺序的完整性l TrueCopy可以在在任何距离下，提供完整的、可靠的异地或同城灾难数据恢复和应用系统快速重新启动的解决方案，先进的处理技术能够最大程度的减少灾难时的数据丢失，提升企业对事故和灾难的应变能力和快速反应能力。l 通过与HDSShadowImage（本地数据镜像拷贝软件）配合，可以用PIT拷贝获得真实的生产环境数据，不必中止生产系统的运行，能够频繁的启动低廉花费的灾难模拟测试，最大的限度提升用户的投资回报率(ROI)，确保容灾计划的可操作性，提高用户的商业信心，免除客户的后顾之忧l 简化、减少用户计划用于设备维护、数据迁移、数据集中、备份的业务停顿时间l 通过减少用户对缓慢的、高强度劳动的、基于磁带的数据备份技术的依赖，线性化的提升IT业务操作的效率l TrueCopy Sync同步数据拷贝软件，为用户的任何数据提供了实时的、同步的远程“镜像”保护功能l TrueCopy Sync与Async软件支持开放系统和OS390系统环境l NanoCopy解决方案提供用户在世界任何地方，获得完全不间断的、连续的PIT时间段（Point in Time）的远程数据拷贝l HXRC扩展的远程拷贝软件完全与IBM大型主机OS390系统的XRC软件和GDPS解决方案兼容，满足用户不同的远程数据备份方案和要求3.2. TrueCopy远程容灾同步方式数据备份远端的数据拷贝与本地的数据拷贝或生产数据永远保持一致，远端拷贝永远是本地数据盘的“镜像”备份存储系统总是与生产存储系统数据同步，本地存储系统与备份端存储系统同步进行相同的I/O更新，备份端存储系统在更新时总是与生产端存储系统保持完全一致的顺序，以保证数据的一致性和完整性。当生产中心发生灾难时，不会出现数据丢失。不依赖于主机系统、文件系统、数据库系统，基于存储系统的工作机制，利用存储系统控制器的控制台来启动、监控、控制远程数据备份的操作。节省主机系统的CPU资源，提供用户开放的高可用性 任何厂商的同步处理方式对应用系统的响应时间都会有冲击。在进行远程数据备份时，生产主机的应用程序系统发出写I /O指令，生产中心的存储系统同时向本地磁盘和备份端的存储系统发出写操作的指令，必须等候备份端存储系统回复写操作完成以后，生产中心的存储系统才向主机应用程序回复I/O完成，因此主机应用程序每次I/O将承受备份端存储系统I/O确认的延迟，以及由此带来的主机系统处理能力降低和资源消耗的冲击。受应用系统I/O读写的活动频率、网络带宽、可以容忍的交易响应时间和其他因素的影响，远程同步工作方式有距离的限制，一般小于25公里。3.3. TrueCopy远程容灾异步数据备份（推荐方式）解决由于远程同步镜像方式给生产应用系统性能造成的巨大冲击和系统的压力，解决异地长距离的场地部署问题，以异步方式实现可靠的、经济的、可实施的容灾解决方案。在TrueCopy的远程容灾异步方式下，通过时间戳、分组号可以保证数据的一致性和完整性，并在灾难发生时的数据丢失最少，恢复时间短，极大的提升了用户的投资回报率。而其它厂商的远程容灾异步方式为了完全保证数据的一致性和完整性，需要额外的投资（更多的磁盘盘组或更高的CPU）才能实现。在异步方式下，生产系统所发出的I/O操作至本地存储系统，本地存储系统处理结束后即通知主机本次I/O结束。然后，本地生产存储系统将多个累计的写I/O异步（几乎实时发送）的，不一定按顺序的传送到备份中心的存储系统中，因此在异步方式下，对应用系统的性能没有任何影响。由于I/O操作不是同步的传送到备份中心，在异步方式下，就存在数据的传送顺序与实际的数据的操作顺序不一致问题。为了解决这一问题，HDS容灾软件对每个写入生产中心存储系统的I/O都打上一个时间戳（TimeStamp）并进行一致性分组（Consistency Group）, 在数据传输至备份中心时，备份中心存储系统严格按照此时间戳的时间顺序重新排列并写入相应的逻辑卷中，从而保证了备份数据的逻辑一致性与完整性。目前，HDS的TrueCopy软件其独有的时间戳（Timestamp）和一致性组（Consistency Group）技术，是目前存储业界唯一可行且安全的存储系统之间的异步数据备份方案并被广大用户采用由于数据异步远程更新，应用程序不必等待远程更新的完成，因此远程数据备份的性能的影响通常较小，并且备份磁盘的距离和生产磁盘间的距离理论上没有限制。只有在当传送中的数据在生产磁盘控制器或在TCA中还没有形成数据一致组时生产中心发生灾难，这些“in-flight”的数据就会丢失。但TrueCopy通过“consistency group”技术保证灾难发生时已经发送到备份中心的数据将保持一致性，因此在系统和应用程序重新启动之前，需要恢复那些“in-flight”丢失的数据。所花费的时间和造成的影响取决于客户的环境，例如应用程序和设备配置的复杂性，更新的完整性等等。由于中国进出口银行准备在长距离（超过1000公里以上）的远程异地建立备份中心，采用数据异步备份方式将是可靠的、经济的、可实施的最合适的容灾解决方案，理由如下：l 由于主备两站点之间距离比较远，从成本和技术角度不宜实施同步方式l 较小的数据复制带宽需求和基于I/O的复制技术，实现比较高的RPO目标l 异步方式是相对同步方式比较经济、而且比较现实的解决方案l 由于采用独有的技术，日立数据的异步数据复制保护方式可以保证数据库系统和应用的数据完整性l 采用数据库工具保护方式主要是传输数据库的归档日志，传输量少是其优点，但是可扩展性差，对于非数据库产品和文件系统的传输不能提供支持，不适合中国进出口银行灾备的长远发展。l 采用第三方备份软件保护方式主要是对数据库进行文件级别的备份，需要额外添置服务器，同时在传输过程中要通过操作系统的文件系统操作等，将占有主机的系统资源（CPU /MEM）影响系统运行，而且环节较多，性能较低，不适合中国进出口银行的灾备要求。3.4. 保证数据的完整性在生产系统中，数据更新的顺序和组合逻辑是数据完整性的标志，例如数据库中数据更新和逻辑的日志的更新是有先后顺序的，从而可以使DBMS恢复数据库。这就要求远程的备份数据也要保证这样的顺序和逻辑，否则很可能造成备份数据无法用于恢复，因而就失去了备份的意义。因此数据远程备份除了要保证数据的更新能够实时备份至远程，更要保证备份数据的顺序和相互逻辑关系，从而保证备份数据的可用性。目前，HDS的TrueCopy软件其独有的时间戳（Timestamp 只适用于Mainframe环境）和一致性组（Consistency Group）技术，是目前存储业界唯一可行且安全的存储系统之间的异步数据备份方案，保证异步处理方式下的数据一致性和完整性，最大程度的减少数据的丢失，并被广大用户采用。特别是针对用户的数据库(特别是Oracle数据库)和其它关键应用，可以实现真正的完整性保证。这一技术十分完美的避免了在灾难发生时，备份端的数据库数据失去一致性和完整性而导致数据库的失败。HDS的TrueCopy解决方案是经过Oracle公司的认可的十分优秀的解决方案，可以保证Oracle数据库的完整性和可用性。由于日立数据的数据复制软件的机制是基于系统I/O的，所以，可以完美的将系统产生的数据变化复制到远端，从而最大化的保证了数据的安全性。有些厂家采用的机制并不是按I/O复制，如按磁盘的Track（Bitmap）变化或以每30秒I/O批量复制。这些解决方案不能保证数据的完整性，在灾难发生时，导致的数据丢失量也十分大。滚动性灾难是指例如地震、火灾等。这些灾难可能从开始到结束持续一段时间。所造成的破坏也是持续不稳定的，当持续一段时间后，才会造成彻底的生产系统毁坏。由于这种灾难的持续性和不确定性，可能有些变化的数据没有从生产端传到备份站点，而有些之后产生的数据却传到了远程备份站点。日立数据的TureCopy解决方案的循序号机制有效的保证了I/O变化产生的先后顺序，一致性组会给每个I/O变化再分配一个一致性组标记的循序号。不符合应用逻辑的数据会被丢弃，从而有力地保证了远程备份站点的数据是可用的、完整的。其它厂商的产品可能有一致性组的概念和机制，但是，基于磁盘的Track（Bitmap）变化的复制方式没有顺序号的保证。如果遇到滚动性灾难，远程备份数据只有物理逻辑保证，而没有应用逻辑保证，从而造成数据的不完整性。这对于数据库应用来说是致命的。4. 在生产及备份中心建立PIT拷贝的考虑在前面章节的论述中，我们建议采用基于HDS TrueCopy软件的数据远程异步复制技术的容灾方案，为了进一步提高数据的可靠性、数据的可用性以及更完善的数据保护等，我们推荐在生产中心和备份中心的磁盘阵列上都配置磁盘阵列内数据复制软件-ShadowImage。在方案设计中，如果只考虑备份中心的实时数据复制，不考虑在备份中心保留PIT时间点的拷贝，当生产中心由于误操作或者生产数据遭到破怀，将会导致备份中心的数据几乎同时受到破坏，由于没有PIT时间点的一致和完整的数据拷贝，将会造成不可补救的损失与灾难。因此在备份中心通过配置HDS本地数据快照软件ShadowImage，可以手动控制或者编写Script自动的定时取备份盘的PiT时间点保护性拷贝，保持保护性拷贝盘数据的一致性和完整性，当灾难发生或者由于生产盘的误操作导致数据损坏，当时的远程备份盘也会遭到破坏，这时可以由盘时间点的保护性拷贝快速的恢复系统4.1. ShadowImage磁盘阵列内数据复制软件产品ShadowImage是基于存储系统内部运行的数据复制技术，无需主机资源参与，最大程度的发挥了软件的可用性；瞬间分离得到的多个数据备份拷贝，提供了用户并行处理联机业务、批量作业、应用开发、测试、数据分析和数据挖掘、快速恢复、磁带备份的解决方案，节约了生产主机宝贵的资源而处理其他重要的业务，革新了批量作业、磁带备份的新策略，给客户提供了最佳投资选择最小的总拥有价值（TCO）和最大化的投资回报。配合HDS公司的TrueCopy和智能存储系统，为客户提供高度安全的、高度灵活的、高度统一的数据保护、容灾、数据备份的解决方案。ShadowImage的主要功能如下：l 高速的、无需主机处理资源参与的数据复制技术，不依赖于任何的主机操作系统、文件系统、和数据库系统的限制，以存储系统内部的软件操作，完成基于磁道的逻辑卷复制l 本地镜像、数据同步（异步方式）处理机制，在保证不增加主机I/O响应时间的前提下，保护关键联机生产数据的高度安全性、应用系统的可靠性、数据的完整性，保护用户的商业信誉l 立即获得连续性业务处理的不同时间段（PIT）的数据拷贝，确保灾难或故障发生时的最新时间段的数据拷贝备份和数据的一致性，提供客户灵活、快捷、安全的恢复方法l 通过ShadowImage，可以在一个系统内立即访问关键业务数据的拷贝，立即共享对时间比较敏感的相关数据，保证业务处理流程的并行处理，确保企业为客户提供实时的服务，提高客户对企业的忠诚度，提升企业对客户和市场的的敏捷反映程度l 革新数据备份策略，提高操作流程的效率，彻底清除连续性业务处理流程中的“备份窗口（Backup-Window）”时间和缓慢的磁带备份时间，满足日益增长的业务量和数据急剧增长的需要，在日趋激烈的竞争中获取宝贵的空间l 在磁盘拷贝操作中提供快速的恢复技术和数据拷贝的高可用性，完全提升数据恢复的速度和可靠性，摒弃缓慢的、因磁带质量问题引发故障的磁带恢复机制，提升了企业对人为事故、灾难的快速恢复能力和应变能力l 通过快速数据拷贝技术和连续的PIT数据拷贝技术，可以快速、有效的准备开发和测试环境，大大缩短新的商业应用程序的开发、测试的时间和周期，为用户快速推出业务品种提供强有力的保障，缩短业务创新的周期。l 通过快速数据拷贝技术，快速的复制真实用户环境，大大简化灾难恢复测试的步骤计划、流程演练、例行测试，确保容灾计划的可实施性l 提供高可用的、灵活的操作性，客户可以自行配置和操作，无需HDS工程师参与；无需预留专用的逻辑盘池，节约磁盘资源，提高了存储系统的利用率 l 经过ShadowImage复制的所有数据拷贝都是Raid保护的，本地镜像机制磁盘矩阵Raid技术给用户提供了双重的数据保护l 支持开放系统和OS390系统l 开放系统下1个源逻辑卷最多可以获得10个拷贝（包括源卷），OS390系统总共支持4个拷贝（包括源卷）l HDS 9900V系列最大支持4096 pairs（镜像磁盘对）4.2. 本地磁盘镜像功能与快速数据恢复ShadowImage是存储系统内部的数据复制技术，磁盘的镜像功能对于主机系统是不知情的处理，异步方式数据复制技术在不增加主机I/O响应时间的前提下，提供了逻辑卷的实时（异步方式）数据保护功能，提高了系统的可靠性通过ShadowImage，可以定义生产数据逻辑盘与备份逻辑盘的镜像复制关系，实时的（异步方式）保持2个逻辑磁盘的数据同步。可产生一个或多个与生产主机数据库所在的盘卷(P-Vol)完全相同的一个备份镜像卷（S-Vol），备份镜像卷中的数据和生产数据库中的数据完全相同。ShadowImage是实时镜像写与盘组RAID保护，因此在同一存储系统内可得到2份或多份数据拷贝，并当存放生产数据盘组发生故障不能恢复运行时可通过备份卷的数据(两边是实时一致的)与切换地址定义恢复应用，相比磁带恢复方法，SI有无可伦比的快速性、简便性、可靠性。4.3. 革新数据备份策略，缩短业务处理流程中的“备份窗口”VolPoint-In-Time Copy通过ShadowImage可以快速获得多个生产卷的PIT数据拷贝，由此革新了业务处理流程的并行处理的新策略和解决方案，不但保持7x24连续服务，并且消除了数据备份窗口，引发了LAN-Free, Server-Free的数据备份的革命，节约了宝贵的CPU和内存等资源、网络资源，大大缩短了应用系统因数据备份等原因的脱机时间备份卷（S-Vol）是一个可独立寻址的盘卷，通过分离磁盘镜像对等操作，马上可以获得多个与生产数据完全一样的数据拷贝备份卷，这些卷可以立即在同一系统内使用，或者通过装载等操作被其他的系统使用用户应用系统几乎无需“0”秒的下机时间，即可利用其他主机备份通过ShadowImage得到的时间段（PIT）的数据拷贝由于备份主机系统直接连接存储系统，可以访问SI的数据拷贝，因此备份主机与磁带库构成了LAN-free的备份体系，释放了传统备份方法所占用的局域网带宽兼容任何的主机备份软件完全的、自动化的兼容各种主流备份软件4.4. PIT(Point in Time)拷贝的并行应用ShadowImage PIT解决方案为用户提供了业务并行处理的新思路和实际可行的操作流程，不但可以继续生产系统的运行，还可以同时处理以前无法并行处理的业务，极大的提高了生产效率和生产力缩短了应用测试过程中环境准备、测试失败后的数据恢复的时间和周期，通过SI的瞬间分离技术、本地镜像、多个PIT拷贝等功能，上述复杂、麻烦、危险性极高的操作可以快速、安全的实施SI的PIT拷贝解决方案可以帮助缩短应用开发周期，应用环境的准备瞬间可以获得，提高应用测试、开发的效率，加快产品创新周期，保持市场的竞争力，是系统程序员、数据库管理员的福音解决了长期困绕用户的大量数据传输的问题。用户的