emc业务连续性容灾方案建议书.doc

业务连续性项目售前支持容灾方案建议书模板初稿V01BCSOLUTIONPRACTICE,CSIS,EMCGLOBALSERVICES,EMCCHINABCSITEMPLATES本文档是EMC公司机密材料，供BCSOLUTIONPRACTICE在售前支持和咨询服务中使用。在使用时，请仅从本文档中复制内容，并粘贴到其它文档中使用或修改后使用，而不要直接将本文档拷贝或发送出去使用。文档命名规则文档类型文件名格式示例模板文档TEMPLATE文档名日期TEMPLATEDR_PROPOSAL20070625DOC参考文档修订历史版本编号版本日期修订说明修订者20070625创建此容灾方案建议文档模板许瑀第1章前言111EMC对本项目的理解112EMC的优势2第2章EMC业务连续性方案服务框架3第3章通用容灾技术框架731企业信息系统保护层次732容灾技术模型8321业务平台的保护业务处理能力的冗余8322数据平台的保护业务状态数据的复制9323接入平台冗余和切换933容灾模式10331容灾层次10332容灾范围11333同级容灾或降级容灾11334容灾中心运营方式11第4章不同容灾技术介绍1241不同容灾技术方案概述1242基于存储的数据复制技术建设容灾系统1343采用虚拟化存储技术建设容灾系统1644采用基于主机的数据复制技术建设容灾系统1845基于应用的数据复制建设容灾系统1946小结22第5章XXXXXX容灾方案建议2351XXXXXX架构现状2352XXXXXX容灾需求2353XXXXXX容灾建议方案23531数据远程复制技术建议24目录532“同步、异步“数据远程复制选择25533SAN网络及存储平台建议（待补充）25534利用BCV、数据克隆技术获取开发、测试数据25535数据复制链路连接方式及数量建议26536应用平台建议26537接入平台建议27538数据备份保护27第6章容灾通信链路设计2961通信链路设计概述2962容灾通信链路的比较2963容灾通信链路带宽估算3364EMC容灾数据复制方案设计工具简介35第7章XXXXXX容灾项目服务构成38第8章项目组织结构4281项目组织机构4282项目管理委员会4283项目管理办公室4384项目关键人员角色44841项目总监44842项目经理44843质量保证顾问45844IT系统架构师45845业务连续性咨询顾问45846IT技术专家4685项目管理方法46851EMCPM2的项目管理方法46852项目进度控管理47853项目变更管理48854风险管理49855品质确保计划50856沟通（COMMUNICATION）管理5186EMC候选人员名单和简历53861项目经理53862容灾咨询顾问54863系统架构设计师55表格31表格格式定义2表格目录图表41EMCLOGO2图表42EMCEMAIL_FOOTER2图表目录第1章前言首先非常感谢XXXXXX股份有限公司对EMC的信任。EMC希望凭借自身多年的容灾项目实施经验，协助XXXXXX股份有限公司设计、实施和管理容灾项目工程，从而降低XXXXXX股份有限公司容灾项目工程的整体风险，以确保项目的成功。11EMC对本项目的理解基于以往类似项目的经验，以及与XXXXXX股份有限公司的交流和分析，我们认为影响本项目成功的关键因素有很多方面，其中最重要的有以下几点1选择成熟、可靠的、管理简单的技术构建容灾方案的核心技术部分容灾数据复制部分，该技术应当已经被广泛使用；2科学的方法论与实践相结合，如在EMCBCSI方法论指导下，EMC为大量客户提供了成功的容灾项目建设和业务连续性咨询服务。3完善详细的方案设计；4容灾项目如何能够真正满足业务的需求和期望ARTO/RPOB灾难恢复流程优化，加快恢复。5成功的容灾项目不仅仅只包括技术平台的建设，还应当建立适应容灾管理的组织结构，明确人员职责与分工并确保各岗位职责人员具备相应的技能，建立明确、清楚的容灾管理、容灾恢复的流程才能保证灾难发生时能够有效、有序地恢复业务运营，实现业务的持续运行。6容灾架构和设计是否能够与今后的IT规划保持一致；7成功的项目管理；8如何对DRP或BCP进行管理以使其可以真正得以应用；9如何规划容灾演习并对容灾演习进行控制并通过演习使相关人员通过演习熟悉流程与各自的职责；10如何通过培训和宣传，从而使大家能够对业务连续性认知和认同。另外，对于本项目，EMC公司的全力投入，相关厂商的配合，以及XXXXXX股份有限公司的大力支持，对于本项目的成功也是密不可分的。12EMC的优势EMC在业务连续性服务上的优势体现在以下几个方面业务连续性服务经验15年从事业务连续性服务的经验拥有经过实践验证的工具和方法论（BCSI）数以千计的相关成功案例，无论在全球还是在中国，政府、电信、金融各领域都大量采用EMC公司的技术建设容灾方案，EMC也为众多用户提供了业务连续性咨询服务。业务连续性服务专业团队专设的容灾咨询服务团队超过300人的战略咨询顾问超过1635人的资深顾问超过600人的业务连续性专职从业人员超过135人的应用系统方案架构师超过350人的IT基础架构师超过100人的网络架构师超过3,300人的服务从业人员超过2,700人的客户服务工程师超过100个服务合作伙伴第2章EMC业务连续性方案服务框架业务连续性服务集成方法论（BUSINESSCONTINUITYSOLUTIONINTEGRATION，简称BCSI）是EMC通过对多年实施业务连续性和容灾服务的所积累的经验进行总结和提炼，开发出来的业务连续性实施方法论模型，该实施方法在全球众多相关项目中广为使用并得到验证。如下图所示，EMC在在业务连续性服务方面有着一套完整的实施方法论，它包括规划（PLAN）、建立（BUILD）、和管理（MANAGE）三个阶段的咨询和技术服务。图1EMCBCSI方法论以下对EMCBCSI实施服务方法论作概要描述。1评估当前的服务水平与业务单位回顾并确认服务水平协议（SLAS）,并确定各业务应用的RTO和RPO。针对每个应用，评估当前的系统架构和运作能力；并确定当发生故障或灾难时，当前系统的可用性、RTO和RPO。明确存在的弱点。确定当前系统的可恢复能力。2定义业务需求回顾并验证现有的服务水平协议。更新恢复和可用性服务水平定义。将各个业务流程映射到相应的应用系统、基础设施和运作管理上。明确各业务流程对应用系统和基础架构的依赖关系。3评估可用性和恢复技术基于数据分层的模型，进行系统架构平台的分析，设计可行的系统架构。对可选的恢复技术进行评估。建立高层次成本估算4基础架构设计根据业务连续性需求的恢复策略，回顾当前的系统架构连接，系统配置和容量规划。衡量当前的应用性能及服务水平。分析容量需求。选择合适的技术来满足所需的服务水平。提出对硬件、软件和网络配置的详细建议。提出全面的技术架构来指导方案的实施。5实施规划制定详细的技术实施计划。回顾项目实施方法。确认项目实施的逻辑和流程。定义项目实施的限制条件。制定详细的项目计划。制定成本计划以平衡开发、测试、和维护等活动。6测试及实施安装并配置必需的恢复系统架构组件（硬件/软件）。按计划对应用进行迁移，并降低系统停机时间。新系统架构的测试。在新的系统架构中，稳定应用的运行。对系统设计的准确性和完全性进行回顾。7开发恢复及切换计划通过研讨会来指导开发应用恢复流程。开发并且书面化应用系统的切换及回切步骤。开发并且书面化业务连续性计划。8集成测试和演习制定演习场景。制定演习计划。确定参与人员确定期望的结果和成功要素实施演习9业务连续性更新明确业务连续性目标。确定人员和技能要求。根据既定需求，确定所需的行动以确保系统架构和运作的可行性。回顾当前的变更管理、配置管理和发布管理的流程。修正和完善。10资源管理、改进及衡量回顾资源需求和技能状况。检查变更管理流程、步骤和文档资料。分析关键的性能指标KPI及趋势。教育及培训。在该项目中，我们将针对XXXXXX容灾项目的实际情况，通过对EMCBCSI实施方法进行客户化，制定出适合XXXXXX容灾项目的实施规划。第3章通用容灾技术框架本章及下一章将对通用的容灾技术框架和不同技术进行介绍，供XXXXXX股份有限公司项目组参考。31企业信息系统保护层次现代企业的数据中心IT平台（包括主机平台、网络平台、存储平台等）的保护和恢复有不同的等级的技术手段，未来企业的业务连续性建设将需要不断提高企业的信息、数据的保护和恢复的等级。图2不同层次的数据中心保护如上图所示，对企业集中化数据中心的IT系统和业务数据进行保护可以有多种不同层次的保护方案，主要分为本地保护和远程保护两个方面。企业数据中心面向运营的保护及恢复包括三个层次1平台保护主要是平台的高可用，如采用主机群集系统和高可用存储平台（包括SAN网络环境的高可用和存储系统的高可用），保证IT平台没有单点故障，实现业务和应用的高可用性。2数据备份对业务数据进行经常性的本地备份，在IT系统出现物理故障或逻辑故障时，数据备份都能提供可靠的数据保护。3数据恢复在出现数据错误或丢失时能够进行快速、可预见的数据恢复，减少IT系统的中断时间，降低对业务运营的影响。建设了完善的本地保护和恢复后，企业需要规划建设面向灾难保护及恢复的“远程”数据及业务保护，它包括三个层次1远程的信息保护是将企业的所有重要数据安全的存储在远程站点，提供保护，避免灾难性的事件破坏数据。2远程自动处理除了提供对生产数据的远程保护外，能够自动进行系统切换、回切及数据恢复等工作，从而在灾难事件发生时能够快速恢复业务运行。3多数据中心保护通过建设多个数据中心，采用多数据中心的数据保护、恢复技术，防范更大范围的灾难事件。32容灾技术模型容灾技术平台建设是企业业务连续性建设的重要基础。当前企业进行容灾中心建设时主要采用两个中心模式。XXXXXX股份有限公司也将首先采用两个中心模式，未来根据需要决定是否建设多个中心。EMC公司将企业的IT平台划分为“接入平台、应用平台、数据平台”三部分，建议企业的容灾技术平台建设应该主要着眼于对业务处理平台，数据平台和接入平台这三个重要的系统领域的保护。图3容灾技术模型示意图321业务平台的保护业务处理能力的冗余容灾技术方案建设中，对于企业的业务平台的保护，主要表现为对业务处理能力的冗余和复用，其中牵涉支持应用系统运行的服务器和操作系统等系统软件支持应用系统运行的存储器及存储器和服务器的连接（存储网络等）连接服务器的IP网络系统支持应用系统实现的中间件或数据库等客户将需要在容灾中心应该配置与需要保护的生产中心相同厂家、相同版本、相同配置的应用服务器、中间件和数据库。要确保主数据中心和容灾中心的软件运行环境相同。实现业务逻辑的应用软件系统322数据平台的保护业务状态数据的复制在容灾系统中，对数据平台的保护主要表现为对业务状态数据的保护、备份和恢复以及复制，需要保护的业务状态数据包括业务交易状态（数据本身的数据属性为文件、数据库等）系统状态包括应用软件的初始数据、参数设置、以及系统软件的配置数据、参数设置等。中间数据（或临时数据）在容灾系统建设中，数据平台的保护是实现企业灾难恢复的核心。保证数据的安全永远是第一位的，只有支撑企业业务运营的数据能够及时、完整地复制到容灾中心，才可以在灾难发生时，在容灾中心恢复受灾难影响的业务应用。对不同企业，EMC将根据需求分析的结果，对企业的不同重要级别的应用或业务单元采取不同的数据复制方法，对不同类型的应用，根据其访问特点等也将采取不同的数据复制方法。323接入平台冗余和切换接入平台在容灾备份系统里，需要实现对外部接口的冗余及切换，其中牵涉O应用数据接口的切换包括文件传输、消息机制等O应用连接接口的切换HTTP连接、数据库连接、远过程调用、对象的调用等O网络连接的冗余和切换包括城域网网络连接、拨号连接等等企业的“接入平台冗余和切换”的关键在于实现在容灾中心应该配置相同访问能力的网络设备，并在网络配置上确保各地市能快速、方便地将网络访问从主生产中心切换到备份生产中心33容灾模式XXXXXX股份有限公司将需要根据实际需求确定适合XXXXXX容灾项目的容灾层次、容灾范围、运营方式、容灾规模。331容灾层次根据业务恢复时间的长短可以将不同业务系统的容灾划分为步同的层次只做数据的灾难保护，仅能保证数据的完整性，此类业务在容灾中心只需要配置存储平台，实现数据的远程复制和存储即可。这种方式可以降低投资，但业务恢复时间很长（一般在3天以上）。数据的灾难保护是仅将生产中心的数据完整地复制到容灾中心的容灾方式。数据的灾难保护是异地容灾的最低级形式，也是最基本的方式，是实现更高级容灾方式的基础。在灾难发生时，仅有数据的灾难保护无法保证业务的连续性，仅可以保证数据是可用的，若技术策略选择得当，可以保证业务数据的完整性。采用这种模式有以下特性业务恢复速度较慢，通常情况下RTO72小时业务恢复难度大，需要新增设备实现技术难度比较低运行维护成本较低投资比较节省除数据的灾难保护外，实现应用的高可用，确保业务可以快速恢复。容灾系统的应用不改变原有的业务处理逻辑，是对生产中心系统的基本复制。这种方式有以下特性业务恢复速度较快，通常情况下RTO小于24小时，也可以达到几小时级别业务恢复过程相对简单实现技术难度比较高运行维护成本较高，如增加软件版本管理、软件部署、维护人员等投资比较高332容灾范围通常根据业务影响分析结果，将企业的业务将划分为关键业务和非关键业务两大类。客户可以选择关键业务容灾或选择全业务容灾。也可以先建设关键业务容灾，未来实现全业务容灾。关键业务容灾业务需求定义中通过业务影响分析定义关键业务的容灾全业务容灾专利业务系统的全部业务的容灾。333同级容灾或降级容灾根据容灾中心配置的处理能力不同，可以分为同级容灾和降级容灾。若在容灾中心为需要进行容灾保护的业务系统都配置与生产中心相同处理能力和高可用能力的业务处理平台（主要是指主机性能，高可用群集等），则为同级容灾设计。如果未来XXXXXX股份有限公司的在容灾中心为需要进行容灾保护的业务系统配置比生产中心的处理能力低或高可用能力降低（比如没有做群集等），则为降级容灾设计。采用同级或降级容灾方式取决于业务需求和投资预算，降级容灾可以减少投资（在主机方面的投资）。334容灾中心运营方式容灾中心建设完成后，可以采用两种运营模式，“主备方式”和“双中心模式”。“主备方式”即两个中心其一为生产中心，另一个为灾备中心。“双中心模式”为两个中心都提供生产业务运营，通常按业务来划分。具体的运营方式需要在现状评估和需求分析的结果上进行分析决定，需要考虑业务的依赖关系、数据的耦合性等方面因素。第4章不同容灾技术介绍41不同容灾技术方案概述不同企业的不同业务需求和应用特点将可能需要有不同的容灾技术要求，可以采用多种容灾技术来建容灾系统，EMC专业咨询服务部将根据客户的实际需求提供不同的技术方案。对所有客户的容灾技术平台建设而言，容灾方案的技术核心是数据的保护，实现远程数据复制，并能够在灾难发生时在远端利用复制数据提供企业业务运营支撑服务，因此数据复制技术是构建容灾技术平台的核心。不同数据复制技术的分类如下图4数据复制分类如上图所示，对XXXXXX股份有限公司专利业务系统的容灾而言，比较可行的是采用连续数据复制技术。由于XXXXXX股份有限公司选择的是同城容灾，“同步复制、异步复制”技术都是可选方案。未来采用远程异地容灾，将需要采用异步方式。根据不同容灾方案所采用数据远程复制技术位于企业IT架构不同层面又可以分为以下三类容灾方案基于存储层面的容灾方案利用存储系统的远程数据复制功能建设容灾系统，它包括同类存储平台之间的数据复制；异构存储平台之间利用虚拟存储技术实现数据复制。基于主机层面的容灾方案利用主机厂家提供的相关功能软件或第三方的主机软件实现远程的数据复制，建设容灾系统。基于应用层的容灾方案如利用应用软件如ORACLE数据库的本身的远程数据复制技术建设容灾系统本节将针对以上“基于存储层面数据复制的容灾方案”、“基于主机层面的容灾方案”和“基于应用层容灾方案（以ORACLEDATAGUARD为例）”等三类不同方式容灾方案进行分析。对不同的用户，将需要根据客户的容灾技术方案的实际需要以及技术条件进行评估，从而选择最合适的容灾技术方案。42基于存储的数据复制技术建设容灾系统采用基于存储的容灾方案的技术核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝，从而实现生产数据的灾难保护。在主数据中心发生灾难时，可以利用灾备中心的数据在灾备中心建立运营支撑环境，为业务继续运营提供IT支持。同时，也可以利用灾备中心的数据恢复主数据中心的业务系统，从而能够让企业的业务运营快速回复到灾难发生前的正常运营状态。基于存储的容灾方案示意图如下图5基于存储数据复制技术的容灾方案示意图采用基于存储的数据复制技术建设容灾系统是目前金融电信企业、政府采用较多的容灾方案，有非常多的应用案例，是容灾建设优选的技术方案，因为该方案已经被众多大规模用户的实际应用验证，是比较成熟的技术方案。基于存储的复制可以是如上示意图的“一对一”复制方式，也可以是“一对多或多对一”的复制方式，即一个存储的数据复制到多个远程存储或多个存储的数据复制到同一远程存储；而且复制可以是双向的。基于存储的容灾方案有两种方式同步方式和异步方式，说明如下同步方式，可以做到主/备中心磁盘阵列同步地进行数据更新，应用系统的I/O写入主磁盘阵列后写入CACHE中，主磁盘阵列将利用自身的机制（如EMC的SRDF/S）同时将写I/O写入后备磁盘阵列，后备磁盘阵列确认后，主中心磁盘阵列才返回应用的写操作完成信息。异步方式，是在应用系统的I/O写入主磁盘阵列后写入CACHE中，主磁盘阵列立即返回给主机应用系统“写完成”信息，主机应用可以继续进行读、写I/O操作。同时，主中心磁盘阵列将利用自身的机制（如EMC的SRDF/A）将写I/O写入后备磁盘阵列，实现数据保护。采用同步方式，使得后备磁盘阵列中的数据总是与生产系统数据同步，因此当生产数据中心发生灾难事件时，不会造成数据丢失。为避免对生产系统性能的影响，同步方式通常在近距离范围内（FC连接通常是200KM范围内，实际用户部署多在35KM左右）。而采用异步方式应用程序不必等待远程更新的完成，因此远程数据备份的性能的影响通常较小，并且备份磁盘的距离和生产磁盘间的距离理论上没有限制（可以通过IP连接来实现数据的异步复制）。采用基于存储数据复制技术建设容灾方案的必要前提是通常必须采用同一厂家的存储平台，通常也必须是同一系列的存储产品，给用户的存储平台选择带来一定的限制。采用同步方式可能对生产系统性能产生影响，而且对通信链路要求较高，有距离限制，通常在近距离范围内实现（同城容灾或园区容灾方案）采用异步方式与其他种类的异步容灾方案一样，存在数据丢失的风险,通常在远距离通信链路带宽有限的情况下实施。尽管有以上限制，基于存储的容灾技术方案仍然是当前最优先选择的容灾技术平台，尤其是基于EMC公司的存储系统建设容灾方案有非常广泛的应用，这主要是由于基于存储的容灾技术方案有如下优点采用基于存储的数据复制独立于主机平台和应用，对各种应用都适用，而且完全不消耗主机的处理资源。采用同步方式可以完全不丢失数据，在同城容灾或园区内容灾方案中，只要通信链路带宽许可，完全可以采用同步方案，而不会对主数据中心的生产系统性能产生显著影响。采用EMC基于存储的同步复制方式的容灾案例有很多，有非常多的成功经验，如中国光大银行（北京南礼士路到陶然亭）、中国民生银行（北京知春路到上地然后到深圳）、辽宁移动、黑龙江移动都采用了EMC同步复制技术，并能满足大规模I/O吞吐情况下的同步数据复制要求。采用异步方式虽然存在一定的数据丢失的风险，但没有距离限制，可以实现远距离保护。灾备中心的数据可以得到有效利用。对于基于应用、基于主机、基于存储的三种容灾方案而言，灾备中心的数据通常不可用，仅为生产系统中的数据提供灾难保护和灾难恢复。但对采用基于存储技术的容灾方案中，有很灵活的技术手段可以充分利用灾备中心的数据，从而提高企业的业务运营效率，带来更多的投资回报。如下图所示图6基于存储的容灾方案有效利用灾备数据如上图所示，生产中心的“源数据R1”通过存储本身的数据复制机制被复制到了灾备中心，即“目标数据R2”。“目标数据R2”在正常生产情况下是不可访问的，灾备中心的后备主机只能在灾难发生时，主中心服务停止后，才可以访问“目标数据”，接管主中心的服务（基于主机和应用的容灾方案的灾备中心数据与此类似）。但采用基于存储的容灾方案时，我们可以为“目标数据”建立一个BCV卷或快照、克隆，从而可以给到另外的服务器使用。利用这种机制，用户可以在容灾中心做很多工作用户开发测试人员可以利用R2BCV或R2快照得到真实的数据进行新应用开发、测试工作，从而保证新应用的质量，加快新产品上市时间。这种方式在采用基于主机方案和基于应用方案都很难实现，或在获得一份真实数据进行开发测试时需要很长的时间，消耗大量的资源。用户的其它应用也可以利用R2BCV或R2快照满足其它业务的需要。如数据仓库应用通常需要从生产系统抽取数据，一旦进行大规模数据抽取，生产系统几乎处于停顿状态，这时可以利用R2BCV卷进行数据抽取，从而避免数据抽取给生产系统带来的巨大性能冲击。企业的决策分析系统的数据来源也都可以基于R2BCV来实现。由于以上优点，基于存储灾难保护方案是目前采用最多的灾难保护方案。43采用虚拟化存储技术建设容灾系统存储虚拟化的技术方法，是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到屏蔽存储设备的异构和主机的异构的目的。通过虚拟化技术，用户可以利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成对用户来说是单一视图的存储资源（STORAGEPOOL），而且采用STRIPING、LUNMASKING、ZONING等技术，用户可以根据自己的需求对这个大的存储池进行方便的分割、分配，保护了用户的已有投资，减少了总体拥有成本（TCO）。另外也可以根据业务的需要，实现存储池对服务器的动态而透明的增长与缩减。通过存储虚拟化技术可实现数据的远程复制，以确保容灾中心与主站点的数据保持同步以实现数据容灾。目前各存储厂商分别有不同的存储虚拟化技术如EMCSTORAGEROUTER，IBMSANVOLUMECONTROLLER，HDSTAGMASTOR存储平台提供的UNIVERSALREPLICATOR，SVM技术都是虚拟化技术，利用各厂家的存储虚拟化技术能够实现异构存储平台之间的数据复制（同步或异步方式）。存储虚拟化技术可以在不同层面实现，如在智能交换机层面、存储层面或增加第三方设备来实现。采用虚拟存储技术进行数据复制同样也可以有同步复制方案和异步复制方案，需要根据具体的需求选择合适的产品。采用虚拟存储化技术建设容灾方案有以下优点主生产中心和容灾中心的存储阵列可以是不同厂家的产品，存储平台选择不受现有存储平台厂商的厂商限制。对不同厂家的存储阵列提供统一的管理界面。在虚拟存储环境下，无论后端物理存储是什么设备，服务器及其应用系统看到的都是其熟悉的存储设备的逻辑镜像。即便物理存储发生变化，这种逻辑镜像也永远不变，系统管理员不必再关心后端存储，只需专注于管理存储空间，所有的存储管理操作，如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等比从前的任何产品都容易，存储管理变得轻松简单。采用虚拟存储化技术建设容灾方案需要考虑以下问题虚拟存储技术比较新，虽然为异构环境设计，但在异构环境种保证兼容性和数据的完整性依然可能存在风险；采用虚拟存储技术，尤其是增加第三方硬件的方式将需要评估对整个系统的高可用性和性能的影响。需要验证选择的产品和技术的成熟性以及和现有设备、未来设备的兼容性能力，尤其是需要在复杂环境、大规模容灾要求重的实际适用情况。在当前阶段，EMC建议客户暂不在关键业务系统的容灾上选择虚拟化存储技术，该技术还有待时间和实际应用的验证，尚无法胜任核心、关键业务系统的容灾保护。44采用基于主机的数据复制技术建设容灾系统采用基于主机的容灾方案的示意图如下图7基于主机的容灾方案示意图采用基于主机系统的容灾方式的核心是利用主、备中心主机系统通过IP网络建立数据传输通道，通过主机数据管理软件实现数据的远程复制，当主数据中心的数据遭到破坏时，可以随时从备份中心恢复应用或从备份中心恢复数据，从而给企业提供了应用系统容灾的能力。实现远程数据复制的数据管理软件有很多产品，主机厂商和一些第三方软件公司如VERITAS提供基于主机的数据复制方案，如SUN公司的AVAILABILITYSUITE软件和VERITASVOLUMEREPLICATORVVR等软件可实现基于主机的远程数据复制，从而构建基于主机的容灾系统。采用基于主机的数据复制技术建设容灾方案有以下优点基于主机的方案最主要的优点是只对服务器平台和主机软件有要求,完全不依赖于底层存储平台，生产数据中心和后备数据中心可以采用不同的存储平台；既有针对数据库的容灾保护方案，也有针对文件系统的容灾保护方案。有很多不同的基于主机的方案，可以满足用户的不同数据保护要求，提供多种不同数据保护模式；基于IP网络,没有距离限制同时，采用主机的数据复制技术建设容灾方案有以下局限基于主机的方案通常需要同种主机平台；基于主机的数据复制方案由于生产主机既要处理生产请求，又要处理远程数据复制，必须消耗生产主机的计算资源，因而对生产主机性能产生较大的影响，甚至是产生严重影响；灾备中心的数据一般不可用，如果用户需要在远程数据中心使用生产数据给开发测试、DW/BI应用使用将非常困难；利用主机数据复制软件的方案比较复杂，尤其是和数据库应用结合的时候需要很复杂的机制或多种软件的结合，从而对生产系统的稳定性、可靠性、性能带来显著影响；如果有多个系统、多种应用需要灾难保护，采用基于主机的方案将无法有统一的技术方案来实现。管理复杂，需要大量的人工干预过程，容易发生错误。目前，企业采用基于主机的数据复制技术建设容灾方案相对比较少，通常适合单一应用或系统在I/O规模不大的情况下局部使用。在应用I/O负载比较大，需要灾难保护的应用及应用类型比较多的时候，基于主机方案将不适用。45基于应用的数据复制建设容灾系统基于应用之间的数据复制技术也有很多种，以下按常用的ORACLE9I数据库应用自带的ORACLEDATAGUARD技术来进行分析。ORACLEDATAGUARD技术是ORACLE数据库系统特有的灾难备份和恢复技术，利用了ORACLE数据库系统的日志备份和恢复机制。DATAGUARD的基本原理是在与主系统完全一致的硬件和操作系统平台上建立后备数据库系统，同时对主数据库的数据库日志LOG和控制文件等关键文件进行备份。在主系统正常工作的同时将主系统产生归档日志文件ARCHIVEDLOG不断的传送到后备数据库系统，并且利用这些日志文件在后备数据库系统上连续进行恢复RECOVER操作，以保持后备系统与运行系统的一致。当主系统发生故障时，使用备份的数据库日志文件在后备数据库上恢复主数据库内的数据。图8采用ORACLEDATAGUARD的容灾方案ORACLE9IDATAGUARD提供了三种模式最大保护模式最大可用模式最大性能模式ORACLEDATAGUARD最大保护模式提供了对于主数据库最高级别的数据可用度，是一种保证零数据丢失的容灾解决方案。当运行最大保护模式时，REDO纪录以同步的方式从主数据库发送到后备数据库，而且，在主数据库方的事务，一定要等到至少有一个后备数据库确认接收到事务数据，该事务才被提交。在这种模式下，一般配置至少两个后备数据库，以提供双重容错保护。如果后备数据库不可用，则主数据库方会自动挂起处理进程。最大可用性模式提供了对于主数据库次高级别的数据可用度，保证零数据丢失，并对单个组件的失败提供保护。与最大保护模式一样，REDO数据被同步地从主数据库发送到后备数据库。在主数据库方的事务，一定要等到后备数据库确认接收事务数据，该事务才被提交。然而，如果后备数据库因为诸如网络连接之类的问题而不可用时，主数据库方的处理会继续执行。这样，会出现后备数据库暂时与主数据库不一致的情况，但是一旦后备数据库恢复可用，数据库会自动同步，不会有数据丢失。最大性能模式是缺省的保护模式。与最大可用性模式相比，它对于主数据库提供稍弱一点的保护，但是性能更高。在这种模式下，当主数据库对事务进行处理时，日志数据被以异步的方式传送到后备数据库。在主数据库方，提交操作在完成写的动作前、无需等待后备数据库的接收确认。在任何时候，如果后备方不可用，主数据库方的处理继续执行，这样对性能不会有什么影响。采用ORACLE9IDATAGUARD技术进行灾难备份需要满足以下前提条件后备系统与主系统的硬件平台、操作系统、操作系统版本等保持一致；后备系统与主系统上ORACLE用户的权限一致；后备系统与主系统的ORACLE数据库版本一致；后备系统与主系统的ORACLE数据库配置文件一致。采用ORACLEDATAGUARD建设容灾方案有以下优点完全通过ORACLE数据库机制来实现，完全不依赖于其它软件和底层存储平台；可以满足用户的不同性能、数据保护要求，提供多种不同数据保护模式；可以实现一对多的数据复制，提供多重保护；后备数据库可以在很短的时间内提升到生产状态（因为数据库已经在运行）基于IP网络,没有距离限制同时，采用ORACLEDATAGUARD建设容灾方案有以下限制ORACLEDATAGUARD的三种模式都将对生产数据库系统的性能产生影响,因而需要更多的处理资源；后备数据库不可用，如果用户需要在远程数据中心使用生产数据给开发测试、DW/BI应用使用将非常困难。只能对ORACLE数据库数据提供保护，不能对其它应用数据如文件应用等提供灾难保护。管理复杂，需要大量的人工干预过程，容易发生错误。只能保护ORACLE数据库，无法保护其他应用数据。业界其它基于应用的的容灾方案的优点和局限性与ORACLEDATAGUARD模式基本相同，EMC同样需要根据客户的实际需要建议最合适的方案。46小结基于应用的容灾方案、基于主机的容灾方案和基于存储包括虚拟存储技术的容灾方案都有各自的适用范围，适用于不同的灾难保护需要。用户需要根据具体的实际需求来选择合适的容灾保护方案。不同的用户不同的业务系统、不同应用对容灾的要求不同，要求不同的容灾服务等级。EMC在未来将按照科学流程和方法，并利用EMC公司在信息存储管理领域的专业技能和经验为用户进行IT环境的评估和业务影响分析，发掘客户业务需求对容灾技术的要求，从而建议最合适的容灾方案。对企业而言，选择容灾方案既要考虑选择合适技术方案，也需要考查实现该方案的产品在技术上是否成熟、可靠，性能和灵活性是否满足要求，同时也需要考查提供该解决方案的供应商是否有丰富的经验和认证的技能来保证方案的确实可行并能够成功实施。EMC公司在容灾领域有领先的技术并已经得到了广大用户的实际应用检验，方案的可行性、产品的成熟度、稳定性、可靠性、灵活性都的到了大量实际应用的考验。EMC的技术服务队伍已经在众多容灾项目成功实施过程中表现出强大的技术力量，能够确保用户容灾方案的成功实施。第5章XXXXXX容灾方案建议51XXXXXX架构现状52XXXXXX容灾需求53XXXXXX容灾建议方案假设XXXXXX股份有限公司容灾将采用同城容灾中心建设模式，为两个中心模式，如以下两个中心模式的容灾技术模型所示图11双中心容灾技术模型本章节将从“数据远程复制技术”入手，并从“存储平台、应用平台、接入平台”三方面为XXXXXX容灾建设提出建议方案。根据此模型，建议XXXXXX容灾平台的架构如下该示意图只要表示核心数据服务及存储部分，未包含网络接入及应用层等图12XXXXXX容灾建议架构531数据远程复制技术建议所有容灾技术方案首先是数据的容灾，即数据在远程有了灾难保护和灾难恢复能力，这是整个容灾技术方案的基础。因此，“数据远程复制”是XXXXXX容灾方案的技术核心，只有XXXXXX生产系统的相关数据按预定的要求复制到容灾中心，才可以在此之上构建完整的灾难恢复技术平台。首先，从XXXXXX股份有限公司系统的容灾要求看，应该采用“实时连续数据复制技术”。从上图的模型中看到，“数据复制”可以发生在“应用平台”层面，即采用基于主机、应用或数据库的数据复制技术；也可以发生在“存储平台”层面，即采用基于存储的数据复制技术（可以是智能存储，也可以是虚拟存储技术）。XXXXXX本次容灾只考虑了核心的系统，在未来随着业务的发展，将可能有更多的业务系统需要提供灾难保护能力，因而将会是多种应用，多种主机平台的异构环境，最好是能采用平台级的数据复制技术，以满足未来长远的需求，降低复杂性，从而降低风险和成本。基于此，我们初步建议如下采用“实时连续数据复制”技术采用“基于存储的数据复制”技术，建立平台级的容灾数据复制架构532“同步、异步“数据远程复制选择XXXXXX初步选择了同城容灾方式，同步复制和异步复制都是XXXXXX股份有限公司可以选择的技术，最终的选择将取决于业务恢复水平的要求以及业务I/O量、链路带宽情况。在链路带宽许可情况下，建议采用同步数据复制，避免数据丢失。若链路带宽不充足，可以采用异步数据复制技术。由于系统包括“核心业务系统、生产支持系统、报表生成平台”三块，无论采用同步复制方式还是异步复制方式都需要考虑三个系统的数据一致性问题。EMCDMX平台上具备CONSISTENCYGROUP技术，可以保证三个系统的数据一致。533SAN网络及存储平台建议（待补充）XXXXXX股份有限公司专利业务系统的存储平台将是业务数据的载体，也将是主要的数据复制平台，因而是容灾建设最重要的部分。根据XXXXXX容灾项目需求，本次项目建议的存储平台为配置为534利用BCV、数据克隆技术获取开发、测试数据XXXXXX当前采用“三系统”架构来确保整个环境的可用性和可靠性，包括开发系统（DEV）、测试系统（QAS）和生产系统（PRD）。对于开发系统和测试系统，最有效的方式是采用真实数据和真实数据量规模的数据进行开发、测试工作，利用智能存储系统的快照、克隆技术可以很方便地获得生产数据。如上图12所示，可以在生产中心存储平台配置合适的存储空间，为系统生产数据创建数据克隆，该克隆数据可以用来做开发、测试使用。根据XXXXX项目未来的需求，可以考虑以下方式使用数据克隆技术将开发、测试工作放到灾备中心进行，通过创建容灾目标数据的克隆拷贝为开发、测试平台快速提供真实数据环境。对生产中心的源数据创建1份克隆数据，该数据用作保护使用，每天定期同步一次到多次，提供逻辑故障快速恢复使用。灾难事件发生，主要为物理破坏，则XXXXX系统切换到容灾中心，继续支持业务运营。逻辑故障发生，如误删除数据文件，由于采用实时复制技术，则容灾中心的数据也被删除。这时利用生产中心数据的克隆数据快速恢复或直接开放给主机使用，这样能够快速恢复业务运营，而不必进行复杂的容灾切换，降低风险和可能产生的额外成本。535数据复制链路连接方式及数量建议同城容灾，通常采用光纤链路作为数据容灾复制链路，复制链路的连接可以直接采用现有SAN交换机，也可以采用专门的SAN交换机独立于XXXXXX股份有限公司当前的SAN存储环境。若通过ISL于远程SAN连接，将带来SAN不稳定的风险，因而建议采用专用SAN交换机（也可以采用SANROUTER，连接拓扑相似）。为考虑高可用，建议在两个中心都配置冗余的设备，包括交换机、物理光纤链路、DWDM设备（如需要光纤复用）以及存储用来远程复制的端口卡等。XXXXXX容灾需要多少条通信链路（或带宽要求），要根据业务处理I/O量来分析、设计，若采用异步复制，则需要根据带宽及RPO要求来分析设计。容灾数据复制链路连接方式及带宽估计的具体的方法请参考“第六章容灾通信链路设计”部分内容。536应用平台建议XXXXXX股份有限公司业务系统的应用平台建设主要是包含服务器、以及这些服务器上的内置磁盘、操作系统、文件系统、数据库系统软件、中间件和应用软件等。建议如下1针对不同业务的不同应用，在容灾中心配置相同服务器平台，OS版本相同；2针对个业务部署与生产中心相同的应用；3容灾中心服务器处理能力及高可用能力（是否采用群集等）可以与生产中心完全相同（同级容灾），也可以低于生产中心（降级容灾）。具体采用根据“业务需求定义”结果并平衡投资水平进行最后决定。4应用平台的切换可以采用人工干预方式，也可以采用自动技术。在采用自动技术时需要考虑业务的关联性。通常采用人工干预、发起自动执行的切换方式，减少误判风险。537接入平台建议接入平台包含交换机、路由器、防火墙等网络设备以及相应的网络连接。在接入平台使用的容灾技术主要是网络接入切换技术，包括基于浮动IP地址基于DNS基于四层交换机基于外围应用XXXXXX股份有限公司的主要工作环境在当前办公地点和外地各分支机构，建设容灾中心后，必须能够实现生产中心和容灾中心的网络互联互通。容灾中心也应当具备网络接入平台，在灾难发生时，尤其是针对IT系统的灾难发生时候，IT系统全部切换或局部切换到远程容灾中心，外围分支机构需要能访问到容灾中心。容灾中心接入平台的建议如下建设完整的连接能力，具备足够的带宽与当前生产中心互联；当前生产中心必须配置访问远程中心的网络路由远程中心需配备相应的DNS服务如采用浮动IP，要确保切换后IP的浮动，并确保网络路由能访问已经浮动到远程的IP地址。对应用的访问和应用之间的调用尽量采用DNS方式。容灾中心要具备网络接入能力，外围分支结构要具备访问主中心或访问容灾中心的网络连接能力。为降低初期投资，外围分支机构可以先通过主中心访问容灾中心系统，从而不改变现有网络连接方式。风险是当主中心的网络接入或网络被破坏，将无法访问容灾中心，尽管系统已经被恢复。538数据备份保护容灾方案解决的远程的数据保护和远程的业务服务能力，但并不能减少本地数据备份恢复的要求。当本地数据出现逻辑故障或人为错误时，故障或错误将被复制到远程容灾中心，为保证本地数据的安全，仍需要建设本地数据备份系统。数据备份系统可以有多种技术备份到磁带（最传统的方式）备份到磁盘（或再到磁带方式）本地数据BCV保护以上方法中，数据BCV保护的恢复级别最高，通过智能存储上的数据副本可以快速恢复数据到建立副本的时刻。备份到磁盘的技术恢复级别高于备份到磁带方式，是目前备份技术发展的趋势，与磁带备份相比，能够确保可预测的恢复。由于XXXXXX项目需求文档中要求为采用磁带库备份，EMC对数据备份保护的建议如下为系统数据保留一份可以采用BCV，该BCV做保护用或用来做磁带备份的源数据；数据保护BCV与生产源数据每天做1次或多次数据同步，同步完成后断开，作为数据的“金拷贝GOLDENCOPY”，在出现逻辑故障可以优先从BCV快速恢复或直接启用BCV数据。磁带备份可以采用传统SAN备份方式，各生产主机通过SAN网络将数据备份到磁带上，也可以采用BCV数据实现“SERVERFREE备份”。备份到磁带的数据可以根据需要保存较长的时间，并可以异地保管。未来也可以考虑备份到磁盘标准磁盘或虚拟磁带库上，降低备份窗口，提高可恢复能力和恢复水平。备份到磁盘的数据可以根据需要迁移到磁带上，如下图采用虚拟带库示意图图13B2CDL2T架构示意图第6章容灾通信链路设计容灾通信链路设计是容灾系统建设非常重要的部分，也是容灾方案设计的难点、要点之一,所以单列本章节进行阐述。61通信链路设计概述如果未来XXXXXX股份有限公司基于主机或基于应用的容灾技术来建设容灾系统，则将采用标准的IP网络连接，通信链路可以是ATM、E1/E3、IP等；如果未来XXXXXX股份有限公司采用基于存储或虚拟存储的技术来建设容灾方案，则可以采用FIBRECHANNEL、ESCON、DWDM、SONET等通信链路，也可以通过FCIP设备利用ATM、E1/E3、IP等通信链路。不同的通信链路有不同的要求，如距离限制、带宽能力等；而不同的容灾技术、不同的容灾应用对通信链路的要求不同；采用同步方式或采用异步方式进行数据复制对通信链路的要求也大不相同。对于一个容灾方案，无论采用哪种复制技术，都需要解决以下问题在我当前选择的容灾中心距离的情况下我需要哪种链路需要多少条成本如何这么远的距离对应用影响是什么如采用同步方式，响应时间是否太长I/O数量能否满足如采用异步方式，我的RPO是多少需要配多大的CACHE量设计的链路是否一定满足预期的目标根据XXXXXX股份有限公司的不同要求进行科学的通信链路设计是保障专利业务系统在合理的通信成本下成功实现容灾系统建设的重要步骤之一。62容灾通信链路的比较当前业界容灾方案的通讯链路基本采用有“裸光纤直连交换机方式、通过DWDM设备连接裸光纤方式、IP网络方式”等，每种方式各有利弊，以下对不同通信链路方式进行比较。通过裸光纤直连交换机，采用FC协议采用FC协议的通信链路只适用于基于存储复制或虚拟存储复制的容灾方案。在这类方案中，生产中心与备份中心的光纤交换机通过裸光纤直连，如下图所示图14裸光纤直连交换机的通信链路模式两个中心存储系统的容灾端口通过光纤交换机和裸光纤进行连接，可以保证同步或异步数据复制的性能。为保证高可用，通常采用冗余连接链路设计。容灾链路裸光纤可以和生产主机共享SAN交换机，也可以独立SAN交换机（也需要冗余）或SANROUTER。通常为避免容灾链路通信和主机访问存储的相互干扰，采用独立的SAN来连接容灾通信链路的方式采用较多，目前随着SANROUTER技术的发展，采用SANROUTER连接方式也越来越普遍。不同容灾方案需要的通信链路数量是不同的，具体需要链路的条数（即带宽要求）需要具体分析、计算获得。通过DWDM设备直连裸光纤采用密集波分复用技术，可以加载多协议，例如FC协议、IP协议，如下图所示图15采用DWDM设备的通信链路模式如上图所示,通过DWDM技术，主数据中心和容灾数据中心的IP网络连接、FC连接都可以复用到共享裸光纤，比较好的解决了裸光纤的利用率和多协议复用的问题。为避免单点故障，同样可以采用冗余连接、没有单点故障的解决方案。同时，采用DWDM方式有更多的拓扑方案，需要在进一步具体设计时进行分析后确定。利用IP网络，采用ATM或E1、E3线路采用基于主机和基于应用的容灾方案可以直接利用IP网络，在此不再多加说明。采用“基于存储或基于虚拟存储”的容灾技术将需要进行FC协议到IP协议的转换，从而将FC加载在IP网络中传输。此方案采用国际流行的IP网络协议和链路，通过FC/IP转换设备（例如NISHAN），将FC通道协议打包在IP数据包内，通过IP链路传输，理论上没有距离的限制，适用于远程异步数据复制，是性价比很好的选择。连接示意图如下图16采用FC到IP设备的通信链路模式各种种通信链路所提供的带宽线路类型理论带宽（MBPS实际带宽（去掉OVERHEAD后）MBPS复