中信集团灾备中心建设方案

中信集团灾备中心建设方案V4.0中企网络通讯技术有限公司2023年5月14日

目录第1章 集团应用系统灾备需求 41.1 灾备项目背景 41.2 集团生产站点总体现状 41.3 灾备项目需求 9第2章 集团灾备中心建设目标 102.1 灾备级别划分 102.1.1 第2级备份介质异地存放+异地备份数据中心 102.1.2 第3级网络传输+异地数据中心部分设备支持 112.1.3 第4级网络传输+异地数据中心完整设备支持 122.2 灾备系统组成 142.3 灾备模式介绍 152.4 集团一期灾备项目关键指标要求 15第3章 业务系统灾备建设方案 163.1 方案设计思路 163.2 灾备中心VM规划 173.3 信息披露系统灾备设计 183.3.1 方案设计拓扑图 183.3.2 虚拟服务器层面 183.3.3 Oracle数据库设计 193.4 股份门户网站灾备设计 203.4.1 方案设计拓扑图 203.4.2 虚拟服务器层面 203.4.3 SQLServer数据库设计 20第4章 灾备网络概要设计 214.1 方案设计拓扑图 214.2 集团管理信息部部署方式 224.3 上海宝山机房部署方式 234.4 灾备数据业务流向 244.4.1 Veeam灾备数据复制 244.4.2 应用系统数据复制 254.5 灾备切换场景及业务数据流向分析 274.5.1 正常情况下的路由及数据流 274.5.2 灾备切换场景概述 284.5.3 灾备切换情况说明 30第5章 数据灾备及数据回复的实现过程 315.1 数据灾备过程 315.2 数据回复过程 32第6章 灾备技术说明 336.1 Veeam的实现过程 336.2 Veeam的优势分析 34第7章 灾备项目实施相关 367.1 实施计划 367.2 灾备站点基础设施 377.2.1 软硬件选型 397.3 灾备站点虚拟机配置 407.4 项目交付 417.5 安装过程 417.6 项目支持团队 427.7 项目进度 427.8 UAT测试标准 437.9 灾备启动流程 447.10 灾备回复流程 457.11 责任划分 46第8章 客户服务 488.1 客户服务理念 488.2 一站式服务支持 488.3 客户满意度的措施 488.4 服务优势 498.5 中企通信服务质量承诺标准 498.5.1 MPLSVPN专线承诺标准 498.5.2 中企通信云平台承诺标准 50第9章 中企通信灾备中心服务介绍 519.1 中企通信灾备中心服务综述 519.2 上海宝山数据中心概述 529.3 中企通信云计算服务（SMARTCLOUD™）概述 529.4 中企通信灾备服务（BRR）概述 54第10章 成功案例 56集团应用系统灾备需求灾备项目背景随着集团业务信息量增大，集团平常工作对信息化的依赖限度越来越高。业务系统一旦中断，将给集团带来巨大的经济损失和负面效应。业务连续性的保障工作成为集团管理信息部首要考虑的问题。因此要建设异地灾备中心，对核心业务系统进行容灾备份，在系统出问题时，能有相关的容灾系统及时接管业务，保证业务系统的连续、稳定运转。集团生产站点总体现状中国中信集团有限公司建设有IT共享服务中心和数据中心，承载着集团的所有信息化系统及子公司的部分应用系统。IT共享服务中心拥有2台IBMP710主机、6台IBMP730主机（112核CPU、448G内存）以及10台IBMX3850服务器、2台IBMX3650服务器（44颗6核CPU、1664G内存），运用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时运用2台IBMV7000存储（22T可用容量）、1台NetappV6210a存储（20T可用容量）构建了存储资源池；数据中心拥有2台IBMP730主机（32核CPU、128G内存）以及3台IBMX3850服务器（18颗6核CPU、160G内存），运用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时运用1台IBMV7000存储（11T可用容量）构建了存储资源池；小型机资源池和PC服务器资源池通过4台CISCO9148光纤互换机多途径连接到存储资源池。IT共享服务中心和数据中心运用PowerVM、VMware技术部署了40余台小型机虚拟机以及140余台PC服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统的开发测试环境。虚拟机的操作系统涉及AIX（6.1为主）、Windows（2023、2023、2023、2023）、Linux（Redhat、CentOS、SUSE），数据库涉及OracleRAC（10g、11g）、SQLServer双机、DB2、MySQL等，中间件涉及Websphere、Weblogic、Tomcat等，应用平台涉及Portal、Domino、HFM等。IT共享服务中心和数据中心的网络由2台CISCO4507R和一台Huawei5700互换机组成，运用2台天融信TG61040、2台Feitigate1000c防火墙划分出核心区、辅助区、安全区、测试区、Web区等多个虚拟网络，防火墙具有访问控制、防袭击、防病毒的功能。IT共享服务中心和数据中心还部署有2对美国优势网络公司的Inchorus1240应用前端互换机，配置了部分应用系统的负载均衡。用户访问各应用系统时，大部分通过TDS统一认证，有些应用系统有自己的认证系统。1.2.1 一期生产站点现状集团的信息披露系统和中信股份门户网站的服务器架构基于双机热备份的架构部署。信息披露系统的现状如下：如图所示，目前信息披露系统由9台服务器组成，其中2台web服务器、2台HFM服务器、2台数据管理服务器以及及1台报表分析服务器共7台服务器运营在集团的VMware虚拟化平台上，操作系统为Windows2023R2，2台数据库服务器运营集团的PowerVM虚拟化平台上，操作系统为AIX6.1。7台VMware虚拟服务器部署着Oracle公司的Foundation、HFM、BIEE，以及景华天创公司的Bivison；2台PowerVM虚拟化小型机部署着OracleRAC。2台web服务器、2台数据管理服务器使用美国优势公司的Inchorus配置了负载均衡，2台web服务器为双活模式，2台数据管理服务器为主备模式。信息披露系统数据分为两类：一类为随机上报的披露数据，每月约100条左右；一类为按季度上报的合并数据，目前有70家子公司上报，每家每次数据量为5M左右。股份门户的现状如下：如图所示，目前中信股份门户网站由6台服务器组成，2台web服务器、2台CMS服务器、2台数据服务器共6台服务器运营在集团的VMware虚拟化平台上，操作系统为Windows2023R2。6台VMware虚拟服务器部署着WindowsIIS、Euroland公司的CMS和WindowsSQLserver数据库集群。2台web服务器使用美国优势公司的Inchorus配置了负载均衡，为双活模式。门户网站的数据更新是随机的，每月约15条左右。根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：服务器CPU内存存储VMDK文献大小IP地址负载均衡（服务）IP中信集团信息披露系统Web服务器128GC:100GD:50G8G12G172.20.17.65172.20.16.26Web服务器228GC:100GD:50G8G12G172.20.17.66HFM应用服务器1216GC:100GD:150G11G24G172.20.17.55172.20.17.55HFM应用服务器2216GC:100GD:150G8G14G172.20.17.56172.20.17.56数据管理服务器1216GC:100GD:150G10G21G172.20.17.58172.20.16.25数据管理服务器2216GC:100GD:150G8G12G172.20.17.59数据库集群172.20.21.30中信股份门户网站Web服务器1412GC:50G25G172.20.2.8172.20.2.18Web服务器2412GC:50G23G172.20.2.9CMS服务器1（主服务器）412GC:50G24G172.20.17.68172.20.17.68CMS服务器2（备用服务器）412GC:50G22G172.20.17.69172.20.17.69（备用地址）数据库服务器1416GC:150G500G29G2G172.20.21.32172.20.21.35172.20.21.34灾备项目需求集团目前第一期计划针对信息披露系统和中信股份网站进行灾备项目的实行。目前信息披露系统的web服务器、HFM服务器、数据管理服务器以及报表分析服务器共7台服务器运营在集团的vmware虚拟化平台上，披露系统的Oracle数据库系统运营在小型机上，该系统的重要功能是完毕财务报表的合并，同时支持中信股份的信息披露业务；中信股份的官方网站的6台服务器也运营在集团的vmware虚拟化平台上，该网站属于中信股份的官方网站，是中信股份集团对外的信息发布和形象展示窗口；集团信息部门规定针对这两个系统提出可行性灾备方案，规定在生产站点业务中断后，灾备站点可以在一定期间内完全接管业务，保证数据在异地有冗余备份。信息披露系统的规定：灾备站点的Web服务器、HFM服务器、数据管理服务器、Oracle数据库服务器和DNS服务器的IP地址均不能变更；信息披露系统只针对中信集团本部和集团下属各个子公司提供服务，所有通过中信集团第二张网进行内网访问；生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输；中信股份门户网站的规定：灾备站点的Web服务器、CMS服务器和SQLServer数据库服务器的IP地址可以不和生产站点的Web服务器、CMS服务器以及SQLServer数据库服务器保持一致；中信股份门户网站对外通过互联网提供访问服务；生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输和交互；

集团灾备中心建设目的灾备级别划分根据国务院信息化工作办公室于2023年4月下发的《重要信息系统劫难恢复指南》中的定义，劫难恢复等级可以划分为6个不同的等级，根据不同的劫难恢复需求拟定劫难恢复等级，不同的劫难恢复等级，其解决方案可根据劫难恢复登记以下重要方面所达成的限度分为七级，即从低到高有七种不同层次的劫难恢复解决方案。可以根据中信集团各业务的系统及数据的重要性以及恢复策略，来设计选择劫难恢复方案和计划。根据《重要信息系统劫难恢复指南》的定义，劫难恢复级别的选择，重要决定以下七个要素：数据备份系统备用数据解决系统备用网络系统备用基础设施技术支持运营维护管理劫难恢复预案国信办在《重要信息系统劫难恢复指南》中定义了劫难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性规定，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系统3类，每类信息系统合用不同的国家灾备等级标准：重要信息系统：4级次重要信息系统：3级非重要信息系统：2级具体内容如下：第2级备份介质异地存放+异地备份数据中心第二级劫难恢复应具有技术和管理支持如表A．2所示。表A.SEQ表_A.\*ARABIC2第2级劫难恢复的技术和管理支持要素规定A.2.1数据备份系统完全数据备份至少每周一次；备份介质场外存放。A.2.2备用数据解决系统劫难发生时能在预定期间内调配所需的数据解决设备到场。A.2.3备用网络系统劫难发生时能在预定期间内调配所需的通信线路和网络设备到位。A.2.4备用基础设施有符合介质存放条件的场地；有满足信息系统和关键业务功能恢复运作规定的备用场地。A.2.5技术支持—A.2.6运营维护支持有介质存取、验证和转储管理制度；按介质特性对备份数据进行定期的有效性验证；有备用场地管理制度；与相关厂商有符合劫难恢复时间规定的紧急供货协议；与相关运营商有符合劫难恢复时间规定的备用通信线路协议。A.2.7劫难恢复预案有相应的通过完整测试和演练的劫难恢复预案。第3级网络传输+异地数据中心部分设备支持第三级劫难恢复应具有技术和管理支持如表A．3所示。表A.SEQ表_A.\*ARABIC3第3级劫难恢复的技术和管理支持要素规定A.3.1数据备份系统完全数据备份至少天天一次；备份介质场外存放；天天多次运用通信网络将关键数据定期批量传送至备用场地。A.3.2备用数据解决系统配备劫难恢复所需的部分数据解决设备。A.3.3备用网络系统配备部分通信线路和相应的网络设备。A.3.4备用基础设施有符合介质存放条件的场地；有满足信息系统和关键业务功能恢复运作规定的场地。A.3.5技术支持在备用场地有专职的计算机机房运营管理人员。A.3.6运营维护支持按介质特性对备份数据进行定期的有效性验证；有介质存取、验证和转储管理制度；有备用计算机机房管理制度；有备用数据解决设备硬件维护管理制度；有电子传输数据备份系统运营管理制度。A.3.7劫难恢复预案有相应的通过完整测试和演练的劫难恢复预案。第4级网络传输+异地数据中心完整设备支持第四级劫难恢复应具有技术和管理支持如表A．4所示。表A.SEQ表_A.\*ARABIC4第4级劫难恢复的技术和管理支持要素规定A.4.1数据备份系统完全数据备份至少天天一次；备份介质场外存放；天天多次运用通信网络将关键数据定期批量传送至备用场地。A.4.2备用数据解决系统配备劫难恢复所需的所有数据解决设备，并处在就绪状态或运营状态。A.4.3备用网络系统配备劫难恢复所需的通信线路；配备劫难恢复所需的网络设备，并处在就绪状态。A.4.4备用基础设施有符合介质存放条件的备用场地；有符合备用数据解决系统和备用网络设备运营规定的场地；有满足关键业务功能恢复运作规定的场地；以上场地应保持7x24运作。A.4.5技术支持在备用场地有：7x24专职计算机机房管理人员；专职数据备份技术支持人员；专职硬件、网络技术支持人员。A.4.6运营维护支持有介质存取、验证和转储管理制度；按介质特性对备份数据进行定期的有效性验证；有备用计算机机房运营管理制度；有硬件和网络运营管理制度；有电子传输数据备份系统运营管理制度。A.4.7劫难恢复预案有相应的通过完整测试和演练的劫难恢复预案。

灾备系统组成一个典型的灾备系统由灾备中心基础环境设施、数据备份系统、备份解决系统、网络通信系统和劫难恢复计划等组成。在集团第一期的灾备项目中，灾备系统的组成如下：基础设施环境：由中企通信位于上海宝山的云计算数据中心（T3+级别）提供异地灾备数据中心的基础设施环境，以保障数据备份系统和备份解决系统的正常工作；采用DELL高性能x86架构服务器、SAN存储以及光纤互换机作为底层硬件资源；数据备份系统：依托集团总部数据中心和上海宝山数据中心之间高速、稳定的MPLSVPN骨干网络，通过中企通信SmartCLOUDvONE私有云和虚拟化灾备软件veeambackup&replication来构建本次项目的数据备份系统；备份解决系统：veeamserver控制台系统、Oracle数据库、SQLServer数据库、TDS身份验证系统以及DNS系统，构成灾备中心的整个备份解决系统；劫难恢复计划重要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换重要针对灾备中心的业务系统虚拟服务器进行快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进行操作；网络切换阶段：网络层面的切换重要针对劫难发生后的业务访问进行快速、有效的网络切换，保证用户可以正常访问到灾备中心的业务系统；灾备模式介绍灾备模式重要分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据（规定距离小于100公里），数据零丢失，合用同城灾备，该模式相应国家标准6级。热备模式：当主中心发生劫难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据（规定距离小于100公里），数据零丢失，合用同城灾备，该模式相应国家标准6级。暖备模式：当主中心发生劫难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，合用同城或异地灾备，该模式相应国家标准5级。冷备模式：当主中心发生劫难时，手动切换到灾备中心；主中心向灾备中心定期复制或备份数据，数据丢失较大，合用同城或异地灾备，该模式相应国家标准4或3级。集团一期灾备项目关键指标规定集团目前一期计划针对中信股份信息披露系统和中信股份网站进行灾备项目的实行，通过项目的实行，形成一种灾备的模式，下一步对更多的核心应用进行灾备。根据应用系统的访问需求，对灾备中心提出如下需求：规定信息披露系统在2小时内实现业务系统的全面接管，涉及系统的启动、内部网络IP的接管、应用的启动，以及辅助的域名解析服务、TDS身份认证服务、VPN访问的切换；同时规定信息披露系统的数据丢失量小于4个小时；（RT0<2小时、RPO<4小时）规定中信股份网站在半小时内恢复可访问，涉及系统的启动、域名的切换；同时规定中信股份网站的数据丢失量小于4个小时；（RT0<0.5小时、RPO<4小时）以上两个业务系统的灾备需求合用4级的国家灾备等级标准，采用冷备模式。业务系统灾备建设方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的SmartCLOUD™vONE私有云服务以及生产站点和灾备站点之间MPLSVPN网络连接的服务来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丢失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方案。该方案的目的是为了保护集团的数据免受劫难和虚拟服务器故障所带来的丢失和损坏风险，在业务系统因劫难或故障引起生产站点不可用或者数据丢失损坏时，灾备中心可以完全接管业务，并且灾备中心的数据具有可恢复性和即时性。方案设计思绪信息披露系统和股份门户网站采用主备模式来实现异地灾备；基于两个业务系统的RTO/RPO规定，针对信息披露系统，采用冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采用冷备模式；生产站点发生劫难时，两个系统均需要进行手工切换；生产站点和灾备站点的复制策略可以针对每台虚拟服务器（信息披露系统的web服务器、HFM服务器和数据管理服务器）进行自定义，并提供vmware虚拟化架构下定期复制和增量复制的功能，针对每次复制任务得执行结果要有日记记录功能，出现异常时具有报警提醒；股份门户网站web服务器的内容通过网站后台进行统一发布；股份门户网站的CMS服务器在灾备站点处在启动状态，使用文献定期同步（4小时/次）的方式满足RPO的规定；针对信息披露系统的Oracle数据库，在灾备中心部署x86架构下的Oracle数据库，通过自动化脚本的方式实现灾备站点数据的定期更新；针对股份门户的SQLServer数据库，在灾备中心部署单机版SQLServer数据库服务器，通过自动化脚本的方式实现灾备站点数据的定期更新；针对TDS和DNS，在灾备站点的虚拟服务器中，部署TDS节点，通过MPLSVPN内网同步用户数据；在DNS服务器上对信息披露系统的域名进行A记录的设定；有不同的恢复方案应对不同的劫难场景灾备中心VM规划灾备中心规划图：灾备中心VM规划列表：灾备中心VM规划系统名称服务器名称操作系统应用程序生产站点IP负载均衡IP灾备站点IP启动顺序信息披露系统Web服务器windows2023R2（64位）Foundation172.20.17.65/

172.20.17.66172.20.16.26172.20.17.65HFM服务器windows2023R2（64位）HFMBivison172.20.17.55/

172.20.17.56172.20.17.55数据管理服务器windows2023R2（64位）Bivison172.20.17.58/

172.20.17.59172.20.17.58报表分析服务器windows2023R2（64位）BIEE172.20.17.60172.20.17.60Oracle服务器Oracle11g172.20.21.28/29

172.20.21.26/27/30172.20.21.30中信股份门户Web服务器windows2023R2（64位）IIS7.0172.20.2.8/

172.20.2.9CMS服务器windows2023R2（64位）CMS172.20.17.68/

172.20.17.69数据库服务器windows2023R2（64位）SQLServer2023172.20.21.32/35、172.20.21.33/36、

172.20.21.34TDS身份验证系统TDS服务器windows2023R2（64位）IBMTivoli待规划域名解析系统DNS服务器windows2023R2（64位）MSDNS10.200.1.1vmware虚拟化管理平台vCenter服务器windows2023R2（64位）vCenter待规划veeam备份控制台veeam备份控制台服务器windows2023R2（64位）veeambackupmanager待规划信息披露系统灾备设计方案设计拓扑图虚拟服务器层面针对WEB服务器、HFM服务器和数据管理服务器，实现方式如下：复制类型复制环节阶段任务初次复制建立复制任务•通过灾备站点的VeeamServer建立复制任务•选择需要复制的VM，复制的时段，vLAN/IP设立等•复制任务的配置（Metadata）将存储于VeeamServer上的文献夹中对生产站点的VM进行快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中（Datastore）将生产站点的VM复制到灾备站点•将VM的快照所有复制（Full）到灾备站点•灾备站点的VM将存储于指定的数据卷中，并处在随时可开机状态•当复制完毕后，生产站点的VM快照将自动删除后续复制对生产站点的VM进行快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中（Datastore）将生产站点的数据增量复制到灾备站点•将VM的快照和灾备站点现有的VM数据进行比对•将数据的增量复制到灾备站点，更新现有的VM并形成一个新的还原点•当复制完毕后，生产站点的VM快照将自动删除根据集团管理信息部对本次项目RTO/RPO的规定，veeam的复制频率设定为4小时/次，并且保存24小时以内的还原点快照；针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处在开机状态的TDS系统和DNS系统，其中，TDS系统作为集团身份验证系统的一个Slave节点定期从TDS的Master节点获取更新数据；DNS系统的IP地址和生产站点DNS系统的IP地址保持一致，并将信息披露系统的域名解析到172.20.17.65，以此保证灾备站点启用后，身份验证功能和域名解析功能处在可用状态。Oracle数据库设计针对生产站点的Oracle服务器集群，设计如下：在灾备中心部署x86架构下的单机Oracle数据库，通过自动化脚本的方式实现生产站点Oracle数据的定期导出并定期传输到灾备站点Oracle服务器，在灾备站点的Oracle服务器上执行定期导入；（中企通信会在本次项目中提供具有Oracle数据库的导出、远程传输、定期导入功能的脚本程序，检测脚本）根据披露系统的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的Oracle服务器端保存24小时以内的数据导出文献；股份门户网站灾备设计方案设计拓扑图虚拟服务器层面针对WEB服务器，实现方式如下：通过在股份门户网站的后台上传功能模块中增长灾备站点的地址，来达成WEB服务器数据同步的目的；针对CMS服务器，实现方式如下：在灾备站点单独的一台虚拟服务器上部署股份门户的CMS服务，配置不同于生产站点CMS的IP地址，通过自动化脚本的方式实现生产站点和灾备站点两端CMS服务器的数据每4小时同步一次；整体架构采用股份门户镜像站点的部署方式，正常状态下WEB服务器通过MPLSVPN内网调用生产站点SQLServer数据库的数据。SQLServer数据库设计针对生产站点的SQLServer服务器集群，设计如下：在灾备中心部署x86架构下的单机SQLServer数据库，一方面在生产站点的SQLServer设定数据库定期备份策略，定期生成数据库备份文献并传输生产站点的SQLServer备份文献到灾备站点SQLServer服务器上，通过计划任务定期执行批解决文献的方式进行备份文献的定期恢复；（中企通信会在本次项目中提供具有SQLServer数据库的定期备份、远程传输、定期导入功能的批解决文献程序）数据库服务器IP地址方面，配置不同于生产站点SQLServer集群的地址；当生产站点发生劫难、SQLServer集群服务失效时，中企通信后台运维人员将手工更改灾备站点的SQLServer服务器IP地址为生产站点的SQLServer集群IP地址，完毕数据库服务的切换。根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的SQLServer服务器端保存24小时以内的数据导出文献；灾备网络概要设计方案设计拓扑图方案描述：针对本次集团管理信息部的披露系统、中信股份门户网站灾备项目；集团管理信息部将采用现有网络设备完毕。将灾备服务器部署在上海宝山机房，使其与集团管理信息部采用MPLSVPN（中信第二张网）互联，并在此网络上进行灾备数据的传输和生产站点恢复运营后数据的回传。中企在上海宝山机柜部署2台Cisco3945（根据带宽的需求选择其Cisco3945，并且可满足未来带宽升级等变化）连接MPLSVPN网络，在Cisco3945通过BGP从PE接受到达集团管理信息部内部网络的路由。集团管理信息部部署方式针对本次系统灾备项目，集团信息管理部将采用现有网络设备完毕灾备数据的转发，不增长硬件设备。集团管理信息部访问上海宝山灾备中心的路由，由中企的PE路由器通过BGP协议向集团管理信息部的核心互换6509转发。集团管理信息部的核心互换机6509将通过BGP协议收到上海宝山灾备中心的路由，并将其转发到内网EIGRP网络在集团管理信息部内网部署Veeam代理服务器，此代理服务器将单独划分一个Vlan专用于数据备份，但此Vlan需要与vCenter通信上海宝山机房部署方式上海宝山机房采用2台Cisco3945路由器连接MPLSVPN网络，带宽为20M，路由器分别下联2台DELL互换机，2台路由器为内网提供高可用服务。同时部署UTM安全设备连接互联网，带宽为20M，用于中信股份门户网站的互联网接入。将部署2台物理服务器分别上联2台DELL互换机，将披露系统、中信股份门户网站、Veeam服务器部署在SmartCLOUDvONE私有云上，在互换机上为这3个系统分别创建3个独立Vlan，在Cisco3945路由器配置3个子接口用于相应不同的Vlan，并为每个Vlan提供网关功能。2台物理服务器分别下联DELL存储互换机，通过此存储互换机连接DELL存储设备。两台3945路由器上，需要部署少量静态NAT配置,因素是披露系统中Web服务器、HFM、数据管理服务器、Ocacle服务器规定IP地址不能变动，所以在做数据备份时需要在灾备中心CE路由器配置NAT转换，以使得完毕路由可达性（具体说明见1.4.2），中信股份门户网站灾备IP地址可以改变，所以在备份过程中不需要针对此系统配置NAT。针对中信股份门户网站的灾备，上海灾备中心将重新部署IP网段为173.1.1.0/24，在UTM防火墙上将此内部IP映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心UTM的公网IP地址，当劫难发生时可通过北龙中网设备将流量重定向到灾备中心的门户网站系统。披露系统和TDS服务器属于同一个Vlan，中信股份门户网站属于另一个Vlan，Veeam服务器单独在另一个Vlan灾备数据业务流向Veeam灾备数据复制集团管理信息部的VM镜像可直接通过Veeam进行数据备份，Veeam的备份任务是通过上海灾备中心的Veeam服务器进行调度Veeam备份和调度示意图在上海宝山灾备中心建立一个Veeam管理服务器，在集团管理信息部建立一个Veeam代理服务器。在上海灾备中心的Veeam管理服务器中创建复制任务，任务通过MPLS网络调用北京Veeam

代理端协作复制任务（蓝色线路）；Veeam代理端与集团管理信息部的vCenter进行授权连接，将生产站点VMware虚拟服务器的快照文献通过MPLSVPN网络复制到上海的灾备中心（红色线路）；集团管理信息部为Veeam代理服务器单独划分一个Vlan（具体Vlan可在实行阶段协调）与现有生产网络隔离，Veeam代理服务器与生产网络vCenter服务器实现路由可达；复制到灾备站点的快照文献存储在SmartCLOUDvONE私有云的存储中，并处在随时可开机启动的状态；为灾备中心的Veeam管理服务器划分一个单独的vlan，该vlanID与灾备中心vCenter的VlanID一致，使之与披露系统、中信股份门户网站灾备服务器互相隔离，应用系统数据复制生产中心的oracle服务器和股份门户网站的web服务器、CMS服务器以及SQLServer数据库服务器不通过Veeam进行灾备复制，需要在应用系统层面进行定期的数据同步。由于信息披露的web服务器、HFM服务器、数据管理服务器以及Oracle数据库服务器不允许改变IP地址，因此需要在灾备中心的CE路由器（Cisco3945）上进行NAT（网络地址转换）的配置，以达成两端相应服务器之间数据同步的目的；股份门户网站的web服务器、CMS服务器和SQLServer服务器的IP地址允许变更，并且这三台服务器的数据定期同步模式基于应用层面来实现，因此，只需在MPLSVPN骨干网络上宣告相应服务器的路由信息即可达成两端数据同步的目的；北京生产中心的Oracle服务器以及披露系统和TDS（172.20.16.23）不能修改IP地址，因此在备份过程中需要在灾备中心的Cisco3945上配置NAT转换；在Cisco3945上将披露系统的Oracle服务器以及TDS服务器IP地址映射为WAN口网段IP地址，北京生产网络在备份时目的地址为NAT转换后的IP地址；股份门户网站的三台服务器（web服务器、CMS服务器和SQLServer服务器）可以变更IP地址，因此在备份过程中不使用NAT直接备份，只需保证路由可达即可；灾备中心的虚拟服务器之间的数据交互，可直接在局域网内进行，各个虚拟服务器的网关地址都是Cisco3945相应的子接口地址。灾备切换场景及业务数据流向分析正常情况下的路由及数据流 在生产中心正常工作的情况下，集团的两台6509核心互换机将通过BGP协议向中企的PE路由器宣告灾备系统的路由； 中企的PE路由器收到这些BGP路由后，会将这些路由信息通过BGP协议在MPLSVPN网内传播，最终将传达成各子公司的CE路由器（蓝色线路）； 各子公司将通过集团广播的核心区域路由进行寻址，通过中企的MPLSVPN骨干网后，访问位于集团核心区的信息披露系统（红色线路）中信股份门户网站通过互联网进行访问；灾备切换场景概述集团管理信息部整个业务系统故障集团生产站点发生劫难性故障，业务系统所有故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按规定修改系统设立（修改TDS系统的IP地址/修改股份门户网站web服务器中数据库的调用地址）。同时中企网络将安排网络工程师，修改灾备中心的PE路由器的配置，按计划将灾备系统相关业务系统的主机路由信息（披露系统、股份门户网站、TDS服务器和DNS服务器）通过BGP协议广播到集团的第二张MPLSVPN网内（紫色线路）。删除北京PE路由器关于生产电点业务系统网络路由集团及各子公司的CE路由器将通过BGP协议接受到灾备中心的网络路由，后续访问披露系统和股份门户网站的数据包所有传输到上海灾备中心。当生产中心恢复正常后，中企网络将按照客户规定，将VM数据反向同步到生产中心，并按约定期间删除相应的主机路由广播，路由收敛完毕后，业务系统的访问流量将会引导回原有途径（红色线路）。集团管理信息部某一个业务系统故障集团生产中心的系统发生故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按规定修改系统设立（如需要）。同时中企网络将安排网络工程师，修改灾备中心的PE端配置，按计划将灾备系统相关的主机路由（Web、DNS、oracle、披露系统、数据管理服务器主机IP地址）通过BGP协议广播到集团的第二张MPLSVPN网内（紫色线路）。集团及各子公司的CE路由器等将通过BGP协议接受到灾备中心的主机路由，并把这些路由与现有的生产中心路由（/20、/24等大路由）同时放入路由表，如路由表中将同时存在172.20.16.0/20及172.20.17.65/32等主机路由。当用户需要访问已切换到灾备中心的系统时，数据包到达CE路由器后，将进行相应的路由查找，而根据路由最长匹配原则，灾备中心广播的主机路由（如172.20.17.65/32）将会作为优选路由，引导数据包流向上海灾备中心（绿色线路），如需要访问生产中心的其他系统，则会走原有途径（红色线路）。当生产中心恢复正常后，中企网络将按照客户规定，将VM数据反向同步到生产中心，并按约定期间删除相应的主机路由广播，路由收敛完毕后，业务系统的访问流量将会引导回原有途径（红色线路）。集团总部外部互联网络故障基于集团信息披露系统和股份门户网站的访问规定，当集团外部的互联网发生中断故障时，信息披露系统的访问不受任何影响；北龙中网的智能DNS会自动检测北京和上海两地网站服务器的状态，当检测到集团总部互联网发生故障时，将自动切换所有访问流量到上海；灾备切换情况说明在发生灾备切换时，需要注意以下情况：假如生产中心发生网络故障，导致信息披露系统及中信股份门户网站无法访问，将需要同时切换两个系统及相关联的服务器到灾备中心；如某个业务系统故障，则只需要切换系统到灾备中心，此外一个系统无需切换。集团管理信息部智能DNS服务器增长上海灾备中心公网IP地址，用户股份门户网站双活访问。当某个业务系统故障或整个生产站点故障时，中企通信都会在网络中广播相应的主机或网络路由，以替换现存的核心区域大网段路由。业务系统切换到灾备中心后，原生产中心核心区域网段内（如172.20.16.0/20）的主机及服务器，将无法访问灾备中心的主机或系统，因素为核心区域的设备会认为灾备中心的设备还在同一个网段内，会进行ARP查询相应IP地址的MAC（结果为ARP查询超时，无法封包成功），而不会进行路由查找，将数据包发送到网关。当生产站点的互联网出现故障时，对于信息披露系统的访问没有任何影响；对于中信股份门户的访问，北龙中网的智能DNS服务将生效，将所有的访问流量所有切换到上海灾备中心，其余所有的网络结构和业务系统结构不需要做任何改变。数据灾备及数据回复的实现过程数据灾备过程当生产站点发生劫难，需要启动灾备中心的相应服务时：针对信息披露系统的web服务器、HFM服务器和数据管理服务器，故障切换过程如下：在灾备站点的veeamserver上选择“故障切换（Failover）”选项，启动故障切换任务；在veeam上选择还原点的快照文献，并启动；等待虚拟服务器启动；针对股份门户网站的web服务器和CMS服务器，解决过程如下：在劫难发生后，中企通信的运维人员需要手工将网站的数据库连接文献web.config中的数据库连接地址变更为灾备站点中SQLServer数据库的IP地址，北龙中网的智能DNS解析服务器检测到生产站点的服务器故障后，会自动将所有访问流量切换到上海灾备站点，以此保障股份门户网站在数分钟即可恢复；针对信息披露系统的Oracle数据库服务器和股份门户的SQLServer数据库服务器，故障切换过程如下：停止灾备站点上Oracle服务器的定期导入脚本的任务（信息披露系统）；停止灾备站点上SQLServer的定期导入脚本的任务（中信股份门户）；针对TDS服务器，解决过程如下：手工修改灾备站点TDS服务器的地址为172.20.16.23（与生产站点TDS系统的负载均衡地址相同）；以上系统的网络切换部分请参考4.5最后，虚拟服务器启动完毕，数据库连接文献修改完毕后，验证灾备站点中虚拟服务器的状态和数据。数据回复过程当生产站点的业务恢复，需要将灾备中心的数据进行回复时：针对生产站点中信息披露系统的web服务器、HFM服务器和数据管理服务器所有损坏的情况，故障切换过程如下：在灾备站点的veeamserver上选择“故障回复（Failback）”选项，启动数据回复任务；选择故障回复的类型；Veeam将关闭灾备站点的虚拟服务器，然后将灾备站点虚拟服务器的快照文献全量复制到生产站点，复制完毕后，生产站点的虚拟服务器自动启动；针对生产站点中信息披露系统的web服务器、HFM服务器和数据管理服务器所有恢复正常的情况，仅需执行网络切换即可完毕业务系统的切换；针对股份门户网站的web服务器和CMS服务器，采用数据反向复制的方式更新两台服务器的应用程序文献；针对信息披露系统的Oracle数据库服务器和股份门户的SQLServer数据库服务器，故障回复过程如下：Oralce数据库：将灾备站点中Oracle的数据导出一份到生产站点的Oracle服务器，在生产站点的Oracle服务器上执行数据的导入工作；SQLServer数据库：将灾备站点中的SQLServer数据备份传输一份到生产站点的SQLServer数据库，在生产站点的SQLServer服务器上执行数据的恢复工作；以上系统的网络切换部分请参考4.5最后，验证生产站点虚拟服务器的状态和数据后，确认数据回复完毕，此时，veeam恢复到故障切换前的保护状态，仍然按照原有的灾备策略执行定期复制任务；灾备技术说明Veeam的实现过程本次灾备方案中针对集团总部的vmware虚拟化环境，我们采用veeambackup&replication实现虚拟服务器的异地复制。复制过程示意图：复制过程描述：在集团现有Vmware虚拟化环境中部署veeambackupproxy服务器负责数据的解决，并在传输过程中执行压缩操作，如图所示；在灾备站点安装部署VeeamServer（主控台），VeeamServer负责管理复制任务，执行Failover和Failback；集团Veeambackupproxy服务器(例如每4小时)将所有需要受保护的虚拟机通过vmware的快照功能执行快照解决，快照存在于虚拟服务器自身的数据卷中,然后定期复制快照至灾备中心的私有云存储阵列中，初次复制采用全量复制的方式；复制完毕后，生产站点的虚拟服务器快照将自动删除；后续的复制任务开始前，veeam会将生产站点新产生的快照和灾备中心的快照进行对比，将数据的增量复制到灾备站点，更新现有的虚拟服务器并形成一个新的还原点；复制完毕后，生产站点的虚拟服务器快照将自动删除；复制到灾备站点的虚拟服务器处在随时可开机的状态；在集团的生产站点失效时,所有的备用虚拟服务器可以手动顺序启动；一旦集团的的生产站点恢复运营,虚拟服务器将切换回生产站点，并将通过增量复制的方式更新生产站点的数据；Veeam的优势分析Veeambackup&replication是业内首屈一指的针对vmware/Hyper-V环境下的虚拟服务器备份灾备解决方案。迄今为止，它已经为25000多个客户提供了虚拟化环境下强大的数据保护和劫难恢复产品及服务。它具有以下优势：最大限度减少风险：每隔几分钟复制，更快更频繁地备份，以避免数据丢失。此外，通过测试每个备份以确认一切运营正常，来保证备份的可恢复性。减少成本：以一个低廉的价格提供强大的功能：备份、复制、压缩、去重、应用项恢复、恢复验证、多hypervisor支持等等。优化管理：对于大规模部署，Veeam提供自适应的分布式架构，该架构可动态分派任务，让您无需为工作花费大量精力，或不断调整工作时间表。支持任何存储器：VeeamBackup&Replication对存储器无限制。没有代理程序：在任何的机器上都不需要安装代理程序，也不需要人工干预。映像级别的备份：允许客户恢复备份文献中某个单独的内容，也支持整个文献系统的整体恢复。安全的解决和存储：所有的备份数据都会通过SSL加密的方式转移到我们安全的存储网络中去。数据压缩和去重：数据备份的同时会在源端进行自动压缩和去重解决，保证以最小的数据进行传输，提高备份效率。快速的文献和虚拟机恢复：当备份完毕时，备份文献立即可以用来恢复，客户可以向我们的服务平台请求单个文献或者多个文献恢复，甚至虚拟机整体恢复。可靠性验证：我们的备份系统会在备份后自动的验证每一个备份文献，保证备份的可用性。

灾备项目实行相关实行计划为了更好的帮助客户进行项目实行，中企通信将提供一流的一站式的项目管理服务，中企通信的工程师和项目经理将与客户在初始配置的细节方面进行沟通，拟定各个环节的配置形式，完毕配置表单。此过程是为了保证客户的规定能满足，并避免在安装和服务开通后的任何误解。中企通信的项目管理团队将安排与客户的项目会议，讨论项目计划并拟定实行时间表；

灾备站点基础设施中企建议集团信息部门采用异地部署SmartCLOUD™vONE私有云的方式实现业务系统的异地灾备；中企通信SmartCLOUD™vONE服务提供了一个私有的,专用的和安全的，基于VMwarevSphere套件管理服务的虚拟私有基础设施。通过建立SmartCLOUD™vONE高可用云计算平台来减少服务器停机时间和增长业务灵敏性。中企通信根据客户的业务需求提供定制的私有云解决方案，由中企通信提供私有云解决方案设计、部署、连续管理和操作，它显著减少运维复杂性和运维成本，并能在更短的时间内完毕客户业务系统灾备体系的建设；SmartCLOUD™vONE服务是一个成本可控和全面的一站式解决方案,提供了以下重要特点：私人和专用的基于云平台的高可用性的保护；独享的服务器、存储设备和网络设备；提供了一个双因素认证安全令牌；云平台的基础设施采用N+1的冗余架构,完全杜绝由硬件故障带来的业务系统瘫痪；简朴扩展，资源量增长时，只需增长ESXi主机即可完毕私有云资源的扩展；中企通信后台团队提供从硬件基础设施到云平台资源池的7x24小时运维监控服务；集成MPLSVPN网络和BGP互联网。

SmartCLOUD™vONE服务上海宝山数据中心的SmartCLOUD™vONE私有云架构采用两台高配置x86服务器和一台集中存储阵列，使用VmwarevSphere5.1进行服务器虚拟化；采用SAN集中存储方式，这样可以将每个虚拟机的文献系统创建在共享的SAN集中存储阵列上，VMwareVMFS虚拟机文献系统，是一种高性能的群集文献系统，允许多个ESXServer安装同时访问同一虚拟机存储。支持通过VMwareVirtualCenter、VMwareVMotion™技术、VMwareDRS和VMwareHA提供的基于虚拟化的分布式基础结构服务。由于VMware的虚拟架构系统中的虚拟机事实上是被封装成了一个档案文献和若干相关环境配置文献，通过将这些文献放在SAN存储阵列上的VMFS文献系统中，可以让不同服务器上的虚拟机都可以访问到该文献，从而消除了单点故障。该架构配置采用两台高配置DellPowerEdge服务器（Intel(R)Xeon(R)ProcessorE5-26502.0GHz,8Cx2/192GBMemory/300GBSASHardDiskx2），该服务器最大配置为（Intel(R)Xeon(R)ProcessorE5-26502.0GHz,8Cx2/1.5TBMemory/300GBSASHardDiskx2）；一台Dell存储阵列（1TBx127.2KNL-SAS,withDualController2U，RAID-10)，最大可用空间6TB；硬件连接示意图如下：SmartCLOUD™vONE私有云硬件架构软硬件选型硬件设备型号配置数量DellServerXeonE5-2609/256GB/1TB*42DellEqualLogic系列存储14个2.5英寸硬盘，采用6GbpsSAS后端；两个热插拔10GbE控制器，每个控制器配备4GB内存1Dell千兆互换机24口千兆互换机2Dell光纤互换机24x10GbESFP+port2TrustCSIUTMFG100UTM防火墙，支持VPN功能1Cisco3945RouterCE路由器2软件系统软件名称功能数量VmwarevSphereEnterpriseEdition虚拟化软件4个CPU授权VeeamBackup&ReplicationEnterprise第三方虚拟化备份软件16个CPU授权生产站点的CPU数量Windowsserver2023EnterpriseEdition操作系统SPLA灾备站点虚拟机配置两台台高配物理服务器安装VMware公司版，做成一个虚拟群，共虚拟约12台虚拟服务器；每台物理服务器本地硬盘安装VMware的ESXServer，ESXServer上创建的虚拟机VM则放在共享的iSCSI存储上；初次复制阶段100MbpsMPLSVPN带宽，后续20MbpsMPLSVPN带宽；20MbpsBGP互联网带宽；UTM防火墙（启动SSLVPN），支持500账号拨入项目交付开通京城大厦和上海宝山数据中心的MPLSVPNPort；开通BGP互联网连接；UTM安装，并配置SSLVPN，集成TDS身份验证；完毕SmartCLOUD™vONE私有云的硬件安装和配置；完毕生产站点和灾备站点veeamBackup&Replication的安装，并按照客户的规定配置完毕复制任务策略；完毕数据库层面各个功能脚本的功能测试；完毕并通过在预先定义的UAT计划中所列的测试用例；安装过程中企通信公司将保证MPLSVPN网络、网络设备、UTM设备、服务器以及存储阵列在灾备服务实现之前准备完毕，同时完毕生产站点和灾备站点veeam软件的安装配置；

veeam复制任务建设先决条件如下:

客户端：1台VM(2vCPU,8GBMemory)安装WindowsServer2023R2并提供Administrator权限；客户的vCenterAdministrator权限；开通两端的MPLSVPN专线连接；灾备端：1台VM(2vCPU,8GBMemory)安装WindowsServer2023R2并提供Administrator权限；灾备环境的vCenterAdministrator权限；灾备资源池的分派；UTM的安装，完毕SSLVPN的配置；实行内容摘要：在上海宝山数据中心，中企通信的工程师将安装所有必要的服务器、网络设备和SAN存储，完毕SmartCLOUD™vONE私有云的基础硬件架构；ESXi服务器的安装与配置,虚拟网络的配置,vCenter的安装调试以及SAN存储的安装和配置；调试两端的CE路由器，开通MPLSVPN网络连接；远程进行生产站点和灾备站点的VeeamBackup&Replication软件的安装配置和调试；生产站点虚拟机的初次复制；灾备站点中TDS服务器、DNS服务器的安装配置；Oracle服务器的安装以及数据导出/导入脚本的调试；SQLServer服务器的安装以及数据导出/导入脚本的调试；CMS服务器文献同步的调试；三灾备站点的业务测试，具体方式为，所有开机启用，客户通过SSLVPN拨入灾备中心内网，进行业务系统的可用性测试；项目支持团队项目进度项目进度是保证每个阶段的任务在项目中可控。中企通信将通过规划项目中的各个关键时间点，合理分派资源，完毕项目的跟踪。更改日程安排只能由项目经理进行。这些变化应反映变化范围，完毕比例，以及任何事件的发生对该项目时间的影响。以下任务和日期代表项目中的关键时间点：关键环节时间计划采购所有必要的硬件设备6-8周准备机柜、机柜内的布线以及机房内的连线1周设备上架、虚拟化环境安装配置1–2周Veeam的安装调试，复制任务的配置；数据库自动化脚本的调试和测试；文献同步脚本的调试和测试；4周整体验收测试1周UAT测试标准Veeam复制测试：一旦如下面符合验收标准的结果完毕相关验收测试后，该服务供应被视为成功完毕。Veeam的数据复制测试；验收标准：通过veeam建立复制任务，初次复制披露系统和股份门户的所有虚拟服务器，复制完毕后，启动灾备中心的虚拟服务器，由客户验证数据完整性；当收到veeam的复制完毕邮件，灾备中心的虚拟服务器可以正常启动，表白本项测试成功；MPLSVPN连通性和稳定性测试；验收标准：客户端PE发起ping测试，测试目的地址为灾备中心端PE设备，10000个数据包，抖动不超过10ms，丢包率不超过0.01%，可认为本次测试通过；Oracle自动化脚本的功能测试；验收标准：手工在生产站点Oracle服务器上执行数据导出脚本可以完毕数据的导出和远程传输到灾备站点Oracle服务器的功能；在灾备站点Oracle服务器上执行数据导入脚本可以完毕数据的导入工作；脚本执行完毕后，启用web服务器、HFM服务器和数据管理服务器，由最终用户验证业务系统数据的完整性，披露系统可以正常访问，数据与生产站点一致，可认为本次测试通过；SQLServer自动化脚本的功能测试；验收标准：手工在生产站点SQLServer服务器上执行数据导出脚本可以完毕数据的导出和远程传输到灾备站点SQLServer服务器的功能；在灾备站点SQLServer服务器上执行数据导入脚本可以完毕数据的导入工作；脚本执行完毕后，启用web服务器和CMS服务器，由最终用户验证业务系统数据的完整性，股份门户网站可以正常访问，数据与生产站点一致，可认为本次测试通过；灾备启动流程具体过程描述：客户呼喊中企通信客服热线或服务经理发起启动灾备站点的请求；中企通信的客服人员回拨到授权清单所列请求者的联系电话，以验证他/她的身份；中企通信的客服热线和服务管理人员共同协调后端工程师，执行故障切换任务，按照预先和客户约定好的顺序，启动灾备站点的虚拟服务器；中企通信的后台技术工程师进行在恢复虚拟服务器的同时，进行网络的切换；中企通信的后台技术工程师确认灾备站点的业务服务器启动成功，网络切换成功，业务系统可以正常访问；中企通信的客服热线人员或者服务管理人员告知客户所有业务已经所有切换至灾备站点；客户方对异地恢复的业务系统进行可用性测试，验证业务系统的状态；验证业务系统可用后，任务结束；灾备回复流程具体过程描述：客户生产站点业务恢复正常，决定启动数据回复流程；中企通信的客服人员回拨到授权清单所列请求者的联系电话，以验证他/她的身份；中企通信的客服热线或服务管理人员共同协调后端工程师，执行数据回复任务，将灾备站点的虚拟服务器增量复制到生产站点，完毕虚拟服务器的Failback，同时进行网络切换的工作；针对Oracle数据库，将灾备站点产生的归档日记文献传输至生产站点的Oracle服务器进行手工恢复；中企通信的客服热线或服务管理人员告知客户数据回复完毕；客户验证业务系统的可用性；验证成功后，任务结束。责任划分角色重要职责中企通信服务经理灾备站点启动任务的第一联系人；在整个灾备过程和数据回复过程中协调各部门人员和资源；提交客户的需求给后台技术工程师，并保持与客户的实时沟通；交付启动完毕的灾备中心的业务系统客户；中企通信的客服热线灾备站点启动任务的第二联系人；验证客户的身份，并与后台技术工程师确认客户的请求；告知客户的最新状态，并随时转发客户的规定给后台技术工程师.中企通信云计算运维中心-执行故障切换和客户虚拟机的故障恢复。-保证整个灾备恢复过程成功并在所承诺的RTO内完毕；反馈最新的劫难恢复情况给客服热线和客户服务经理；在客户进行灾备站点可用性验证时提供必要的技术支持；中企通信网络运维中心保证灾备资源的网络配置对的，并在RTO规定的时间内完毕生产站点网络到灾备站点网络的切换工作；反馈最新的劫难恢复情况给客服热线和客户服务经理；在客户进行灾备站点可用性验证时提供必要的技术支持；

客户服务客户服务理念中企通信的客户服务中心是对外服务及应急响应的统一接口。同时，客户服务中心对每次服务及客户申报事件都进行有效跟踪，建立客户信息库。在问题解决过程中保持与客户的联系及信息反馈，直至问题解决完毕。热线技术支持服务面向中企通信客户；对于合约客户，为其在数