第六章 云计算灾备技术

云计算灾备技术,本章主要描述虚拟化环境下的容灾和备份的基本概念和关键技术，以及华为的灾备的整体解决方案,学完本课程后，您将能够：描述灾备的基本概念和关键技术描述华为FusionSphereHyperDP的备份方案特点描述华为FusionSphereUltraVR的容灾方案特点,灾备的基本概念灾备系统的重要性容灾备份的概念灾备系统的建设标准灾备的关键技术华为灾备的整体架构华为的备份方案华为的容灾方案,灾备系统的必要性-灾害无处不在,来自国际权威机构瑞士保险的统计数据全球没年因自然灾害和人为事故造成的直接损失达到千亿美元中国近年灾难的影响自然灾害的种类是多种多样的，洪涝、台风、干旱等每年给国家带来2000亿元左右的经济损失国家减灾委,灾备系统的必要性-数据丢失意味什么,1小时值多少钱摘自互联网,IDC统计：美国在2000年以前的十年间发生过灾难的公司中，有55当时倒闭，剩下的45中，因为数据丢失，有29也在两年之内倒闭，生存下来的仅占16美国明尼苏达大学的研究表明：在遭遇灾难的同时又没有灾难恢复计划的企业中，将有超过60%在两到三年后退出市场。而随着企业对数据处理依赖程度的递增，此比例还有上升的趋势,容灾备份系统刻不容缓,数据集中化，风险加剧以运营商、政府、金融、电力等行业为主的各行业逐步建立大型数据中心完成数据集中处理，数据的集中也意味着风险的加剧，提高企业的抗风险能力，已成为急需考虑和解决的问题,业务中断对企业影响重大企业业务如果缺乏业务连续性，关键业务中断对企业影响重大直接收入损失、生产力损失、名誉损失和财务业绩损失,灾难备份也是国家政策法规的要求美国萨班斯法案中国中办国家信息化领导小组关于加强信息安全保障工作的意见中国人民银行关于加强银行数据集中安全工作的指导意见银监会银行业金融机构信息系统风险管理指引商业银行操作风险管理指引证监会证券公司集中交易安全管理技术指引保监会保险业信息系统灾难恢复管理指引,备份和容灾的概念,备份：备份是容灾的基础，通常指在数据中心内，将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程容灾：容灾系统是指在相隔较远的异地，建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外(如火灾、地震等)停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作,一般意义上，容灾指的是不在同一机房的数据或应用系统备份，备份指的是本地的数据或系统备份。通常说的灾备是将容灾与备份结合，即本地备份结合远程数据复制实现完善的数据保护,灾备系统的建设标准(1),根据SHARE78国际组织提出的标准，可以将系统容灾的级别划分为如下7级,PTAM（PickupTruckAccessMethod）卡车运送访问方式,灾备系统的建设标准(2),根据GB/T209882007信息系统灾难恢复规范，将系统容灾的级别划分为如下6级,容灾的关键指标,数据恢复时间点(RPO)RPO(RecoveryPointObjective):以数据为出发点能够容忍的数据丢失量,天,分,时,周,秒,数据恢复时间点,分,天,时,秒,周,应用恢复时间,应用恢复时间（RTO）RTO(RecoveryTimeObjective):以应用为出发点能够容忍的应用系统恢复时间段,故障时间,RPO标志系统能够容忍的最大数据丢失量。系统容忍丢失的数据量越小，RPO的值越小RTO标志系统能够容忍的服务停止的最长时间。系统服务的紧迫性要求越高，RTO的值越小,风险分析及应对策略,风险和投资平衡,总结,灾备的基本概念灾备系统的重要性容灾备份的概念灾备系统的建设标准,灾备的基本概念灾备的关键技术备份关键技术容灾关键技术华为灾备的整体架构华为的备份方案华为的容灾方案,备份技术的基本模式,累积增量式备份（差异备份）,差异增量式备份（增量备份）,备份策略：每天全备份优点：镜像恢复速度最快缺点：占用备份空间最多,备份策略：每周一次全备份其余每天备份与全备份的差异部分优点：镜像恢复速度较快缺点：占用备份存储空间占用较多,备份策略：每周一次全备份本周其余每天备份与上次备份的差异部分优点：占用备份存储空间最少缺点：镜像恢复最慢,完全备份,快照技术的定义和分类,定义：快照是特定数据集的一个完整可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制,常见快照技术分类:全拷贝快照分离镜像（Splittingamirror）差分快照写即拷贝（CoW:CopyOnWrite)写即重定向(RoW:RedirectOnWrite)随机写(WA:WriteAnywhere),分离镜像（Splittingamirror）,写操作,镜像子系统（阵列，逻辑卷管理器，存储网络）,源,镜像,写操作,镜像子系统（阵列，逻辑卷管理器，存储网络）,镜像关系终止,源,全拷贝快照的读写操作,全拷贝快照的生命周期,写操作,源,镜像,镜像卷,源,镜像,原始数据,写操作,分离镜像,读和备份,记录写操作,分离镜像,写操作,步骤1.分离镜像2.从分离镜像备份3.再同步,镜像再同步,源,镜像,全拷贝快照的技术特点,空间占用：每一次全拷贝快照需要与源盘相同大小的数据空间创建过程：每一次全拷贝快照都需要完全数据同步读写操作影响源卷的读操作不受影响源卷的写操作受数据同步的影响创建完成后，快照（卷）的读写操作保持最优,p,源盘,快照前写块1,a,b,c,d,e,f,g,h,0,1,2,3,4,5,6,7,i,8,SAN访问,存储源卷,p,g,6,1.写操作（p写入块1）2.产生快照3.快照后写入z到块6不一次性写入先将块6内容移入日志z写入源卷4.从快照读时组合索引/日志和源卷,z,g,p,读块6,读块1,如果快照是可读/写，快照盘上的写操作直接更新索引和日志,差分快照之CoW快照的原理,差分快照之CoW的特点,源卷状态：源卷保持最新状态写操作步骤：当一个新的写操作执行时：首先读出写操作将要覆盖地址的当前数据将读出数据保存至专用空间并建立索引新的写操作执行（写入目标地址）读写路径影响源卷的读路径基本无影响源卷的写操作受拷贝影响对快照（卷）的读写路径都有影响两次快照之间的多次写操作第一次写动作，需要一次读，二次写操作后续的写动作，只需直接写入到源卷，不再需要拷贝操作,22,p,源盘,快照前写块1,a,b,c,d,e,f,g,h,0,1,2,3,4,5,6,7,i,8,存储源卷,p,22,g,p,读块6,读块1,g,6,z,6,差分快照之RoW快照的原理,1.写操作（p写入块1）2.产生快照3.快照后写入z到块6：源卷块6内容不变z写入日志4.从快照读时只访问源卷,如果快照取消，快照日志必需全部执行，以保证源卷的状态更新到最新,SAN访问,差分快照之RoW的特点,源卷状态：源卷状态冻结读写操作步骤：到源盘的新的写操作被存入日志（并索引）读源卷时，先检索日志读快照时，源卷需要引用当快照取消时，写日志必须全部执行以与源卷保证数据状态同步更新读写路径影响源卷的写操作基本无影响源卷的读路径潜在受影响快照（卷）的读写路径最优化源卷的状态不是最新，快照卷故障将会导致源卷数据丢失,CBT(ChangingBlockTracing)技术,什么是CBT：CBT是ChangingBlockTracing的缩写CBT是基于虚拟机快照的一个技术，它将虚拟机在快照后变化的数据块记录到CBT文件中变更数据块跟踪(CBT)原理：跟踪对虚拟机所做的更改，仅备份变更的数据块可将CBT用于恢复，仅恢复变更的数据块技术特点:备份时间最短：只发送真正唯一的变更数据，从而使网络流量和备份时段均降至最低恢复时间最短：恢复到原虚拟机时，仅恢复自目标恢复点备份以来发生变更的数据块，显著减少恢复时,存储同步复制VS异步复制,存储双活IO流程和模式,业界典型：EMCVPLEX；HP3PARPeerPersistence；DELLLV,写IO流程写请求到镜像卷镜像卷将请求复制为两份下发到两中心的镜像数据盘镜像数据盘返回写操作完成镜像卷返回写I/O操作完成读模式SiteRead模式轮询模式优先模式,卷影复制服务(VSS)的基本架构,VSS创建卷影复制创建流程,总结,CoW/RoW快照的原理和特点CBT(ChangingBlockTracing)技术存储同步复制VS异步复制卷影复制服务(VSS)架构,灾备的基本概念灾备的关键技术华为灾备的整体架构华为灾备的整体框架华为灾备方案的使用场景华为的备份方案华为的容灾方案,FusionSphere备份与恢复方案,FusionSphere备份方案应用场景,FusionSphere备份方案对比分析(1/2),FusionSphere备份方案对比分析(2/2),FusionSphere备份方案选择建议：推荐采用HyperDP虚拟机备份方案当需要生产存储故障后快速恢复业务时，建议采用“SAN本地备份”方案当需要应用级历史数据恢复，或存在归档需求时，建议采用“用户数据备份到第三方备份服务器方案”,FusionSphere虚拟机容灾方案,FusionSphere容灾方案应用场景,FusionSphere虚拟机容灾方案对比,总结,FusionSphere备份与恢复方案FusionSphere虚拟机容灾方案,灾备的基本概念灾备的关键技术华为灾备的整体架构华为的备份方案HyperDP虚拟机备份系统备份软件备份基于存储本地复制备份华为的容灾方案,HyperDP数据备份系统,主要技术参数灵活备份策略：周期性全量、增量备份，快照备份最小备份周期可达1小时（业界领先）每个备份服务器最多可保护200个VM每个备份服务器并发备份或恢复8个VM支持最多10个备份服务器统一管理,HyperDP虚拟机备份方案组网,HyperDP虚拟机备份过程和特点,HyperDP虚拟机数据备份过程VM内不需要安装备份代理软件，由虚拟化层通过业务网络与HyperDP备份服务器通信，将虚拟机快照数据备份到备份存储上VM的数据备份策略可以在HyperDP服务器上灵活设置。建议在业务空闲时进行备份，避免数据备份影响业务。备份策略可以根据业务需要进行调整，存储容量和带宽也需要进行相应的调整HyperDP虚拟机数据恢复过程当某个虚拟机数据故障需要恢复时，可以通过HyperDP备份服务器将需要恢复的虚拟机或指定卷恢复到原虚拟机中若某个虚拟机被意外删除时，可以通过HyperDP备份服务器恢复到新虚拟机，或用户创建一个新虚拟机后通过HyperDP备份服务器恢复到该指定的新虚拟机中HyperDP虚拟机备份优点不需要再虚拟机内安装代理软件支持虚拟机系统卷数据（如安装的软件）的恢复可以恢复到历史数据HyperDP虚拟机备份缺点不支持对VM内指定目录或文件的备份和恢复不支持备份到物理带库或虚拟带库,用户数据备份到第三方备份服务器,优点第三方备份软件市场占有率高，成熟可靠可以恢复到历史数据，恢复的数据量小缺点成本较高不支持VM系统数据（如安装的软件）的恢复需要在VM内安装备份客户端，部署复杂,基于SAN本地复制备份方案,优点可以支持系统卷和数据卷的备份可保证生产存储的高可用性，消除存储设备的单点故障业务恢复时间较快，只需要切换IPSAN，与数据量无关，恢复时间可以预计不需要在虚拟机内安装备份代理软件，部署简单缺点备份SAN必须与生产SAN是同一厂家设备；部分厂家甚至要求必须是同一型号，华为SAN没有这种要求，不同型号之间的SAN可以进行远程复制SAN镜像备份只能针对整个LUN，无法针对单个虚拟机进行细粒度恢复开启同步或异步复制后，将导致IO延时增加，对主存储的I/O性能影响较大,总结,HyperDP虚拟机备份系统用户数据备份到第三方备份服务器基于SAN本地复制备份方案,灾备的基本概念灾备的关键技术华为灾备的整体架构华为的备份方案华为的容灾方案UltraVR主机复制容灾UltraVR存储复制容灾华为双活容灾解决方案,技术特点虚拟机组级容灾，最大满足3,000虚拟机容灾要求较好的容灾效果：RTO10秒无需在虚拟机内安装代理软件不依赖存储设备，支持各种存储类型，包括FusionStorage、阵列等一键式容灾切换灵活组网模式：主备容灾、双活或互备容灾、共享容灾（多对一容灾）适用场景站点间通过IP网络连接，允许RP010秒应用级容灾,UltraVR主机复制容灾方案,主机复制保护原理,IO异步远程复制原理,容灾测试与清理流程,关键点：自动执行故障恢复计划利用虚拟机快照链接克隆卷，不影响虚拟机复制输出测试记录演练完成后可恢复环境整个过程对生产环境没有任何影响优势：发现和修复隐藏的问题检验RPO与RTO指标是否可达成降低DR测试的成本与资源需求，可以任意时间演练使用户对自己定义的恢复计划更有信心,一键式自动灾难恢复,关键点：自动检测站点故障需要用户手动启用故障恢复计划自动执行用户定义的恢复计划整个过程不需要任何其他手工操作优势：保证快速及可预期的故障迁移，满足业务需求自动执行，降低用户介入的风险，最大程度地简化复杂的容灾切换过程并避免手工切换时误操作，降低RTO,计划性迁移,关键点：自动执行计划性迁移迁移过程中先关闭生产站点上的虚拟机后将数据同步到容灾站点，保证容灾站点数据与生产站点完全相同整个过程保证数据不丢失优势：计划性迁移保证数据不丢失保证虚拟机业务的一致性,一键式容灾重保护,关键点：自动执行容灾重保护，不需任何人工参与重保护过程中不影响当前生产业务运行优势：反向保护过程自动化配置，简化手工操作复杂度与容灾回切方案,多时间点虚拟机快照,关键点：容灾切换时容灾虚拟机数据不可用（如感染病毒、应用损坏），可使用多时间点虚拟机快照恢复到未损坏状态保证容灾站点数据可恢复，不会导致容灾切换后虚拟机完全不可用优势：避免恢复的虚拟机不可用,基于种子的初始复制,关键点：在复制带宽较少时，可以将虚拟机导出到磁盘并运输到容灾站点后，再将其导入到占位虚拟机中，从而完成虚拟机的初始同步，整个过程不需要占用远程复制带宽完成初始同步后，后续只需进行IO增量复制，对带宽需求少优势：减少复制带宽需求，快速进行初始同步,在带宽足够的情况下，仍可以通过网络初始复制,自定义恢复策略,关键点：自定义虚拟机启动顺序自定义虚拟机IP、弹性IP与NAT可定义执行恢复计划前自动关闭容灾站点低优先级虚拟机可定义执行恢复计划前自动启动已关机的主机优势：灵活定义恢复计划，以便在执行恢复计划时快速恢复业务,UltraVR主机复制容灾方案特点,优点：不需要在虚拟机内安装代理软件支持整虚拟机（含系统卷与数据卷）的容灾恢复支持异构存储的容灾可以一键式容灾切换、容灾演练与计划性迁移，减少容灾管理员手工操作约束：只支持基于虚拟化存储和DSWare存储的虚拟机的容灾只支持FusionComputeVRM+Xen虚拟化环境的容灾，不支持OpenStack、VMWare、XenServer等虚拟化环境的容灾只支持站点间1:1主备容灾、1:1互为容灾及N:1共享容灾场景支持对普通用户虚拟机的容灾，不支持对链接克隆虚拟机、FT虚拟机、虚拟机模板以及使用共享卷（如用于OracleRAC共享卷）、直通设备（USB、GPU、HBA卡、SCSI设备等）、远程设备（remoteUSB,remoteCDROM等）、RDM裸设备磁盘的虚拟机及管理虚拟机的容灾,UltraVR存储复制容灾方案,VM,VM,VM,FusionSphere虚拟化平台,VM,VM,VM,FusionSphere虚拟化平台,站点A（生产）,站点B（恢复）,VM,VM,UltraVR容灾管理软件,UltraVR容灾管理软件,基于存储远程复制,华为阵列,华为阵列,技术特点虚拟机组级容灾，最大满足3,000虚拟机容灾要求较好的容灾效果：RTO0；虚拟机内无需安装代理软件一键式容灾切换灵活组网模式：主备容灾、双活或互备容灾、共享容灾（多对一容灾）适用场景同步复制：同城站点间通过FC光纤，距离15分钟,多种形式的容灾,存储复制保护原理,数据异步远程复制原理,一键式灾难恢复流程,关键点：自动检测站点故障需要用户手动启用故障恢复计划自动执行用户定义的恢复计划整个过程不需要任何其他手工操作优势：保证快速及可预期的故障迁移，满足业务需求自动执行，降低用户介入的风险，最大程度地简化复杂的容灾切换过程并避免手工切换时误操作，降低RTO,容灾测试与清理流程,关键点：自动执行故障恢复计划利用存储快照，不影响存储复制输出测试记录演练完成后可恢复环境整个过程对生产环境没有任何影响优势：发现和修复隐藏的问题检验RPO与RTO指标是否可达成降低DR测试的成本与资源需求，可以任意时间演练使用户对自己定义的恢复计划更有信心,一键式计划性迁移,关键点：自动执行计划性迁移迁移过程中先关闭生产站点上的虚拟机后将数据同步到容灾站点，保证容灾站点数据与生产站点完全相同整个过程保证数据不丢失优势：计划性迁移保证数据不丢失保证虚拟机业务的一致性,一键式容灾重保护,关键点：自动执行容灾重保护，不需任何人工参与重保护过程中不影响当前生产业务运行优势：反向保护过程自动化配置，简化手工操作复杂度与容灾回切方案,自定义恢复策略,关键点：自定义虚拟机启动顺序。自定义虚拟机IP、弹性IP与NAT可定义执行