央视CDP保护方案.doc

央视央视 CDP 保护方案保护方案 目目 录录 第第 1 1 章章飞康解决方案飞康解决方案3 3 1.1飞康解决方案3 1.2实现目标3 第第 2 2 章章详细设计详细设计5 5 2.1央视 CDP 连续保护总体架构5 2.2连续数据保护原理6 2.3实时备份和应急流程6 2.3.1在本地实现数据保护7 2.3.2远程复制和应急8 2.4本地灾难发生时的接管和恢复.10 2.4.1单个文件丢失或损坏.10 2.4.2SQL 数据库和应用系统无法正常启动 .10 2.4.3硬盘中毒后的接管和恢复.11 2.4.4硬盘物理损坏的接管和恢复.11 2.4.5Windows 系统恢复 .11 2.5异地灾难发生时的接管和恢复.11 2.6关键技术和优势.12 第第 3 3 章章方案特点总结方案特点总结1515 第第 1 章章 CDP 解决方案解决方案 1.1 CDP 解决方案解决方案 美国飞康公司的 CDP（连续数据保护）管理器和基于此的容灾复制技术就 是这样一种涵盖了几乎以上所有考虑要素的灾备技术。这种灾备技术的框架是： 1.在央视设置专门用于存储服务的 CDP 服务器，用于在本地实现各系统数据 的实时复制和多点快照（用于历史数据的瞬间恢复和实时备份） 。 2.对于 Windows 系统（包括 Windows Server 2003 操作系统，SQL 数据库和 其他应用） ，通过飞康公司的 Disksafe 实时系统镜像技术实现系统级别的实时克 隆，从而获得本地的实时保护和系统破坏后的本地恢复能力（大量的灾难利用 本地的快速恢复是最佳的解决方式） 。 3.利用统一的复制技术，实现 CDP 保护器的异地复制，从而将本地保护的范 围扩大到各类自然灾害级别的异地保护。 4.利用专用的传输优化技术将数据的存储复制进行优化，适应广域网络的低 带宽条件，从而使得灾备系统真正适应基础环境，降低传输的开销 。 5.利用多达 256 个快照的多点快照技术实现各种数据错误的瞬间恢复能力。 6.飞康 CDP 保护，对于各类数据库和应用都可以达到极快的记录级别恢复能 力，比如 Oracle 数据库的快速记录恢复。 1.2 实现目标实现目标 本次央视要实现的目标有： 实时镜像备份，无备份窗口实时镜像备份，无备份窗口 这一特征使得 CDP 方案彻底不同于传统的备份技术，备份技术所困扰人们 的长备份窗口和按天进行备份的弱点将不再存在。 备份数据立即可用备份数据立即可用 由于 CDP 实时镜像备份技术所获取的数据影像不是专用的备份格式，而是 直接的数据原型，因此数据的恢复将是立即可用，无需任何恢复窗口，这在恢 复技术上已经产生了一个大的飞跃。 多点快照，无需多点快照，无需 1 分钟历史数据轻松获取分钟历史数据轻松获取 CDP 保护技术既是一种灾难发生时保护最新数据的灾难备份技术，也是一 种历史数据丢失时恢复原有数据的备份技术，由于自动产生数据的多个时间点 保存，因此即使丢失的数据已经过了几天，你仍然可以轻松实现 1 分钟获取正 确的历史数据的能力。 实现系统故障后的快速恢复能力实现系统故障后的快速恢复能力 在本地生产端建立一套完整的自动化数据实时备份机制，每时每刻随时内 完成本地端及异地端数据备份。避免因发生天灾人祸后的数据丢失，导致营运 系统停止运行，严重影响到企业的服务质量。 实现灵活和方便的实时备份机制，管理简单实现灵活和方便的实时备份机制，管理简单 能够对实时备份系统进行灵活的集中管理，需要提供良好的操作使用界面、 事件告警、与工作流程的管理等，将复杂的企业数据保护工作化繁为简，避免 人为的疏忽，降低维护人员的工作量。 总之， CDP 技术的设计思想是彻底摆脱传统备份方式的弱点，实现系统 数据的实时和超高速恢复能力，使得信息系统获得前所未有的健壮性。 第第 2 章章 详细设计详细设计 在本章中先介绍本次方案的整体架构，根据架构介绍连续数据保护的原理， 最后详细说明各种灾难下的恢复方法。 2.1 央视央视 CDP 连续保护总体架构连续保护总体架构 美国飞康软件公司的 IPStor CDP 容灾方案，是专为央视应用系统设计的 一套行之有效的，集磁盘镜像、数据备份、数据远程容灾磁盘镜像、数据备份、数据远程容灾于一体的综合容灾解 决方案。其基本架构为： 在央视生产中心增加一台 CDP Server，接入到以太网络和 SAN 架构中，通 过 iSCSI 或 FC 方式进行数据保护。保护数据和操作系统的方法是将生产数 据镜像到 CDP Server 中（本地硬盘或磁盘阵列均可，本图为本地硬盘的情 况） ，详细的原理见“2.2 连续数据保护原理” 。 将 CDP Server 采用旁路的方式接入到以太网络和 SAN 网中，不会对现有网 络拓扑有任何的更改和影响，而且，数据以镜像的方式备份到 CDP Server 中，不影响正常的生产数据。 同时在异地容灾中心部署一台 CDP，将生产中心的数据通过网络事实备份 到异地。 FalconStor CDP 与主流磁盘阵列完美结合，可以利用原有的磁盘阵列作为 CDP 管理器的存储。 IPStor CDP 数据保护管理器配置 256 份快照/生产卷的快照模块 （TimeMark） ，实现多历史点保护。 如果生产系统出现人为的错误，需提取数据进行查询或纠正错误，只需对 远程对应的快照瞬间可用即可（这一过程 5 分钟即可完成） 。 美国飞康软件提供了两端磁盘系统的差异比较机制，容灾系统随时可以进 行各类容灾备份演习，比如利用北京应急中心启动验证某类业务接管后的 正确性，并且在容灾备份演习结束后进行各种方向的还原（如容灾备份系 统同步生产系统或生产系统同步容灾备份系统等） ，具有很大的灵活性 2.2 连续数据保护原理连续数据保护原理 本节将分别介绍 UNIX , Windows 系统（包括操作系统，数据库和应用）连 续数据保护原理。重点介绍数据通过怎样的方式镜像到 CDP Server 中的。 对于 UNIX 系统，不装任何代理软件，完全是使用操作系统自带的 LVM 将被保护的分区或磁盘镜像到 CDP Server 中，从而提供连续数据保护。 对于 Windows 系统，会在其上安装一个名为 Disksafe 的软件，该软件的作 用是将被保护的分区或磁盘镜像到 CDP Server 中，从而提供连续数据保护。 Disksafe 是经过 Microsoft 认证的软件，集成在 MMC 中，对系统资源占用 小于 5%，不会影响性能。 2.3 实时备份和应急流程实时备份和应急流程 美国飞康软件公司为央视设计的应急恢复系统包括两部分，第一部分为本 地保护（备份，即连续数据保护） ，第二部分在本地保护之上实现远程容灾。同 时实现了本地的实时备份（连续数据保护）和异地的灾难备份（远程容灾） 。下 面分别阐述。 2.3.1在本地实现数据保护在本地实现数据保护 在增加了 IPStor CDP 设备的新的存储架构下，系统首先在本地就提供了多 种数据保护和恢复模式： 镜像的保护模式可以有效应对存储设备的单点故障引起的数据灾难。在“主 存储”系统发生设备故障时，CDP 系统可以立即提供存储服务，保证应用服务 的持续性。 通过 CDP 设备提供的逻辑快照功能，可以获得多 256 个全备份。这种模式 可以应对任何数据逻辑故障，包括：数据库逻辑错误、人为误操作和病毒等引 起的数据库数据丢失、人为或病毒引起的数据库崩溃等故障。 利用 CDP 快照，我们不仅可以对数据库各类错误实现快速恢复，还可以解 决传统备份无法实现的数据库“表级恢复”。比如在误操作导致某个数据库表被 误删除的情况下，不需要对整个数据库进行恢复，只需要从快照中提取丢失的 “表”，把它恢复到还在运行的数据库中即可。 需要说明的一个技术优势是：实现这 256 个快照全备份，并不需要其他备 份方式那样需要的“256 倍存储空间”，只需要增加大约 20%的额外存储空间就 可以满足所有备份的需要。 有了这 256 个全备份的支持能力，我们可以非常方便的制定数据备份策略， 根据需要，我们可以选择制定诸如以下案例的备份策略： 每小时一次的快照（全备份） ，可以保留至少 10 天左右的历史数据备 份，使得我们至少有能力追溯到 10 天以前的历史数据。 每 10 分钟一次的快照，可以保留两天左右的历史数据备份，使得我们 有能力追溯到接近 2 天内的历史数据，而且数据最大只有 10 分钟的偏 离。 对比：一般磁带库备份只能通过速度很慢的对比：一般磁带库备份只能通过速度很慢的“Restore”操作恢复到操作恢复到“前天晚上前天晚上”的的 备份点的数据，然后需要结合数据库日志恢复整整备份点的数据，然后需要结合数据库日志恢复整整“一天一天”的交易。而一般的容的交易。而一般的容 灾系统又无法提供历史数据的恢复。灾系统又无法提供历史数据的恢复。 利用 CDP 系统进行的实时数据备份和快照备份，我们可以应对各种数据系 统故障和错误，保证数据系统的快速恢复。对于央视而言，采用 CDP 数据保护 架构，可以避免我们以前遇到的各种数据备份的困扰： 备份数据无法验证，潜在的风险是无法保证数据恢复的成功！ 磁带库设备故障率高，难以维护。这个问题各地系统深有体会。 备份速度慢，恢复速度更慢，结合第一点的数据恢复的可靠性低，使 得数据恢复过程就像一把悬在信息中心头顶的剑那样的难受。 重要的是，利用本地的 CDP 以及快照系统，RPO 指标完全可以在 0 至 10 分钟内，这对应用系统而言，相当于增加了一把保险锁。 2.3.2远程复制和远程复制和应急应急 在本地生产中心构建了 IPStor CDP 之后，远程数据实时备份或容灾就变得 非常简单了。我们只需要在两地 CDP 上各增加一套持续数据复制模块“CDR”即 可。 美国飞康软件公司的远程复制策略分为三种： 连续远程复制 时间增量复制 数据增量复制 一般在宽带的远程传输系统上，可以采用连续方式传递，而在常规的广域 网络中，则建议采用定时增量的方式传输。我们以定时增量传输方式为例进行 过程描述。 本地 CDP Appliance 数据保护器将时间间隔内的差量 block（利用了 SnapShot 缓存区）经由 TCP/IP 传到远端的 CDP 管理器中。远端 CDP 管理器先将数据放入暂时存储区中，待确认所有数据均传输无误后，才 确认完成，否则需重新续传。 远端 CDP 管理器将暂时存储区中的数据写入到对应的逻辑卷中。 远端 CDP 管理器可搭配 TimeMark 快照提取功能进行快照的提取。 美国飞康软件 CDP 数据保护器的远程复制拥有极大的优点：CDP 管理器 的 replication 经由 TCP/IP WAN 传输，因是标准的协议，故可由两台 CDP 的网 卡直接传输。一般传统容灾技术中的磁盘阵列的 replication 则由两台磁盘阵列 的控制器经 WAN 专线传输，不论是透过磁盘阵列的 ESCON 接口或 FC switch 的光纤端口，都必须搭配一对非常昂贵的 gateway 网关转 WAN 来传输，导致 其建设、管理与维护成本大幅提高。 IPStor CDP 管理器的 Replication 利用了 Micro Scan 技术进行小单元数据传 输（传输单元 512 字节为单位，不同于磁盘阵列系统的 16k 等块传输） ，从而大 大节省了广域网络的传输带宽。多个项目证明，美国飞康软件公司的远程容灾 传输占用的带宽最小。 IPStor CDP 管理器的资料需先经过快照，数据库在快照前通过 snapshot agent 先使数据库进入 hot backup mode，因此数据写入到远端的 CDP 中可直接 使用而不需作 data recover。一般传统容灾技术中磁盘阵列的 replication 则因数 据在本地端并未做快照处理，故在远端作恢复时必须先对数据作 data recover， 然后才能使用。同时 CDP 的远程复制还具有数据加密的远程网络传输功能。 IPSTOR CDP 管理器在远端 CDP 端搭配 TimeMark，可提供多份不同时间 点的拷贝且不需占大量硬盘空间。这些虚拟的拷贝可供其它应用主机使用，例 如软件测试、查询与备份。一般磁盘阵列在远端也可搭配 snapshot copy 功能作 一份拷贝。但因为它是真实的拷贝，需一倍硬盘空间，故无法保留多份不同时 间点的拷贝。 IPStor CDP 管理器不仅完成硬件设备故障后的业务恢复，而且针对最为常 见的数据丢失和人为的各种错误，均可以达到立即恢复的目的，这是一般的磁 盘阵列系统所无法达到的。 IPStor 先进的远程数据实时复制功能，是目前各种其他形式的数据复制技 术所无法比拟的，这些技术包括： 1） 复制数据的网络级高压缩率：4 倍以上。 2） Micro Scan 微差异扫描技术，进一步提高数据复制效率。 3） SCAN Difference 差异比对技术，可大幅度提高容灾系统在容灾演练、容灾 系统恢复过程成的效率和可操作性，使得这些原本很复杂的过程简单化。 集成的容灾备份管理和全图形化的容灾备份系统操作界面，使得原本非常 复杂的容灾备份系统管理变得极其简单，大大地提高了容灾备份系统广泛部署 的可能性，降低了潜在的维护成本。 美国飞康软件公司的 IPStor CDP 技术可使用户在主、备站点自由选择存储 设备。 2.4 本地灾难发生时的接管和恢复本地灾难发生时的接管和恢复 本节对本地发生灾难的情况进行灾难恢复，包括 Windows,UNIX 系统，数 据库和应用。 系统本地可能发生的灾难以及恢复方法如下： 2.4.1单个文件丢失或损坏单个文件丢失或损坏 当发现数据库或应用程序单个文件丢失或损坏时，使用 CDP 恢复只需要 3 个步骤大约 1 分钟的恢复时间。CDP 可以对镜像过来的生产数据做定时的快照， 如果发现单个文件丢失或损坏，可以找到没有丢失的时间点提取快照，并分配 给应用主机，然后在应用主机的磁盘管理中可以发行多了一个磁盘，打开这个 磁盘找到丢失的文件 COPY 会原来的目录即可。 这种方法可以使应用管理员用磁盘 COPY 的方法进行恢复，比备份软件中 看到的更加直观，恢复更加方便。同时这种 COPY 的方法进行恢复当然支持选 择性恢复指定目录与指定文件。 2.4.2SQLSQL 数据库和应用系统无法正常启动数据库和应用系统无法正常启动 当 SQL 数据库或应用系统出现问题无法启动时，可以先使用 CDP 中的逻 辑资源或快照进行接管。方法是将镜像关系断开，然后将镜像盘分配给应用主 机，将分区的盘符修改为正在原来生产系统使用的盘符即可。若逻辑资源也无 法启动，可以使用在各个时间点创建的快照，查看 2.4.3硬盘中毒后的接管和恢复硬盘中毒后的接管和恢复 当硬盘中毒但无物理损坏时，也可以使用 CDP 进行接管和恢复。首先，当 生产盘无法使用时，可以使用 CDP 上的逻辑资源进行业务接管。方法是：先断 开镜像关系，然后将镜像盘分配给应用主机，再将盘符改成生产环境使用的盘 符即可，整个过程也是在 1 分钟内可以完成，非常简单方便。然后，使用 Disksafe 的 restore 功能在后台将数据同步到原来生产盘中即可。 2.4.4硬盘物理损坏的接管和恢复硬盘物理损坏的接管和恢复 硬盘篇的故障是一种极为严重的威胁，往往对于业务系统具有致命的杀伤 力，经常导致许多业务系统的完全瘫痪。以往的各个行业的 IT 系统对付这类故 障一般没有好的解决方法，都是采用备份系统花费大量的时间恢复到前一天的 备份点，即无法达到 RPO 的数据保存指标，也无法达到 RTO 的业务恢复指标。 本系统中，美国飞康软件公司的容灾备份架构完全解决了这一点。一旦核 心的硬盘出现故障，美国飞康软件公司的 CDP 设备会立即接替其运行，应用系 统只需等待较短的挂起时间，因此，磁盘系统的故障已完全纳入了为无法造成 业务威胁的范围，完全解决了众多 IT 系统的杀手问题。 更换硬盘后，再使用 Disksafe 的 restore 功能在后台将数据同步到新的硬盘 中。 2.4.5WindowsWindows 系统恢复系统恢复 CDP 保护方案还能对 Windows 系统进行恢复，当系统分区出现中毒或无法 启动的情况时，可以直接使用 CDP 中的镜像盘进行启动，这样可以大大缩短恢 复时间。 通过 FalconStor 的 CDP 管理器可以在线多版本快照增量复制及可多版本回 滚恢复；可多版本通过网络盘启动操作系统，并具有回滚启动功能；并且当服 务器出现非硬盘的硬件损坏时，能够使用后备服务器从网络盘存储镜像设备网 络启动来提到源服务器工作。 2.5 异地灾难发生时的接管和恢复异地灾难发生时的接管和恢复 异地灾难接管是指各个当地的系统发生灾难，并且本地 CDP 也发生灾难时， 由异地容灾中心接管的业务。本节从 UNIX,Windows 系统，数据库和应用分别 进行说明。 当地发生灾难时，如生产站点受损或存储设备受损，通过操作，将灾备中 心的 CDP 存储管理器所管理的复制链中的复制盘提升出来，分配给灾备中心主 机。这样就可以实现业务系统的快速恢复。 FalconStor 对于 Windows 的解决方案还有独特的一面，那就是系统恢复。 这样灾备主机可以不安装任何操作系统、数据库和应用程序，一切都从 CDP 存 储管理器中提取数据，这样最大程度的保证数据一致性，同时大大降低灾难接 管的操作难道。 灾难发生后的数据恢复，修复好各地的主机及存储设备后，然后再将复制 盘中的数据反向复制到各地已修复好的磁盘中，当数据完全复制完成后，将生 产中的主机对磁盘的访问切换到本地的磁盘组上，同时再将数据的容灾策略恢 复到以前定制好的复制策略。 2.6 关键技术和优势关键技术和优势 CDP 技术是一种数据的连续时间点的保护技术，其根本作用是能在故障瞬 间完成任何时间点的故障恢复，达到业务的快速连续的作用，从根本上解决传 统备份中低恢复能力和非精细时间策略的先天弱点。这种技术的诞生造成了备 份领域和灾难恢复领域的一次革命，采用的关键技术包括： 存储虚拟化技术存储虚拟化技术 采用虚拟化存储技术，是一套功能全面的企业级存储服务软件，也是 SAN 及 NAS 跨越多个厂商及多个平台环境的整合平台，在一个集中化的管理的介面 下进行操作。通过管理员可以建立一个全新的存储网络，或为他们目前的基础 架构加入智能功能。 多时间点自动连续快照技术多时间点自动连续快照技术 传统的未采用连续快照技术的容灾体系，实际上无法解决概率最高的人工 错误型的灾难（称为软错误，也称动态 RPO） ，由于远程数据传输将“忠诚” 地将数据完整的复制到远方，被毁坏的数据也将被复制到远方，从而导致系统 的完全不能运转。 因此，备份方案中的“自动连续快照技术”不但满足主存储宕机时数据镜 像（即硬错误）的功能需求，同时也实现了对“软错误”的防范及纠错功能， 将对系统的正常运转提供有力保障。 CDP 服务器中，一个重要的功能就是 TimeMark 的多时间点快照技术，使 得贵方的业务系统能够实现较短时间间隔下的各时间段版本数据的保存。CDP 能够提供多达每个应用卷 256 个自动快照点的极高水准，即保证每个应用卷在 每天都有保存密度为 5 分钟的完全映象或 10 天之内每隔 1 小时就有 1 个完全映 象。高密度的映象可保证将系统的 RPO（动态及静态）降到最低范围。一旦发 生任何一类数据丢失的错误，维护人员都可以找到最近的版本立即恢复。快照 恢复与数据量无关，大数据量提取也只是一分钟的事情。 这种快照的机制是利用快照缓存，对于时间点变化之后的数据块，将其原 始时间点数据进行保存，一旦需要系统会退到某一时间点，TimeMark 可以立即 通过 Time View 的方式将历史点数据的指针提取出来，从而实现历史数据的瞬 间映射和恢复机制。TimeMark 的快