ch9备份技术.ppt

第九章备份技术 内容提要 概述数据备份方案数据备份与数据恢复策略备份软件简介小结 9 1数据备份概述 产生数据失效的主要原因备份及其相关概念备份的误区选择理想的备份介质备份技术和备份方法 9 1 1产生数据失效的主要原因 1 计算机软硬件故障 2 人为操作故障 3 资源不足引起的计划性停机 4 生产地点的灾难 数据失效的因果关系 常见的物理损坏 数据失效可分为两种 物理损坏 失效后的数据彻底无法使用 逻辑损坏 失效的数据仍可以部分使用 但数据之间的关系整体上是错误的 1 常见的物理损坏电源故障 由于电源故障造成设备无法使用 存储设备故障 安装时的无意磕碰 掉电 电流突然波动 机械自然老化等原因都有可能造成存储设备故障 网络设备故障 传输距离过长 设备添加与移动 传输介质的质量问题和老化都有可能造成故障 自然灾害 由水灾 火灾 地震等造成设备损坏 无法使用 操作系统故障 非法指令造成的系统崩溃 系统文件被破坏导致无法启动操作系统等 数据丢失 缺少文件或程序本身不完善导致程序无法运行 物理损坏造成的后果比较明显 相对来说容易排除 常见的逻辑损坏 数据不完整 系统缺少完成业务所必需的数据 数据不一致 系统数据是完全的 但不符合逻辑关系 数据错误 系统数据是完全的 也符合逻辑关系 但数据是错误的 与实际不符 因为逻辑损坏不易被发现 潜伏期长 当发现数据有错误时可能已经无法挽回 因此 逻辑损坏比物理损坏更为严重 是造成损失的主要原因 9 1 2备份及其相关概念 数据备份是指将计算机硬盘上的原始数据复制到可移动媒体上 如磁带 光盘等 在出现数据丢失或系统灾难时将复制在可移动媒体上的数据恢复到硬盘上 从而保护计算机的系统数据和应用数据 9 1 2备份及其相关概念 数据恢复 数据备份的逆过程 利用备份数据还原出原始数据的过程 热备份在线备份 对正在运行的数据进行备份 通常 为保证数据的一致性 对打开的数据库和应用是禁止备份的 因此要求数据存储管理软件能够采用特定技术实现对在线数据库和应用进行备份 离线备份 在数据库或应用关闭后对其数据进行备份 离线备份通常采用全备份 备份工具数据存储管理数据归档 将硬盘数据复制到可移动媒体上 与数据备份不同的是 数据归档在完成复制工作后 将原始数据从硬盘上删除 释放硬盘空间 数据归档一般是对与年度或某一项目相关的数据进行操作 在一年结束或某一项目完成时将相关数据迁移至可移动媒体上 以备日后查询和统计 同时释放宝贵的硬盘空间 9 1 3备份的误区 一个完整的系统备份方案应包括 硬件备份 备份软件 日常备份制度 灾难恢复制度 1 用人工操作进行简单的数据备份代替专业备份工具的完整解决方案 2 忽视数据备份介质管理的统一通用性 3 用硬件冗余容错设备代替对系统的全面数据备份 4 忽视数据异地备份的重要性 5 用用户应用数据备份替代系统全备份 6 忽视制定完整的备份和恢复计划和维护计划并测试的重要性 7 忽视对负责系统备份恢复系统人员的理论培训 9 1 4选择理想的备份介质 磁带 存储容量大 速度快 全自动操作 更安全硬盘备份MO可擦写光盘机双机 热 备份系统1 44M软驱 ZIP驱动器可写一次光盘 CD Recordable 9 1 5灾难恢复和系统备份 灾难恢复步骤 恢复硬件重新装入操作系统设置操作系统 驱动程序设置 系统 用户设置等 重新装入应用程序 进行系统设置用最新的备份恢复系统数据 灾难恢复 与系统备份对应的概念是灾难恢复 灾难恢复同普通数据恢复的最大区别在于 在整个系统都失效时 用灾难恢复措施能够迅速恢复系统 复制不等于系统备份硬件备份不等于系统备份数据文件备份不等于系统备份 9 2数据备份方案 为保证关键数据和应用系统的正常运行 根据数据和应用系统的特点 制定数据备份方案是至关重要的 数据备份方案主要有 磁盘备份双机备份网络备份 9 2 1磁盘备份 磁盘备份顾名思义就是用磁盘备份数据 就是把重要的数据备份到磁盘上 它的主要方式是磁盘阵列和磁盘镜像 磁盘阵列简称RAID RedundantArraysofInexpensiveDisks RAID 有 价格便宜且多余的磁盘阵列 之意 1987年 加州伯克利大学的一位人员发表了名为 磁盘阵列研究 的论文 正式提到了RAID也就是磁盘阵列 论文提出廉价的5 25 及3 5 的硬盘也能如大机器上的8 盘那样提供大容量 高性能和数据的一致性 并详述了RAID1至5的技术 形成磁盘阵列的两个基本技术 磁盘延伸把多个小容量的磁盘延伸为大容量的单一虚拟磁盘 用户不必规划数据在各磁盘的分布 而且提高了磁盘空间的使用率 磁盘延伸 DiskSpanning 这四个磁盘形成一个阵列 array 而磁盘阵列的控制器 RAIDcontroller 是将此四个磁盘视为单一的磁盘 如DOS环境下的C 盘 磁盘或数据分段 Disk DataStriping RAID0 因为磁盘阵列是将同一阵列的多个磁盘视为单一的虚拟磁盘 所以其数据是以分段的方式顺序存放在磁盘阵列中 如图所示 数据按需要分段 从第一个磁盘开始存放 到最后一个磁盘再回到第一个磁盘存放 直到数据分布完毕 因为数据以分段分布在不同的磁盘 整个阵列的各个磁盘可同时作读写 故数据分段使数据的存取效率最高 理论上本来读一个包含四个分段的数据所需要的时间约等于 磁盘访问时间 数据传送时间 4 现在只要一次就可以完成 磁盘或数据分段 若以N表示磁盘的数目 R表示读取 W表示写入 S表示可使用空间 则数据分段的性能为 R N 可同时读取所有磁盘 W N 可同时写入所有磁盘 S N 可利用所有的磁盘 并有最佳的使用率 基于该技术实现的磁盘阵列称为RAID0主要应用 低成本 大容量存储 提高I O速度和磁盘利用率 其它RAID技术的基础 RAID0 Diskstriping也称为RAID0 diskspanning定义了RAID的基本形式 提供了一个便宜 灵活 高性能的系统结构 而diskstriping解决了数据的存取效率和磁盘的利用率问题 RAID1至RAID5是在此基础上提供磁盘安全的方案 RAID1 RAID1是使用磁盘镜像 diskmirroring 的技术 磁盘镜像应用在RAID1之前就在很多系统中使用 它的方式是在工作磁盘 workingdisk 之外再加一额外的备份磁盘 backupdisk 两个磁盘所储存的数据完全一样 数据写入工作磁盘的同时亦写入备份磁盘 RAID1的磁盘是以磁盘延伸的方式形成阵列 而数据是以数据分段的方式作储存 因而在读取时 它几乎和RAID0有同样的性能 RAID1 基于磁盘镜像 Diskmirroring 技术 但与一般磁盘镜像有两点最大的不同 1 RAIDl无工作磁盘和备份磁盘之分 多个磁盘可同时动作而有重迭读取的功能 甚至不同的镜像磁盘可同时作写入操作 称为负载平衡 例如有多个用户在同一时间要读取数据 系统能同时驱动互相镜像的磁盘 同时读取数据 以减轻系统的负载 提高I O性能 2 RAID1的磁盘是以磁盘延伸的方式形成阵列 数据是以数据分段的方式储存 因而在读取时 它几乎和RAID0有同样的性能 RAID1的存储结构 RAID1 性能 R N 可同时读取所有磁盘 W N 2 同时写入磁盘数 S N 2 利用率 读取数据时可用到所有的磁盘 充分发挥数据分段的优点 写入数据时 要同时写入两个磁盘 其效率是N 2 磁盘空间的使用率只有全部磁盘的一半 RAID1完全做到了容错 一般结合热插拔技术 当某一磁盘发生故障 可将此磁盘拆下来而不影响其他磁盘的操作 待新的磁盘换上去之后 系统即时做镜像 将数据重新复制上去 主要应用 在容错及存取的性能上是所有RAIDlevel之冠 RAID2 RAID2是把数据分散为位 bit 或块 block 加入海明码HammingCode 在磁盘阵列中作间隔写入 interleaving 到每个磁盘中 而且地址 address 都一样 也就是在各个磁盘中 其数据都在相同的磁道 cylinderortrack 及扇区中 RAID2的安全采用内存阵列 memoryarray 的技术 使用多个额外的磁盘作单位错误校正 single bitcorrection 及双位错误检测 double bitdetection RAID2 把数据分散为位或块 加入海明码校验 在磁盘阵列中间隔写入到每个磁盘中 而且地址都一样 也就是各个磁盘中的数据都在相同的磁道及扇区中 RAID2的设计是使用共轴同步技术 存取数据时 整个磁盘阵列一起动作 在各磁盘的相同位置并行存取 得到最好的存取时间 其总线是特别的设计 以大带宽并行传输数据 得到最好的传输时间 主要应用 对大型文件的存取应用 RAID2有最好的性能 但如果文件太小 会将其性能拉下来 因此 RAID2是设计给需要连续且大量处理数据的系统 如大型计算机 图象处理工作站或CADCAM工作站等 不适用于一般的网络服务器 小型机或PC RAID3 RAID3的数据储存及存取方式都和RAID2一样 但在安全方面以奇偶校验 paritycheck 取代海明码做错误校正及检测 所以只需要一个额外的校验磁盘 paritydisk 奇偶校验值的计算是以各个磁盘的相对应位作XOR的逻辑运算 然后将结果写入奇偶校验磁盘 任何数据的修改都要做奇偶校验计算 RAID3 RAID3的数据储存及存取方式都和RAID2一样 但在安全方面以奇偶校验取代海明码做错误校正及检测 所以只需要一个额外的校验磁盘 较之RAID1及RAID2 RAID3有85 的磁盘空间利用率 其性能比RAID2稍差 共轴同步的并行存取在读档案时有很好的性能 但在写入时较慢 需要重新计算及修改奇偶校验磁盘的内容 RAID3和RAID2有同样的应用方式 适用大文件及大量数据输出入的应用 不适用于PC及网络服务器 RAID4 RAID4是以扇区作数据分段 各磁盘相同位置的分段形成一个校验磁盘分段 parityblock 放在校验磁盘 RAID5 RAID5避免了RAID4的瓶颈 方法是不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中 RAID4 RAID4也使用一个校验磁盘 但和RAID3不一样 是以扇区作数据分段 各磁盘相同位置的分段形成一个校验磁盘分段 放在校验磁盘 这种方式可在不同的磁盘并行执行不同的读取命今 大幅提高磁盘阵列的读取性能 但写入数据时 因受限于校验磁盘 同一时间只能作一次 其小型文件的写人比RAID3快 但校验磁盘形成RAID4的瓶颈 降低了性能 因有RAID5而使得RAID4较少使用 RAID5 RAID5避免了RAID4的瓶颈 方法是不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中 磁盘阵列的第一个磁盘分段是校验值 第二个磁盘至后一个磁盘再折回第一个磁盘的分段是数据 然后第二个磁盘的分段是校验值 从第三个磁盘再折回第二个磁盘的分段是数据 以此类推 第一个parityblock由A0 Al Bl B2计算出来 第二个parityblock由B3 B4 D0计算出来 也就是校验值是由各磁盘同一位置的分段的数据所计算出来 RAID5 这种方式能大幅增加小文件的存取性能 不但可同时读取 甚至有可能同时执行多个写入的动作 这对联机交易处理 OLTP 如银行系统 金融 股市等或大型数据库的处理提供了最佳的解决方案 因为这些应用的每一笔数据量小 磁盘输出输入频繁而且必须容错 主要性能 R N 可同时读取所有磁盘 W 1 可同时写入磁盘数 S N一1 利用率 控制比较复杂 价格较高 尤其是利用硬件对磁盘阵列的控制时 所以 其应用最好是OLTP 用于PC等不见得有最佳性能 主要RAID的比较 新型RAID RAID6 带有两个独立分布式校验方案的独立数据磁盘 私有标准 以RAID5为基础 工作模式类似RAID5 但将校验码写入两个驱动器 从而增强容错能力 允许故障磁盘达到两个 但阵列磁盘数量最少4个 RAID7 最优的异步高I O速率和高数据传输率 相当一个独立的存储计算机 自带操作系统和管理工具 可以独立运行 但成本高 RAID5E IBM私有标准 类似RAID6 校验码写入所有驱动器 RAID1E RAID1的增强版 加强数据恢复能力 至少3块硬盘 RAIDDP 双RAID3 增加一个独立的不同算法的校验磁盘 提高可靠性等性能 磁盘镜像 简单地讲 磁盘镜像就是一个原始的设备虚拟技术 原理是 系统产生的每个I O操作都在两个磁盘上执行 而这一对磁盘看起来就像一个磁盘一样 实现磁盘镜像的方式 软件镜像外部磁盘子系统中的镜像主机I O控制器镜像 软件镜像 大多数主流服务器操作系统和文件系统都提供基本的磁盘镜像功能 软件磁盘镜像既可以使用内部驱动器 也可以使用外部磁盘组机柜中的磁盘 软件镜像是一个系统的管理应用 它运行在主机系统上 并利用主机的处理器周期和内存资源 影响服务器的性能 软件镜像更容易集成到各种服务器和网络存储环境中 外部磁盘子系统中的镜像 位于外部RAID子系统 即RAIDl RAID包含一个智能处理器 能够提供高级的磁盘操作和管理 由于镜像运行在RAID机柜中 主机操作系统和主机I O控制器只感觉到一个虚拟磁盘 而不是两个镜像磁盘的存在 这种镜像方法对主机CPU影响最小 许多公司能够提供镜像磁盘驱动器的RAID子系统 也能提供更高级的磁盘管理功能 主要优点 置换磁盘驱动器的方便 性能优势 可提供统一存储管理能力 主要不足 难以提供基于服务器的配置和错误报告的管理方案 很难集成到现存的管理系统中 对于24 7持续工作的需求 外部磁盘子系统是仅有的选择 主机I O控制器镜像 通过主机中的RAID卡实现磁盘镜像 像软盘镜像一样 既可以与内部磁盘控制器一起工作 也可以与磁盘机柜中的驱动器一起工作 集中了软件镜像和外部子系统镜像的许多优点 提供了较好的性能 当与外部磁盘子系统一起工作时 镜像功能可以在专门的芯片上实现 不仅提供最好的性能 而且不占用服务器的CPU周期 节省的CPU周期可用于其他任务 9 2 2双机备份 纯软件方案灾难备份方案共享磁盘阵列方案双机单柜方案双机双柜方案 纯软件方案 不使用任何附加硬件数据通过镜像专用网络将数据实时备份到备机无公共的存储设备 通常是磁盘阵列 双机备份方案 纯软件方案数据通过镜像专用网络将数据实时备份到备机 使主用系统有一个完全一样的备份系统 与常规的双机系统相比 纯软件双机热备份系统的两台服务器之间少了公共的存储设备 通常是磁盘阵列 相对其他方案的优点 风险平均分散到主备系统 提高系统可靠性 双机通过以太网连接 可以在线撤离修复 并允许远程备份 没有挪动 受潮 被盗 折旧等硬件带来的忧虑 产品升级方便 重复投资小 投资小 可靠性高 双机备份方案 纯软件方案 灾难备份方案 一种异地容灾方案采用异步传输的方式同时镜像到其它镜像站点自动的定时同步保证各站点间数据变化过程中的一致性 灾难备份方案 一种异地容灾方案 主站点的内容采用异步传输方式同时镜像到其它镜像站点 再通过自动定时同步保证各站点数据的一致性 这样客户将在多个站点同时拥有相同的备份数据 确保关键业务数据的安全可靠 当主站点发生不可预测的灾难性事故 如地震 洪水 失火等后 可以迅速切换任一数据备份站点作为主站点 保证关键业务不间断运行 同时可以通过高速光纤网络 在最短的时间内利用异地备份数据恢复客户主站点数据系统 这种方案的主备机一般基于TCP IP协议连接 因此任何能够运行TCP IP协议的网络都可以使用这种方案来备份主机系统 主要优点 实现异地容灾的高可靠性 没有挪动 受潮 被盗 折旧等硬件带来的忧虑 产品升级方便 重复投资小 主要不足 网络连接质量和速度要求较高 灾难备份方案 共享磁盘阵列方案 由两台服务器和共享磁盘阵列柜构成高可用系统 双机通过共享独立的存储子系统来保证故障切换后数据的一致性 在两台服务器中安装所有的服务模块 服务监测模块通过网络和串口来定时监测对方状态及服务 共享磁盘阵列方案 由两台服务器和共享磁盘阵列柜构成高可用系统 双机通过共享独立的存储子系统来保证故障切换后数据的一致性 在两台服务器中安装所有的服务模块 由服务监测模块通过网络和串口定时监测对方状态 该系统具有三种运行状态 1 正常 主机运行服务1 使用磁盘阵列 备机运行服务2 2 故障 备机监测到主机故障 接管主机IP地址 连接磁盘阵列 启动服务l 或者主机监测到备机故障 接管备机IP地址 启动服务2 3 恢复 故障服务器恢复后 两台服务器又开始工作 回到状态l 主要优点 对于I O要求较高的系统运行效率高 主要问题 对磁盘阵列的可靠性要求高 但它最多只对磁盘 电源 控制器 风扇进行冗余备份 数据只有一份 若软件故障导致数据损坏 即使磁盘阵列本身完好数据也会受到严重破坏 建议采用此方案时 该用户的应用不能太关键 最好是MIS等系统 而且要特别重视数据的日常备份 2 7 3共享磁盘阵列方案 双机单柜方案 磁盘阵列子系统单独连接到主机 磁盘阵列中的数据只给主机专用 数据通过专用的数据网完整并且实时备份到备机上 风险完全分散到双机上 双机单柜方案 磁盘阵列子系统单独连接到主机 磁盘阵列的数据只给主机专用 数据通过专用数据网实时备份到备机上 风险完全分散到双机上 主要优点 在主用机上使用磁盘阵列 获得独立存储子系统的各种优点 风险完全分散到双机上 双机通过以太网连接 可以在线撤离修复 并允许远程备份 没有磁盘阵列损坏后丢失数据的风险 又很好地满足了应用系统对高可靠性和高可用性的需求 双机双柜方案 主备机各连接一台磁盘阵列子系统 其上的数据通过镜像专用网实时镜像到备机 备用机和主机有完全相同的系统和数据环境 双机双柜方案 主备机各连接一台磁盘阵列 数据通过镜像专用网实时镜像到备机 备机有和主机完全相同的系统 数据环境和运行效率 主要优点 具有第三个方案的全部优点 在备机上使用了单独的存储子系统 加快了整个系统的I O速度 主要不足 相对而言 成本最高 9 2 3网络备份 网络备份系统的作用在网络系统安全建设中必不可少的一个环节就是数据的常规备份和历史保存 一般在生产本地的备份目的主要有两个 一是生产系统的业务数据由于系统或人为误操作造成损坏或丢失后 可及时在生产本地实现数据的恢复 另一个目的是在发生地域性灾难 地震 火灾 机器毁坏等 时 可及时在本地或异地实现数据及整个系统的灾难恢复 理想的网络备份系统应该具备以下功能集中式管理全自动的备份数据库备份和恢复在线式的索引归档管理有效的媒体管理分级存储管理 HSM 系统灾难恢复满足系统不断增加的需求 相关技术介绍分级存储管理 HSM 技术HSM主要是用于对海量数据的存储备份 HSM是一个将硬驱 磁带驱动器和光驱组合起来的自动存储系统 存储区域网 SAN 技术SAN就是通过集线器或交换机 把两个或更多的存储系统连接到两个或更多的服务器上 SAN拥有三种主要部件 接口 包括SCSI 光纤通道等 互连设备 如路由器 交换机 集线器等 和交换光纤 9 3数据备份与数据恢复策略 9 3 1数据备份策略备份策略指确定需备份的内容 备份时间及备份方式 目前被采用最多的备份策略主要有三种 完全备份 FullBackup 增量备份 IncrementalBackup 差分备份 DifferentialBackup 1 完全备份定期全面备份 使用最近备份数据恢复 发生灾难时 只要一次操作即可恢复数据 每次备份所需时间较长 占用存储空间较大 丢失数据可能较多 2 增量备份先对系统进行一次完全备份 然后较短时间定期将最近备份后修改的内容备份 数据恢复从完全备份开始 逐次增量恢复 节省存储空间 加快备份速度 数据恢复时需要多次操作 3 差分备份先进行完全备份 然后较短时间定期将完全备份后更改的全部数据备份 灾难时 先恢复最近完全备份 再恢复最近累计备份 备份时间较短 节省存储空间 灾难恢复较方便 每次累计备份的工作量比增量备份大 4 混合备份在系统数据更新不太频繁时 使用差分备份 如果系统数据更新太快 使得差分备份的数据量相当大时 使用增量备份或者缩短备份周期 或者直接混用增量备份和差分备份 9 3 2灾难恢复策略 数据备份的最终目的是灾难恢复 灾难恢复措施在整个备份制度中占有相当重要的地位 全盘恢复个别文件恢复重定向恢复 1 全盘恢复一般应用在服务器发生意外灾难导致数据全部丢失 系统崩溃或是有计划的系统升级 系统重组等 也称为系统恢复 2 个别文件恢复利用网络备份系统的恢复功能 恢复