ch2数据安全-容灾容错课件.ppt

数据安全 基本知识 数据备份为防止系统出现操作失误或系统故障导致数据丢失 而将整个系统数据或部分重要数据集合打包 从应用主机的硬盘或阵列中复制到其他的存储介质的过程数据复制技术是灾难备份系统的核心技术 数据复制技术主要是将数据中心的生产数据复制成灾难备份数据 灾难备份数据与生产数据应保持一致复制技术种类同步数据复制异步数据复制 相关概念 容错技术当由于种种原因在系统中出现了数据 文件损坏或丢失时 系统能够自动将这些损坏或丢失的文件和数据恢复到发生事故以前的状态 使系统能够连续正常运行的一种技术 容灾技术为了应付突发性灾难如火灾 洪水 地震或者恐怖事件等对整个组织机构的数据和业务生产会造成重大影响的技术 相关概念 容错容灾容错技术主要故障检测与诊断技术 故障屏蔽技术 动态冗余技术 软件容错技术 信息保护技术数据级容灾 只保证数据的完整性 可靠性和安全性 但提供实时服务的请求在灾难中会中断 应用级容灾 能够提供不间断的应用服务 让服务请求能够透明 在灾难发生时毫无觉察 地继续运行 保证数据中心提供的服务完整 可靠 安全 分类本地 异地数据 应用指标RPO恢复点目标RTO恢复时间目标技术存储技术 备份技术 冗余磁盘阵列 复制技术 迁移技术 快照技术 失效检测技术 双机热备份技术和集群技术 数据容错技术 容错技术 在一定程度上容忍故障的技术 也称故障掩盖技术 faultmasking 冗余是关键容错技术 容错系统系统在运行过程中 若其某个子系统或部件发生故障 系统将能够自动诊断出故障所在的位置和故障的性质 并且自动启动冗余或备份的子系统或部件 保证系统能够继续正常运行 自动保存或恢复文件和数据 重复配置部件 故障时 冗余部件承担故障部件的工作 由此减少故障时间以增加资源的办法换取可靠性 冗余要消耗资源 应权衡和折衷可靠性与资源消耗 冗余技术 储备技术 6 后备冗余 一个单元工作 冗余单元待机备用 工作冗余 冗余单元与工作单元并行工作 并联模型 平均负担工作 冗余技术分类 工作方式 7 硬件冗余 通过硬件的重复使用来获得容错能力软件冗余 用多个不同软件执行同一功能 利用软件设计差异来实现容错 信息冗余 附加部分信息位来检测或纠正信息在运算和传输中的错误 如奇偶校验 CRC校验 海明码时间冗余消耗时间重复运算以检测故障 指令级复执 程序级复执 冗余技术分类 资源 8 增加线路 设备 部件 形成备份硬件堆积冗余 工作冗余 N个设备同时工作待命储备冗余 后备冗余 1个设备工作 N 1个待命混合冗余系统 堆积冗余和待命储备冗余的结合应用统称KfromN结构 容错能力t N K 硬件冗余 9 提供足够的冗余信息和算法程序 使系统能及时发现程序设计错误 并进行补救 策略 前向恢复 继续当前计算 屏蔽错误 把系统恢复成连贯的正确状态后向恢复 恢复系统到前一个正确状态 继续执行 ms系统还原点 方法 恢复块方法N版本程序设计防卫式程序设计 软件冗余 10 动态屏蔽技术 后向策略提供具有相同功能的主块和几个后备块 恢复块方法 11 静态故障屏蔽技术 前向恢复策略N个相同功能程序同时执行一项计算 结果通过多数表决来选择 N 版本程序设计 12 N份程序必须由不同的人独立设计 使用不同的方法 不同的设计语言 不同的开发环境和工具来实现 减少N版本软件在表决点上相同错误的概率 N 版本程序设计 13 在程序运行过程中发生的异常事件 比如除0溢出 数组越界 文件找不到等 将阻止程序的正常运行 程序设计时 需考虑可能发生异常事件并做出相应的处理 包含错误检查代码和错误恢复代码错误发生 程序能撤消错误状态 恢复到一个已知的正确状态中去 不至于导致系统崩溃 程序终止 还可在短时间内找到错误所在 方便程序的维护 防卫式程序设计 14 try blockofcodetomonitorforerrors catch ExceptionType1exOb exceptionhandlerforExceptionType1 可以抛出多个异常catch ExceptionType2exOb exceptionhandlerforExceptionType2 finally 释放资源 blockofcodetobeexecutedbeforetryblockends JAVA异常处理的通用框架 15 intreadAge intage 读入年龄 if age 100 throwAgeException age returnage classAgeException public interrorAge AgeException intage errorAge age 使用 try inti readAge printf Ageinputedis d i catch AgeExceptione printf error Ageinputed dandisnotvalid e errorAge 函数 读入年龄 如果 100 抛出异常 16 容灾系统参数 恢复点目标 RPO 你可以容忍丢失多少数据 恢复时间目标 RTO 多长时间可以恢复 是指灾难发生后 从IT系统宕机导致业务停顿之刻开始 到IT系统恢复至可以支持各部门运作 业务恢复运营之时 数据安全概述 数据安全的概念数据安全一是数据本身的安全 主要是指采用现代密码算法对数据进行主动保护 如数据保密 数据完整性 双向强身份认证等二是数据防护的安全 主要是采用现代信息存储手段对数据进行主动防护 如通过磁盘阵列 数据备份 异地容灾等手段保证数据的安全 数据安全的需求定义 数据安全的需求如何有效的防止数据在录入 处理 统计或打印中由于硬件故障 断电 死机 人为的误操作 程序缺陷 病毒或黑客等造成的数据库损坏或数据丢失现象某些敏感或保密的数据可能被不具备资格的人员或操作员阅读 而造成数据泄密等后果 相关技术 存储技术DAS存储 NAS存储 SAN存储 OBS存储备份技术磁带备份 基于应用程序的备份 数据库的远程数据复制 服务器逻辑卷的远程数据复制 基于存储备份软件实现的远程数据复制 基于智能存储设备的远程数据复制复制技术同步复制 异步复制冗余磁盘阵列技术镜像 数据条带 数据校验高可用技术双机热备份 集群 相关技术 开放系统直连式存储 Direct AttachedStorage DAS 是指将储存设备通过SCSI接口或光纤通道直接连接到一台计算机上网络附属存储 NetworkAttachedStorage NAS 是一种将分布 独立的数据整合为大型 集中化管理的数据中心 以便于对不同主机和应用服务器进行访问的技术 1 本地存储 直接连接存储 DAS 优点 简单 可靠 成本低缺点 容量有限 可扩展性低 23 磁盘阵列 IDE EIDE SCSI DAC IntegratedDeviceElectronics集成设备电路仅支持2个盘 增强型IDE接口可支持4个盘 小型计算机系统接口可支持多个盘 DAC磁盘阵列控制器可支持多分组多个磁盘 常见的存储设备接入方式 2网络存储 网络连接存储 NAS 网络存储 NAS优点 远距离 跨平台 高可用性 NAS缺点 网络带宽的限制 专用文件服务器的限制 3 SAN存储技术 存储区域网络 StorageAreaNetwork SAN 是一种高速网络或子网络 提供在计算机与存储系统之间的数据传输 存储技术 DASNASSAN 数据备份技术 备份策略 采取什么存储介质进行备份 什么数据需要备份 采取哪种备份管理软件 确定备份方式 何时备份 将数据备份到何处 将备份介质存放何处等 备份技术 完全备份用存储介质对全部数据进行备份 累计备份或差分备份每次备份的数据是相对于上一次全备份之后新增加的和修改过的数据 增量备份增量备份是对上一次备份后所有发生变化的文件进行备份 按需备份按需备份是根据需要对资料进行备份 数据量不同 完全备份 累积备份 增量备份 备份的执行时间与频率根据业务重要程度而决定 数据备份的种类 备份方式 全备 备份方式 备份方式 累积备份 文件3 备份方式 备份方式 增备 快照技术 关于指定数据集合的一个完全可用拷贝 该拷贝包括相应数据在某个时间点 拷贝开始的时间点 的映像快照技术的作用主要是能够进行在线数据恢复 当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复 将数据恢复成快照产生时间点的状态为存储用户提供了另外一个数据访问通道 当原数据进行在线应用处理时 用户可以访问快照数据 还可以利用快照进行测试等工作 分级存储 分级存储的实现在线存储近线存储离线存储 数据备份技术 磁带备份基于应用程序的备份数据库的远程数据复制服务器逻辑卷的远程数据复制基于存储备份软件实现的远程数据复制基于智能存储设备的远程数据复制 基于应用的数据复制技术 基于应用的数据复制技术 数据处理请求或处理结果数据 基于数据库的数据复制技术 基于数据库的数据复制技术 归档日志联机日志 基于文件系统的数据复制技术 基于文件系统的数据复制技术 新增或修改的文件 基于服务器逻辑卷的数据复制技术 基于服务器逻辑卷的数据复制技术 I O操作 40 磁盘阵列 RAID RedundantArrayofIndependent 或Inexpensive Disks 独立 廉价 冗余磁盘阵列 是由加州大学伯克利分校Patterson在1988年提出 RAID 将一组磁盘驱动器逻辑上联系起来 作为一个磁盘驱动器来使用 作为一种数据保存手段 RAID提供了专用服务器中接入多个磁盘 专指硬盘 时 以磁盘阵列方式组成一个超大容量 响应速度快 可靠性高的存储子系统 以冗余技术增加其可靠性 以多个低成本磁盘构成磁盘子系统 提供比单一硬盘更完备的可靠性和高性能 RAID被广泛地应用在服务器体系中 冗余磁盘阵列 RAID有三个关键技术镜像 数据条带和数据校验 RAID级别RAID0条带化RAID1镜像RAID2数据条带化技术和海明码编码校验技术RAID3异或校验 按字节RAID4异或校验 按数据块RAID5轮流存放RAID6双重校验 RAID技术 磁盘RAID组件 RAID组件 44 磁盘阵列 RAID的优点1 成本低 功耗小 传输速率高 在RAID中 可以让很多磁盘驱动器同时传输数据 远远超过单个磁盘驱动器 2 提供容错功能 因而具有更高的安全性 3 RAID与传统的大直径磁盘驱动器相比 价格要低 45 磁盘阵列 RAID0 无冗余无校验的磁盘阵列简单将数据分配到各个磁盘上 不提供真正容错性 至少需要2个硬盘 可支持8 16 32个磁盘 整个逻辑盘的数据是被分条 stripped 分布在多个物理磁盘上 可以并行读 写 速度最快 但无容错能力 优点 更好地利用磁盘空间 延长磁盘寿命 多个硬盘并行工作 提高了读写性能 缺点 不提供数据保护 任一磁盘失效 数据可能丢失 且不能自动恢复 46 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 并行传输 HDD1 HDD2 HDD3 HDD4 HDD5 RAID0示意图 47 磁盘阵列 镜象磁盘阵列 RAID1 每一组盘至少两台 数据同时以同样的方式写到两个盘上 两个盘互为镜象 磁盘镜象可以是分区镜象 全盘镜象 容错方式以空间换取 实施可以采用镜象或者双工技术 主要用在对数据安全性要求很高 而且要求能够快速恢复被损坏的数据的场合 优点 具有最高可靠性 策略简单 恢复数据时不必停机 缺点 有效容量只有总容量的1 2 利用率50 由于磁盘冗余 成本较高 48 五 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 并行传输 HDD1 HDD2 第一组镜象 HDD3 HDD4 RAID1示意图 第二组镜象 工作盘 镜像盘 工作盘 镜像盘 49 磁盘阵列 循环奇偶校验阵列 RAID5 RAID5是无独立校验盘的奇偶校验磁盘阵列 校验数据不固定在一个磁盘上 而是循环地依次分布在不同的磁盘上 校验信息分布在各个磁盘驱动器上 RAID5对各种大小数据量的读写都有很好的性能 是目前采用最多 最流行的方式 至少需要3个硬盘 50 磁盘阵列 循环奇偶校验阵列 RAID5 优点 校验分布在多个磁盘中 写操作可以同时处理 为读操作提供了最优的性能 一个磁盘失效 分布在其他盘上的信息足够完成数据重建 缺点 数据重建会降低读性能 每次计算校验信息 写操作开销会增大 是一般存储操作时间的3倍 51 五 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 HDD1 HDD2 HDD3 HDD4 HDD5 RAID5示意图 奇偶校验 parity parity parity 52 磁盘阵列 其它形式的磁盘阵列 按照校验方式不同划分 RAID2 并行海明纠错阵列RAID3 奇偶校验并行位交错阵列RAID4 奇偶校验扇区交错阵列RAID6 二维奇偶校验阵列 53 五 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 HDD1 HDD2 HDD3 HDD4 HDD5 RAID2示意图 并行海明纠错阵列 HDD6 HDD7 海明校验 54 五 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 HDD1 HDD2 HDD3 HDD4 HDD5 RAID3示意图 奇偶校验并行位交错阵列 parity parity 奇偶校验 55 磁盘阵列 输入数据流 输入数据 磁盘阵列控制器 HDD1 HDD2 HDD3 HDD4 HDD5 RAID4示意图 奇偶校验扇区交错阵列 parity parity 奇偶校验 parity Secter交叉 56 磁盘阵列 输入数据流 RAID6示意图 二维奇偶校验阵列 冗余磁盘阵列 失效检测技术 失效检测技术定义 失效检测 FailureDetection 是实现系统可靠性保障的基本技术 它对系统运行时的存活状态进行检测 它可以及时地发现系统灾难 以便及时对系统实施补救措施 失效检测 失效检测系统通常的评价标准完整性指每一个失效的进程或节点都会被检测系统检测出来有效性分为及时性和准确性两个方面模型推PUSH模型拉PULL模型 基于Push模型的失效检测方法 失效检测方法基于Push模型的失效检测方法 Iamalive 基于Pull模型的失效检测方法 基于Pull模型的失效检测方法 Iamalive Areyoualive 检测方法比较 Push方式对于检测进程来说是 被动 的检测失效 Pull 方式对于检测进程来说是 主动 的检测失效使用Push方式完成一次检测仅需要一个消息报文 而使用Pull方式需要两个消息报文 63 系统切换1 自动侦测 运行中自动地通过专用的冗余侦测线路和软件判断系统运行情况 检测冗余系统各冗余单元是否存在故障 2 自动切换 当确认某一主机出错时 正常主机除了保证自身原来的任务继续运行外 还接管预先设定的后备作业程序 进行后续程序及服务 3 自动恢复 故障主机被替换后 进行故障隔离 离线故障修复 修复后通过冗余通信线与正常主机连线 继而将原来的工作程序和磁盘上的数据自动切换回修复完成的主机上 服务切换与回切 服务切换服务切换是指在生产中心发生计算机系统严重故障或灾难时 为了尽量减少对业务造成的损失 而制定的故障定位与隔离措施 异地接管步骤和方法 切换原则 切换原则故障影响程度优先选择本地恢复原则优先恢复关键性业务原则 切换必要性确认 切换必要性确认应分别对生产中心的机房环境 计算机网络 系统硬件 操作系统 数据库和业务应用系统等方面的损害程度和可恢复程度进行评估恢复时间目标 RTO 当生产中心不可恢复或恢复时间超过了业务系统停机所能承受的范围 就应该采取切换措施 切换可行性确认 切换可行性确认在进行切换必要性确认的同时 就必须进行可行性确认 切换可行性确认的工作主要包括 在容灾中心标识相应系统的数据处理平台 通信网络平台 用户接入平台 确认数据平台保护的恢复点目标RPO指标是否满足容灾抗毁系统设计的要求 切换方式 切换方式手动方式自动方式 服务回切 回切原则业务影响最小原则及时性原则数据一致性原则服务回切可行性确认应分别对生产中心的机房环境 计算机网络 系统硬件 操作系统 数据库和业务应用系统等方面的恢复程度进行评估 当生产中心已经完全具备生产条件 就要制定回切计划并启动回切过程 70 双机热备份传统的高可靠性系统采用双机热备份方案 两台服务器都处于热机状态 如果一台服务器坏了 另一台服务器可以将所有的业务接管过来 两种工作方式 Online方式 两台服务器都在工作 分别担负不同的任务 均衡负载 成本大 管理难 Standby方式 备份机不工作 只是监测作业机的工作状况 缺点 服务器之间切换时间较长 71 三机表决系统三台主机同时运行 由表决器 Voter 根据三台机器的运行结果进行表决 有两个以上的机器运行结果相同 则认定该结果为正确 通常可靠性比双机系统要高 缺点 成本高 当一台机器出现故障后表决已失去意义 其可靠性甚至比不上一个双机系统 因此当三机中坏掉一台后就当作双机备份系统来用 不再进行表决 集群技术 出发点为了提供更高的可用性 可管理性 可伸缩性的计算机系统分类科学计算负载均衡高可用性 集群技术的优点 集群技术的优点 高扩展性高性能高可用性高吞吐率