数据保护技术(讲稿).ppt

数据保护,,目标,数据保护基础知识 数据保护的实现技术 数据保护应用实例灾备,1 2 3,,数据的重要性 业务连续性,数据与业务连续性的关系 数据保护的核心问题 数据保护的实现方法,如何选择最佳的数据保护方案,数据保护基础知识,数据的重要性,业务系统对信息技术的依赖性越来越强, 无论是政府部门、企业还是个人 信息系统停机往往导致业务中断 信息数据已成为企业的生命源泉 信 息 系 统 的 复 杂 性 带 来 大 量 问 题 暴露越来越多的安全漏洞 产生越来越多的信息数据 形成越来越多的故障隐患 ,, IDC 统计：美国在2000年以前的十年间发生过灾难 的公司中，有55 当时倒闭，剩下的45中，因 为数据丢失，有29也在两年之内倒闭，生存下 来的仅占16 ；, Gartner Group ：在经历大型灾难而导致系统停 运的公司中有2/5 再也没有恢复运营，剩下的公司 中也有1/3在两年内破产；, 美国明尼苏达大学研究报告：如果在发生数据丢失 灾难后的两个星期内，无法恢复公司的业务系统，,75%的公司业务将会完全停顿，43% 的公司将再也,无法开业 ；, ,数据的重要性,业,业,业,业,业,券,卡,播,物,票,证,用,点,购,订,信,子,空,电,航,包,裹,运,输,业,业务连续性的重要性 不同行业每小时停机损失 单位：万美元,650,260,15,50,8.9,2.8,700 600 500 400 300 200 100 0,数据来源：Strategic Research Corporation ,,业务连续性BC （Business Continuity ） 在所有停机中断中，87%为计划停机，只有13%信息不可 用是由真正的故障造成的。 - FIND/SVP Survey,备份/恢复 测试,数据中心移动/整合 灾难测试,扩展/增长 分布数据,工作负荷分担 工作负荷平衡 报告生成 批处理 硬件故障 软件故障 程序错误 人为错误,升级 修订 维护 数据提取/上载 电源故障 空调故障 通信故障 设备丢失,用户和操作员培训 火灾、洪灾、 暴风雨、地震 病毒、恶意行为 威胁、恐怖活动,计划内 停机 计划外 停机,应用正常运行,确认灾难发生,灾 难,P2 P3 生产中心,P2 P3 灾备中心,远程数据备份,数据备份,数据丢失,RPO 灾难发生,数据与业务连续性的关系 数据丢失,数据受损 发 无法恢复交易 生,1.数据恢复正常是一切灾难恢复和业务连续性的关键； 2.在绝大多数情况下，业务中断的损失要远小于数据丢失的损失； 3.数据破坏丢失与数据不可用的关系 ,,数据保护的核心问题,4.数据传输安全 3.数据传输带宽 2.抽取生产数据 1.数据一致性和完整性,6.数据副本存储介质 5.数据恢复,数据保护的核心是： 建立两份或多份数据副 本。,六 个 关 键 步 骤 和 问 题,成本,,分钟,小时,天,数据保护的实现方法 镜像 复制 备份 拷贝,恢复时间,IV5600,主机层 网络层,数据保护技术实现的层次 备份、拷贝 主机层,数据库/OS软件 网络层：复制、镜像、快照,IV5600 存储层 存储层:复制、镜像、快照 ,,RTO：（Recovery Time Object，恢复时间目标 ）是指信息系统从灾难 状态恢复到可运行状态所需的时间，用来 衡量容灾系统的业务恢复能力；,RPO（Recovery Point Time，恢复点目标）是指业务系统所允许的在灾难 过程中的最大数据丢失量 ，用来衡量容灾系统的数据冗余备份能力；,衡量数据保护的重要标准,,数据保护实现方法对比,成本,最佳数据保护方案,$ RTO ,因此，最佳的数据保护方案应该是：,根据BC要求不同；,以可接受成本为前提；,以合理技术方案为手段；,以RTO、RPO为考核指标；,最佳方案,业务连续性,总成本,备份,复制,$ 镜像 分钟级,$,$,小时级 拷贝,天级,,数据保护基础部分总结,1.数据保护技术既是 提高数据可用性 的重要技术，同样是保证业务连 续性 的基础技术；,2.数据破坏丢失与数据不可用的关系；,3.数据保护的核心是 建立和使用数据副本的技术。,4.数据保护的实现方法包括 拷贝、备份、复制、镜像、快照 等。 5.最佳的数据保护方案并不是最完美的解决方案，而是在总体拥有成 本和业务连续性之间取得平衡 。,,学习目标,数据保护基础知识 数据保护的技术实现 数据保护应用实例容灾,1 2 3,,拷贝/FTP,备份技术介绍 复制技术介绍 镜像技术介绍,CDP持续数据保护介绍,数据保护技术实现层次对比,数据保护技术介绍,,拷贝/FTP, 每次都需要拷贝整个文件或文件夹并覆盖上次拷 贝内容；, 无策略，手工进行。,数据保护技术- 拷贝,小结：数据保护技术- 拷贝,效果评估 RTO/RPO 总体成本 适用业务 ,1. 只支持文件格式，无法拷贝正在使用的文件； 2. 不能判断数据变化增量，每次需要拷贝所有数据； 3. 数据量大时，数据拷贝和恢复占用大量应用服务器资源； 1. RTO ，无法预计； 2. RPO ，损失所有自上一次拷贝后的所有改变数据； 1. 软硬件投入成本较低； 2. 人力和维护成本较高； 1.无连续性要求； 2.简单小数据量备份，个人不定期的文件保护；,SAN,,数据保护技术备份 LAN,应用服务器,备份服务器,磁带库,存储系统,Master Server,应用服务器,传统的备份是指利用备份软件把数据 从磁盘备份到磁带进行离线保存；,1. 与拷贝相比，备份方式支持每次针对 增量数据进行保护、可以制定策略自动 完成，并且可以对正在使用的数据（如 注册表）进行保护；,2.备份数据是磁带格式 ，不能被应用系 统直接访问；在源数据被破坏或丢失时 ，备份数据必须由备份软件恢复成可用 数据，才可让数据处理系统访问；,3.备份过程中，应用系统的性能、带宽 等都会受影响，有可能需要应用停机或 者在业务量较小的时候进行。与业务连 续性矛盾突出！,,备份系统的组成,备份软件： 具体备份策略的制定、备份介质的管理及一 些扩展功能的实现，都由其最终完成。如 Netbackup、NetWorker、Brightstor等。,磁带库： 磁带库由库体、机械手、磁带机、磁带槽位 和磁带等组成，是一个完全自行控制并按照 备份软件的策略自动进行工作的体系。,备份服务器： 安装备份软件的服务器端，在应用服务器端安 装备份软件的客户端，按照预先制定的备份策 略将数据备份到磁带/磁盘上，为了降低成本 通常选用Windows PC机作为备份服务器；,主流备份软件厂商 Symantec（Veritas）主要的是 高端的NetBackup 和低端的Backup Exec。 备份软件市场占据了40%左 右的份额。 EMC(Legato)公司的备份软件产品以NetWorker系 列为主。 CA公司的ARC Serve2000定位在低端市场， BrightStor定位中高端市场。,BakBone的NetVault软件。 IBM Tivoli Storage Manager产品是高端备份产 品，但更多的适用于IBM主机为主的系统平台 ,BakBone,备份技术基本概念,备份窗口：,备份窗口，（Backup Window）是一个时间概,念，即一个工作周期内留给备份系统进行备份的时,间长度。BC要求越高，备份窗口就会越小。,备份窗口与BC的关系： 业务连续性越高(比如7x24小时的应用)， 备份窗口与业务连续性的矛盾就越突出。 ,,备份技术基本概念- 备份策略,全备份：是对数据的完全备份。,增量备份： 是对上次全备份或者增量备份后被修改了的文 件做备份； 优点是备份数据量小，需要的时间短； 缺点是恢复的时候需要多份备份数据，出问题 的风险较大。,差量备份： 是备份自上次全备份后被修改过的文件； 优点是恢复速度相对较快，因为只需要两份磁 带最后一次完全备份和最后一次差量备份； 缺点是每次备份需要的时间较长。,周一,周二 周三 周四,周五,周六,周一,周三,周四,周五,周六,全备份 星期天,全备份 星期天,备份模式LAN 备份 LAN,磁带库 ,备份服务器 存储系统,BUSY！ 应用服务器,应用服务器,指令流,备份服务器,应用服务器,介质服务器 Storage network,应用服务器,备份模式LAN Free 备份 LAN,生产卷,Storage network 指令流,备份服务器 介质服务器,应用服务器,应用服务器,备份模式Server Free 备份 LAN,数据流,快照卷,生产卷 ,备份服务器 指令流,应用服务器 Storage network,备份模式Server Less 备份 LAN,数据流 ,应用服务器 生产卷,小结：数据保护技术- 备份 1.支持增量的数据保护，但增量颗粒度大；,效果评估 RTO/RPO 总体成本 适用业务 ,2. 定期需要全备份，不适合远距离传输； 3. 数据的提取严重占用应用服务器资源； 4. 对系统平台兼容性要求很高，服务器增加，软件成本线性增长； 1. RTO，数小时至一天，前提是所有备份介质完好； 2. RPO，损失自上一次备份后的数据，一般为一天； 软硬件投入成本相对较高。LAN Free模式、数据丢失带来的损 失、备份软件和磁带库的运维，磁带库较高的环境要求等； 1. BC连续性要求为数小时至一天； 2. 对备份窗口和应用性能的影响不敏感； 3. 归档业务。,复制数,,什么是复制,复制的定义：是指利用复制软件 /硬件把数据从一个存储区域传输到另一个,存储区域（通常是逻辑卷），生成一个数据副本。,复制的价值：, ,主卷和复制卷被主机/存储控制识别为一个生产卷和一个备用卷，两者之间业务 可以通过卷提升操作进行切换，提高可靠性； 主卷在向复制卷复制数据的过程中，可以设置灵活的复制策略，提高复制的效,率和兼容性。,文件B,文件A,文件B,文件A,读I/O请求,请求1,请求2,复制软/硬件,等待请求1结束,生产卷,复制卷,据流,对复制数据的读取,,1,2,缓冲区 3,生产卷,副本卷,5,6,定制复 制策略,4,8,缓冲区,生产卷,副本卷,9,7,主机路 径切换,副本卷提升 为生产卷,本地复制 生产卷系统故障后,,生产中心,灾备中心,数据写入 生产卷,LAN/WAN 数据复制到 灾备中心,远程复制 应用主机 1,记录发生 变化的数据块 4,2,3,5,6,7,数据写入 副本卷,生产中心,灾备中心,Word 文件在 3:50pm保存 ,生产中心在 3:56pm发生故障,复制策略1 策略性复制 策略性复制即阈值触发包括时间阈值和变化量阈值两种； 时间阈值触发：生产中心的数据每隔一定的时间间隔复制一次（下图中为隔1 小时复制一次），假如一个新的文件在 3:50pm 第一次保存，而随后3:56pm 生产中心发生故障，那么这个文件将不会复制到灾备中心，因此不能被恢复 ； 变化量阈值触发：同上一次复制相比，只有生产中心的数据变化量达到设定的阈值（例如1MB ），才会将发生变化的数据 复制到灾备中心去。 1pm 2pm 3pm,4pm,灾备中心,应用主机,写入到不间断复制资源的数据持续复制到灾备中心 WAN 新增数据块 不间断复 制资源 生产中心,在缓存中数据被顺序写入而不需要经过确认。 一旦CDR缓存中的数据被成功地复制到灾备中心，它将把缓存中原有的数据清空。 初始同步时将整个资源的数据进行复制，之后仅进行增量复制。,复制策略2 自适应复制 生产中心产生不间断复制缓存（CDR）； 数据同时写入磁盘和CDR缓存中；,FC磁盘阵列,,基于复制技术的灾难恢复解决方案实例,数据库服务 器,应 用 服 务器,中间件服务 器,双IP,SAN 交换机,本地站点,桌面PC,IV5600,备用服务器,备 用 服 务器,单IP,SAN 交换机,桌面PC,IV5600,远程站点,TCP/IP,IV5600 生产 卷,复制 卷,2,7,切换到本 地数据访,问链路,4,本地数据 访问链路 切换到远,端,本地故障,3,复制卷 提升为 可用卷 并分配 给备用 服务器,1 8 5,复制数 据到远 端 复制数 据到远 端 恢复数 据到本 地,反向同步完成 6 后，将远端复 制卷停顿，之 后把本地卷提 升为生产卷并 分配给本地服 务器,,复制方式数据保护分析,同备份方式相比，复制技术消除了备份窗口，实现了应用系统在不需要停机 的前提下对应用数据进行保护；,基于网络层的复制技术对数据的增量判断精确至硬盘Block级，只需要较小 的网络带宽即可将数据传输至远程，实现异地保护；,与备份方式不同，利用复制技术保护的数据在格式上与原文件一摸一样，不 需要进行格式转换的工作，就可以被应用系统访问，大大缩短了业务恢复的 时间；,一般来说，采用复制方式保护的数据在恢复业务时，需要手工将复制卷 提升为生产卷才能被应用系统正常调用，整个过程一般需要十几分钟， 在极少数情况下，业务连续性要求实现故障自动切换时，就需要采取其 他技术手段来满足。,小结：数据保护技术- 复制 1.网络层和存储层复制支持块级增量，对带宽要求较低；结合数据,效果评估 RTO/RPO 总体成本 适用业务 ,库插件可以保证数据一致性；数据提取不会影响应用服务器性能； 2.服务器层的复制对性能影响明显，数据库复制软件可以保证数据 一致性，但其应用有局限性。 1.复制方式数据保护RTO、RPO较好，可达到分钟级至小时级； 2. 备份中心在恢复业务时，需要手工将复制卷提升为生产卷。 1. 相对较高，服务器层复制成本随着数量增加而增长； 2. 网络层复制结合虚拟化，长期成本较低，未来扩展灵活自主。 1. 适合BC要求较高，服务器或存储异构明显的场合； 2. 链路条件不高或长距离灾难备份。,,什么是镜像,1. 2.,镜像的定义：通过同样的I/O读写操作，在独立的2个存储区域（通常是逻辑 卷）中保存相同的数据，并且可以同时进行I/O读写操作； 镜像的价值：, ,对镜像数据的读取,两个镜像卷被主机/存储控制器识别为同一个生产卷，之间业务可以直 接切换，提高可靠性； 对镜像卷同时读操作可以提升性能。 文件B 文件A,文件B,文件A,镜像器,读I/O请求,请求1 请求2,镜像卷1,镜像卷2,IV5600,IV5600,主机层,网络层,存储层,镜像技术实现的层次 卷管理软件镜像 主机层,主机 RAID卡镜像,网络层镜像,逻辑卷镜像,硬盘镜像 ,,硬盘镜像（RAID1 ）,硬盘镜像最简单的形式是:,一个主机控制器带二个互为镜 像的硬盘。,数据同时写入二个硬盘，二个 硬盘上的数据完全相同，因此 一个硬盘故障时，另一个硬盘 可提供数据。,硬盘镜像简图,,存储逻辑卷镜像,卷的三个层次：,物理磁盘 虚拟磁盘 逻辑卷,要建立卷，首先要根据 不同的RAID策略，采 用一块或者多块物理磁 盘组成虚拟盘，然后在 虚拟磁盘之上划出需要 的空间建立卷。,,主机卷管理软件镜像,卷管理软件：,作为服务器的软件组件， 它是在文件系统和主机总 线适配器驱动程序之间构 架的单独一层。,其主要目的是把服务器挂 载的物理磁盘驱动器虚拟 化，以更方便的形式提供 给文件系统使用。,卷管理器中实现的镜像I/O路径,,主机RAID 卡镜像,主机RAID卡：,一些供应商开发了一种既可 以提供传统主机总线适配器 的格式转换功能，又能实现,多I/O总线接口以及RAID 和数,据镜像算法的主机总线适配 器。,主机控制器中磁盘实现的I/O路径,网络层镜像,网络层镜像：,网络层镜像，通过在存储网络 （SAN ）中实现源I/O 转换为镜像 I/O 来实现镜像； 镜像可以通过存储交换机的端口 镜像功能实现，也可以通过网络 层的存储管理设备的镜像功能来,实现。,网络层实现镜像的I/O路径 ,文件系统 卷管理器 设备驱动程序 系统总线 主机接口卡 SAN网络 存储控制器,I/O请求,镜像1,镜像2,磁盘系统,镜像IO,源IO,镜像的工作模式同步镜像 光纤直连,灾备中心,生产中心 I/O 写入生产中心磁盘阵列 I/O 写入灾备中心磁盘阵列 返回接收确认信号 返回IO成功信号给应用服务器 ,镜像的工作异步镜像 光纤直连,灾备中心,生产中心 I/O 写入生产中心磁盘阵列 返回IO成功信号给应用服务器 I/O 写入灾备中心磁盘阵列 返回接收确认信号 ,,同步镜像与异步镜像的区别,,IV5600,IV5600,同步镜像,双机热备,双阵列,双机热备,双机热备,IP交换机,IP交换机,镜像技术引用范例,双机热备 1,2,2,3,4,5,1,1,写操作,读操作,1,,复制与镜像的区别,,镜像方式数据保护分析,与 复 制 方 式 相 比 ， 在 服 务 器 层 和 存 储 网 络 层 的 同 步 镜 像 技 术 实 现 了 应用系统在硬件故障时的自动切换，业务连续性达到7X24小时； 存 储 层 镜 像 技 术 受 品 牌 和 兼 容 性 限 制 ， 往 往 成 本 很 高 ， 如 果 与 虚 拟 化技术结合则会大大降低用户的总体成本；,镜 像 技 术 对 带 宽 和 时 延 要 求 很 高 ， 因 此 不 适 合 在 远 程 站 点 之 间 采 用，当生产中心和灾备中心之间距离达到百公里级别时，更适合采用 复制技术实现数据保护。,小结：数据保护技术- 镜像 1.对带宽要求较高，不适合远距离传输；,效果评估 RTO/RPO 总体成本 适用业务 ,2.数据的提取不占用应用服务器资源； 3.若采用主机软件镜像方式，对主机性能有一定影响。 RTO、RPO最好，可达到零秒切换和零数据丢失。 1.链路成本较高，不适宜远距离部署； 2.维护成本低，切换过程完全自动化。 1. 适合BC要求较高； 2. 带宽条件很好。,,数据保护技术CDP, CDP，Continuous Data Protection，即持续数据保护。, SNIA数据保护论坛（DMF）的持续数据保护特别兴趣小组 （CDP SIG）对CDP的定义是：“持续数据保护是一套方 法，它可以捕获或跟踪数据的变化，并将其在生产数据之外独 立存放，以确保数据可以恢复到过去的任意时间点。持续数据 保护系统可以基于块、文件或应用实现，可以为恢复对象提供 足够细的恢复粒度，实现几乎无限多的恢复时间点。”,,CDP和传统数据保护技术的主要区别,传统的方式只能创建、管理和恢复单个时间点的数据备份，,CDP可以提供：,更灵活的目标恢复点(Recovery Point Objectives - RPO) 更快的目标恢复时间(Recovery Time Objectives - RTO),,CDP的实现原理,CDP的优势特性 恢复到任意时间点,可以实现对“任意时间点（APIT，Any Point-In-Time）”的数据访问,实时可验证,备份数据可立即使用,无须恢复过程,软灾难保护,非硬件故障导致的数据丢失,使用灵活 由于恢复时间和恢复对象的粒度更细，所以数据恢复更加灵活 ,,CDP数据保护技术分析,CDP是一套方法，其核心是记录数据在任意时间点的变化，从而实现无限多的数,据恢复时间点。,实际环境中，根据BC要求的不同，需要实现针对硬件、软件、误操作、病毒，自 然灾难等不同因素的持续数据保护，因此必须与虚拟化、远程复制、数据快照等技 术配合，才能真正将CDP方案落地。,小结：数据保护技术-CDP,效果评估 RTO/RPO 总体成本 适用业务 ,1.实现快速恢复到过往的任一时间点目标； 2.有效预防病毒、误删除、误操作等软灾难； RTO较好，通过数据回滚可实现快速恢复； RPO目标需要结合虚拟化、复制、镜像技术共同保障； 1.CDP部署和实现比较灵活和简单，附加投入成本较低； 1. 需要快速数据恢复； 2. 需要预防软灾难的发生。,,灾备的基本概念 灾备标准介绍,灾备系统的衡量指标 主要厂商的灾备技术,,灾备就是为了灾难恢复而对数据、数据处理系统、网络系统、基础设施、,专业技术支持能力和运行管理能力进行备份的过程。灾备的级别:,数据灾备 ：建立一个异地的数据系统对本地系统关键应用数据进行复制。当 出现灾难导致应用系统数据损坏时，能够通过异地保存的数据进行灾难恢复 (Disaster Recovery）。,应用灾备 ：异地建立一套完整的、与本地数据系统相当的应用系统（可以同 本地应用系统互为备份，也可与本地应用系统共同工作）。在灾难出现后，远 程应用系统可承担本地应用系统的业务运行。应用容灾的基础是数据容灾，只 有保持本地与异地数据的一致，才有可能进行应用容灾。 业务灾备：还包括非IT系统的办公地点、环境、电话等。,什么是灾备？,为什么要做”灾备“？,业务,连续性,远程设施机制,中断 业务恢复 ,保留数据副本,保障,,灾难分类及应对措施 软件故障,32%,人为错误 14%,自然灾害 7%,病毒影响 3%,硬件故障 44%,硬件故障,软件人为病毒故障,自然灾害,远程灾难恢复,本地备份恢复,建灾备需要考虑那些因素？,A、建第二个数据中心（提供灾难恢复服务）,基础设施完备性、处理能力、安全性、管理维护、选址 项目规划、风险评估、服务、