数据备份与灾难恢复.ppt

,数据备份与灾难恢复技术,课程内容,第一部分 数据存储技术概述 第二部分 数据备份技术 第三部分 数据容灾技术,第一部分 数据存储技术概述,系统和数据保护概述 数据存储技术的概况,1.系统和数据保护概述,各种灾难导致系统崩溃 软件故障、黑客、人为破坏 火灾、水灾 地震、战争 区域电力中断 后果: 重要信息丢失 业务运作中断 导致经济损失 导致客户流失 更严重:企业倒闭,为什么要进行数据备份和容灾？,1.2 多种系统和数据保护技术,1.2.1 系统保护 冗余部件 集群（ Cluster ）技术 系统灾难恢复 1.2.2 数据保护 RAID Multipathing Point-in-Time 数据拷贝（磁盘备份） 磁带备份 (LAN, LAN Free, ServerFree) 异地数据复制（容灾）,Cluster,磁盘管理,备份,容灾,1.2.1 系统保护,冗余部件 集群（ Cluster ）技术 系统灾难恢复,1.2.1 系统保护 集群(Cluster),Network,Heartbeat Links,Multi-Ported Shared Disk,Cluster硬件的组成,相同操作系统的两台或以上服务器 共享磁盘 心跳,Network,Heartbeat Links,Multi-Ported Shared Disk,资源监控和管理 磁盘 应用 网络 心跳协议 日志,Cluster软件的组成,系统级Cluster 应用级Cluster,1.2.1 系统保护 集群(Cluster),常见的集群(Cluster)软件,Sun SunCluster HP MC/Service Guard， MC/Service Guard OPS Edition，Extension for RAC TruCluster IBM HACMP HACMP/ES CRM，PSSP Microsoft MSCS VERITAS VERITAS Cluster Server DataBase Editon / Advanced Cluster 其它(Rose,Legato Cluster Server,etc.),1.2.1 系统保护 集群(Cluster),硬件复制,软件复制,软件复制,软件复制,0 - .KM,LAN Clustering,MAN Clustering (aka Stretch or Campus Clustering),WAN Clustering,*Planned,Cluster与应用级容灾,硬件复制,1.2.1 系统保护 集群(Cluster),1.2.2 数据保护,RAID与逻辑卷管理 动态多路径(MultiPathing) Point-in-Time 数据拷贝 磁带备份 (LAN, LAN Free, ServerFree) 异地数据复制（容灾）,磁盘阵列,RAID5,RAID1,物理磁盘,LUN,服务器,LUN,DG1,DG1,DG1,服务器,/fs1 /fs2,裸设备1,/fs1, /fs2, /fs3 裸设备1,裸2,1.2.2 数据保护 RAID与逻辑卷管理,逻辑卷管理,灵活的空间管理 动态多路径 在线改变空间大小 在线转移数据 在线改变RAID结构 控制器和阵列之间镜像,LUN,DG1,DG1,DG1,服务器,/fs1 /fs2,裸设备1,/fs1, /fs2, /fs3 裸设备1,裸2,1.2.2 数据保护,RAID与逻辑卷管理 动态多路径(MultiPathing) Point-in-Time 数据拷贝 磁带备份 (LAN, LAN Free, ServerFree) 异地数据复制（容灾）,1.2.2 数据保护 动态多路径MultiPathing,磁盘阵列,RAID5,RAID1,物理磁盘,LUN,服务器,/dev/rdsk/c5t1d5 /dev/rdsk/c6t1d5,Ora_disk01,/dev/hdisk10 /dev/hdisk20,/dev/vpath5,动态多路径MultiPathing软件,VERITAS VxVM DMP功能 EMC PowerPath HDS DLM HP AutoPath IBM SDD,1.2.2 数据保护 动态多路径MultiPathing,1.2.2 数据保护,RAID与逻辑卷管理 动态多路径(MultiPathing) Point-in-Time 数据拷贝 磁带备份 (LAN, LAN Free, ServerFree) 异地数据复制（容灾）,快照技术Snapshot 实现方式 克隆型，Split-Mirror 指针型，Copy-on-write,1.2.2 数据保护 (Point-in-Time) 数据拷贝,常用技术 EMC，TimeFinder HDS，ShadowImage HP，Surestore Business Copy XP IBM，FlashCopy VERITAS，Snapshot/FlashSnap,1.2.2 数据保护 (Point-in-Time) 数据拷贝,1.3影响系统和数据保护的因素,1.3.1 各种技术并非完全孤立的 各种系统数据保护技术不是孤立的，是根据具体需求而定的。 1.3.2 应对什么样的灾难 系统故障通过集群系统和相应的冗余配置，一般多能解决。 软件故障和人为破坏，往往直接破坏数据系统的数据，单一的容灾系统是没有办法解决这个问题的，因为，本地系统的任何数据改动，包括破坏，都将实时的被复制到异地容灾系统。这种形式的数据丢失，一般只能通过备份系统来保护。 火灾、区域性电力系统故障、地震、水灾、战争等形式的灾难，需要容灾手段解决。,第一部分 数据存储技术概述,系统和数据保护概述 数据存储技术的概况,2.数据存储技术的概况,主流的数据存储结构 直连存储DAS (Direct Attached Storage) 网络连接存储 NAS (Network Attached Storage) 存储区域网 SAN (Storage Area Network) 数据存储结构的发展趋势,直连存储DAS (Direct Attached Storage),主机与存储磁盘点对点连接 操作终端直接连接主机 存储系统的扩展也是十分昂贵的 存储效率低,最早的存储系统，大约80年代,直连存储DAS (Direct Attached Storage),数据节点A,数据节点B,数据节点C,Local Area Network,90年代初期,SCSI技术的出现使得服务器可以实现对磁盘一定的共享(双机共享) Server为分布式的访问节点,节点内部直接访问磁盘。 各节点间和客户机均通过LAN访问不同节点的数据，由于LAN的性能限制，数据访问效率不是很高。 实现双机HA 存储的扩展和平滑扩容受到限制 分布式的存储管理,网络连接存储 NAS (Network Attached Storage),Cisco Switches,Linux,Solaris,Web Servers,Win 2000,NT 4.0,Win 95/98,Exchange SQL Oracle,NetApp Filer,Direct to Users,FS,NAS主机直接连接到IP网络中 实现异构平台下文件级共享 存储系统的扩展十分方便 存储性能受网络带宽影响较大,Cisco Switches,Linux,Solaris,Web Servers,Win 2000,NT 4.0,Win 95/98,Exchange SQL Oracle,FS,FS,FS,FS,FS,FS,FC交换机,FC交换机,存储区域网FC SAN (Storage Area Network),基于Fiber Channel协议,存储区域网 SAN (Storage Area Network),光纤卡（HBA),GBIC光电转换模块,光纤交换机,SAN的主要组成部件,光纤磁带库,光纤磁盘阵列,光纤线缆,存储模型的比较,Application Server,Ethernet Switches,NAS,File System RAID,File System RAID,IP SAN - iSCSI,Cisco Switches,Linux,Solaris,Database Appliacation Servers,Win 2000,NT 4.0,Win 95/98,Cisco Standard Switch,NetApp Unified Storage,iSCSI,Other SAN,iSCSI,iSCSI,iSCSI,iSCSI,iSCSI,iSCSI,Cisco iSCSI Router,Database Appliacation Servers,用户面临的问题和解决方案,未来的系统构架,今天存在的系统构架,所有的应用将整合在同一存储内,每一应用拥有独立的存储,Calendaring,E-Mail,Files,Voice Mail,Meetings,NAS & SAN,Cisco Switches,Linux,Solaris,Win 2000,NT 4.0,Win 95/98,Cisco Subnet,NetApp Unified Storage,FS,FS,FS,Other SAN,Database Appliacation Servers,Database Appliacation Servers,统一存储（存储虚拟化）,SAN (Block数据块),NAS (File文件),企业千兆 以太私网,Fibre Channel 光通道网络,iSCSI,企业级 SAN,企业级 NAS,部门级 NAS,企业公网,NetApp FAS,部门级 SAN,统一存储（存储虚拟化）,存储虚拟化：利用专业的存储管理软件把异构存储设备整合成为一个虚拟的存储池，根据需要分配存储资源。 如：美国DataCore SANsymphony存储管理软件,第二部分 数据备份技术,数据备份系统的构成 数据备份系统的体系结构 如何选择数据备份系统,1.数据备份系统的构成,备份硬件介质 磁带库 光盘库 磁盘阵列(虚拟带库) 备份软件 VERITAS NetBackup Legato NetWorker IBM TSM CA BrightStor Bakbone,磁带库,磁盘阵列,第二部分 数据备份技术,数据备份系统的构成 数据备份系统的体系结构 如何选择数据备份系统,2. 备份系统的四种体系结构,1.1 本机备份 1.2 网络备份 1.3 LAN-Free备份 1.4 Server-Free备份 1.5 NDMP 备份,磁带机或磁带库,本机备份/恢复,优点：备份速度快 缺点：不适合多主机环境,直连存储阵列,TCP/IP Network,磁带库,网络备份/恢复,备份服务器,优点： 集中备份，充分利用磁带库资源 缺点： 占用网络资源 要求： 支持异构系统 可控制备份网络带宽,TCP/IP Network,FC-to-SCSI Bridge,光纤交换机,磁带库,Lan-free 备份/恢复,主备份服务器,介质服务器,优点： 备份速度快 要求： 共享磁带库资源 支持异构,光纤磁盘阵列,Server-free 备份/恢复,LAN,SAN,Master Server SAN Media Server,SAN Media Server,SAN Media Server,数据流,NAS设备的备份,专用NAS及开放NAS,备份服务器,第二部分 数据备份技术,数据备份系统的构成 数据备份系统的体系结构 如何选择数据备份系统,3.1 备份结构及备份服务器的选择,备份需求 数据量 备份窗口 影响因素 网络 磁带驱动器速度 磁盘读写速度 备份服务器 I/O,3.2 数据备份系统选择的要点,备份结构的选择 自动化备份 集中管理 数据库在线保护手段 系统保护手段 磁带保护手段 扩展性及备份窗口缩短,3.3 备份策略制定,什么时间 频率、具体日期 什么服务器类型及平台 什么数据类型 文件、数据库 备份方式 全备份、增量备份 通过哪台备份服务器 LAN备份、LAN-Free备份 备份到哪组磁带 保留多长时间 过期时间,3.4 集中管理,策略管理 设备管理 任务监控 报表分析,3.5 数据库备份技术,物理备份 数据文件 日志文件 逻辑备份 表数据备份,Oracle RMAN Sybase Backup Server Informix On-Bar SQL Server Exchange Lotus Notes,数 据 库 备 份 接 口,备 份 软 件 接 口,全自动系统恢复 安全简单的步骤 快速简便 无需重装 OS 自动重建硬件配置 支持多平台 Windows Solaris AIX HP-UX,Repair Hardware,Collect all necessary media together,Reload OS from CD-ROM or floppies,REBOOT,Reload Backup Software from CD-ROM,Load recovery tape and restore system,REBOOT,REBOOT,传恢复方法,Repair Hardware,Click “Prepare to Restore”,BMR,REBOOT,REBOOT,3.6 系统灾备 - Bare Metal Restore裸机恢复,3.7 有效数据容灾保护 - Vault,第三部分 容灾技术,容灾系统的概述 容灾系统的实现方式,1.为什么建立容灾系统？,我们的业务越来越依赖于计算机信息系统 1993年，纽约世贸中心姊妹楼大爆炸事件 50% 公司的业务在2年里无法经营 43% 倒闭 在 9.11 遭受了灾难的企业中 50% 以上的公司倒闭 只有6% 幸免于难 系统容灾，已经刻不容缓！,灾难恢复概念,Recovery Point Objective (RPO) 恢复点 数据必须恢复到某一个时间点,保证应用继续运行,恢复点,恢复时间,灾难恢复概念,Recovery Time Objective (RTO) 恢复时间 完全恢复应用数据所需的最长的时间,恢复时间包括: 错误检测 恢复数据 应用上线,恢复点,恢复时间,第三部分 容灾技术,容灾系统的概述 数据容灾的实现方式,2.数据容灾的实现方式,容灾技术包含两个部分： 数据复制技术 应用系统接管技术。 容灾系统建设的核心技术和难点主要在如何保证容灾中心和生产中心保证数据零丢失，保证数据状态的同步、保证业务功能恢复时间在可控制的范围内，其中关键的技术在于数据复制技术。,2.数据容灾的实现方式,根据数据复制技术不同，容灾方式主要可以分为： 磁带级、 数据库级、 应用级、 逻辑卷级、 磁盘级 专业容灾软件等。,2.1 数据容灾的实现方式 磁带级,磁带级容灾是： 在本地磁带介质的定点拷贝备份的基础上，利用备份软件的自动复制功能，复制出一套备份Clone磁带，然后定期通过直接复制或通过人工运送到异地保管。这种容灾实现方式是目前花费最低，而且实施最为简便的方案，但涉及大量的人工劳动，并且数据的实时性较差。如果出现灾难，在线系统恢复时间较长，不能满足日益增长的客户需求。恢复时间一般在一周左右，不适于大数据量的恢复与备份。,2.1 数据容灾的实现方式 磁带级,2.2 数据容灾的实现方式 数据库级,数据库复制技术是： 使用Oracle数据库或其他专业软件，通过分析数据库实时事务处理日志，按照事务处理提交顺序在容灾中心数据库中进行异步提交（或追加），达到主备中心两边数据库数据复制。这种方式只复制数据库数据，应用复杂度较低，但是灾难发生时可能损失数据（损失至少一个LOG）。,2.2 数据容灾的实现方式 数据库级,2.3 数据容灾的实现方式 应用级,基于三层结构的中间件软件，将日常业务交易分别在主备中心两边数据库中进行提交，数据同步实时性以及业务数据逻辑一致性很好，但是对中间件上已有应用需要做大量修改，同时对现有主中心系统运行性能影响较大。,2.4 数据容灾的实现方式 主机逻辑卷级,这种方式工作在主机的卷管理器这一层，通过磁盘卷的镜像或复制，实现数据的容灾。这种方式也不需要在两边采用同样的存储设备，具有很大的灵活性，但复制功能会占用较多主机的CPU资源，对主机的性能有一定的影响，从而直接影响在线系统实际运行效率。,2.4 数据容灾的实现方式 主机逻辑卷级,2.5 数据容灾的实现方式 磁盘阵列级,这种方式通过高端存储设备的控制器的远程复制功能，将两台这样的设备布署在异地，然后通过高速的线路将二者连接起来，由控制器自动的将数据复制到远端。这种方案的数据实时性较好，但花费较高，它要求两边的存储设备必须是同构，并且对线路带宽的要求通常也较高。但是由于这种实现方式使用存储设备用于数据同步或异步复制，所以对于服务器设备影响较小，所以在大数据量时通常采用此方式用于实施。,2.5 数据容灾的实现方式 磁盘阵列级,Primary,Secondary,2.6 数据容灾的实现方式 专