全面数据备份、恢复和归档策略(EMC).ppt

全面数据备份 恢复和归档策略 演讲人姓名 何志彬演讲人职务 EMC高级系统工程师 EMC 全球前10大的软件公司 EMC软件主要组成部分有 EMC开放存储软件 OSS LegatoDocumentumSMARTSVMwareRSAAvamarIndigoStone以及12家以上的中小型软件公司的收购具有规模 2006年营业额达112亿美金全球员工超过31000人每年研发投入超过10亿美金2006年成立中国研发中心2006年后连续5年投入5亿美金到中国市场2007年 EMC将在中国增加4个办事处 5年内在全国的办公点达到20个 World sTop10SoftwareCompanies 613 Siebel 10 616 Compuware 9 743 BMCSoftware 8 1 413 Symantec Veritas 7 1 711 EMC 6 1 830 CA 5 4 788 SAP 4 7 149 Oracle 3 7 372 IBM 2 19 781 Microsoft 1 1stHalf 05Revenue Company Rank Rankedby1stHalf 05revenue 客户面临的挑战 数据来源 存储杂志 降低总体拥有成本事半功倍 管理数据增长 典型做法添加更多的主存储容量从主服务器上删除文件和信息对邮箱和文件共享强制实施配额依靠备份磁带进行长期保留可能的结果开销大管理非常耗时不一致的保留增加了业务风险 6 许多企业采用被动应付的做法 备份 恢复及归档 BuRA 的新架构 分层存储 分离有用的信息归档提高生产系统的性能通过分级存储改善TCO对活动的生产信息备份到磁盘备份窗口减小或消除较高的可靠性 执行全备份的可能性增加从归档重新取回或从备份恢复恢复的速度更快以前离线的信息现在在归档方式下可访问 归档流程 生产环境 备份和归档的差别 备份 归档 Copy Production BackupEnvironment User BackupEnvironment Production 为了恢复数据 User ArchiveEnvironment 用于数据的读取 EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice Assessment EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice Assessment NetWorker 传统的磁带备份和恢复 高级备份快照和复制管理 磁盘备份NetWorkerDiskBackup选项和虚拟磁带库 VTL 分层保护下的恢复管理 用于备份和恢复的EMCNetWorker软件 将保护级别与恢复时间目标 RTO 和恢复点目标 RPO 对映简化管理进行监控和分析 以快速解决问题和优化系统 解决方案的特性 NetWorker备份和恢复 全面保护关键应用程序 平台和存储可扩展的体系结构256位AES加密和安全认证多语言支持集中式管理图形用户界面可定制报告功能高级分析功能向导引导的配置和软件分发最佳的性能和可扩展性存储节点数据多路传输和高级索引磁带和磁盘备份 转储 克隆高效的介质管理快照管理 应用程序 操作系统 异构支持的优点 Novell IBM Sun HP IBMInformix DB2 LotusSoftware NetWorkerManagementConsole 直观的操作和导航可通过Web进行管理拖放管理单点管理和监控管理多个NetWorker服务器集中式设备安装和管理轻松启动NetWorker恢复应用程序和向导基于角色的访问安全性 使用唯一的用户登录名 密码报告备份统计数据 活动审核和其他有用信息 如非活动文件的详细信息 7 新特性 可定制的中文视图 易于使用 内置的报告功能 Backups Day1 Full Day2 Level1 Day2 Full 单一备份集恢复 将Level1的备份与全备份合并为一个新的全备份 Full Day3 Full Day3 Level1 独特的备份融合 并行流从多个客户端的多个数据流备份到一台备份服务器或一个备份节点 交叉备份多个数据流同时写到多盘磁带 提供最大的数据吞吐量 MultipleSavesetsonSelfDescribingTapesintermixedattheBlockLevel NetWorkerServerorStorageNode Buffer IndividualNetWorkerClientSavesets 64路 32台 业界领先的备份性能 10TB Hr PowerSnap和VSS附加模块利用快照技术进行数据的保护和恢复支持EMCCLARiiON Symmetrix Celerra和第三方解决方案使用时间点快照 镜像进行即时备份和恢复脱离主机进行磁盘 磁带的实时备份基于策略的管理 集成的快照管理 以满足RTO RPO NetWorkerUNIX Linux NetWorkerWindows 磁带管理的优点 开放磁带格式 OTF 数据流多路传输自包含索引跨平台格式UNIX Windows Linux磁带损坏的影响最小 跳过损坏的介质记录本机库共享动态驱动器共享跨平台磁带驱动器共享按需使用设备降低硬件总体拥有成本 磁带并不是总能够应对这些难题 性能有限的吞吐量不能随机存取可靠性RAID对磁带无效用过几次之后磁带就会 过期 管理复杂性恢复起来很复杂成本很高管理成千上万盒磁带的工作量非常大 15 以磁盘为中心的备份和恢复解决方案的优点 性能恢复性能可增加五倍备份性能可增加三倍可用性备份和恢复操作可靠管理效率节省数小时的员工时间提高生产率数据保留可以远程复制磁盘数据 不用依靠运送轻松检索数据 16 性能更佳且可预知的备份和恢复 NetWorkerDiskBackup选项 更快 更可靠的备份和恢复消除装载 启动和停止 倒带以及快进利用并行操作增强备份 恢复备份 恢复克隆和转储 同步进行多流并行恢复基于策略的转储和克隆自动将磁盘数据迁移至磁带 以辅助保护提速50 备份作业一完成就克隆减少对磁带驱动器和磁带盒的磨损 磁盘 文件系统 也面临挑战 共享文件系统不能被多台机器共享安全性文件系统很容易被误操作性能文件系统很难解决磁盘碎片问题功能文件系统无法自动回收这部分磁盘空间磁盘作为备份设备 备份系统无法对其进行扫描无法进行介质复制 15 虚拟磁带库集成 磁盘备份的简单解决方案即插即用 犹如磁带库不需要更改操作过程可靠性和可扩展性具有NetWorker存储节点的EMC磁盘库系列使用嵌入备份应用程序的EMC特定的VTL解决方案加快恢复时间减少网络流量整合的介质管理 对虚拟和物理磁带池实施单点控制磁盘库之间轻松实现远程备份 恢复和克隆 EMCHomeBase裸机恢复 新的EMCNetWorker功能 通过与EMCAvamar的集成消除重复数据对全局重复数据消除提供统一管理通过与EMCRecoverPoint的集成实现连续数据保护 CDP 提供时间点CDP快照以改进数据保护和恢复点 添加了对重复数据消除和连续数据保护的支持 允许用户在现有的NetWorker环境中方便地部署Avamar和RecoverPointCDP 4 EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice Assessment 将数据拆分为原子结构 子文件 可变长度的数据段 一次仅发送和存储一个原子结构 安全的数据保险存储 日常数据缩减率高达300 1 工作机制 在源位置 在通过网络传输数据之前消除重复在目标位置 确保随着时间的推移跨站点 服务器完成协调的消除重复操作粒度 小型 可变长度的数据段可保证最有效地消除重复 全局重复数据消除 只有具有唯一性的数据段得到备份 数据已备份 所以只存储一个具有唯一性的ID指针 字节 识别并备份新的数据段 全局重复数据消除实例 Avamar的工作机制 应用示例 先进的架构 独立节点冗余架构 RAIN 提供服务器节点的冗余和容错在线扩展专利方案Avamar服务器节点 2U 内置存储和CPU采用网格计算架构 方便在线扩展和性能升级支持SAN或者内置存储每日完整性检查对磁盘进行RAID保护 AvamarServer 部署示例 受支持的客户端平台和应用程序 实际的用户测试结果 Source EMC 从开始制止数据雪崩 在数据源进行工作 让您的备份实现更多价值 当前的备份充其量只是一种 数据保险 无法利用通常存储在磁带上的 二进制大对象 数据Avamar让您的备份数据可以提供商业价值聚合起来的备份可以建立索引 编目 并可供搜索文件系统接口 与数据管理工具集成以便执行分类和报告基于策略的保留期管理自动归档到EMCCentera 17 NetWorker目标 通过NetWorker实现重复数据消除 具有集成的Avamar功能的单个NetWorker客户端在单个解决方案中实现文件系统重复数据消除和备份在现有NetWorker环境中方便地部署AvamarDataStore预配置了Avamar软件支持推送客户端 这意味着不需要手动主机部署通过NetWorkerManagementConsole集中管理 备份和恢复任务客户端配置时间安排和策略监控和报告索引和浏览 Avamar单节点 多节点DataStore或VirtualEditionforVMware 存储节点 磁盘 VTL和磁带 NetWorker客户端 NetWorker与Avamar集成 新增 EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice Assessment EMC磁盘库系列 DL210单个DL引擎4个2Gb s光纤通道端口2个千兆以太网端口最多72个驱动器高达24TB 可用容量 高达72TB 压缩后容量 高达1 368TB 小时 DL4106 DL4206 DL44061至2个DL引擎8 16个4Gb s光纤通道端口6 12个千兆以太网端口最多930个驱动器高达674TB 可用容量 高达1 8PB 压缩后容量 高达7 92TB 小时RAID6 DL6100 DL63002至4个DL引擎16 32个4Gb s光纤通道端口12 24个千兆以太网端口最多2 400个驱动器高达615TB 可用容量 高达1 845PB 经压缩 高达10 8TB 小时 改进备份和恢复的最简单方法 可扩展性 服务级别 新增 DL4100 DL4200 DL44001至2个DL引擎8 16个4Gb s光纤通道端口6 12个千兆以太网端口最多930个驱动器高达340TB 可用容量 高达660TB 经压缩 高达7 92TB 小时RAID5 硬件压缩功能 不以性能为代价降低每GB的成本更高的系统密度和容量嵌入式技术 无需管理故障时能够切换到软件压缩自动资源调配根据应用程序类型优化性能的能力 20 14 管理控制台 安装向导简单创建虚拟磁带组管理最多可以组合8个系统自动警报和报告功能 Attentionrequired 注意事项 选项卡磁带模拟最多1 024个磁带库最多4 096个磁带驱动器最多256 000盘盒式磁带命令行界面通过编写脚本自动执行功能EMCBackupAdvisor支持增强的报告 监视功能 20 整合介质管理 备份应用程序功能也在集成的介质服务器上运行加快了恢复速度减少了网络通信量提高了备份服务器性能具有灵活的克隆功能提供管理虚拟磁带池和物理磁带池的单点控制 需要NetWorker7 3版和SymantecVeritasNetBackup5 1版 主服务器是主控制服务器 负责向 存储节点 分发命令 它包含主目录数据库介质服务器是从属于 主服务器 的模块 负责执行 主服务器 发出的命令 EMCNetWorker和SymantecVeritasNetBackup 其他VTL产品需要多个不同的控制点 16 主动引擎故障切换 双引擎共享心跳信号在两个引擎之间自动进行故障切换与应用程序和操作系统的故障切换策略同步EMCConnect在出现故障时呼叫总部自动回切功能 双引擎 备份服务器 EMC磁盘库DL4200 SAN 17 按需分配容量 能够在数据写入而非创建时将磁盘存储容量分配给虚拟磁带磁盘库存储不被空的虚拟磁带所占用虚拟磁带被实际数据增量所占用 5GB 虚拟磁带数据量与使用的存储量相符 提高EMC磁盘库的存储利用率不为空磁带分配空间从而降低成本 写入时使用存储量 18 EMC磁盘库 虚拟磁带数据粉碎功能 基于标准的 安全擦除虚拟磁带数据的方法符合美国国防部 DoD 的5220 22 M标准经过向磁带三次写入各不相同的位组模式可对虚拟磁带进行数据消除要消除的数据分为 秘密 机密 和 高度机密 19 远程复制 通过IP网络将数据复制到远程EMC磁盘库提供快速的本地和远程恢复本地操作恢复远程灾难恢复可满足保险存储要求消除运送磁带的成本和风险支持加密和压缩 高级恢复功能 加快本地和远程恢复 DL4100 远程磁盘库 支持增量复制 应用程序 备份主机 IP DL4100 SAN 20 远程备份 恢复 可以通过IP网络备份到远程EMC磁盘库提供远程恢复功能可满足保险存储要求消除运送磁带的成本和风险需要高性能传输设备光纤通道 IP设备 高级恢复功能 Edge3000 Edge3000 备份服务器 应用程序 备份主机 远程磁盘库 IP SAN SAN 业界最广泛的环境支持 磁带库ADICScalar24和100 i500 i2000系列SonyPetaSiteATLP系列 ATL7100STKL系列 SL500 STK97xx ACSLSIBM3590 3584 3583OverlandNEO2000 NEO4100QuantumM1500 M1800磁带驱动器DLT SuperDLT AIT SAITLTO LTO2 LTO3 IBM3590 IBM3592SunStorageTek9840 9940备份应用程序EMCNetWorker EMCDataManagerSymantecVeritasNetBackup和BackupExecIBMTivoliStorageManagerBRMS OS 400NativeCommVaultGalaxyCAARCserve BrightStorEnterpriseBackup其他供应商 SyncSort BakBone Atempo HP 21 提供超过三百万种受支持的配置 EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice Assessment DiskXtender工作原理 1 管理员根据以下属性制定数据迁移策略 文件名称 文件大小 文件属性 最近访问时间 最近修改时间和磁盘水线 Watermark 等 2 DX扫描一级存储设备 找出符合迁移条件的文件 DiskXtenderSoftware CAS ATA Tape Optical 3 按迁移策略将数据迁移到二级存储设备 NAS SAN DAS 4 被迁移文件对用户是透明的 可以按照应用需求回迁至一级存储 NetworkFTP NFS Tape OpticalDrivesandRobot Disk DataFlow DiskXtenderStorageManagerServer DiskXtenderFileSystemManagerServer Swap memorydiskHSM disktape optical 标准DiskXtenderUNIX Linux配置 提取 始终可供使用 DiskXtender提高了备份和恢复性能 将非活动 最终形式的数据提取到动态存档提高备份 恢复性能增强生产应用程序的性能回收主存储上的容量减小备份环境大小 如磁带 保险存储库 之前完整备份 10TB 活动归档 非活动数据 之后备份4TB 仅活动数据 主存储 10TB 4TB 6TB 生产 辅助存储 活动数据 回收存储 DiskXtender是与EMCCentera配合使用的首要文件归档应用程序DiskXtender与EMCCentera配合 内容真实性遵从管理法规要求仅存储内容的一个拷贝 单实例存储可扩展到数PB的巨大存储容量并容纳数十亿个内容项自我管理实现了最低的总体拥有成本复制型配置不需要备份 EMCCentera DiskXtender与EMCCentera配合 简单 可扩展 安全 EMCCentera产品介绍与功能 EMCCentera的工作机制 应用示例 数据库存储内容寻址以备将来参考 Centera执行内容寻址计算并将地址发送回应用程序 应用程序服务器通过IP网络将对象发送到Centera 创建一个对象并将其发送到应用程序服务器 局域网 CA CA EMCNetWorkerBackupandRecovery CenteraContentAddressedStorage EMCDiskLibraryVirtualTape BackupAdvisorDiagnosticsandRecommendations AssessmentServicesForBackupandRecovery Archiving Backup Recovery EmailXtenderIntelligentEmailArchiving DiskXtenderIntelligentFileArchiving AvamarRemoteOffice BranchOffice 新的EMCBackupAdvisor功能 帮助备份管理员了解 已发生的问题及其原因当前正在发生的问题及其原因将要发生的问题及其原因 10 10 让您全面了解备份环境 不使用BackupAdvisor管理备份操作 Oracle日志 网络工具 磁带诊断 Exchange工具 备份报告 BackupAdvisor基本功能 报表 监测 故障分析 容量预测 性能管理 支持复杂环境 整合多种管理能力为跨平台 多点任务提供简化便利的分析采集多种系统的数据EMCNetWorkerIBMTivoliStorageManager TSM VERITASNetBackupVERITASBacku