江苏移动信息技术中心云备份平台实践

中国移动江苏公司 信息技术中心 云备份平台实践 作者姓名： 张晶、王坚 、王宏图 、孙凯 作者单位： 中国移动通信集团 江苏 有限公 司 单位地址： 南京市虎踞路 59 号 邮政编码： 210029 摘 要 随着运营商用户数的持续增长，业务的飞速发展， 3G 业务的推广，企业数据中心的规模越来越大，数据也越来越重要，需要备份的数据量在持续的增长。与之对应的却是 业务系统要求的越来越苛刻的恢复准确率 。 业务支撑部门面对 分散的数据中心， 持续扩大的系统平台规模， 7*24 小时的服务时间要求，全面 严谨 的业务指标考核标准， 业务数据 “零” 丢失的严谨要求 现状 ，紧张的维护人力资源配置状况，迫切需要 提高现有备份系统 的备份效能，提高 运维管理效率高、降低运维成本。 并根据这些经验及公司未来的 ICT 业务发展战略，也可以将这些成熟服务产品推向市场。 本文通过介绍 中国移动江苏公司 统一备份 平台在 备份 虚拟化 、 备份服务差异化 、 备份系统管理自动化、 系统架构云 备份 模型优化的具体实践， 能够很好的解决 中国移动江苏公司 现网系统运行遇到的种种问题 ，为读者建立了一种全新的 备份 系统架构设计思路。 关键字 ： 备份 虚拟化 ， 云 备份 ， 独立备份 SAN 网络 系统 ， 系统设计 目 录 1、 引言 - 1 2、 系统建设背景 - 1 3、 系统技术实现方案 - 2 3.1 虚拟化 - 3 3.2 SOA 备份服务 - 3 3.3 自动化管理 - 5 4、 架构收益 - 6 5、 结束语 - 7 1 1、 引言 如今的数据中心越来越复杂，不仅系统规模每年翻番，系统的复杂性及面临的风险也与日俱增， 另一面，业务部门对 业务连续运行的要求 却是不断提高的，甚至越来越多的系统要求“零数据丢失”。拿 中国移动江苏公司 的核心业务 支撑系统来看 ，包括 BOSS 系统、经营分析系统、客服系统、企业信息化系统等子系统 ， 总计近 400 台服务器 （ TPCC 值超过 10000 万） ， 近 100 台 高 、 中 、 低端 存储设备 ，超过 1000TB 的重要业务数据 ，分布于南京和无锡的 5 个数据中心 。为了提高数据的安全性，作为数据保护的最后一道防线 -备份的重要性就不言而喻了。但是根据国际知名调研机构对世界五百强大企业的技术主管的回访记录和巡检记录来看，大部分企业用户的平均备份成功率在 75%左右 。事实上， 我们还注意到很多时候的备份成功率小于 50%，恢复率就更低 。一方面我们面临的实际情况是每天需 要备份的数据量在增长， 中国移动江苏公司 业务支撑系统 每年需要备份数据的增长量在 50%75%之间，但备份 系统 的预算的增长却远远小于这个速度 。 传统的备份系统都是和项目一起采购，造成数据中心多个独立的备份系统，备份的效率差和备份资源的浪费很严重， 备份系统架构及其不合理， 管理也极其复杂 。 相同的问题也给 IT 行业的发展带来挑战 。 因此 “虚拟化”、“ 云 备份 ”、“标准化”和“ 备份 资源整合”等成为 目前业界最为热门的技术话题，同样也代表着未来技术 发展的方向 。近几年来，在业界也涌现出几家在这个领域运营不错的云备份服务的厂商 -如 赛门铁克的 Norton Online Backup, EMC 的 Mozy. 作为IT 技术、 IT 系统大量应用的 中国移动江苏公司 该如何解决自己发展中遇到的问题 ，如何整合行业先进经验、新技术、解决方案，如何规划 IT 系统架构科学发展，我们在 上述领域 做出 了一些 自己的实践 。 2、 系统建设背景 中国移动江苏公司 拥有一套完整的企业备份产品， 在架构设计上基于原来的经验进行了创新， 并结合一些 云技术的设计理念，为 业务支撑系统 的数据保驾护航。 2 虚拟化 -以整个数据中心为视角的备份资源部署，而不是基于应用和设备的备份资源管理 ； SOA-建立跨越整个备份资源的统一兼容的面向业务需求的备份服务，而不是绑定特定的应用或设备的备份软硬件设备； 自动化 -以整个数据中心为视角的基于策略的图形化备份资源管理，实现备份 任务 的灵活调度、 实时 监控和报告，而不仅仅是僵化的为备份而备份 图 1：中国 移动 江苏公司 业务支撑 系统 备份云示意 3、 系统技术实现方案 系统的技术设计及实现方案分为以下几个层次： 备份虚拟化技术引入及部署 -建立一个可扩展的基础架构 SOA-建立跨越整个备份资源的统一兼容的面向业务需求的备份服务 自动化管理 -提高云备份基础架构管理 效率降低复杂度 3 3.1 虚拟化 首先， 在 云备份 架构中将 备份 SAN 从生产 SAN 分离出来，这一变革，使得原有的四 个数据中心中，分散在各个应用系统中的备份设备通过备份 SAN虚拟化 地 呈现给整个数据中心，形成了一个集中的备份资源池。同时备份的 SAN 可以根据业务的变化，备份任务的变化灵活的扩展和回收，实现了备份资源的灵活调度和灵活的缩放，对生产 SAN 没有任何影响。 在数据中心备份 SAN 的基础上，建立了跨数据中心的备份 SAN 连接，使得所有数据中心都能物理共享第 五 个数据中心 （浦口高新机房） 的备份设备，这样当任何一个数据中心 的备份设备故障时，云备份架构将自动启用第 五数据中心的备份设备， 保证核心生产系统备份作业，如数据库归档日志备份能够持续进行。这里的关键是第 五 数据中心的备份设备是共享的而不是其中一个数据中心专享的。 对于 IP 网络的资源虚拟化 ，则在云备份架构中建立了一个具有负载均衡功能的介质服务器资源池，接入云备份架构的任何一个网络备份客户端的备份任务可以自动计算并分配到一个负载最低的备份介质服务器。所以对于通过网络备份的应用系统来说，备份系统是即插即用式的，备份客户端软件从备份服务器自动下发，同时客户端不需要关心对应哪个介质服 务器，或具体使用哪里的备份设备。 多层次的备份架构，除了传统的磁带库设备，还采用了新型的磁盘备份技术，如虚拟磁带库技术，数据重复删除技术，这些技术都作为基础架构的形式提供，为接入云备份系统的不同性质数据提供不同类型的存储方式。其中使用的数据重复删除技术 是云备份体系中核心组成部分即备份软件自带的功能，在对客服系统中大量的具有冗余性质的 VMware 虚拟环境的备份有良好的效果。 建立面向地市分公司支撑系统的共享备份架构，对于分公司的备份需求，统一提供备份资源池，提供用户透明的集中备份服务，用户不需要考虑备份系统所 在的地点和具体结构， 同时 通过 重复数据删除技术，减少本地写入的数据量，相应的减少网络数据流量。 3.2 SOA 备份 服务 一个共享的、可伸缩的备份架构是实现 一个满足 SLA 的 备份服务 投送平台的基础 。我们所定义的备份服务基于备份云上的各个关键要素 数据、网络、存储资源，分别细化、组合、封装，最后形成备份服务的 SLA。 对服务的使用者来说，云服务通过封装底层技术屏蔽了复杂的技术组合， 使得一个复杂的备份策略设置操作，变成简单的服务挑选 。 我们首先通过区分应用系统数据重要性等级，分别定义金，银，铜三个服务等级；数据 重要性等级指标有三个，一为是否需要快速恢复，二为是否需要长期保存，三为是否需要异地保存 。之后我们 将应用系统对应到备份平台的 SLA； 从 服务等级的 角度看，铜牌服务仅提供长期保存 （磁带备 4 份） ，银牌服务则在满足长期保存基础上提供了异地保护 (磁带复制等 )，金牌服务除包括长期保存和异地保存外还提供了数据的快速恢复 （综合磁盘备份等多种技术） 。这样在备份平台上每个服务器都被赋予了 SLA 的属性，并将贯彻到其对应数据的整个备份生命周期。 这其中用到了SLP(Storage Lifecycle Policy)技术，不同服务标准的 备份作业会自动寻找 合适 的存储资源，备份数据也可以根据设定的数据生命周期在存储资源间进行流动 。 图 2： 备份服务等级 管理 对备份系统服务水平的评价标准之一是是否满足集团对数据保护的要求，其中关键的一点是能否 为特定数据 提供异地的备份数据冗余，比如 跨机房的 数据 复制 。 由于备份 SAN 架构的形成 ，使得南京各数据中心和无锡数据中心的备份 数据可以互相流动 ，流动的形式是多样的，可以是在线多数据流复制，也可以是离线的 Vault（保险柜）复制 ，相比传统的手工出库和磁带运送方式先进很多 。 共享的 备份数据 验证 服务，大多数企业的集中 备份环境都缺少可行的数据恢复验证环节，但事实上数据的恢复是比备份更复杂的过程，即使系统在初始备份后进行了成功的恢复测试，也不代表在实际生产中需要恢复的时候一定能成功， 实际情况中数据库软件的升级，备份软件的参数调整，失败的备份作业，操作系统参数的调整都有可能造成恢复失败，而恢复失败时现场定位错误原因需要的时间将直接影响业务系统恢复的时间，所以常规例行的数据恢复验证能最大程度保证生产系统的快速恢复。在我们的云备份架构中提供了共享的数据恢复平台， 能够 满足多个核心系统的数据恢复 验证需求。 并专门立项建立了业务支撑系统 数据备份恢复测试环境，覆 5 盖了支撑系统主机的所有相关机型和版本 和存储的主要型号 。 数据安全性 ，不同的业务系统其数据的敏感程度不同，对备份数据安全性的要求也不同，当所有系统的备份都归入云备份架构后如何保证数据的安全性，如何保证敏感信息不泄露？事实上我们可以利用云备份架构中的数据加密模块，启用数据加密的备份数据只能被数据源系统所 恢复 ，数据加密所需要的证书管理和认证都作为平台 服务 提供 ，对于高负载的业务系统的加密备份可以由资源池中的介质服务器承担加密运算，减少对业务系统的性能影响。 3.3 自动化管理 集中的报表平台 ，报表平台作为云备份架构的重要组成部分，可以为遵从验证和业务规划提供高级备份报告。在云备份作为 SOA 存储服务的情况下，我们需要具有跟踪和分析备份服务水平遵从以及将操作作为一项业务来进行管理的能力。 备份管理平台 为我们提供了所需的报告，以验证各关键系统的数据库等数据受到确实的保护，以及 RTO（恢复时间目标）和 RPO （恢复点目标）要求可以得到满足。同时还可以深入了解数据保护基础架构，这样就可以为备份操作进行有效的业务计划。 例如，可以按照业务系统、用户和部门分析增长趋势和资源需求。 同时，可以为备份服务使用部门 或系统提供在线的报表展示，确保服务水平承诺。 报表平台还可以根据各部门或应用系统统计固定时间段内其备份所产生的费用成本，这样的报表数据既可以做为部门成本核算的依据，也可以做为系统扩容的参考。 图 3：集中报表平台 集中的管理平台，我们 通过 基于 Web 的集中管理门户能够 实现 所有监控、警报、报告和故障排除功能，并通过图形化的方式显示。管理员能够实时收集信息，包括恢复的成功率、哪些系统由于备份故障而面临风险、存储 6 使用的趋势、关于特定警报与错误的详细信息。可提供整个基础设施范畴的所有数据保护操作的视图。为了简化日常管 理工作， 还 能够通过统一备份界面，保护和管理数据资源。管理员能够主动诊断故障，识别可能的问题，并采取正确的纠正措施。 4、 架构收益 随着该系统架构投入使 用，我们获得了诸多 收益，很好的解决了目前系统 采购、建设、 运行、维护、使用 、应用支撑方面的诸多问题，具体的内容如下： （ 1） 成本 云架构的采用对备份系统成本的影响是革命性的。备份系统占总体架构的投资比例 显著 下降 了 。原来备份系统占总体投资的 10，云架构使得这个比例下降到 不足 5，节约了 50以上的投资 。 备份资源 的增加来自云备份架构整体需求，资源复用率和整体利用率提高，由 此带来了成本的相对减少。 维护成本的减少来自两个方面，一个方面，低端磁带库主要面向中小型业务系统的独立备份需求，由于 机械 故障率极高，带来的维护成本较高， 云备份使得这方面的维护成本消失。另一方面，由于备份标准不统一、业务平台各自为阵，一个数据中心就有多个备份管理员，云备份把多个备份平台整合成一个，一个专业备份管理员就够了。 （ 2） 构架“ 云”模型来 提高备份服务能力 实现任意业务 数据备份 可以随时运行在任意“云节点”上 , 实现了负载均衡与随需调度 充分利用云架构的扩展能力，实现了比业务增长速度更高的扩展性。核心业务系统的 数据量在增长， 备份 /恢复 窗口却在缩小。 针对业务 系统的架构瓶颈 和备份策略 , 通过交叉备份方式来提升数据备份和恢复的效率和成功率 ， 成功 实现了 IT 部门 承诺的 99.99的 恢复成功率。 备份 系统处理 余 量由原来的 30%下降到 15%甚至更低 （ 3） 利用备份 “ 解耦”提升 备份 系统可靠性 业务应用模块并不关心备份数据在哪里 一套完整备份策略可以灵活在任意的备份中心部署 （ 4） 利用备份共享提高备份资源利用率 ， 提高备份调度运维效率 通过构建全局备份视图将需要管理的备份空间数量有效降低了 20%， 将预 7 留的冗余备份空间容量有效降低了 25%。 更 好的根据业务调整备份策略，充分利用网络的资源 , 提高备份的处理效率 通过细分业务、方式 调整备份策略，实现业务服务水平和备份服务水平的的精细化管理，既提高了整体备份服务水平，也优化了备份资源 备份