杭州环境监测中心站网络中心备份系统技术方案

1、杭州环境监测中心站网络中心备份系统技术方案聚光科技（杭州）股份有限公司1/21/2020目录第1 章 综述 11.1 项目背景 11.2 系统现状 11.2.1 现有系统环境 11.2.2 现有系统分析 21.3 面临的挑战 31.4 系统建设原则 3第2 章 需求分析 42.1 备份需求 4第3 章 技术方案 53.1 备份系统架构设计 53.1.1 系统架构说明 63.1.2 软件配置说明 63.2 备份和恢复方式 83.3 备份策略规划 93.4 方案技术特点 103.4.1介质服务器负载均衡 /切换 103.4.2智能磁盘容量管理 113.4.3 可选择用户恢复与复制的介质服务器 11

2、3.4.4存储生命周期策略 133.4.5真实镜像恢复 (True Image Restore) 133.4.6 合成全备份 14第4 章 方案优势总结 15第1章综述1.1项目背景环境监测经过数年的向数字化，信息化方向的发展后，如何安全保存和有效 利用日益增多的环境监测数据，成为了现阶段需要解决的问题。杭州市环境监测 中心站对于环境监测数据的保存给予了更多的重视。 而如何利用适当的成本构建 的高效的灾备系统，选择一个适合环境监测系统的灾备方案是关键。为了适应和满足环保信息化，杭州市环境监测中心站准备对现有业务系统数 据存储和保护系统进行技术改造， 统一规划、分步实施，逐步实现业务数据的集 中

3、存储备份和统一管理，保证业务数据管理的高效及安全，以及达到数据保护管 理整体费用的最优化。现有业务系统目前没有采用备份管理软件， 无法保证业务数据的集中备份需 求。杭州环境监测中心站业务系统数据存储备份和管理技术改造完成后，将建立集中统一的数据存储备份管理平台，为环境监测业务系统数据提供集中统一的备 份管理服务。1.2系统现状1.2.1 现有系统环境杭州环境监测中心站众多业务系统中， 基本没有灾备管理服务，主要描述如下：应用系统主机型号操作系统数据库台数聚光科技软件平台IBM HS22Win dows 20081聚光软件数据 库服务器IBM HS22SQL Server1档案管理IBM HS2

4、21中科宇图IBM HS221防病毒服务联想万全正道软件平台IBM X36501.2.2 现有系统分析现有数据中心的业务系统缺乏集中、 统一的数据保护机制；而且没有备份管 理平台，主要由系统管理和维护人员通过基于应用程序的备份方式对业务数据进 行保护操作，即无法满足业务系统数据保护的要求，又造成了管理和维护的复杂 度。归纳总结现有系统的问题如下：1）数据保护不全面，没有覆盖所有重要业务系统：缺乏集中、统一的备份管理平台，业务备份主要依靠管理和维护人员 手工操作的方式进行基于应用程序的备份； 数据保护没有全面覆盖各 个业务系统；由于缺乏集中、统一的备份管理平台，导致系统管理和 维护复杂度增加，管

5、理和维护成本上升；2）缺乏统一的主机系统灾难快速恢复解决方案：现有系统缺乏统一的主机灾难快速恢复解决方案，管理和维护复杂度 高，而且效率低下；3）管理维护效率及成本：系统建设采用单独规划、独立建设模式，主机、存储等资源各不共享， 且分散管理，缺少统一管理和维护的手段，管理和维护越来越复杂， 维护成本日渐增高；4）存储资源利用率低：采用各业务系统单独规划、独立建设的模式，存储资源无法共享，资 源和投资无法得到充分的利用；5）缺乏完善的数据可恢复性验证测试环境：现有应用系统， 缺乏完善的数据恢复验证测试环境， 无法提供数据和 系统恢复的验证测试；针对以上问题，有必要对现有应用系统的存储备份资源进行

6、整合， 建设集中、 统一的存储备份管理平台，为各个业务系统提供集中、统一的存储和备份服务， 提高存储、 备份性能以及数据的安全保障和系统管理水平， 保证各业务系统数据 安全和各业务系统的正常稳定运行。1.3 面临的挑战用户数据备份系统面临的挑战：备份窗口： 如何快速的备份业务系统数据。恢复性能： 如何快速的恢复业务系统数据，恢复应用运行。备份的可靠性： 如何确保这些备份的数据是安全可靠的。易管理和易维护： 如何管理备份的介质，以及相应的 ILM 管理，了解所 有备份所消耗的资源，备份的成功率等。对应用的无关： 通过 LAN-Free、Server-free 等先进的备份技术，降低备 份系统对整

7、个应用系统的干扰。降低投资成本： 充分利用现有软、硬件资源，实现资源共享和原有软、 硬件设备利旧实用，降低投资成本。投资保护： 采用扩展性和伸缩性强的体系结构，既能保护现有投资，又 能满足以后系统的扩充和应用或者数据的扩展要求。1.4 系统建设原则业务系统备份管理系统设计原则：备份性能可以采用D2D2T方式，提高备份和恢复的性能和效率，减少备份， 恢复窗口。可以采用专用的备份网络，避免业务系统网络和备份网络的互相干扰。对特别关键且数据量非常大的应用，可以支持 Server-Free的备份方 式。支持断点续传功能，提高备份的成功率和性能。减少网络带宽，提 高网络带宽的利用率。恢复性能 采用磁盘作

8、为备份缓存设备，提高恢复性能和效率，减少恢复时间。 支持并行数据流和 LAN-free 恢复方式，提高数据库系统恢复性能。高可靠性：支持备份介质的冗余配置，防止介质失效造成的备份数据丢失。 提供完善的索引保存恢复机制，确保备份系统的故障不会影响备份 数据的安全。支持备份服务器、介质服务器和备份客户端的集群配置和自动切换 功能，确保备份的成功率。能够提供介质服务器的负载均衡功能， 确保备份数据链路的可靠性。 易管理与易维护直观有效的 GUI 集中管理界面，提供中文化的管理界面，方便备份 系统的管理和维护。提供完善简单的策略配置管理，方便用户制定备份计划。 能够提供丰富的报表，监控和分析备份系统和

9、相关的存储资源。 支持远程维护和管理。第2 章 需求分析2.1 备份需求目前，杭州市环境监测中心站各业务系统组成的数据中心数据量大， 数据类 型复杂，业务并发事务多等特点易造成系统宕机， 服务中断等故障现象。 对于某 些特殊的环境监测业务，这样的损失是需要极力避免的。通过集中备份管理平台的建设，实现 Oracle、MS SQL等数据库的在线备份， 为数据库提供在线全备份、 增量备份等多种备份策略和手段， 通过备份系统的集中管理控制台自动调度数据库的全备份策略和增量备份策略，将数据库的数据备 份到磁带库中，充分保证数据库备份数据的完整性、一致性和可靠性。备份系统应该能够提供LAN、LAN-fre

10、e Server-free等多种备份方式的支持,满足大数据量业务系统的备份需求。第3章技术方案3.1备份系统架构设计由于现有的IBM刀片服务器架构。为充分利用该优势，本方案建议此次集 中备份系统采用SAN光纤网络集中备份管理架构，提供LAN、LAN-free及D2D2T 等备份模式。建成后的集中存储备份平台结构示意图如下:件平台LAN-Free EnterpriseClientEnterprise Client DB AgentOA LAN-Free 备份DB AgentMIS LAN-Free 备份 Enterprise Client Oracle Agent备份服务器NBUDrive Li

11、censeSSO数据备份和恢复步骤：1 。生产主机将数据每天备份到 磁盘缓存上；2 。磁盘缓存容量可保存一周的 备份数据，超过一周的备份数 据自动归档到带库上；3 。直接从磁盘缓存上恢复一周 之内备份数据；4 。从带库上直接恢复超过一周 的备份数据；生产数据磁盘缓备份磁盘阵列备份磁盘库新增或利旧磁带库 新增和利旧聚光科技软3.1.1 系统架构说明采用独立的备份主服务器，集中统一管理备份系统：配置NetBackup Enterprise Server模块，负责管理整个备份系统，可以使 用群集环境对备份主服务器进行保护。将数据库服务器配置为介质服务器，减少资源消耗：所有接入SAN网络的数据库服务器

12、配置 NetBackup Enterprise Client模块， 管理备份介质和数据备份，提供 LAN、LAN-free等多种备份方式。数据库服务器配置在线备份功能模块， 提供全量、 增量等多种备份策略： 为数据库服务器配置数据库在线备份模块 NetBackup Applcation and Database Pack模块：负责在线备份数据库的数据。采用磁带库驱动器共享功能，提高存储资源利用率： 配置磁带库驱动器共享模块，提高磁带库驱动器资源的利用率和备份恢 复性能。采用D2D2T的备份模式，提升备份和恢复性能；使用利旧或新购廉价磁盘阵列作为一级备份介质，物理磁带库作为二级 备份介质。在该系

13、统结构下， 我们将对整个系统进行全方位的保护， 利用备份技术来保 护Windows、Linux、Unix文件系统以及 Oracle、SQL等数据库的数据。3.1.2 软件配置说明3.1.2.1 备份主服务器配置在备份主服务器上配置 NetBackup En terprise Serve模块：该服务器既是 主备份服务器可以对整个备份系统进行监控和管理，备份环境的核心数 据应用库、备份策略和设备配置均存放在这台服务器上；又是介质服务 器，可以直接连接并执行自动化管理磁带库及其介质。配置Library based Tape Drive Support模块：对磁带库中的驱动器进行高 速读写，并采用多路

14、写复用(Multi-plex)、多路数据流分用(Multi-Stream) 等技术完成对备份数据流的优化统筹分配，最终完全利用备份硬件设备 提供的所有I/O带宽。配置Shared Storage Option模块：可以使磁带库磁带机的实现共享使用。3.122数据库服务器配置在数据库服务器上安装NetBackup Enterprise Client利用共享的磁带机， 实现数据的LAN-free备份；在数据库服务器上安装 NetBackup Applicati on and Database模块实现对 Oracle MS SQL等数据库的在线备份；3.1.2.3 软件配置清单产品编号产品描述数量W

15、indows备份服务器许可(ADC 1台利旧)备份服务器HA许可磁带库驱动器许可磁带库驱动器共享许可备份软件介质聚光科技环境监测系统3.2备份和恢复方式根据备份系统架构设计，能够提供如下几种备份/恢复模式：LAN备份/恢复：对连入LAN网的生产机，可以采用LAN模式，在该模式下，在生产机内 只需要安装备份客户端模块。在备份操作时，备份客户端模块把需要备 份的数据从生产数据存储设备中读入生产机，并通过LAN把备份数据传给备份主服务器或介质服务器，备份主服务器或介质服务器将把数据通 过SAN写到备份设备上；在恢复操作时，备份主服务器或介质服务器将 通过SAN网从备份设备上读入恢复数据，并通过LAN

16、把数据传给备份客 户端模块，备份客户端模块把数据写入生产系统。在LAN模式下，备份/恢复操作的数据需要经过LAN网转送。LAN-Free备份/恢复：所有接入SAN光纤存储网络的主机，可以采用LAN Free模式，在该模式 下，在应用系统主机上需要安装NetBackup Enterprise Client模块和Application and Database Pack模块（如果应用系统没有数据库则不需要 安装 Application and Database Pack 模块）。在备份操作时，NetbackupEn terprise Clie nt模块把需要备份的数据从生产数据存储设备中读入生产

17、机，然后把数据通过 SAN写到备份设备上；在恢复操作时，NetBackup Enterprise Client将通过SAN网从备份设备上读入恢复数据，在生产机内 把数据传给数据库或应用代理模块，数据库或应用代理模块把数据写入 生产系统。在LAN Free模式下，备份/恢复操作的数据经过SAN网转送。D2D2T备份模式 备份系统将采用D2D2T的备份模式，充分利用存储和磁带库的优势。备 份系统首先将业务系统的数据将从存储应用数据的阵列备份到新购的磁 盘存储空间，然后再从磁盘缓存空间备份到磁带库上。采用D2D2T的备份模式，可以充分利用磁盘存储的性能优势，提高备份 系统的性能。利用高品质的廉价磁盘

18、（阵列）和D2D技术来建第二级存储，与磁带相比具有下列优势：?更快的数据备份和恢复性能。?消除了磁带库设备的机械故障的烦恼。?磁盘具有随机读写和优化查找的功能，具有更快的数据存取性 能。?磁盘能支持多台主机同时并行存取。?利用磁盘存储方案可消除操作磁带时的人为错误。虽然磁盘具有很多优势，但磁带作为离线介质还是有必要的，所以NetBackup备份管理软件自动把备份到磁盘上的数据复制到磁带上，作 为长期保存。3.3备份策略规划按照各个业务系统的特点，数据备份策略规划如下:业务系统数据量大小（G）建议备份方式备注聚光科技环境监测业务系统聚光科技环境 监测数据库服 务器200G/年每周全备份/每天增量

19、备份/每小时 日志备份相关文件备份划分单独 的磁带卷 池档案管理系统中科宇图软件平台正道软件平台3.4方案技术特点以下内容介绍该方案的几个重点技术特点3.4.1介质服务器负载均衡/切换借助Netbackup的介质服务器负载均衡/切换功能，NetBackup能够自动监控 CPU内存的使用情况，以及备份作业的负载情况，能够根据介质服务器的负载大 小，将新的备份作业自动提交到负载最小的介质服务上运行 ，能够实现备份作业 会自动避开故障服务器，并且，如果在备份作业运行过程中，如果发现某一个介 质服务器发生故障，能自动切换运行中的作业到其它的介质服务器上， 并可以在 其他主机上继续执行(check po

20、int restart)。主要特性：?更高的利用率：减少服务器数据量和成本?更高性能：大的作业可以分布到多服务器上?高可用性：作业自动地分配到可用的介质服务器上?降低管理成本：简单增加新服务器，作业就自动分配其运行342 智能磁盘容量管理借助智能磁盘容量管理，NetBackup会事先估算备份所需容量，进行硬盘的 分配，避免空间浪费。并且，在使用一个卷进行备份时，能够智能监控存储空间的容量是否满足备份需求，当监控到容量用完时可以切换到其他卷。智能磁盘容 量管理能够通过设定水线进行容量管理， 并且对备份数据进行分类，先过期不重 要的数据。优势和特点：降低磁盘成本：通过智能分配获得更佳的利用率更快速

21、的备份/恢复：尽可能将备份保留在一个卷上更高的可靠性：通过更好的管理磁盘池，避免出现“磁盘已满”的状况分层存储：确保最重要的备份在磁盘上保留较长的时间Disk PoolwIn tellige ntcapacityman ageme ntof pooled disk3.4.3可选择用户恢复与复制的介质服务器NetBackup?软件可以支持使用其他NetBackup服务器（而不是用于创建备份的服务器）恢复。这就为多服务器环境下的恢复提供了更方便的数据访问、更好的故障切换和灾难恢复功能。在NetBackup环境中，存储设备（如磁带驱动器、磁盘库）可以连接到 NetBackup域中的任何服务器，多台服

22、务器共享一个存储设备，独立于服务器的 恢复功能可以显著简化操作，改进及时的数据访问。独立于服务器的恢复适用于 以下的多服务器环境：两台或多台服务器共享一个自动磁带库，每个服务器带有相连的磁带驱 动器。请求恢复时，其中一台服务器会暂时无法访问。在NetBackup主备份服务器的指导下，NetBackup域中的所有可用服务器都可以用于恢 复文件。两台（或多台）服务器拥有同种类型的独立磁带驱动器。请求恢复时， 其中一台服务器暂时无法访问。操作人员可在连接到任何可用服务器的 驱动器中安装磁带，然后恢复文件。DiskOnly 2 media servers areconnected to both so

23、urce anddestination storage.指定恢复服务器指定的复制服务器Tape Library3.4.4存储生命周期策略借助存储生命周期策略，NetBackup通过允许定义防护服务水平而引入了新 的数据保护模式，这样备份数据就可以根据业务价值进行分类。 从而使不同类型 的备份数据能够以唯一的方式进行处理，依据它们通过分层备份基础架构传送的 方法。借助存储生命周期策略，您可以向备份数据分配备份服务层， 从而确保将 数据保存在适当的介质上，以满足备份时间和恢复目标的要求。创建各个级别的 服务水平（如金牌、银牌和铜牌）可以确保数据在合适时间存储在恰当的位置， 然后自动从磁盘迁移到磁带

24、。优势和特点:满足SLA承诺：确保数据在合适时间存储在恰当的位置降低存储成本：将重要数据存储在磁盘上，而将不重要数据存储在磁带 上 降低风险： 确保从磁盘中删除数据之前，已将数据迁移到磁带降低管理成本： 利用生命周期策略自动执行数据管理存請生命周期策略：疊建存储分层*并在整个生命同期門隹动移动数摇复制雄带-异施煤险库.嗥留&平片耳人讃帝.就2牛月耳入幫二个冷帝.昇迪恨险層.凤洞安牛月3.4.5真实镜像恢复(True Image Restore)真实镜像恢复功能使用户能够恢复最新的文件版本。用户可以逐个策略地进 行配置，如果用户请求恢复目录或文件系统， NetBackup软件就可以追踪文件删 除

25、操作，有选择地防止已删除文件的恢复。 没有真实镜像恢复功能，那些包含在 以前备份中、但后来被删除的文件可能会被错误地恢复。真实镜像恢复为设备提供了一种功能，可以追踪最后一次备份时的环境，只 需恢复最新数据。例如，服务器需要在周二恢复，则可结合使用周日创建的最新 完全备份磁带和周一创建的增量备份，以恢复服务器需要的数据。真实镜像恢复 的优点是：在恢复过程中，它能确保只有在周一增量备份中已经存在的数据才恢 复到服务器上。这样就不会恢复在周日完全备份与周一增量备份之间过时和删除 的所有数据。在下图中，NetBackup总共恢复了 141个文件，包括90个经过修改文件的 最新版本。删除的22个文件被忽

26、略。如果没有真实镜像恢复功能，NetBackup100 FifesBade upRestore恢复的文件将达到163个。SaturdayScbeMt FrKiefncMtaf BrictupMadiite-Jti电 WDrlHedMudiftdWertThiM-jdjjf Schedule liKfpmriA BackupFridayDiFull BdckupR&stord. Ill tiIgnored:上丄 tie- ten i. -匸WithoiJL Lrutf rnage rtoi161 fit-/! would br rPii(wpd3.4.6 合成全备份合成备份可以通过以前的完全备份

27、和增量备份创建新的合成备份映像，显著增强了备份和恢复操作的性能。从而可以缩短执行恢复所需的时间。 合成备份能 够减少通过网络传送的数据量，从而最大限度地降低了备份和恢复所需的网络带 宽。NetBackup Clie nt口口NetBackup Media ServerFull BackupFull BackupFull Backup第4章方案优势总结本方案优势总结如下：高性能? 采用了 D2D2T的备份模式，能够利用磁盘加速备份，提高了数据备份和 恢复性能。? 提供Synthetic Full （合成全备份）功能，可以将Media Server上的全备份 和增量备份合并成最新的全备份。而不需要从客户端作全备份。这样能 减少全备份的次数，减少全备份窗口。同时，尽