聚光科技的灾备方案集合SAN架构灾备方案.doc

杭州环境监测中心站网络中心备份系统技术方案聚光科技（杭州）股份有限公司11/18/2019 目 录第1章综述11.1项目背景11.2系统现状11.2.1现有系统环境11.2.2现有系统分析21.3面临的挑战31.4系统建设原则3第2章需求分析42.1备份需求4第3章技术方案53.1备份系统架构设计53.1.1系统架构说明63.1.2软件配置说明63.2备份和恢复方式83.3备份策略规划93.4方案技术特点103.4.1介质服务器负载均衡/切换103.4.2智能磁盘容量管理113.4.3可选择用户恢复与复制的介质服务器113.4.4存储生命周期策略133.4.5真实镜像恢复(True Image Restore)133.4.6合成全备份14第4章方案优势总结15第1章 综述1.1 项目背景环境监测经过数年的向数字化，信息化方向的发展后，如何安全保存和有效利用日益增多的环境监测数据，成为了现阶段需要解决的问题。杭州市环境监测中心站对于环境监测数据的保存给予了更多的重视。而如何利用适当的成本构建的高效的灾备系统，选择一个适合环境监测系统的灾备方案是关键。为了适应和满足环保信息化，杭州市环境监测中心站准备对现有业务系统数据存储和保护系统进行技术改造，统一规划、分步实施，逐步实现业务数据的集中存储备份和统一管理，保证业务数据管理的高效及安全，以及达到数据保护管理整体费用的最优化。现有业务系统目前没有采用备份管理软件，无法保证业务数据的集中备份需求。杭州环境监测中心站业务系统数据存储备份和管理技术改造完成后，将建立集中统一的数据存储备份管理平台，为环境监测业务系统数据提供集中统一的备份管理服务。1.2 系统现状1.2.1 现有系统环境杭州环境监测中心站众多业务系统中，基本没有灾备管理服务，主要描述如下：应用系统主机型号操作系统数据库台数聚光科技软件平台IBM HS22Windows 20081聚光软件数据库服务器IBM HS22SQL Server1档案管理IBM HS221中科宇图IBM HS221防病毒服务联想万全正道软件平台IBM x36501.2.2 现有系统分析现有数据中心的业务系统缺乏集中、统一的数据保护机制；而且没有备份管理平台，主要由系统管理和维护人员通过基于应用程序的备份方式对业务数据进行保护操作，即无法满足业务系统数据保护的要求，又造成了管理和维护的复杂度。归纳总结现有系统的问题如下：1) 数据保护不全面，没有覆盖所有重要业务系统：缺乏集中、统一的备份管理平台，业务备份主要依靠管理和维护人员手工操作的方式进行基于应用程序的备份；数据保护没有全面覆盖各个业务系统；由于缺乏集中、统一的备份管理平台，导致系统管理和维护复杂度增加，管理和维护成本上升；2) 缺乏统一的主机系统灾难快速恢复解决方案：现有系统缺乏统一的主机灾难快速恢复解决方案，管理和维护复杂度高，而且效率低下；3) 管理维护效率及成本：系统建设采用单独规划、独立建设模式，主机、存储等资源各不共享，且分散管理，缺少统一管理和维护的手段，管理和维护越来越复杂，维护成本日渐增高；4) 存储资源利用率低：采用各业务系统单独规划、独立建设的模式，存储资源无法共享，资源和投资无法得到充分的利用；5) 缺乏完善的数据可恢复性验证测试环境：现有应用系统，缺乏完善的数据恢复验证测试环境，无法提供数据和系统恢复的验证测试；针对以上问题，有必要对现有应用系统的存储备份资源进行整合，建设集中、统一的存储备份管理平台，为各个业务系统提供集中、统一的存储和备份服务，提高存储、备份性能以及数据的安全保障和系统管理水平，保证各业务系统数据安全和各业务系统的正常稳定运行。1.3 面临的挑战用户数据备份系统面临的挑战：n 备份窗口：如何快速的备份业务系统数据。n 恢复性能：如何快速的恢复业务系统数据，恢复应用运行。n 备份的可靠性：如何确保这些备份的数据是安全可靠的。n 易管理和易维护：如何管理备份的介质，以及相应的ILM管理，了解所有备份所消耗的资源，备份的成功率等。n 对应用的无关：通过LAN-Free、Server-free等先进的备份技术，降低备份系统对整个应用系统的干扰。n 降低投资成本：充分利用现有软、硬件资源，实现资源共享和原有软、硬件设备利旧实用，降低投资成本。n 投资保护：采用扩展性和伸缩性强的体系结构，既能保护现有投资，又能满足以后系统的扩充和应用或者数据的扩展要求。1.4 系统建设原则业务系统备份管理系统设计原则：备份性能l 可以采用D2D2T方式，提高备份和恢复的性能和效率，减少备份，恢复窗口。l 可以采用专用的备份网络，避免业务系统网络和备份网络的互相干扰。l 对特别关键且数据量非常大的应用，可以支持Server-Free的备份方式。 l 支持断点续传功能，提高备份的成功率和性能。减少网络带宽，提高网络带宽的利用率。恢复性能l 采用磁盘作为备份缓存设备，提高恢复性能和效率，减少恢复时间。l 支持并行数据流和LAN-free恢复方式，提高数据库系统恢复性能。高可靠性：l 支持备份介质的冗余配置，防止介质失效造成的备份数据丢失。l 提供完善的索引保存恢复机制，确保备份系统的故障不会影响备份数据的安全。l 支持备份服务器、介质服务器和备份客户端的集群配置和自动切换功能，确保备份的成功率。l 能够提供介质服务器的负载均衡功能，确保备份数据链路的可靠性。易管理与易维护l 直观有效的GUI集中管理界面，提供中文化的管理界面，方便备份系统的管理和维护。l 提供完善简单的策略配置管理，方便用户制定备份计划。l 能够提供丰富的报表，监控和分析备份系统和相关的存储资源。l 支持远程维护和管理。第2章 需求分析2.1 备份需求目前，杭州市环境监测中心站各业务系统组成的数据中心数据量大，数据类型复杂，业务并发事务多等特点易造成系统宕机，服务中断等故障现象。对于某些特殊的环境监测业务，这样的损失是需要极力避免的。通过集中备份管理平台的建设，实现Oracle、MS SQL等数据库的在线备份，为数据库提供在线全备份、增量备份等多种备份策略和手段，通过备份系统的集中管理控制台自动调度数据库的全备份策略和增量备份策略，将数据库的数据备份到磁带库中，充分保证数据库备份数据的完整性、一致性和可靠性。备份系统应该能够提供LAN、LAN-free、Server-free等多种备份方式的支持，满足大数据量业务系统的备份需求。第3章 技术方案3.1 备份系统架构设计由于现有的IBM刀片服务器架构。为充分利用该优势，本方案建议此次集中备份系统采用SAN光纤网络集中备份管理架构，提供LAN、LAN-free及D2D2T等备份模式。建成后的集中存储备份平台结构示意图如下：3.1.1 系统架构说明l 采用独立的备份主服务器，集中统一管理备份系统：配置NetBackup Enterprise Server模块，负责管理整个备份系统，可以使用群集环境对备份主服务器进行保护。l 将数据库服务器配置为介质服务器，减少资源消耗：所有接入SAN网络的数据库服务器配置NetBackup Enterprise Client模块，管理备份介质和数据备份，提供LAN、LAN-free等多种备份方式。l 数据库服务器配置在线备份功能模块，提供全量、增量等多种备份策略：为数据库服务器配置数据库在线备份模块NetBackup Applcation and Database Pack模块：负责在线备份数据库的数据。l 采用磁带库驱动器共享功能，提高存储资源利用率：配置磁带库驱动器共享模块，提高磁带库驱动器资源的利用率和备份恢复性能。l 采用D2D2T的备份模式，提升备份和恢复性能；使用利旧或新购廉价磁盘阵列作为一级备份介质，物理磁带库作为二级备份介质。在该系统结构下，我们将对整个系统进行全方位的保护，利用备份技术来保护Windows、Linux、Unix文件系统以及Oracle、SQL等数据库的数据。3.1.2 软件配置说明3.1.2.1 备份主服务器配置l 在备份主服务器上配置NetBackup Enterprise Server模块：该服务器既是主备份服务器可以对整个备份系统进行监控和管理，备份环境的核心数据应用库、备份策略和设备配置均存放在这台服务器上；又是介质服务器，可以直接连接并执行自动化管理磁带库及其介质。l 配置Library based Tape Drive Support模块：对磁带库中的驱动器进行高速读写，并采用多路写复用(Multi-plex)、多路数据流分用(Multi-Stream)等技术完成对备份数据流的优化统筹分配，最终完全利用备份硬件设备提供的所有I/O带宽。l 配置Shared Storage Option模块：可以使磁带库磁带机的实现共享使用。3.1.2.2 数据库服务器配置l 在数据库服务器上安装NetBackup Enterprise Client，利用共享的磁带机，实现数据的LAN-free 备份；l 在数据库服务器上安装NetBackup Application and Database模块实现对Oracle、MS SQL等数据库的在线备份；3.1.2.3 软件配置清单产品编号产品描述数量Windows备份服务器许可(ADC 1台利旧)备份服务器HA许可磁带库驱动器许可磁带库驱动器共享许可备份软件介质聚光科技环境监测系统3.2 备份和恢复方式根据备份系统架构设计，能够提供如下几种备份/恢复模式：n LAN备份/恢复：对连入LAN网的生产机，可以采用LAN模式，在该模式下，在生产机内只需要安装备份客户端模块。在备份操作时，备份客户端模块把需要备份的数据从生产数据存储设备中读入生产机，并通过LAN把备份数据传给备份主服务器或介质服务器，备份主服务器或介质服务器将把数据通过SAN写到备份设备上；在恢复操作时，备份主服务器或介质服务器将通过SAN网从备份设备上读入恢复数据，并通过LAN把数据传给备份客户端模块，备份客户端模块把数据写入生产系统。在LAN模式下，备份/恢复操作的数据需要经过LAN网转送。n LAN-Free备份/恢复：所有接入SAN光纤存储网络的主机，可以采用LAN Free模式，在该模式下，在应用系统主机上需要安装NetBackup Enterprise Client模块和Application and Database Pack模块（如果应用系统没有数据库则不需要安装Application and Database Pack模块）。在备份操作时，Netbackup Enterprise Client模块把需要备份的数据从生产数据存储设备中读入生产机，然后把数据通过SAN写到备份设备上；在恢复操作时，NetBackup Enterprise Client将通过SAN网从备份设备上读入恢复数据，在生产机内把数据传给数据库或应用代理模块，数据库或应用代理模块把数据写入生产系统。在LAN Free模式下，备份/恢复操作的数据经过SAN网转送。n D2D2T备份模式备份系统将采用D2D2T的备份模式，充分利用存储和磁带库的优势。备份系统首先将业务系统的数据将从存储应用数据的阵列备份到新购的磁盘存储空间，然后再从磁盘缓存空间备份到磁带库上。采用D2D2T的备份模式，可以充分利用磁盘存储的性能优势，提高备份系统的性能。利用高品质的廉价磁盘（阵列）和D2D技术来建第二级存储，与磁带相比具有下列优势： 更快的数据备份和恢复性能。 消除了磁带库设备的机械故障的烦恼。 磁盘具有随机读写和优化查找的功能，具有更快的数据存取性能。 磁盘能支持多台主机同时并行存取。 利用磁盘存储方案可消除操作磁带时的人为错误。虽然磁盘具有很多优势，但磁带作为离线介质还是有必要的，所以NetBackup备份管理软件自动把备份到磁盘上的数据复制到磁带上，作为长期保存。3.3 备份策略规划按照各个业务系统的特点，数据备份策略规划如下：业务系统数据量大小（G）建议备份方式备注聚光科技环境监测业务系统聚光科技环境监测数据库服务器200G/年每周全备份/每天增量备份/每小时日志备份相关文件备份划分单独的磁带卷池档案管理系统中科宇图软件平台正道软件平台3.4 方案技术特点以下内容介绍该方案的几个重点技术特点。3.4.1 介质服务器负载均衡/切换借助Netbackup的介质服务器负载均衡/切换功能，NetBackup能够自动监控CPU、内存的使用情况，以及备份作业的负载情况,能够根据介质服务器的负载大小，将新的备份作业自动提交到负载最小的介质服务上运行,能够实现备份作业会自动避开故障服务器，并且，如果在备份作业运行过程中，如果发现某一个介质服务器发生故障，能自动切换运行中的作业到其它的介质服务器上，并可以在其他主机上继续执行（check point restart）。主要特性： 更高的利用率：减少服务器数据量和成本 更高性能: 大的作业可以分布到多服务器上 高可用性: 作业自动地分配到可用的介质服务器上 降低管理成本: 简单增加新服务器，作业就自动分配其运行 3.4.2 智能磁盘容量管理借助智能磁盘容量管理，NetBackup会事先估算备份所需容量，进行硬盘的分配，避免空间浪费。并且，在使用一个卷进行备份时,能够智能监控存储空间的容量是否满足备份需求，当监控到容量用完时可以切换到其他卷。智能磁盘容量管理能够通过设定水线进行容量管理，并且对备份数据进行分类，先过期不重要的数据。优势和特点：l 降低磁盘成本：通过智能分配获得更佳的利用率l 更快速的备份/恢复：尽可能将备份保留在一个卷上l 更高的可靠性： 通过更好的管理磁盘池，避免出现“磁盘已满”的状况l 分层存储： 确保最重要的备份在磁盘上保留较长的时间3.4.3 可选择用户恢复与复制的介质服务器NetBackup软件可以支持使用其他NetBackup服务器（而不是用于创建备份的服务器）恢复。这就为多服务器环境下的恢复提供了更方便的数据访问、更好的故障切换和灾难恢复功能。在NetBackup环境中，存储设备（如磁带驱动器、磁盘库）可以连接到NetBackup域中的任何服务器，多台服务器共享一个存储设备，独立于服务器的恢复功能可以显著简化操作，改进及时的数据访问。独立于服务器的恢复适用于以下的多服务器环境：l 两台或多台服务器共享一个自动磁带库，每个服务器带有相连的磁带驱动器。请求恢复时，其中一台服务器会暂时无法访问。在NetBackup主备份服务器的指导下，NetBackup域中的所有可用服务器都可以用于恢复文件。l 两台（或多台）服务器拥有同种类型的独立磁带驱动器。请求恢复时，其中一台服务器暂时无法访问。操作人员可在连接到任何可用服务器的驱动器中安装磁带，然后恢复文件。3.4.4 存储生命周期策略借助存储生命周期策略，NetBackup 通过允许定义防护服务水平而引入了新的数据保护模式，这样备份数据就可以根据业务价值进行分类。从而使不同类型的备份数据能够以唯一的方式进行处理，依据它们通过分层备份基础架构传送的方法。借助存储生命周期策略，您可以向备份数据分配备份服务层，从而确保将数据保存在适当的介质上，以满足备份时间和恢复目标的要求。创建各个级别的服务水平（如金牌、银牌和铜牌）可以确保数据在合适时间存储在恰当的位置，然后自动从磁盘迁移到磁带。优势和特点：l 满足 SLA 承诺：确保数据在合适时间存储在恰当的位置l 降低存储成本：将重要数据存储在磁盘上，而将不重要数据存储在磁带上l 降低风险： 确保从磁盘中删除数据之前，已将数据迁移到磁带l 降低管理成本： 利用生命周期策略自动执行数据管理3.4.5 真实镜像恢复(True Image Restore)真实镜像恢复功能使用户能够恢复最新的文件版本。用户可以逐个策略地进行配置，如果用户请求恢复目录或文件系统，NetBackup软件就可以追踪文件删除操作，有选择地防止已删除文件的恢复。没有真实镜像恢复功能，那些包含在以前备份中、但后来被删除的文件可能会被错误地恢复。真实镜像恢复为设备提供了一种功能，可以追踪最后一次备份时的环境，只需恢复最新数据。例如，服务器需要在周二恢复，则可结合使用周日创建的最新完全备份磁带和周一创建的增量备份，以恢复服务器需要的数据。真实镜像恢复的优点是：在恢复过程中，它能确保只有在周一增量备份中已经存在的数据才恢复到服务器上。这样就不会恢复在周日完全备份与周一增量备份之间过时和删除的所有数据。在下图中，NetBackup总共恢复了141个文件，包括90个经过修改文件的最新版本。删除的22个文件被忽略。如果没有真实镜像恢复功能，NetBackup恢复的文件将达到163个。3.4.6 合成全备份合成备份可以通过以前的完全备份和增量备份创建新的合成备份映像，显著增强了备份和恢复操作的性能。